WebUI 이미지로 txt2img에서 그림 그리는 방법

WebUI 컨트롤넷(ControlNet) 설치방법

위 이미지와 같은 픽사베이 공짜 이미지를 가지고

WebUI 에서 비슷한 구도로 그림을 그려본다 했을 때

ControlNet이 설치되어 있다면

 

img2img 에서 이미지를 넣어 그림을 생성하는 것 외에도

txt2img 에서도 ControlNet을 적용해서

이미지를 참고해 이미지를 생성할 수 있는데

한번 차례대로 진행해보자

 

일단 img2img 에서 이미지를 참고해서

이미지를 생성하는 예제인데

 

이미지에 모든 것이 갖춰져 있다면

이미지를 찍어내는데 큰 문제가 없겠지만

문제는 위 이미지처럼 투명 배경이거나

단색 배경에 사람 하나만 덜렁 있을 경우인데

 

구도를 유지하기 위해 Denosing strength를 낮게 잡으면

사진의 구도는 그대로 가져가지만 

배경이 이렇게 비어버리는 경우가 많고

배경은 이미지를 완성한 후 inpaint를 누른 후 새로 칠해줘도 되지만

 

이미지 만들기 > 이미지 확장하기 > 얼굴 Inpaint > 배경 Inpaint

이렇게 3 절차를 취해야 하기 때문에

이미지 확장 과정에서 불필요하게 변경되는 부분도 있고

굉장히 손이 많이 가서 불편하다

 

위 예제의 투명 이미지는 Inpaint도 안되서

그냥 사진 바꿔서 진행했는데

img2img가 생각보다 굉장히 불편하다

 

반면 txt2img를 사용할 경우

ControlNet 에서 자세를 잡아주기 위해

openpose를 사용하고 전체적인 포즈 보완을 위해

Canny / Hed / Depth / scribble 중

필요한 부분을 뽑아 사용해주면

 

Positive Prompt

(masterpiece, best quality), 1girl, black, ponytail, beige hoodie, dolphin shorts, in room, (large sun painted wall), 
brick floor, large picture frames on the wall, smile

 

Negative Prompt

(worst quality, normal quality, low quality:1.4), (badhandv4:1.2), (EasyNegative:1.2), (bad_prompt_version2:1.2), lowres, blurry, multiple girls, multiple view, manga, comics, (hair ornament:1.4, headgear:1.4, hat:1.4, hair accessory:1.4, headpiece:1.4)

 

구질구질하게 몇번씩 수정할 필요 없이

한번에 이미지 기반으로 프롬프트를 반영해서

그림이 깔끔하게 완성되는 것이 보인다