WebUI 프롬프트 텍스트 이해 성능 올리는 방법(CLIP skip)

WebUI에서 Settings 메뉴 클릭 후

왼쪽에서 Stable Diffusion을 누르고

Clip skip에 2를 할당한 후 

(이미지에서는 화면이 너무 길어 자름)

Apply settings 를 눌러주면

 

동일한 내용의 프롬프트를 써도

AI가 더 잘 이해하게 되는데

기술적인 부분은 여기까지가 끝이고

 

사유를 아주 짧게 압축해보자면

 

대부분의 모델이

Clip skip을 2로 사용해서 만들고 있기 때문에

내가 프롬프트를 입력할 시

가장 많이 사용하는 형태를 사용하면

프롬프트를 더 잘 이해하게 되는 것이다

 

약간 더 자세하게 알아보자면

CLIP 모델은 최대 12개의 레이어로 이루어져 있는데

 

내가 입력한

프롬프트 텍스트를 한번 분석한 다음

대충 뭐 만드려는가 보다

이러고 다음 레이어로 넘겨서

 

이전 분석한 내용에

다시 프롬프트 텍스트를 대입해서

한번 더 분석하는 식인데

 

레이어가 1이라면

COW, 1girl 에서

한우인지 미국소인지, 어떻게 생긴 여자인지

이런 분석이 부족하기 때문에

원하는 내용의 결과를 얻기 어려운데

 

레이어가 2라면

소는 소인데 뭔 소인지..

이런 식으로 분석이 가능해져서

정밀한 결과를 얻을 수 있게 되는데

 

여기서 레이어가 너무 많아지면

이미 원하는 결과를 얻은 상태인데

거기에서 또 분석하고 분석해서

이상한 결과가 나오게 되는데

 

대부분의 모델이 2 정도면

원하는 결과를 얻기 충분하다고 보고

2를 기준으로 두고 개발했기 때문에

 

그 이상 분석하면 이상한 결과가 나오게 되어

2 상태에서 가장 좋은 결과를 얻을 수 있게 된다