어영부영TA (AI신과함께)

세로로 만들어진 이미지를 확장하는 작업을 진행하였습니다.

우측 윗쪽이 포토샵의 결과이며, 아래 쪽은 ComfyUI로 만들어진 결과입니다.

포토샵을 이용하면 훨씬 결과가 더 좋지만, 만일 무료로 ComfyUI를 이용하시려고 한다면 아래 워크 플로우를 다운 받으시면 됩니다.

사용한 체크포인트 모델: https://huggingface.co/misri/juggernautXL_juggXIByRundiffusion/tree/main

빨간색의 비활성화 이미지가 보인다면, 메뉴에서 Missing을 눌러서 추가해주시면 됩니다.

레이어별로 아우트라인을 생성하는 플러그인입니다.

스파인 제작할 때 가이드라인을 사용합니다.

AS는 요청하지 말아주세요 ;;

사용방법:

1. 빈 레이어를 최상단에 만들어주세요.

2. 빈 레이어를 선택합니다.

3. File > Scripts > Browse로 눌러서 스크립트를 실행시키면 됩니다.

참고로 아웃라인의 컬러를 변경하고 싶다면,

var colors = [
    { red: 255, green: 0, blue: 0 },     // 빨간색
    { red: 0, green: 0, blue: 255 },     // 파란색
    { red: 0, green: 100, blue: 0 },     // 초록색
    { red: 255, green: 255, blue: 0 }    // 노란색
];

이부분에서 RGB 값을 변경하시면 됩니다.

ComfyUI를 사용하여 텍스트로 게임 사운드를 제작하는 신선한 툴이 나와서 공유해봅니다.

사용툴: https://github.com/comfyanonymous/ComfyUI
모델 주소: https://huggingface.co/stabilityai/stable-audio-open-1.0
클립 주소: https://huggingface.co/google-t5/t5-base/tree/main

Workflow

https://www.youtube.com/watch?v=NzRJgVYIKls

제작 flow는 아래 json 파일을 받으시면 됩니다.

아래는 사용한 모델 사이트입니다.
Hoseki - LustrousMix [Pony XL]: https://civitai.com/models/534425
Gingira Dot ☆ Star:Hentai Game Art Style: https://civitai.com/models/714039
controlnet-union-sdxl-1.0: https://huggingface.co/xinsir/controlnet-union-sdxl-1.0 

VAE: https://civitai.com/models/140686

kohya_ss의 브렌치 버전이 업데이트되었습니다.

그래서 Flux로 Lora를 만드는 것이 가능해졌습니다.

다만, Flux를 사용하려면 VRAM이 24GB이어야 안정적이 빠르게 사용이 가능합니다.

하지만, config 파일을 수정하여 저처럼 10GB VRAM 사용자도 사용할 수 있게 만들어봤습니다.

RTX 3080 10GB 이하의 저사양 PC는 권장하지는 않습니다만, 불가능하지는 않습니다.

시간이 너무 오래 걸려서 여러 번 테스트해야 하는 문제로 저도 두 번 정도로 진행하고 더이상 진행하지 않았습니다.

아래 파일은 Comfyui에서  GGUF 모델 Flow입니다.

https://www.youtube.com/watch?v=EfoRd0MO4jI

탄지로는 2000스탭으로 진행하였는데, 충분하지 않은거 같더군요.

아래 이미지는 제가 태연 사진을 20장 정도 가지고 3600스탭으로 테스트를 진행해 본 겁니다.
RTX 3080 10GB로 약 12시간가량 학습을 진행하였습니다.
(정말... 오래 걸리더군요. 아무래도 학습은 유료를 사용하는 것이 낫지 않나 생각을 해봅니다.)
학습량이 부족하긴 하지만, 비슷해 보이네요.

ComfyUI에는 VRAM(그래픽카드 램)을 덜 사용하게 하는 옵션이 있습니다.
VRAM을 100% 사용하면 오히려 이미지 생성이 느려지고 역효과적인 부분이 있습니다.
요즘 Flux가 인기라 많이 사용하는데 너무 오래 걸린다는 단점과 VRAM을 100% 사용하기 때문에 다른 작업은 전혀 못한다는 문제점이 있습니다.

--reserve-vram 4.0 옵션을 추가하면 되는데 만일 본인이 사용하는 VRAM이 10GB라면 6GB만 사용합니다.
4.0이라는 숫자가 4기가를 남기고 나머지로 AI를 생성하는 데 사용한다는 의미입니다.

이렇게 VRAM이 여유가 있으면 웹서핑정도는 할 수 있게 됩니다.

아래 이미지처럼  작성하시면 됩니다.

.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build --reserve-vram 4.0
pause

그리고 실행하면 됩니다.

아래는 이미지는 제가 --reserve-vram 2.0 으로 설정한 내용입니다.

전용 GPU 메모리를 7.7GB를 사용하는걸 볼수 있습니다.

https://github.com/comfyanonymous/ComfyUI

위 이미지는 ComfyUI를 이용하여 출력한 텍스쳐 입니다. 적당히 수정하여 사용하면 개발에 도움이 될거라 생각이 듭니다.

제가 영상으로 다루겠지만, 아래에  이미지를 다운받으셔서 ComfyUI에 드래그 하여 넣으시면 제가 만든 노드로 출력이 가능합니다.
추가적으로 Json 파일로 첨부합니다. Load하여 사용하시면 됩니다.

아래는 사용된 모델들의 경로입니다.

기본 SDXL 베이스 모델: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main

SDXL 컨트롤넷: https://huggingface.co/diffusers/controlnet-canny-sdxl-1.0/tree/main

civitai모델:https://civitai.com/models/53858/sxz-texture-bringer-concept

ComfyUI: https://github.com/comfyanonymous/ComfyUI

아마도 대부분 ComfyUI에서 에러가 나실텐데요. 그럴 경우에는 Manager에 들어가셔서 Install  Mission Custon Nodes를 이용하시면 됩니다.

AI Rodin이 얼마나 활용이 가능한지 영상을 만들어 보았습니다.

model 아웃풋이 정교하지는 않지만, 전체적인 형태감이 좋기 때문에 꽤 쓰기 좋다는 생각이 들었습니다.

테스트 모델이나 소규모팀에서 활용하기에 좋다는 생각이 듭니다.

하지만, mesh의 흐름 자체는 엉망이기 때문에 디테일한 모델링을 하려면 토폴로지를 이용하여 모델 구조를 변경하고 재 모델링하여 사용하면 좋습니다.

UV 또한 엉망이라 Render to texture를 이용하면 깔끔하게 UV를 수정이 가능합니다.

모델링을 한번 정제하여 사용해야 하지만 꽤 사용할만 하다고 생각합니다.

로딘 사이트 주소는 https://hyperhuman.deemos.com/rodin 이니  참고하시기 바랍니다.

https://youtu.be/VxUgrDWuq6Y

그리고 Meshy라는 AI 모델링 사이트도 있는데, 이쪽도 꽤 괜찮더군요.

사이트 주소는 https://www.meshy.ai/discover 이렇게 됩니다.

두 사이트 모두 비슷할거라 생각합니다만, 편의성에 따라 선택하면 되지 않을까 싶습니다.

Lora 기본 설정

https://youtu.be/brJr2NdFh40

빨간색 부분만 수정하셔서 사용하시면 됩니다.
이미지 50장 폴더이름은 20_XXXX로 하시면 되는데, 그 이상도 상관없으며 과적합이 되지 않도록만 하시면 됩니다.

파란색은 선택사항입니다.(넣는 경우 효과가 좋다고 하는데, 아닌 경우도 있습니다.)
유명인물의 경우 Instance prompt에 " Tom Jeffrey Hanks"라고 넣어서 하는게 효과적이고 캡션에도 포함되어야 합니다.
Class prompt는 person이라고 하면 됩니다.
 그림체나 스타일인 경우에는 비워두시는게 저는 효과적인거 같습니다.

Keep n tokens는 인물인 경우 1로 놓고 이름 정해서 사용하면 됩니다. 그림체를 학습할 경우 0이 효과적입니다.
Clip skip은 모델에 따라 다르긴 한데, 확신이 없기 때문에 1과 12를 설정하고 각각 결과를 보고 선택하는것이 좋습니다.
영상에서 설명했지만, 실사는 1 만화체는 2가 좋다고 합니다만, 노벨모델이 아니라면 의미가 없다고 봅니다.

Stable diffusion에 대한 동영상 가이드를 만들고 있습니다.

https://www.youtube.com/watch?v=vv52GrT6Bjc

https://www.youtube.com/watch?v=OdYWGL2qreM

https://www.youtube.com/watch?v=bb6v1ynImfE

https://www.youtube.com/watch?v=T2nIEzNAAWo

https://www.youtube.com/watch?v=Gc2MWI8a55I