어영부영TA (AI신과함께)

https://www.youtube.com/watch?v=bnfDV-3khtU

아래 스크립트는 만들어진 결과입니다.

이렇게 리셋버튼이 생깁니다.

사용방법은 유니티에 적당한 폴더를 만드시고 드래그하여 스크립트를 넣으시면 됩니다.

세로로 만들어진 이미지를 확장하는 작업을 진행하였습니다.

우측 윗쪽이 포토샵의 결과이며, 아래 쪽은 ComfyUI로 만들어진 결과입니다.

포토샵을 이용하면 훨씬 결과가 더 좋지만, 만일 무료로 ComfyUI를 이용하시려고 한다면 아래 워크 플로우를 다운 받으시면 됩니다.

사용한 체크포인트 모델: https://huggingface.co/misri/juggernautXL_juggXIByRundiffusion/tree/main

빨간색의 비활성화 이미지가 보인다면, 메뉴에서 Missing을 눌러서 추가해주시면 됩니다.

레이어별로 아우트라인을 생성하는 플러그인입니다.

스파인 제작할 때 가이드라인을 사용합니다.

AS는 요청하지 말아주세요 ;;

사용방법:

1. 빈 레이어를 최상단에 만들어주세요.

2. 빈 레이어를 선택합니다.

3. File > Scripts > Browse로 눌러서 스크립트를 실행시키면 됩니다.

참고로 아웃라인의 컬러를 변경하고 싶다면,

var colors = [
    { red: 255, green: 0, blue: 0 },     // 빨간색
    { red: 0, green: 0, blue: 255 },     // 파란색
    { red: 0, green: 100, blue: 0 },     // 초록색
    { red: 255, green: 255, blue: 0 }    // 노란색
];

이부분에서 RGB 값을 변경하시면 됩니다.

ComfyUI를 사용하여 텍스트로 게임 사운드를 제작하는 신선한 툴이 나와서 공유해봅니다.

사용툴: https://github.com/comfyanonymous/ComfyUI
모델 주소: https://huggingface.co/stabilityai/stable-audio-open-1.0
클립 주소: https://huggingface.co/google-t5/t5-base/tree/main

Workflow

https://www.youtube.com/watch?v=NzRJgVYIKls

제작 flow는 아래 json 파일을 받으시면 됩니다.

아래는 사용한 모델 사이트입니다.
Hoseki - LustrousMix [Pony XL]: https://civitai.com/models/534425
Gingira Dot ☆ Star:Hentai Game Art Style: https://civitai.com/models/714039
controlnet-union-sdxl-1.0: https://huggingface.co/xinsir/controlnet-union-sdxl-1.0 

VAE: https://civitai.com/models/140686

kohya_ss의 브렌치 버전이 업데이트되었습니다.

그래서 Flux로 Lora를 만드는 것이 가능해졌습니다.

다만, Flux를 사용하려면 VRAM이 24GB이어야 안정적이 빠르게 사용이 가능합니다.

하지만, config 파일을 수정하여 저처럼 10GB VRAM 사용자도 사용할 수 있게 만들어봤습니다.

RTX 3080 10GB 이하의 저사양 PC는 권장하지는 않습니다만, 불가능하지는 않습니다.

시간이 너무 오래 걸려서 여러 번 테스트해야 하는 문제로 저도 두 번 정도로 진행하고 더이상 진행하지 않았습니다.

아래 파일은 Comfyui에서  GGUF 모델 Flow입니다.

https://www.youtube.com/watch?v=EfoRd0MO4jI

탄지로는 2000스탭으로 진행하였는데, 충분하지 않은거 같더군요.

아래 이미지는 제가 태연 사진을 20장 정도 가지고 3600스탭으로 테스트를 진행해 본 겁니다.
RTX 3080 10GB로 약 12시간가량 학습을 진행하였습니다.
(정말... 오래 걸리더군요. 아무래도 학습은 유료를 사용하는 것이 낫지 않나 생각을 해봅니다.)
학습량이 부족하긴 하지만, 비슷해 보이네요.

ComfyUI에는 VRAM(그래픽카드 램)을 덜 사용하게 하는 옵션이 있습니다.
VRAM을 100% 사용하면 오히려 이미지 생성이 느려지고 역효과적인 부분이 있습니다.
요즘 Flux가 인기라 많이 사용하는데 너무 오래 걸린다는 단점과 VRAM을 100% 사용하기 때문에 다른 작업은 전혀 못한다는 문제점이 있습니다.

--reserve-vram 4.0 옵션을 추가하면 되는데 만일 본인이 사용하는 VRAM이 10GB라면 6GB만 사용합니다.
4.0이라는 숫자가 4기가를 남기고 나머지로 AI를 생성하는 데 사용한다는 의미입니다.

이렇게 VRAM이 여유가 있으면 웹서핑정도는 할 수 있게 됩니다.

아래 이미지처럼  작성하시면 됩니다.

.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build --reserve-vram 4.0
pause

그리고 실행하면 됩니다.

아래는 이미지는 제가 --reserve-vram 2.0 으로 설정한 내용입니다.

전용 GPU 메모리를 7.7GB를 사용하는걸 볼수 있습니다.

https://github.com/comfyanonymous/ComfyUI

위 이미지는 ComfyUI를 이용하여 출력한 텍스쳐 입니다. 적당히 수정하여 사용하면 개발에 도움이 될거라 생각이 듭니다.

제가 영상으로 다루겠지만, 아래에  이미지를 다운받으셔서 ComfyUI에 드래그 하여 넣으시면 제가 만든 노드로 출력이 가능합니다.
추가적으로 Json 파일로 첨부합니다. Load하여 사용하시면 됩니다.

아래는 사용된 모델들의 경로입니다.

기본 SDXL 베이스 모델: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main

SDXL 컨트롤넷: https://huggingface.co/diffusers/controlnet-canny-sdxl-1.0/tree/main

civitai모델:https://civitai.com/models/53858/sxz-texture-bringer-concept

ComfyUI: https://github.com/comfyanonymous/ComfyUI

아마도 대부분 ComfyUI에서 에러가 나실텐데요. 그럴 경우에는 Manager에 들어가셔서 Install  Mission Custon Nodes를 이용하시면 됩니다.

유니티 젠킨스 빌드관련 하여 퇴사하기 전에 인수인계하면서 흔한 빌드 에러에 대해서 정리를 하였습니다.

1. 유니티 허브에서 로그아웃

가장 흔한 문제로 코드 오류도 없고 아무 문제없는데 빌드가 안됩니다.

대체적으로 로그를 보면 초반에 빌드 실패가 되고, 잘 읽어보면 로그인 문제라고 나오긴합니다.

빌드 PC가 재부팅을 하였다든지, 여러 원인으로 인하여 유니티에서 로그아웃이 된 경우 발생하는 흔한 빌드 에러입니다.

유니티 허브를 재로그인하면 아무런 문제 없이 해결이 됩니다.

2. 빌드 PC에 유니티를 켜둔 경우

빌드 PC에서 유니티를 실행하여 코드를 직접적으로 수정하거나 각종 설정을 수정한 후에 그대로 둔 상태로 빌드를 시킨 경우, 그냥 안됩니다.

빌드 PC의 경우 아무것도 유니티가 켜있으면 빌드가 되지 않으니 반드시 작업하고 유니티를 종료하여야 합니다.

3. svn 업데이트 문제

회사마다 사정은 다르겠지만, 대부분 svn을 활용할 것입니다.

저희 같은 경우 svn에서 자동으로 다운로드하여서 자동으로 빌드하고, 그리고 다시 빌드 svn에 커밋을 하는 구조입니다.

svn의 주소가 바뀌거나 아이디가 변경이 되거나 하는 경우도 빌드 에러가 많이 발생합니다.

svn PC의 위치만 바꾸어도 주소가 바뀌기 때문에 꼭 svn 주소를 수정하거나 아이디 비밀번호를 수정해야 합니다.

4. 빌드 PC 용량 이거나 svn 용량 문제

흔하게 발생하는 문제 중 하나가 용량 문제입니다.

빌드 PC는 어찌 되었던 svn에서 수정된 내용만 올라가기 때문에 용량 문제가 크게 발생하지는 않습니다만, svn은 수정될 때마다 백업이 되기 때문에 용량이 계속 쌓입니다. 이런 경우 svn 서버의 용량을 비워줘야 합니다.

그간 백업된 파일을 지우거나, 하드용량을 늘려야겠죠?

5. 코드를 수정했지만, 빌드결과가 같은 경우 - 미치고 환장할 번들문제

제가 젠킨스 빌드 관리할 때 처음에 겪었을 때 제일 골치가 아팠던 부분이었는데, 아무런 에러도 없고 정상적으로 빌드가 되었는데 코드를 아무리 수정해도 에러가 발생하는 경우가 있습니다.

이 경우 다른 코드를 의심하기 시작하여 누구 코드가 잘못된 것이 아니냐? 이러면서 서로를 의심하는 상황이 생기는데 아주 꼴 때리는 상황이 됩니다.

유니티의 어셋번들의 경우 다시 빌드하지 않고 수정된 것만 빌드하는 경우가 많기 때문에 작은 코드 수정을 한 경우 번들을 다시 생성하지 않는 문제가 가끔 있습니다. 그런 경우 번들을 직접 지워줘야 정상 빌드 됩니다.

아니면 분명 코드는 수정했지만, 결과는 똑같이 나올 수 있습니다.

그래서 제가 젠킨스 관리할 때 매일 새벽에 자동 빌드를 하도록 만들어놨는데, 새벽에는 아무도 빌드 PC에 접근하지 않기 때문에 이때 번들을 지우고 전체 빌드를 할 수 있도록 하였습니다.

번들을 지우고 다시 빌드하면  시간이 오래 걸리긴 하지만 정상화됩니다.

대략 기억나는 내용은 이 정도인듯합니다.

예전에 챗지피티가 없을 때는 로그를 하나하나 뒤지는데 아주 미칠 거 같았는데, 지금은 로그를 챗지피티에게 던져주면 대략적으로 알려줍니다. 하지만, 번들 문제는 AI도 못 찾았기 때문에 다양한 각도로 문제점이 무엇인지 봐야 합니다.

이상하게 꼭 클라이언트 미팅이라든지 시현하기 전날 빌드가 안 되는 문제가 발생하는지... 참...

AI Rodin이 얼마나 활용이 가능한지 영상을 만들어 보았습니다.

model 아웃풋이 정교하지는 않지만, 전체적인 형태감이 좋기 때문에 꽤 쓰기 좋다는 생각이 들었습니다.

테스트 모델이나 소규모팀에서 활용하기에 좋다는 생각이 듭니다.

하지만, mesh의 흐름 자체는 엉망이기 때문에 디테일한 모델링을 하려면 토폴로지를 이용하여 모델 구조를 변경하고 재 모델링하여 사용하면 좋습니다.

UV 또한 엉망이라 Render to texture를 이용하면 깔끔하게 UV를 수정이 가능합니다.

모델링을 한번 정제하여 사용해야 하지만 꽤 사용할만 하다고 생각합니다.

로딘 사이트 주소는 https://hyperhuman.deemos.com/rodin 이니  참고하시기 바랍니다.

https://youtu.be/VxUgrDWuq6Y

그리고 Meshy라는 AI 모델링 사이트도 있는데, 이쪽도 꽤 괜찮더군요.

사이트 주소는 https://www.meshy.ai/discover 이렇게 됩니다.

두 사이트 모두 비슷할거라 생각합니다만, 편의성에 따라 선택하면 되지 않을까 싶습니다.