어영부영TA (AI신과함께)

https://www.youtube.com/watch?v=bnfDV-3khtU

아래 스크립트는 만들어진 결과입니다.

이렇게 리셋버튼이 생깁니다.

사용방법은 유니티에 적당한 폴더를 만드시고 드래그하여 스크립트를 넣으시면 됩니다.

세로로 만들어진 이미지를 확장하는 작업을 진행하였습니다.

우측 윗쪽이 포토샵의 결과이며, 아래 쪽은 ComfyUI로 만들어진 결과입니다.

포토샵을 이용하면 훨씬 결과가 더 좋지만, 만일 무료로 ComfyUI를 이용하시려고 한다면 아래 워크 플로우를 다운 받으시면 됩니다.

사용한 체크포인트 모델: https://huggingface.co/misri/juggernautXL_juggXIByRundiffusion/tree/main

빨간색의 비활성화 이미지가 보인다면, 메뉴에서 Missing을 눌러서 추가해주시면 됩니다.

레이어별로 아우트라인을 생성하는 플러그인입니다.

스파인 제작할 때 가이드라인을 사용합니다.

AS는 요청하지 말아주세요 ;;

사용방법:

1. 빈 레이어를 최상단에 만들어주세요.

2. 빈 레이어를 선택합니다.

3. File > Scripts > Browse로 눌러서 스크립트를 실행시키면 됩니다.

참고로 아웃라인의 컬러를 변경하고 싶다면,

var colors = [
    { red: 255, green: 0, blue: 0 },     // 빨간색
    { red: 0, green: 0, blue: 255 },     // 파란색
    { red: 0, green: 100, blue: 0 },     // 초록색
    { red: 255, green: 255, blue: 0 }    // 노란색
];

이부분에서 RGB 값을 변경하시면 됩니다.

ComfyUI를 사용하여 텍스트로 게임 사운드를 제작하는 신선한 툴이 나와서 공유해봅니다.

사용툴: https://github.com/comfyanonymous/ComfyUI
모델 주소: https://huggingface.co/stabilityai/stable-audio-open-1.0
클립 주소: https://huggingface.co/google-t5/t5-base/tree/main

Workflow

https://www.youtube.com/watch?v=NzRJgVYIKls

제작 flow는 아래 json 파일을 받으시면 됩니다.

아래는 사용한 모델 사이트입니다.
Hoseki - LustrousMix [Pony XL]: https://civitai.com/models/534425
Gingira Dot ☆ Star:Hentai Game Art Style: https://civitai.com/models/714039
controlnet-union-sdxl-1.0: https://huggingface.co/xinsir/controlnet-union-sdxl-1.0 

VAE: https://civitai.com/models/140686

kohya_ss의 브렌치 버전이 업데이트되었습니다.

그래서 Flux로 Lora를 만드는 것이 가능해졌습니다.

다만, Flux를 사용하려면 VRAM이 24GB이어야 안정적이 빠르게 사용이 가능합니다.

하지만, config 파일을 수정하여 저처럼 10GB VRAM 사용자도 사용할 수 있게 만들어봤습니다.

RTX 3080 10GB 이하의 저사양 PC는 권장하지는 않습니다만, 불가능하지는 않습니다.

시간이 너무 오래 걸려서 여러 번 테스트해야 하는 문제로 저도 두 번 정도로 진행하고 더이상 진행하지 않았습니다.

아래 파일은 Comfyui에서  GGUF 모델 Flow입니다.

https://www.youtube.com/watch?v=EfoRd0MO4jI

탄지로는 2000스탭으로 진행하였는데, 충분하지 않은거 같더군요.

아래 이미지는 제가 태연 사진을 20장 정도 가지고 3600스탭으로 테스트를 진행해 본 겁니다.
RTX 3080 10GB로 약 12시간가량 학습을 진행하였습니다.
(정말... 오래 걸리더군요. 아무래도 학습은 유료를 사용하는 것이 낫지 않나 생각을 해봅니다.)
학습량이 부족하긴 하지만, 비슷해 보이네요.

ComfyUI에는 VRAM(그래픽카드 램)을 덜 사용하게 하는 옵션이 있습니다.
VRAM을 100% 사용하면 오히려 이미지 생성이 느려지고 역효과적인 부분이 있습니다.
요즘 Flux가 인기라 많이 사용하는데 너무 오래 걸린다는 단점과 VRAM을 100% 사용하기 때문에 다른 작업은 전혀 못한다는 문제점이 있습니다.

--reserve-vram 4.0 옵션을 추가하면 되는데 만일 본인이 사용하는 VRAM이 10GB라면 6GB만 사용합니다.
4.0이라는 숫자가 4기가를 남기고 나머지로 AI를 생성하는 데 사용한다는 의미입니다.

이렇게 VRAM이 여유가 있으면 웹서핑정도는 할 수 있게 됩니다.

아래 이미지처럼  작성하시면 됩니다.

.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build --reserve-vram 4.0
pause

그리고 실행하면 됩니다.

아래는 이미지는 제가 --reserve-vram 2.0 으로 설정한 내용입니다.

전용 GPU 메모리를 7.7GB를 사용하는걸 볼수 있습니다.

https://github.com/comfyanonymous/ComfyUI

위 이미지는 ComfyUI를 이용하여 출력한 텍스쳐 입니다. 적당히 수정하여 사용하면 개발에 도움이 될거라 생각이 듭니다.

제가 영상으로 다루겠지만, 아래에  이미지를 다운받으셔서 ComfyUI에 드래그 하여 넣으시면 제가 만든 노드로 출력이 가능합니다.
추가적으로 Json 파일로 첨부합니다. Load하여 사용하시면 됩니다.

아래는 사용된 모델들의 경로입니다.

기본 SDXL 베이스 모델: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main

SDXL 컨트롤넷: https://huggingface.co/diffusers/controlnet-canny-sdxl-1.0/tree/main

civitai모델:https://civitai.com/models/53858/sxz-texture-bringer-concept

ComfyUI: https://github.com/comfyanonymous/ComfyUI

아마도 대부분 ComfyUI에서 에러가 나실텐데요. 그럴 경우에는 Manager에 들어가셔서 Install  Mission Custon Nodes를 이용하시면 됩니다.

유니티 젠킨스 빌드관련 하여 퇴사하기 전에 인수인계하면서 흔한 빌드 에러에 대해서 정리를 하였습니다.

1. 유니티 허브에서 로그아웃

가장 흔한 문제로 코드 오류도 없고 아무 문제없는데 빌드가 안됩니다.

대체적으로 로그를 보면 초반에 빌드 실패가 되고, 잘 읽어보면 로그인 문제라고 나오긴합니다.

빌드 PC가 재부팅을 하였다든지, 여러 원인으로 인하여 유니티에서 로그아웃이 된 경우 발생하는 흔한 빌드 에러입니다.

유니티 허브를 재로그인하면 아무런 문제 없이 해결이 됩니다.

2. 빌드 PC에 유니티를 켜둔 경우

빌드 PC에서 유니티를 실행하여 코드를 직접적으로 수정하거나 각종 설정을 수정한 후에 그대로 둔 상태로 빌드를 시킨 경우, 그냥 안됩니다.

빌드 PC의 경우 아무것도 유니티가 켜있으면 빌드가 되지 않으니 반드시 작업하고 유니티를 종료하여야 합니다.

3. svn 업데이트 문제

회사마다 사정은 다르겠지만, 대부분 svn을 활용할 것입니다.

저희 같은 경우 svn에서 자동으로 다운로드하여서 자동으로 빌드하고, 그리고 다시 빌드 svn에 커밋을 하는 구조입니다.

svn의 주소가 바뀌거나 아이디가 변경이 되거나 하는 경우도 빌드 에러가 많이 발생합니다.

svn PC의 위치만 바꾸어도 주소가 바뀌기 때문에 꼭 svn 주소를 수정하거나 아이디 비밀번호를 수정해야 합니다.

4. 빌드 PC 용량 이거나 svn 용량 문제

흔하게 발생하는 문제 중 하나가 용량 문제입니다.

빌드 PC는 어찌 되었던 svn에서 수정된 내용만 올라가기 때문에 용량 문제가 크게 발생하지는 않습니다만, svn은 수정될 때마다 백업이 되기 때문에 용량이 계속 쌓입니다. 이런 경우 svn 서버의 용량을 비워줘야 합니다.

그간 백업된 파일을 지우거나, 하드용량을 늘려야겠죠?

5. 코드를 수정했지만, 빌드결과가 같은 경우 - 미치고 환장할 번들문제

제가 젠킨스 빌드 관리할 때 처음에 겪었을 때 제일 골치가 아팠던 부분이었는데, 아무런 에러도 없고 정상적으로 빌드가 되었는데 코드를 아무리 수정해도 에러가 발생하는 경우가 있습니다.

이 경우 다른 코드를 의심하기 시작하여 누구 코드가 잘못된 것이 아니냐? 이러면서 서로를 의심하는 상황이 생기는데 아주 꼴 때리는 상황이 됩니다.

유니티의 어셋번들의 경우 다시 빌드하지 않고 수정된 것만 빌드하는 경우가 많기 때문에 작은 코드 수정을 한 경우 번들을 다시 생성하지 않는 문제가 가끔 있습니다. 그런 경우 번들을 직접 지워줘야 정상 빌드 됩니다.

아니면 분명 코드는 수정했지만, 결과는 똑같이 나올 수 있습니다.

그래서 제가 젠킨스 관리할 때 매일 새벽에 자동 빌드를 하도록 만들어놨는데, 새벽에는 아무도 빌드 PC에 접근하지 않기 때문에 이때 번들을 지우고 전체 빌드를 할 수 있도록 하였습니다.

번들을 지우고 다시 빌드하면  시간이 오래 걸리긴 하지만 정상화됩니다.

대략 기억나는 내용은 이 정도인듯합니다.

예전에 챗지피티가 없을 때는 로그를 하나하나 뒤지는데 아주 미칠 거 같았는데, 지금은 로그를 챗지피티에게 던져주면 대략적으로 알려줍니다. 하지만, 번들 문제는 AI도 못 찾았기 때문에 다양한 각도로 문제점이 무엇인지 봐야 합니다.

이상하게 꼭 클라이언트 미팅이라든지 시현하기 전날 빌드가 안 되는 문제가 발생하는지... 참...

AI Rodin이 얼마나 활용이 가능한지 영상을 만들어 보았습니다.

model 아웃풋이 정교하지는 않지만, 전체적인 형태감이 좋기 때문에 꽤 쓰기 좋다는 생각이 들었습니다.

테스트 모델이나 소규모팀에서 활용하기에 좋다는 생각이 듭니다.

하지만, mesh의 흐름 자체는 엉망이기 때문에 디테일한 모델링을 하려면 토폴로지를 이용하여 모델 구조를 변경하고 재 모델링하여 사용하면 좋습니다.

UV 또한 엉망이라 Render to texture를 이용하면 깔끔하게 UV를 수정이 가능합니다.

모델링을 한번 정제하여 사용해야 하지만 꽤 사용할만 하다고 생각합니다.

로딘 사이트 주소는 https://hyperhuman.deemos.com/rodin 이니  참고하시기 바랍니다.

https://youtu.be/VxUgrDWuq6Y

그리고 Meshy라는 AI 모델링 사이트도 있는데, 이쪽도 꽤 괜찮더군요.

사이트 주소는 https://www.meshy.ai/discover 이렇게 됩니다.

두 사이트 모두 비슷할거라 생각합니다만, 편의성에 따라 선택하면 되지 않을까 싶습니다.

Lora 기본 설정

https://youtu.be/brJr2NdFh40

빨간색 부분만 수정하셔서 사용하시면 됩니다.
이미지 50장 폴더이름은 20_XXXX로 하시면 되는데, 그 이상도 상관없으며 과적합이 되지 않도록만 하시면 됩니다.

파란색은 선택사항입니다.(넣는 경우 효과가 좋다고 하는데, 아닌 경우도 있습니다.)
유명인물의 경우 Instance prompt에 " Tom Jeffrey Hanks"라고 넣어서 하는게 효과적이고 캡션에도 포함되어야 합니다.
Class prompt는 person이라고 하면 됩니다.
 그림체나 스타일인 경우에는 비워두시는게 저는 효과적인거 같습니다.

Keep n tokens는 인물인 경우 1로 놓고 이름 정해서 사용하면 됩니다. 그림체를 학습할 경우 0이 효과적입니다.
Clip skip은 모델에 따라 다르긴 한데, 확신이 없기 때문에 1과 12를 설정하고 각각 결과를 보고 선택하는것이 좋습니다.
영상에서 설명했지만, 실사는 1 만화체는 2가 좋다고 합니다만, 노벨모델이 아니라면 의미가 없다고 봅니다.

Stable diffusion에 대한 동영상 가이드를 만들고 있습니다.

https://www.youtube.com/watch?v=vv52GrT6Bjc

https://www.youtube.com/watch?v=OdYWGL2qreM

https://www.youtube.com/watch?v=bb6v1ynImfE

https://www.youtube.com/watch?v=T2nIEzNAAWo

https://www.youtube.com/watch?v=Gc2MWI8a55I

여러 가지 문제를 해결하기 위해서 개발하면서 아트 쪽 이슈를 해결하기 위해서 이것저것 툴을 계속 만들다 보니 어느새 꽤 많이 쌓였군요.

이번에 애니메이션쪽 이벤트관련하여 너무 많은 리소스가 있어서 불필요한 이벤트를 삭제해야 하는데, 일일이 손으로 할려니 놓치는 것이 꽤 많더군요.

불필요한 이벤트를 애니메이션에서 삭제할 수 있도록 검색하는 툴을 오랜만에 추가했습니다.

ChatGPT를 이용하니 1시간도 안걸리는군요.

예전 같으면 하루종일 구글 뒤적거리면서 코드 짜는데 이틀은 걸렸을 텐데...

Stable Diffusion으로 다양한 학습 방법을 시도하였고, 원하는 스타일로 안착이 되었습니다.

다른것보다 학습시키는 시간이 인내의 시간이었네요. 학습 방법에 대한 가이드가 많지 않고 정해져있는 방식이 아니다보니, 100번도 넘게 재학습 시키고 테스트했던거 같습니다.

몇 달간 계속 Stable Diffusion을 공부하였습니다.

미션은 내부 원화를 AI 제작을 하도록 하는 미션이었습니다.

이게 제대로 된 로직을 찾기가 참 쉽지 않더군요.

아마도 현재 학습에 성공하신 분들은 아시겠지만, 이게 케이스바이케이스고 결국 노우하우일 수밖에 없다는 생각이 들더군요.

수차례에 실험을 반복해야 하고 끈기와 시간이 필요한 작업이었습니다.

아래는 저희가 목표로 하는 원화 스타일이었습니다.

아래는 중간과정인데, 얼추 비슷한 느낌이 들었지만 원화와는 목표했던 바와는 다르다는 느낌이더군요.

아래는 현재 여러방식을 사용해 낸 결과입니다. 나름 안착을 한듯합니다.

Stable Diffusion에 각종 에러와 버전과 정말 온갖 고충이 있던 거 같습니다.

어찌 되었던 결과에 다다르고 있어서 나름 만족스러운거 같습니다.

PC 기반의 게임을 모바일로 옮기고 있습니다.
HDRP는 아직 모바일이 지원되지 않아 URP로 셰이더를 변경을 하고 있는 중입니다.
최대한 HDRP의 느낌을 살리려고 하고 있어서 비교샷을 한번 준비해 봤습니다.
진행중긴 한데, HDRP가 그림자의 깊이감과 전반적인 컬러감이 좋습니다.

회사에서 기존 게임을 웹으로 개발이 가능한지 문의하였습니다.

저의 5년 전 기억으로는 포퍼먼스 문제가 많아 그리 녹녹하지 않았던 기억이라 일단은 좋지 않을 거라고 이야기는 했습니다.

그리고 다시 한번 WebGL이 어느정도 발전되었는지 알아보았습니다.

1년 전쯤에 WebGPU라는 새로운 API가 나왔고  WebGL의 후속 모델이고 많은 그래픽적인 향상이 있었던 거습니다.

웹게임은 일단 단독으로 실행이 되는 런처가 아니라 웹브라우저를 기반으로 사용하는 거라 제약적인 부분이 많이 있다고 알고 있습니다.  그래서 메모리를 얼마나 효과적으로 쓰느냐가 관건인 걸로 기억합니다.

웹 게임을 좀 찾아보았는데, 꽤 퀄리티 있게 만든 게임이 있더군요.

https://miniroyale.io/ 

제가 처음에 개발했을 때는 모바일게임의 초창기 모습이랑 비슷하였는데, 지금은 좀 더 진전이 있는 거 같아 보입니다.

크롬 브라우저도 WebGPU를 지원한다고 했으니, 조만간 웹 3D게임에 큰 발전이 있을 거 같은 생각이 드네요.

그리고 유니티도 2023 이후 버전에 WebGPU를 넣을 생각인듯합니다.

Reflection Probes를 사용하는 이유는 캐릭터 같은 동적인 오브젝트가 반사를 사용이 필요할때 사용하는데, 이것이 중요한 게임이 있을 수 있습니다.

모바일에서는 필요하지 않다면 쓸 이유는 없어 보이는군요.

HDRP개발된 게임을 모바일 서비스를 준비하기 위해서 URP로 컨버팅 작업을 진행하고 있었습니다.

처음에는 유니티 HDRP에서 Vulkan이 지원한다기에 요즘 모바일 기기에서는 Vulkan이 지원되기 때문에 Vulkan을 이용하여 HDRP를 그대로 모바일로 컨버팅을 시도했는데, 실제 Vulkan으로 하면 "지원하지 않습니다."라고 나옵니다.

Vulkan이 나온 지 10년이 가까이 되고 있는데, 아직까지는 모바일게임에 쓰는 데는 어려움이 있나 봅니다.

결국 포기하고 URP로 컨버팅을 하고 있습니다. 그래도 예전 유니티버전에 비해서 편리한 점이 셰이더가 HDRP에서 URP로 컨버팅이 비교적 쉽기 때문에 일부 설정만 좀 수정하면 무리 없이 변경이 가능해서 그리 어려움은 없는 거 같습니다.

하지만, 게임이 개발된 베이스가 HDRP다 보니 HDRP관련 코드가 게임 안에 많이 존재하여 이 부분은 클라이언트 지원을 받아서 진행하고 있습니다. 카메라 스크립트에서 HDRP 관련 오류가 많아 작업이 좀 지연되고 있습니다.

게임은 런칭이 되었고, 뭐 그럭저럭 진행되고 있습니다.

라이브라 그래픽 업무는 다소 줄어들었습니다. 아울러 TA 업무가 많이 줄어든 게 느껴집니다.

이미 해결할일들은 대부분 해결하였기 때문일 겁니다.

TA가 라이브에 바쁘다는 건 큰 문제가 발생한 것일 겁니다.

그래서 버그를 열심히 찾고 있습니다. 계속 인지하고 있지만, 아무도 원인을 못찾고 있는 치명적이진 않으나 가끔 나타나는 문제가 있습니다. 순간적으로 UI를 제외한 모든 오브젝트가 안보이는 상황이 발생하였는데, 정확한 원인을 못밝혔습니다.

엄밀말하면, 클라쪽에서 봐야할 문제로 여겨지는데 비교적 여유로운 제가 보고 있습니다.

UI만 보인다는건 카메라가 오브젝트를 그리지 못하거나, 무언가 가려졌다는 뜻인데...아무리 봐도 UI에서 설정한 Fade될때 까맣게 되는 설정문제인거 같은데... 확실한 증거를 못찾았습니다.

코드에도 이게 호출되는건 처음 한번이라 다시 호출될일이 없습니다.

그래서 일단 Fade라는 놈이 발생될때 로그가 남도록 코드를 넣어놨는데... 안나오는군요... 워낙 불규칙하게 나왔던 문제라... 

이문제는 해결하였습니다.

알고보니 유니티 버그였습니다. 포스트프로세싱에 Bloom이 어떠한 여향인지 알 수는 없지만, 이것이 알 수 없는 원인으로 불규칙하게 모든 오브젝트를 그리지 않게 만드는 원인이 있었습니다.

퀄리티에 영향을 주는 부분이라 끄고 싶지 않았지만, 플레이에 영향을 주기 때문에 어쩔수 없이 모든 스테이지에  비활성화 처리하였습니다.