comfyUI 이미지로 영상 생성

comfyUI 이것저것 해보다가 영상 생성도 찍먹을 해봤습니다

영상 제작하는 방법이 크게 세가지가 있는데 WAN, LTXV, Hunyuan 이렇게 세가지가 있더라고요

이 영상을 보고 한 번 해볼까? 해서 시작을 했는데 이건 영상 인페인팅 관련이더라고요

영상 캐릭터의 의상을 교체 해봤는데 준비 작업을 좀 해줘야하긴 하지만 어느정도 잘 되긴 합니다

물론 좀 어색한 것도 있고 프롬프트가 잘 맞아야 잘 뽑히더라고요

하지만 이미지를 영상으로 바꾸는 게 궁금해서

이 영상의 LTXV를 이용해서 생성을 해봤습니다

위 영상은 Ollama랑 연결해서 프롬프트까지 짜주는 거긴 한데 그 부분 없이 이미지만 영상으로 바꿔봤습니다

이것도 어느정도 뽑히긴 하는데 프롬프트 영향이 크더라고요

퀄 좋고 쓸만한 영상을 뽑으려면 많이 깎아야 뭔가 건질 수 있을 거 같네요

위의 것들 해보려고 관련자료 찾다가

Hunyuan Image2Video: Day-1 Support in ComfyUI!

comfyUI 블로그에서 이 글을 보고 생성 해봤는데 이거 좋네요

맨 위의 워크플로우가 Hunyuan인데 프롬프트 없이 이미지만 넣어도 잘 뽑히더라고요

어차피 공들여서 깎을 생각이 없었고 찍먹이라 이게 저한테는 딱인 거 같습니다

프롬프트도 대충 넣어보면 잘 작동 하더라고요

WAN이나 LTXV도 계속 업데이트 되고 있습니다

모든 영상을 첫 프레임의 원본 사진만 넣고 프롬프트 없이 생성을 해봤는데 결과물이 나쁘지 않더라고요

5070ti로 2초 영상 뽑는데 2분30초 정도 걸리더라고요

어차피 와 이런 것도 되는구나 하는 찍먹용이라 그냥 2초 짜리로 테스트 해봤는데

프롬프트 잘 짜고 해상도 좀 올리고 퀄 올리는 작업도 좀 붙이고 잘못 나온 부분이나 맘에 안드는 부분은 인페인팅으로 바꿔주고 하면

쓸만한 영상들을 뽑을 수 있겠지만 딱히 생각나는 게 없어서 이런 자잘한 영상이나 가끔 만들어 볼 거 같습니다

신기한게 많아서 자꾸 이것저것 해보게 되네요