AI로 유튜브 쇼츠를 직접 만들다가 — '이건 유료 서비스가 낫겠다'를 인정하기까지

따라 하고 싶은 유튜브 쇼츠가 하나 있었습니다. 저는 제 AI API 키(Gemini/Vertex의 Veo 3.1)로 그 수준을 직접 만들어보려 했어요. 이미지 먼저, 시작+끝 프레임 고정, 프레임 시트 검수까지 — 아는 기법을 다 넣고 실제 돈(₩3,350+)도 썼습니다. 결론부터 말하면 — 그 벤치마크 수준은 Veo 3.1로 아무리 해도 안 나왔고, 결국 "이 정도는 유료 서비스(Higgsfield 같은)가 효율적"임을 인정했어요.

이 글은 그 과정의 노하우를 다 공개합니다 — 무엇을 시도했고, 어디서 막혔고, 왜 유료가 답이라고 결론 냈는지.

한국에서 혼자 서비스 만드는 개발자입니다. 전부 실제로 만들어보고 겪은 것만 씁니다. (Higgsfield로 뭘 만들어 올린 건 아니에요 — 벤치마크 앞에서 자체 제작의 천장을 확인한 이야기입니다.)

1. 첫 번째 벽 — 캐릭터가 자꾸 딴 사람이 됩니다

AI 영상의 가장 큰 문제는 일관성이에요. 컷이 바뀌거나 움직임이 커지면 주인공의 얼굴·옷이 슬쩍슬쩍 바뀝니다. 제가 4컷짜리를 만들었는데, 달릴 땐 멀쩡하다가 점프하는 순간 회색 바지가 검은색으로, 이마의 고글이 빛나는 눈으로 변했어요. 한 영상 안에서 주인공이 "딴 사람"이 된 거죠.

원인은 명확합니다 — 텍스트로 바로 영상을 만들면(text-to-video) AI가 매 컷 캐릭터를 새로 상상하기 때문이에요.

2. 진짜로 통한 방법 — "영상 먼저"가 아니라 "그림 먼저"

시행착오 끝에 찾은 핵심은 두 가지였어요.

• ① 이미지를 먼저 만들고 → 그 이미지를 움직인다. 캐릭터를 마스터 스틸 한 장(저는 Nano Banana 이미지 AI 사용)으로 확정한 뒤, 그 이미지를 움직이면(image-to-video) 훨씬 일관됩니다.
• ② 시작과 끝 프레임을 둘 다 고정한다. 시작 이미지만 주면 AI가 중간을 즉흥으로 채우며 흐트러져요. 끝 이미지도 같은 캐릭터로 만들어 고정하면, AI가 "출발점·도착점"을 알고 그 사이만 채우니 덜 변합니다.

이 두 개를 적용하니 옷·고글이 8초 내내 유지됐어요. 그리고 실패는 ₩80짜리 이미지 단계에서 걸러냅니다 — 영상(₩600+)에서 고치면 비싸니까요.

3. ₩3,350 주고 산 규칙들 — 그래도 남은 벽

4컷 32초 하나를 완주하는 데 총 ₩3,350(스틸 5장 + 영상 4컷)이 들었어요. 컷3·4는 좋았지만 컷1·2는 모핑(붓이 공중에서 사라지고 손이 순간이동)과 점프컷이 나서 보류. 이 돈으로 산 규칙들 —

• i2v 모션은 스틸 포즈의 "한 동작 반경" 안에서만 (책상에 손 얹은 스틸 + 창 미는 모션 = 물리적 비호환 → 모핑)
• 클립당 동작 1개, "ends with 새 요소" 지시 금지 (모델이 자체 점프컷으로 해석)
• 네거티브에 no scene change / cut / transition 추가
• 스틸 QC에 동작 논리(포즈-모션 호환·행인 방향)까지 봐야
• 화면 속 글자 금지 (AI가 아직 글자를 엉터리로 씀 — 자막은 편집으로)
• 검수는 단일 프레임이 아니라 프레임 시트(1초 간격 타일)로 — 모핑·점프컷은 시퀀스로만 보임
• 아이 영상은 아예 안 됨 (구글 AI가 미성년자 영상 생성을 정책상 차단, 우회 불가)

4. 실제로 돌린 5개 에피소드 — 한 번이 아니라 다섯 번

"한 번 해보고 안 되네"가 아니에요. 서로 다른 가설을 하나씩 실측하려고 5개 에피소드를 돌렸습니다. 각각 다른 걸 시험했고, 다 합쳐 ₩13,960을 썼어요.

에피소드	무엇을 실측했나	비용	결과
① 과거시험 POV (30초)	첫 완주 — 스틸→i2v 4컷 조립	₩3,350	컷3·4 OK / 컷1·2 모핑 → 보류
② 애니 실사화 무대 (28초)	벤치마크(애니 직캠) 모방 + 앵커 프레임	₩4,000	룩은 도달 (아래 스틸)
③ 서울 길거리 인터뷰 (8초)	Veo 강점 — 단일 인물 립싱크	₩2,320	Veo가 제일 잘하는 것 확인
④ 애니 OP 지붕 추격	원테이크 추격(연속 스펙터클)	₩2,400	롱테이크 일관성 한계
⑤ 설산 일출 (감성 컷편집)	단일 피사체 감정 클로즈업	₩1,890	프레임 일관 (아래 검수 시트)
합계	5개 구조적 실험	₩13,960	도구의 경계를 지도화

스틸과 룩은 벤치마크급으로 나옵니다. ②번(애니 직캠 모방)은 마스터 스틸을 6번 반복해서 이 룩에 도달했어요 — 불검·물검 이펙트, 발밑 마법진, 불타는 다이쇼 거리, 관객 폰 직캠까지 프롬프트대로:

▲ ②번 마스터 스틸 (Nano Banana). 룩은 이 정도로 나온다 — 문제는 이걸 '움직이는 30초'로 잇는 단계.

그리고 검수는 한 프레임이 아니라 프레임 시트로 봐야 모핑·점프컷이 보여요. ⑤번(설산 일출)은 단일 피사체라 프레임이 일관됩니다 — Veo가 제일 잘하는 영역:

▲ ⑤번 프레임 검수 시트. 위=등산가 감정 클로즈업(프레임 일관), 아래=설산 일출 항공. 단일 피사체·담긴 동작이면 Veo도 잘 나온다.

패턴이 보였어요 — 단일 인물·단일 동작(③⑤)은 잘 나오고, 여러 컷을 벤치마크처럼 일관되게 잇는 순간(①④) 무너집니다. 스틸 한 장(₩80640)은 훌륭한데, 그걸 '움직이는 벤치마크급 30초'로 만드는 반복 비용이 에피소드당 ₩2,0004,000씩 쌓이면서 — 결국 다음 결론에 도달했어요.

5. 벤치마크 앞에서 — Veo 3.1의 천장을 인정하다

여기까지 오면 "AI 영상 되네" 싶은데 — 따라 하려던 유튜브 쇼츠를 다시 보면 격차가 분명했어요. 그 벤치마크는 8~12초 롱테이크로 이어지는 연속 스펙터클(끊김 없는 액션 원테이크)이었는데, Veo 3.1은 8초 클립을 이어붙이는 방식이라 그 "한 호흡의 연속성"이 안 나왔습니다. 아무리 시작+끝 프레임을 물려도 매치가 아니라 근사였어요.

그 "전개형 액션 원테이크"는 Seedance 2.0이나 Gemini Omni 같은 모델의 영역이고, 그게 바로 Higgsfield 같은 유료 서비스가 쓰는 엔진이에요. 제 키(Veo 3.1)로 근사는 되지만, 그 수준을 목표로 한다면 유료 서비스가 압도적으로 효율적입니다. (참고로 Seedance 2.0은 Dreamina·fal 등으로만 접근되고, OpenAI는 영상에서 철수했어요 — 제 3키 안에서 영상은 Veo가 사실상 유일.)

6. 그래서 얻은 것 — 그리고 왜 후회 없나

돈과 시간을 들여 자체 제작의 현실적인 천장을 알게 됐어요. 그 마음가짐은 이랬습니다 —

일단 해본다. 최선(자체 무료 제작)이 안 되면 차선(유료 서비스)을 먼저 쓴다. 단 기술은 계속 발전하니, 모델 지형을 추적하며 기록해두고 나중에 다시 시도한다.

이건 실패가 아니라 현실적인 한계를 산 것이에요. 이제 저는 압니다 —

• 캐릭터 일관성은 이미지 먼저 + 시작·끝 프레임으로 잡는다 (이건 어디서 만들든 유효한 원리)
• 8초 단위 품질은 내 키로도 뽑을 수 있다
• 하지만 한 호흡의 연속 스펙터클은 Seedance 2.0/Gemini Omni 급이 필요하고, 그 수준이 목표면 유료가 답이다
• 영상 AI 모델 지형은 몇 달 단위로 바뀐다 — 오늘의 천장이 내일의 기본이 될 수 있어 계속 추적한다

허상("AI로 뭐든 뚝딱")이 아니라 경계선의 실제 위치를 알게 된 게, ₩3,350과 며칠로 산 가장 값진 것입니다.

다음 글에서는 — 이 모든 시행착오를 거쳐 온 "리엘 챗봇"이 어떻게 성장하고 있는지를 풀어볼게요.