2026년 8월 23일 일요일, 프리미어 프로(Premiere Pro)나 애프터 이펙트(After Effects) 같은 전통적인 영상 편집 툴을 단 한 번도 열지 않고, 텍스트 대본만 입력하면 20분 만에 고품질 모션 그래픽 영상을 자동으로 렌더링하는 시스템이 현실화되었다.

최근 유튜브(영상 링크)에서 공개된 "30일 삽질 끝에 찾은 AI 영상 자동화의 비밀"은 React 기반 코드 렌더링 도구인 Remotion(리모션)과 Claude Code(클로드 코드)를 결합하여 영상 제작을 100% 자동화한 190시간의 치열한 개발 회고를 담고 있다.

단순한 도구 소개를 넘어, 수많은 시행착오(스킬 과다 주입, 8만 장 프레임 과적합, 1,800줄의 마이크로 규칙 충돌) 끝에 "1,800줄의 규칙을 단 5개의 원칙으로 압축하여 AI의 창의성을 폭발시킨 프롬프트 설계의 본질"을 정리해 보았다.

Remotion과 Claude Code의 코드 기반 AI 영상 자동화 아키텍처 다이어그램
▲ Remotion × Claude: 대본에서 영상까지 20분 완성 파이프라인

1. Remotion(리모션) × Claude Code: 코드로 영상을 만드는 마법

많은 사람들이 영상 편집을 마우스로 타임라인을 자르고 자막을 배치하는 시각적 작업으로 생각한다. 하지만 Remotion은 영상을 웹 표준 기술(React, TypeScript, CSS, Canvas) 코드로 표현하고 렌더링하는 도구다.

  • 동작 방식: 텍스트 레이아웃, 도형, 그래프, 스프링 물리 기반 모션 애니메이션을 React 컴포넌트로 작성하면, Remotion CLI가 브라우저 렌더러를 통해 무손실 고화질 MP4 파일로 빌드한다.
  • Claude Code와의 시너지: 사람이 코드를 일일이 짤 필요 없이, 대본을 Claude Code에 전달하면 AI가 대본의 감정과 호흡에 맞춰 React/Remotion 코드를 수십 초 만에 작성한다.

대본만 쓰면 20분 만에 모션 그래픽이 완성되는 구조지만, 이 시스템을 구축하기까지는 30일간 190시간이 넘는 뼈아픈 실패가 있었다.

30일간 겪은 3대 결정적 실패와 교훈: 스킬 과다 주입, 8만 장 과적합, 1800줄 규칙 폭탄
▲ AI 영상 자동화: 3대 실패와 뼈아픈 교훈

2. 30일(190시간) 동안 겪은 3대 결정적 실패와 교훈

1) 실패 1: 무작정 스킬과 베스트 프랙티스 때려박기

  • 과정: Remotion 베스트 프랙티스, 애니메이션 튜토리얼, 차트 그리기, 화면 전환 스킬 등 모든 교재를 Claude에 닥치는 대로 주입함.
  • 결과: 검은 배경 위에 흰 글자만 덩그러니 떠 있는 파워포인트 수준의 조잡한 영상이 출력됨.
  • 교훈: "원칙과 방향성이 없는 스킬 주입은 무용지물이다." 요리사에게 칼 10자루를 쥐여줘도 무엇을 어떤 맛으로 만들지 모르면 요리가 나오지 않는다.

2) 실패 2: 8만 장 프레임 캡처 벤치마킹 (과적합, Overfitting)

  • 과정: 파이널 컷 시퀀스 내보내기로 유명 영상의 10분 분량을 1프레임 단위(총 80,000장 이미지)로 추출해 Claude에 학습시킴. 타이밍, 텍스트 변화, 그래프 등장 패턴을 통째로 벤치마킹함.
  • 결과: 기존 레퍼런스는 기가 막히게 따라 하지만, 새로운 대본을 넣는 순간 정답지에 없는 내용이라며 엉뚱한 조합을 난사함.
  • 교훈: "레퍼런스는 영감을 얻는 도구이지 복사하는 대상이 아니다." 기출문제 답만 외운 학생은 변형 문제를 절대 풀지 못한다.

3) 실패 3: 1,800줄의 세부 규칙(Micro-Rules) 폭탄

  • 과정: 색상 사용 조건, 글자 크기 범위, 금지 사항 30가지 등 A4 50장 분량(1,800줄)의 꼼꼼한 가이드라인을 작성함.
  • 결과: AI가 규칙끼리 상충되어 눈치 보느라 아무런 창의적 연출을 하지 못하고 뻗어버림.
  • 교훈: "규칙이 100개면 AI는 멍청이가 되고, 원칙이 5개면 AI는 창의적이 된다." 운전 교재 1,000페이지를 외우게 하면 핸들을 어느 쪽으로 꺾어야 할지조차 잊어버린다.
인간의 시각적 직관 vs LLM의 텍스트 컴파일 방식 비교 인포그래픽
▲ 본질의 이해: 인간의 눈 vs AI의 텍스트 컴파일

3. 모든 것을 바꾼 한마디: "인간은 한눈에 아는데, 왜 AI는 못 볼까?"

500개가 넘는 파일을 수정하며 실패를 거듭하던 중, 한 가지 근본적인 의문이 떠올랐다.

"사람은 완성된 그림을 보면 '여기가 답답하네', '이 색은 안 어울리네'를 직관적으로 한눈에 아는데, 왜 AI는 이게 안 될까?"

이 질문을 Claude에게 그대로 던졌을 때, AI는 매우 솔직한 진실을 털어놓았다:

"저는 사람처럼 그림을 한 번에 느끼는 게 아닙니다. 글자로 된 지시 사항을 한 줄 한 줄 읽으며 코드를 짜는 텍스트 엔진입니다. 완성된 그림을 머릿속에 상상하고 역으로 만드는 것이 아니라, 주어진 원칙을 순서대로 실행할 뿐입니다."

이 순간 가장 중요한 멘탈 모델의 전환이 일어났다. 지금까지 한 일은 "눈을 감은 사람에게 풍경화를 그리라고 요구한 것"과 같았던 것이다.

1800줄의 규칙을 5대 원칙으로 압축: 엄격한 규칙 vs 창의적 자유의 분리 구조
▲ 5대 원칙 프레임워크: 엄격한 규칙 vs 창의적 자유

4. 1,800줄을 5대 원칙으로: 규칙과 자유의 완벽한 분리

AI가 작동하는 방식을 이해한 뒤, 1,800줄의 족쇄를 모두 버리고 AI와 대화하며 단 5개의 핵심 원칙으로 시스템을 재설계했다.

이 원칙의 핵심은 "꼭 지켜야 할 규칙"과 "자유를 주어야 할 영역"을 명확히 나눈 것이다.

  1. 엄격한 규칙 (Non-Negotiable):
    • 채널의 고유 브랜드 스타일 가이드, TypeScript 컴파일 문법, Remotion 필수 컴포넌트 API는 단 1%의 오차도 없이 엄격하게 준수하도록 규정. (어기면 빌드가 깨지거나 통일감이 무너짐)
  2. 창의적 자유 (Creative Freedom):
    • 각 장면(Scene)을 어떻게 시각화할지, 대본의 감정을 어떤 메타포와 모션으로 표현할지는 AI에게 전적인 자유를 위임.

그 결과, 1,800줄일 때는 검은 화면에 흰 글자만 나오던 시스템이, 5대 원칙으로 줄이자 매 씬마다 전혀 다른 독창적인 모션 그래픽과 시각 연출을 스스로 쏟아내기 시작했다.

5. AI 엔지니어링의 본질: "왜 안 되지?"가 아닌 "어떻게 작동하지?"

이 30일간의 여정은 영상 제작을 넘어, AI를 도구로 다루는 모든 엔지니어와 기획자에게 가장 본질적인 질문을 던진다.

  • AI가 원하는 대로 결과를 내지 못할 때, 우리는 보통 "왜 안 되지? 프롬프트를 더 추가해 볼까? 스킬을 더 넣어볼까?"라며 증상(콧물)만 고치려 든다.
  • 하지만 진짜 던져야 할 질문은 "이 AI는 원래 내부적으로 어떻게 작동하는가?"이다.

인간의 사고방식과 LLM의 작동 원리 사이의 간극을 이해하고, 불필요한 마이크로 규칙 대신 명확한 원칙과 자율성을 부여할 때 비로소 진정한 AI 자동화가 완성된다.