Seedance 2.0에서 캐릭터 얼굴이 계속 바뀌는 이유 — '레퍼런스 과잉'과 '모션 우선순위'의 함정

단순히 사진을 많이 넣는다고 해결되지 않습니다. ID 드리프트를 막고 일관성을 유지하는 실무 설정 전략을 공유합니다.

AI 비디오를 만들다 보면 정말 당혹스러운 순간이 있죠. 분명히 같은 캐릭터 사진을 넣었는데, 샷이 바뀔 때마다 얼굴이 미묘하게, 혹은 완전히 다른 사람으로 변하는 경우 말이에요. 제가 Seedance 2.0을 직접 써보며 관찰한 바로는, 이 모델이 ‘인식 가능한 얼굴 유지’와 ‘생생한 모션 구현’이라는 두 가지 숙제를 동시에 풀려고 애쓰다가, 결국 선택의 기로에서 모션을 선택하는 경향이 있더라고요. 이 과정에서 캐릭터의 정체성이 무너지는 ‘ID 드리프트(Identity Drift)’가 발생합니다 [1].

Seedance 2.0은 모션의 생동감을 위해 캐릭터의 정체성을 어느 정도 희생하는 특성이 있어요. 그래서 단순히 레퍼런스 사진을 많이 넣는다고 해결되지 않습니다. 오히려 단 하나의 강력한 ‘앵커 이미지’를 잡고, 아주 엄격하게 프롬프트로 제약을 걸어줘야만 일관성을 유지할 수 있습니다.

왜 내 캐릭터는 샷마다 다른 사람이 될까?

많은 분이 “사진을 더 많이 넣으면 모델이 더 잘 이해하겠지?”라고 생각하시는데요. 실제로는 그 반대인 경우가 많습니다. 저는 이걸 ‘레퍼런스 과잉의 역설’이라고 부르고 싶네요. 너무 많은 참조 이미지를 제공하면 모델이 오히려 혼란을 느껴 정체성이 희석되어 버리거든요.

여기에 Seedance 2.0만의 독특한 우선순위 문제가 더해집니다. 모델이 역동적인 움직임을 구현하는 데 집중하다 보면, 얼굴의 세부적인 특징들이 뭉개지기 시작해요.

“Seedance 2.0 is juggling two jobs at once: keeping a recognizable face and delivering motion that feels alive. When it has to pick, it often picks motion.” [1]

(Seedance 2.0은 인식 가능한 얼굴 유지와 생생한 모션 구현이라는 두 가지 일을 동시에 수행하는데, 선택해야 할 때는 종종 모션을 선택합니다.)

결국 모델이 “움직임을 멋지게 만드는 게 더 중요해!”라고 판단하는 순간 ID 드리프트가 발생하는 거죠 [1]. 특히 영상의 길이가 길어질수록 이 문제는 심해집니다. 12초가 넘어가면 모델의 ‘기억력’이 떨어지면서 샷 중간에 갑자기 의상이 바뀌거나 외모가 변하는 연속성 오류가 나타나기 시작합니다 [2].

ID 드리프트를 잡는 ‘앵커(Anchor)’ 전략

그렇다면 어떻게 해야 얼굴을 고정할 수 있을까요? 핵심은 모델이 헤매지 않게 ‘기준점(Anchor)’을 확실히 찍어주는 겁니다.

가장 효과적인 방법은 매 생성 시 동일한 얼굴 사진 하나를 @image1으로 고정해서 사용하는 거예요. 여러 장의 사진을 섞기보다, 가장 정체성이 뚜렷한 사진 한 장을 앵커로 잡고 모든 샷에서 이를 참조하게 만드는 거죠 [3].

여기에 텍스트로 쐐기를 박아야 합니다. 그냥 “이 사람을 그려줘”가 아니라, ” @Image X의 정확한 외모를 유지하라(maintain exact appearance from @Image X)”고 명시적으로 지시하는 것이 중요합니다 [4].

한 가지 팁을 더 드리자면, 특정 인물의 이름을 쓰는 것보다 시각적인 특징을 상세히 묘사하는 게 훨씬 유리해요. 이름을 쓰면 콘텐츠 필터링에 걸릴 확률이 높을 뿐 아니라, 모델이 가진 기존 데이터와 충돌해 얼굴이 변할 수 있거든요. 대신 “짙은 갈색 눈동자에 날카로운 턱선을 가진 남성” 식으로 묘사하면 필터링은 피하면서 더 정확한 신호를 줄 수 있습니다 [5].

실제로 적용한다면 이런 식으로 프롬프트를 짜보세요.

# 캐릭터 일관성을 위한 프롬프트 구조 예시
prompt: |
  The person in @image1 walks toward the camera in a slow-motion tracking shot. 
  Maintain exact appearance from @image1, including the specific jawline and eye shape. # 앵커 이미지 명시 및 세부 특징 고정
  Wearing a matte black leather jacket, cinematic lighting, 4k resolution.
  # 이름(예: Tom Cruise) 대신 시각적 묘사 사용으로 필터링 회피 및 정확도 향상

이 설정의 핵심은 @image1이라는 명확한 참조점과 “exact appearance”라는 강한 제약 조건을 함께 주는 것입니다.

품질과 속도의 트레이드오프: ‘워블(Wobble)’의 정체

설정 창에서 ‘Quality’와 ‘Speed’ 사이의 슬라이더를 보셨을 거예요. 무조건 Quality를 높이면 장땡이라고 생각하시는데, 여기서 많은 분이 함정에 빠집니다. 처음부터 고품질로 생성하면, 초기 단계에서 발생하는 미세한 흔들림(wobble)이 그대로 고착되어 버리거든요.

“Moving up too soon just hardens the wobble.” [2]

(너무 빨리 품질을 높이면 흔들림이 그대로 굳어버립니다.)

그래서 저는 ‘저품질 레이아웃 확인 $\rightarrow$ 수정 $\rightarrow$ 품질 상향’ 순의 워크플로우를 추천해요. 초반 2초가 흔들린다면 저품질이나 중품질 단계에서 먼저 잡아야 합니다 [2].

물론 Quality 설정이 텍스처와 얼굴을 안정시키는 효과는 분명히 있습니다. 하지만 프롬프트가 모호한 상태에서 품질만 높이면 오히려 조명 깜빡임(flicker) 같은 현상이 더 과장되어 나타날 수 있어요 [2]. 또한 2K 고해상도 설정에서 프롬프트가 너무 복잡하면 블랙 프레임이 뜨거나 생성이 실패할 수 있으니, 이럴 땐 해상도를 720p로 낮추거나 샷을 짧게 분할하는 게 답입니다 [3].

짚고 넘어갈 한계와 안티패턴

실무에서 제가 정말 많이 본 안타까운 실수들이 몇 가지 있어요.

첫째는 ‘레퍼런스 뭉치기’입니다. 고화질 사진 한 장과 저화질 사진 여러 장을 섞어 넣는 경우인데, 이렇게 하면 모델은 전체적인 품질을 하향 평준화시켜 버립니다. 모든 레퍼런스는 일정한 고품질을 유지해야 해요 [4].

둘째는 “멋지게 만들어줘” 같은 모호한 지시어입니다. AI는 우리의 ‘의도’를 해석하는 게 아니라 ‘지시’를 실행하는 도구예요. 모호한 표현은 모델에게 자의적인 해석 권한을 주는 것이고, 이는 곧 ID 변형으로 이어집니다. 모든 중요한 세부 사항은 명시적으로 적으세요 [4].

셋째는 실명이나 브랜드명을 직접 언급하는 겁니다. 이렇게 하면 콘텐츠 필터가 작동해서 출력이 거부되거나, 필터를 우회하려는 과정에서 품질이 급격히 저하될 수 있습니다 [3, 5].

마지막으로, Seedance 2.0이 Kling 3.0 같은 다른 모델보다 캐릭터 일관성 점수 자체는 조금 낮을 수 있다는 점을 인정해야 합니다 [6]. 하지만 모션의 부드러움과 애니메이션 품질만큼은 확실히 우위에 있죠. 결국 어떤 모델이 ‘최고’냐가 아니라, 내 프로젝트에 ‘어떤 트레이드오프가 적절한가’의 문제입니다.

핵심 요약

캐릭터 변형은 모델의 결함이라기보다 모션 우선순위와 레퍼런스 관리의 문제입니다.
레퍼런스는 ‘다수’보다 ‘정확한 하나’의 앵커 이미지(@image1)에 집중하세요.
ID 드리프트 방지의 핵심은 동일한 앵커 이미지와 “maintain exact appearance” 같은 명시적 명령어의 조합입니다.
영상 길이는 6~8초 내외로 짧게 유지하세요. 12초가 넘어가면 연속성 오류가 발생할 확률이 높습니다 [2].
추천 워크플로우: [저품질 레이아웃 확인] $\rightarrow$ [앵커 이미지 고정] $\rightarrow$ [최종 품질 상향].
프롬프트 작성법: 이름을 언급하는 ‘참조적’ 방식이 아니라, 시각적 특징을 적는 ‘묘사적’ 방식을 사용하세요 [5].
품질 설정은 정답을 만드는 게 아니라, 현재 상태를 ‘고착’시키는 것이라는 점을 명심하세요.

결국 AI 비디오 제작은 모델에게 모든 것을 맡기는 요행이 아니라, 모델이 실수할 틈을 주지 않는 정교한 가이드라인을 설계하는 과정입니다. 도구의 스펙보다 중요한 건, 그 도구를 제어하는 우리들의 디테일한 워크플로우니까요.

참고 자료 (References)

1. [medium.com] Why Your Seedance 2.0 Character Keeps Becoming Someone Else — https://medium.com/@shrutisaagar13/why-your-seedance-2-0-character-keeps-becoming-someone-else-62d7722431f2 2. [wavespeed.ai] Seedance 2.0 Best Settings Guide: Duration, Aspect Ratio, “Quality vs Speed” Tradeoffs — https://wavespeed.ai/blog/posts/blog-seedance-2-0-best-settings 3. [pixverse.ai] Seedance 2.0 Review: Features, Prompts, and Alternatives in 2026 — https://pixverse.ai/en/blog/seedance-2-0-review-prompts-and-use-cases 4. [morphic.com] Seedance 2.0 Complete Guide: Step-by-Step Tutorial — https://morphic.com/resources/how-to/seedance-2-guide 5. [mindstudio.ai] What Is the Seedance 2.0 Content Restriction Problem? How to … — https://www.mindstudio.ai/blog/seedance-2-0-content-restrictions-workarounds 6. [noviai.ai] Seedance 2.0 Review 2026: Real Tests vs Kling 3.0, Veo 3.1 & Sora 2 — https://www.noviai.ai/video-tips/seedance-2-reivew

FAQ

Seedance 2.0에서 캐릭터의 얼굴이 계속 바뀌는 이유는 무엇인가요?

모델이 '인식 가능한 얼굴 유지'보다 '생생한 모션 구현'에 우선순위를 두는 경향이 있기 때문입니다. 이 과정에서 정체성이 무너지는 'ID 드리프트'가 발생하며, 특히 영상 길이가 12초를 넘어가면 연속성 오류가 더 심해집니다.

캐릭터의 일관성을 유지하기 위해 레퍼런스 사진을 많이 넣는 것이 도움이 되나요?

아니요, 오히려 반대입니다. 너무 많은 참조 이미지를 제공하면 모델이 혼란을 느껴 정체성이 희석되는 '레퍼런스 과잉의 역설'이 발생할 수 있습니다. 가장 정체성이 뚜렷한 사진 한 장을 '앵커 이미지'로 고정해 사용하는 것이 더 효과적입니다.

ID 드리프트를 방지하기 위한 구체적인 프롬프트 작성 팁이 있나요?

동일한 앵커 이미지를 `@image1`으로 지정하고, "@Image X의 정확한 외모를 유지하라(maintain exact appearance from @Image X)"와 같이 명시적으로 지시해야 합니다. 또한 인물의 이름 대신 "짙은 갈색 눈동자에 날카로운 턱선을 가진 남성"처럼 시각적 특징을 상세히 묘사하는 것이 필터링을 피하고 정확도를 높이는 방법입니다.

품질(Quality) 설정을 처음부터 높게 잡는 것이 좋은가요?

그렇지 않습니다. 너무 빨리 품질을 높이면 초기 단계의 미세한 흔들림(wobble)이 그대로 고착될 수 있습니다. 따라서 '저품질 레이아웃 확인 및 수정 후 품질 상향' 순의 워크플로우를 추천합니다.

Seedance 2.0 사용 시 피해야 할 '안티패턴'은 무엇인가요?

첫째, 고화질과 저화질 사진을 섞어 넣는 '레퍼런스 뭉치기', 둘째, "멋지게 만들어줘"와 같은 모호한 지시어 사용, 셋째, 콘텐츠 필터링 및 품질 저하를 유발하는 실명이나 브랜드명의 직접 언급을 피해야 합니다.

정보로부자되세요(정.보.부.자)

태그 보관물: 캐릭터일관성

Seedance 2.0에서 캐릭터 얼굴이 계속 바뀌는 이유 — ‘레퍼런스 과잉’과 ‘모션 우선순위’의 함정