AI 사진 복원은 '복원'이 아니라 '상상'입니다 — 할루시네이션이 만드는 가짜 기억

편리한 원클릭 복원 도구들이 어떻게 원본의 정체성을 지우고 그럴듯한 가짜 얼굴을 만들어내는지 분석합니다.

요즘 AI 복원 툴들을 보면 정말 무서울 정도로 성능이 좋죠. 낡고 찢어진 사진을 올리고 버튼 하나만 누르면, 순식간에 잡티가 사라지고 흐릿했던 얼굴이 선명해집니다. 그런데 여기서 우리가 놓치고 있는 사실이 하나 있어요. AI는 사실 잃어버린 픽셀을 ‘찾아내는’ 게 아니라, 원본에 없던 새로운 얼굴 특징을 ‘환각(hallucinating)’해서 만들어내는 경향이 있다는 점입니다 [1].

쉽게 말해, 지금의 AI 사진 복원은 픽셀을 회복하는 작업이라기보다 학습된 데이터를 기반으로 한 ‘추측’과 ‘생성’에 가깝습니다. 이건 단순히 화질을 높이는 문제를 넘어, 역사적 사실과 개인의 정체성을 왜곡하는 위험한 할루시네이션을 초래할 수 있어요.

우리가 ‘복원’이라고 믿었던 것의 정체

우리는 보통 ‘복원’이라고 하면 손상된 부분을 걷어내고 원래 있던 모습을 되찾는 ‘수리(Repair)’를 생각합니다. 하지만 AI의 방식은 완전히 달라요. 딥러닝을 통해 수백만 장의 사진을 학습한 뒤, “이런 구도와 형태라면 여기에 이런 픽셀이 있어야 할 확률이 높겠지?”라고 예측하는 식이죠.

즉, 손상된 픽셀을 복구하는 게 아니라 주변 맥락을 보고 가장 그럴듯한 픽셀을 채워 넣는 ‘생성적 접근’을 취하는 겁니다. 우리가 결과물을 보고 “와, 진짜 복원됐다!”라고 느끼는 이유는 그 결과물이 실제 원본과 같아서가 아니라, 우리 눈에 ‘그럴듯해(plausible)’ 보이기 때문이에요.

“Do these tools really restore photographs, or do they simply create something new that looks plausible?” [2]

(이 도구들이 정말 사진을 복원하는 것일까요, 아니면 그저 그럴듯해 보이는 새로운 무언가를 만드는 것일까요?)

실제로 AI 컬러라이제이션(흑백 사진 채색)의 경우, 당시의 역사적 사실을 반영하는 게 아니라 학습 데이터의 평균값에 기반해 색상을 ‘추측’합니다 [1]. 모델 자체가 텍스처를 자동으로 재구성하고 세부 사항을 날카롭게 만들도록 훈련되었기 때문에, 원본의 느낌보다는 AI가 생각하는 ‘이상적인 선명함’을 강요하게 되는 거죠 [3].

치명적인 함정: ‘그럴듯한’ 가짜의 탄생

여기서 진짜 문제가 발생합니다. 바로 ‘그럴듯한 가짜’가 만들어진다는 거예요. 특히 얼굴 복원에서 이런 현상이 심한데, 원본 사진에는 없던 이목구비의 특징을 AI가 임의로 생성하는 ‘얼굴 환각’ 현상이 나타납니다. 결과적으로 사진 속 인물이 실제 모습과는 조금 다른, 낯선 사람처럼 변해버릴 수 있습니다 [1].

피부 표현도 마찬가지예요. AI는 노이즈를 제거하고 매끄럽게 만드는 데 집중하다 보니, 실제 사람의 피부 질감 대신 마치 플라스틱 인형 같은 인위적인 느낌을 줍니다. 필름 사진 특유의 입자감(그레인)이 완전히 사라지면서 생기는 현상이죠 [1].

더 심각한 건 역사적 기록물일 때입니다. 제복의 정확한 색상이나 당시 사용된 염료의 특성 같은 고증은 AI에게 중요하지 않거든요. AI는 그저 시각적으로 보기 좋은 색상을 임의로 지정할 뿐입니다. 우리가 AI가 칠해준 색상을 그대로 믿는 순간, 기록으로서의 사진은 가치를 잃고 ‘AI가 그린 그림’이 되어버립니다.

AI vs 전문가: 픽셀의 보존과 생성의 차이

“그냥 AI 쓰면 되는 거 아냐?”라고 생각하실 수도 있습니다. 물론 속도와 비용 면에서는 AI가 압도적이죠. 하지만 ‘진실성’과 ‘정확성’이 중요하다면 이야기가 달라집니다.

전문가의 수동 복원은 기본적으로 ‘보존적 방식’입니다. 아카이브 조사를 통해 당시의 제복 색상이나 시대적 배경을 연구해 역사적 정확성을 확보하고, 원본 픽셀을 최대한 살리며 수동으로 클리닝하고 스티칭합니다 [1]. 반면 AI는 원본 위에 새로운 데이터를 덮어쓰는 ‘파괴적 방식’에 가깝습니다.

GIMP 같은 수동 도구를 사용하면 시간은 훨씬 오래 걸리지만, 모든 수정 결정권을 사용자가 갖게 됩니다. 덕분에 AI가 멋대로 상상해서 그려 넣은 가짜 눈코입이 아니라, 실제 인물의 흔적을 보존한 더 나은 결과를 낼 수 있습니다 [4].

짚고 넘어갈 한계와 안티패턴

물론 모든 사람이 역사적 고증에 집착하는 건 아닙니다. 어떤 분들은 정확성보다는 그냥 눈에 확 띄는 극적인 시각적 개선(Dramatic results)을 더 선호하시기도 해요 [2]. 전문가에게 맡기는 비용과 시간이 일반 사용자에게는 너무나 큰 부담이라는 현실적인 한계도 분명히 존재하고요 [1].

그럼에도 불구하고, 우리가 절대 하지 말아야 할 ‘안티패턴’ 세 가지만 짚어볼게요.

1. 원본 백업 없이 ‘원클릭’ 결과물을 최종본으로 확정 짓는 것: 나중에 AI가 왜곡한 부분을 발견해도 되돌릴 수 없게 됩니다. 2. 고증 없이 AI가 칠해준 색상을 ‘사실’이라고 믿고 기록하는 것: 기록의 가치를 스스로 훼손하는 일입니다. 3. 심하게 유실된 사진을 AI만으로 해결하려는 욕심: 자동화 도구는 심각한 손상을 완전히 복구할 수 없으며, 억지로 채우려다 형체를 완전히 왜곡시키는 경우가 많습니다 [2].

핵심요약

그렇다면 AI를 어떻게 써야 할까요? 제가 추천하는 가이드라인입니다.

용도에 따라 도구를 나누세요. 단순한 페이딩 제거나 가벼운 스크래치 보정은 AI가 효율적입니다. 하지만 얼굴의 정체성이나 역사적 고증이 중요하다면 반드시 수동 작업을 병행하세요.
보존 옵션을 활용하세요. 예를 들어 LetsEnhance의 ‘Authentic mode’ 같은 옵션은 AI의 생성 개입을 줄여 원본 특성을 더 많이 보존해 줍니다 [3].
AI 결과물은 ‘초안’일 뿐입니다. AI가 만들어준 이미지를 정답으로 보지 말고, 이를 바탕으로 Clone Stamp나 Healing tool 같은 수동 리터칭 도구를 사용해 세밀하게 조정하는 워크플로우를 가지세요.
대량 작업에만 AI 전용 복원을 쓰세요. 개인적인 용도로 빠르게 훑어봐야 하는 많은 양의 사진이 아니라면, 소중한 사진 한 장에는 시간을 더 투자하는 것이 맞습니다 [4].

핵심 요약

AI 복원은 ‘복구’가 아니라 학습 데이터 기반의 ‘재창조’다.
얼굴 복원 시 발생하는 할루시네이션은 피사체의 정체성을 훼손할 수 있다.
역사적 정확성이 중요하다면 AI의 색상 추측을 맹신하지 마라.
최상의 결과는 AI의 효율성과 인간의 세밀한 수동 편집이 결합될 때 나온다.
원본 픽셀을 보존하는 ‘보존적 접근’과 덮어쓰는 ‘생성적 접근’의 차이를 인지하라.

기술이 주는 편리함은 정말 달콤합니다. 하지만 그 편리함이 때로는 우리가 꼭 기억해야 할 ‘진실된 흔적’마저 지워버리고 있는 건 아닌지 생각해보게 되네요. 결국 복원의 본질은 ‘더 예쁘게 만드는 것’이 아니라 ‘더 진실되게 남기는 것’이니까요.

참고 자료 (References)

1. [image-restore.co.uk] AI vs Professional Photo Restoration: The 5 Flaws — https://image-restore.co.uk/blog/ai-vs-professional-photo-restoration 2. [lenscraft.co.uk] Restore Old Photos: A Photographer’s Review of AI Restoration Tools — https://lenscraft.co.uk/photography-blog/restore-old-photos 3. [letsenhance.io] Best 4 AI photo restoration tools: 2025 LetsEnhance guide — https://letsenhance.io/blog/all/best-4-photo-restoration-tools 4. [aiphotogenerator.net] 10 Best Photo Restoration Software Picks in 2026 — https://www.aiphotogenerator.net/blog/2026/02/best-photo-restoration-software-2026

FAQ

AI 사진 복원이 실제로는 '복원'이 아니라 '상상'이라고 하는 이유는 무엇인가요?

AI는 손상된 픽셀을 실제로 찾아내어 회복하는 것이 아니라, 학습된 데이터를 기반으로 주변 맥락을 분석해 가장 그럴듯한 픽셀을 예측하여 채워 넣는 '생성적 접근' 방식을 사용하기 때문입니다.

AI로 얼굴 사진을 복원할 때 발생할 수 있는 문제는 무엇인가요?

AI가 원본에 없던 이목구비 특징을 임의로 만들어내는 '얼굴 환각' 현상이 나타나 인물이 실제 모습과 다른 낯선 사람처럼 변할 수 있으며, 피부 질감이 플라스틱 인형처럼 인위적으로 변할 수 있습니다.

AI 채색(컬러라이제이션) 결과물을 그대로 믿어도 될까요?

아니요. AI는 역사적 사실이나 고증을 반영하는 것이 아니라 학습 데이터의 평균값에 기반해 색상을 추측하여 지정하므로, 기록으로서의 가치를 훼손할 수 있습니다.

전문가의 수동 복원과 AI 복원의 가장 큰 차이점은 무엇인가요?

전문가의 수동 복원은 아카이브 조사와 연구를 통해 역사적 정확성을 확보하고 원본 픽셀을 최대한 살리는 '보존적 방식'인 반면, AI 복원은 원본 위에 새로운 데이터를 덮어쓰는 '파괴적 방식'에 가깝습니다.

AI 사진 복원 도구를 사용할 때 주의해야 할 '안티패턴'은 무엇인가요?

첫째, 원본 백업 없이 원클릭 결과물을 최종본으로 확정 짓는 것, 둘째, 고증 없이 AI가 칠한 색상을 사실로 믿는 것, 셋째, 심하게 유실된 사진을 AI만으로 해결하려 하여 형체를 왜곡시키는 것입니다.

정보로부자되세요(정.보.부.자)

태그 보관물: AI사진복원

AI 사진 복원은 ‘복원’이 아니라 ‘상상’입니다 — 할루시네이션이 만드는 가짜 기억