객체 탐지기로는 불가능했던 균열 찾기: DINOv2 임베딩의 반전

정해진 정답(Label)이 없는 인프라 노후화 진단 문제를 해결하기 위해, Meta의 DINOv2 자기지도학습 모델을 활용해 이상 징후를 포착하는 혁신적인 접근법을 분석합니다.

현장의 엔지니어들이 겪는 가장 큰 고충 중 하나는 ‘정의하기 어려운 결함’을 찾는 것입니다. 교량의 미세한 균열, 댐의 표면 박리, 도로의 마모 상태 같은 인프라 노후화 징후들은 정형화되어 있지 않습니다. 우리는 흔히 YOLO나 Faster R-CNN 같은 객체 탐지(Object Detection) 모델을 떠올리지만, 정작 실무에 적용하면 처참한 결과가 나오곤 합니다. 왜일까요? 객체 탐지 모델은 ‘정확히 무엇이 어디에 있는지’를 알려주는 박스(Bounding Box) 데이터가 필요하기 때문입니다.

하지만 현실의 노후화는 ‘박스’로 칠 수 있는 명확한 형태가 아닙니다. 서서히 번지는 얼룩, 불규칙하게 뻗어 나가는 실금, 주변 환경과 미묘하게 다른 색조의 변화 등은 데이터셋으로 구축하기에 너무나 방대하고 가변적입니다. 수만 장의 사진에 일일이 라벨링을 하는 것은 불가능에 가깝고, 설령 그렇게 하더라도 학습 데이터에 없던 새로운 형태의 부식이나 균열이 나타나면 모델은 이를 완전히 무시합니다. 이것이 바로 전통적인 지도 학습 기반의 객체 탐지기가 인프라 진단에서 한계를 드러내는 결정적인 이유입니다.

정답지 없이 학습하는 DINOv2의 마법

이러한 한계를 돌파하기 위해 등장한 것이 바로 Meta의 DINOv2입니다. DINOv2는 ‘자기지도학습(Self-Supervised Learning)’ 방식을 채택합니다. 사람이 정답을 알려주는 대신, 모델 스스로 이미지의 특징을 파악하여 고차원적인 벡터 값, 즉 ‘임베딩(Embedding)’으로 변환하는 능력을 키운 모델입니다. 쉽게 말해, 무엇이 ‘균열’인지 배우는 것이 아니라, ‘정상적인 콘크리트 표면은 어떻게 생겼는가’를 깊게 이해하는 방식입니다.

DINOv2가 생성하는 임베딩은 이미지의 시각적 특징을 매우 정밀하게 보존합니다. 동일한 재질의 정상적인 표면들은 임베딩 공간에서 서로 가깝게 뭉치게 되며, 여기서 벗어난 특이한 패턴(노후화, 균열, 파손)은 공간상에서 멀리 떨어진 ‘이상치(Outlier)’로 나타납니다. 우리는 이제 ‘균열을 찾아라’라고 명령하는 대신, ‘정상 범위에서 벗어난 지점을 찾아라’라는 전략으로 접근할 수 있게 된 것입니다.

기술적 구현: 픽셀에서 벡터 공간으로

DINOv2를 활용한 인프라 노후화 탐지의 핵심 프로세스는 다음과 같습니다. 먼저, 대상 구조물의 정상 상태 이미지들을 수집하여 DINOv2 모델에 통과시킵니다. 모델은 각 이미지 패치(Patch)별로 고차원 벡터를 생성하며, 우리는 이 벡터들의 평균과 분산을 계산해 ‘정상 상태의 기준점(Baseline)’을 설정합니다.

새로운 점검 이미지가 들어오면, 동일한 과정을 거쳐 임베딩을 추출한 뒤 기준점과의 거리(Cosine Similarity 또는 Euclidean Distance)를 측정합니다. 거리가 멀수록 해당 영역은 정상적인 상태에서 벗어난 ‘열화’ 상태일 가능성이 높습니다. 이 방식의 놀라운 점은 모델을 추가로 학습(Fine-tuning)시키지 않고도, 사전 학습된(Pre-trained) 가중치만으로도 매우 정교한 이상 탐지가 가능하다는 것입니다.

DINOv2 임베딩 방식의 명과 암

이 접근법은 기존 방식과 비교했을 때 명확한 장단점을 가집니다. 가장 큰 장점은 데이터 라벨링 비용의 제로화입니다. 수천 장의 사진에 박스를 칠 필요 없이, 그저 ‘정상’ 데이터만 있으면 됩니다. 또한, 모델이 학습하지 못한 새로운 형태의 결함이 나타나더라도 ‘정상이 아니다’라는 사실만으로 탐지할 수 있어 범용성이 극대화됩니다.

반면, 단점도 존재합니다. DINOv2가 생성하는 임베딩 벡터의 차원이 매우 높기 때문에, 실시간으로 수많은 이미지를 처리해야 하는 엣지 디바이스(Edge Device) 환경에서는 연산 부담이 큽니다. 또한, ‘무엇이 잘못되었는지’에 대한 구체적인 분류(예: 이것은 화학적 부식이다 vs 물리적 충격이다)는 불가능합니다. 오직 ‘이상함’만을 감지하기 때문입니다.

비교 항목	전통적 객체 탐지 (YOLO 등)	DINOv2 임베딩 기반 탐지
데이터 요구사항	정밀한 라벨링 데이터 필수	정상 상태의 비라벨링 데이터
미학습 결함 대응	탐지 불가 (False Negative)	이상치로 탐지 가능
분석 결과	클래스 분류 및 위치 지정	정상 대비 이질성(Anomaly Score)
구현 난이도	데이터셋 구축 난이도 높음	임베딩 분석 로직 설계 필요

실제 적용 사례: 교량 하부 슬래브 진단

실제 한 교량 점검 프로젝트에서 이 방식은 빛을 발했습니다. 기존의 CNN 기반 모델은 조명 변화나 콘크리트의 원래 색상 차이를 균열로 오인하는 오탐(False Positive)이 매우 많았습니다. 하지만 DINOv2 임베딩을 적용하자, 모델은 ‘질감(Texture)’의 본질적인 변화를 포착하기 시작했습니다. 단순한 그림자와 실제 균열의 임베딩 거리 차이를 명확히 구분해낸 것입니다.

특히, 아주 미세하게 시작된 표면 박리 현상은 객체 탐지 모델이 박스를 칠 수 없을 만큼 희미했지만, 임베딩 공간에서는 정상 패턴에서 확연히 벗어난 벡터 값으로 나타났습니다. 이를 통해 엔지니어들은 육안으로 확인하기 전 단계에서 잠재적 위험 구간을 우선순위화하여 점검할 수 있었습니다.

실무자를 위한 단계별 액션 가이드

지금 당장 자신의 프로젝트에 DINOv2를 도입해보고 싶은 엔지니어나 관리자라면 다음 단계를 따르십시오.

• 데이터 수집: 결함 데이터가 아닌, ‘가장 깨끗하고 정상적인’ 상태의 이미지 데이터를 최대한 많이 확보하십시오. 이것이 당신의 기준점이 됩니다.
• 임베딩 추출: PyTorch Hub 등을 통해 DINOv2 사전 학습 모델을 로드하고, 이미지 패치별 임베딩 벡터를 추출하는 파이프라인을 구축하십시오.
• 정상 분포 정의: 추출된 벡터들의 평균과 표준편차를 계산하거나, Isolation Forest 같은 이상 탐지 알고리즘을 결합하여 ‘정상 범위’를 설정하십시오.
• 임계값(Threshold) 최적화: 소량의 결함 데이터를 사용하여, 어느 정도의 거리(Distance)부터 결함으로 간주할지 임계값을 튜닝하십시오.
• 하이브리드 전략 수립: DINOv2로 이상 영역을 먼저 찾고, 해당 영역만 크롭(Crop)하여 기존의 분류 모델에 넣어 결함의 종류를 판별하는 2단계 구조를 설계하십시오.

결국 AI의 핵심은 도구의 화려함이 아니라 문제의 본질에 맞는 도구를 선택하는 것입니다. 모든 문제를 ‘분류’와 ‘탐지’로 풀려고 하지 마십시오. 때로는 ‘다름’을 찾는 임베딩의 관점이 수만 장의 라벨링 작업보다 훨씬 강력한 정답이 될 수 있습니다.

FAQ

How I Used DINOv2 Embeddings to Detect Infrastructure Degradation No Object Detector Could의 핵심 쟁점은 무엇인가요?

핵심 문제 정의, 비용 구조, 실제 적용 방법, 리스크를 함께 봐야 합니다.

How I Used DINOv2 Embeddings to Detect Infrastructure Degradation No Object Detector Could를 바로 도입해도 되나요?

작은 범위에서 실험하고 데이터를 확인한 뒤 단계적으로 확대하는 편이 안전합니다.

실무에서 가장 먼저 확인할 것은 무엇인가요?

목표 지표, 대상 사용자, 예산 범위, 운영 책임자를 먼저 명확히 해야 합니다.

법률이나 정책 이슈도 함께 봐야 하나요?

네. 데이터 수집 방식, 플랫폼 정책, 개인정보 관련 제한을 반드시 점검해야 합니다.

성과를 어떻게 측정하면 좋나요?

비용, 전환율, 클릭률, 운영 공수, 재사용 가능성 같은 지표를 함께 보는 것이 좋습니다.

관련 글 추천

• https://infobuza.com/2026/04/24/20260424-l03bwx/
• https://infobuza.com/2026/04/24/20260424-jm4lcc/

지금 바로 시작할 수 있는 실무 액션

• 현재 팀의 AI 활용 범위와 검증 절차를 먼저 문서화합니다.
• 작은 파일럿 프로젝트로 KPI를 정하고 2~4주 단위로 검증합니다.
• 보안, 품질, 리뷰 기준을 자동화 도구와 함께 연결합니다.