RAG는 이제 끝났을까? 안드레 카파시가 제안한 'LLM 지식 베이스'의 충격

복잡한 벡터 데이터베이스와 RAG 파이프라인 대신, AI가 스스로 관리하는 마크다운 라이브러리로 지식을 구축하는 새로운 패러다임을 분석합니다.

많은 기업과 개발자들이 LLM의 환각 현상을 해결하고 최신 정보를 제공하기 위해 RAG(검색 증강 생성) 시스템 구축에 매달리고 있습니다. 벡터 데이터베이스를 설정하고, 텍스트를 청킹(Chunking)하며, 임베딩 모델을 최적화하는 과정은 이제 AI 서비스 개발의 표준처럼 자리 잡았습니다. 하지만 우리는 여기서 근본적인 질문을 던져야 합니다. 과연 수백만 개의 벡터 조각으로 쪼개진 데이터베이스가 인간이 지식을 습득하고 정리하는 방식과 얼마나 닮아 있을까요?

최근 전 테슬라 AI 디렉터이자 오픈AI 창립 멤버인 안드레 카파시(Andrej Karpathy)는 기존의 복잡한 RAG 아키텍처를 우회하는 매우 단순하면서도 우아한 접근법을 제시했습니다. 그는 정교한 엔터프라이즈 솔루션 대신, AI가 직접 읽고 쓰고 수정하는 ‘진화하는 마크다운 라이브러리’ 형태의 지식 베이스를 제안합니다. 이는 기술적 복잡성을 걷어내고 LLM의 본질적인 추론 능력과 컨텍스트 윈도우의 확장을 극대화하는 전략입니다.

왜 우리는 RAG의 복잡성에 지쳤는가

전형적인 RAG 파이프라인은 생각보다 많은 ‘마찰 지점’을 가지고 있습니다. 사용자의 질문이 들어오면 이를 벡터로 변환하고, 유사도 검색을 통해 관련 문서 조각을 찾아내며, 이를 다시 프롬프트에 넣어 답변을 생성합니다. 이 과정에서 발생하는 문제는 명확합니다. 검색 단계에서 엉뚱한 조각이 선택되면 모델은 아무리 똑똑해도 틀린 답을 내놓을 수밖에 없으며, 문서의 전체적인 맥락이 청킹 과정에서 소실되는 경우가 허다합니다.

카파시가 주목한 지점은 바로 이 ‘파편화’입니다. 지식은 파편화된 벡터의 집합이 아니라, 유기적으로 연결된 구조적 정보여야 합니다. 그는 복잡한 인프라를 구축하는 대신, LLM이 직접 관리할 수 있는 텍스트 기반의 지식 저장소를 구축함으로써 시스템의 투명성과 제어 가능성을 높일 수 있다고 주장합니다.

카파시의 ‘LLM 지식 베이스’ 작동 원리

이 모델의 핵심은 AI를 단순한 ‘답변기’가 아니라 ‘지식 관리자’로 활용하는 것입니다. 시스템은 다음과 같은 루프로 작동합니다.

마크다운 기반 저장소: 모든 지식은 사람이 읽을 수 있고 AI가 수정하기 쉬운 마크다운(.md) 파일 형태로 저장됩니다.
AI의 능동적 업데이트: 새로운 정보가 입력되거나 오류가 발견되면, LLM이 직접 해당 마크다운 파일을 수정, 보완, 또는 재구성합니다.
느슨하고 우아한 연결: 엄격한 스키마나 벡터 인덱싱 대신, 파일 이름, 폴더 구조, 내부 링크 등 LLM이 이해하기 쉬운 논리적 구조를 활용합니다.
컨텍스트 주입: 필요한 시점에 관련 마크다운 파일의 내용을 통째로 혹은 논리적 단위로 컨텍스트 윈도우에 주입합니다.

이 방식은 마치 숙련된 연구원이 자신의 노트를 정리하며 지식을 확장하는 방식과 유사합니다. 데이터베이스 쿼리가 아니라 ‘문서 편집’을 통해 지식을 업데이트하기 때문에, 개발자는 AI가 어떤 근거로 지식을 수정했는지 직접 눈으로 확인하고 교정할 수 있습니다.

기술적 비교: RAG vs LLM 지식 베이스

두 접근 방식의 차이를 명확히 이해하기 위해 주요 특성을 비교해 보겠습니다.

비교 항목	전통적 RAG (Vector DB)	카파시의 지식 베이스 (Markdown)
데이터 형태	임베딩된 벡터 (숫자 배열)	구조화된 텍스트 (Markdown)
업데이트 방식	재인덱싱 및 벡터 업데이트	LLM에 의한 직접 파일 수정
가독성/투명성	매우 낮음 (블랙박스)	매우 높음 (인간이 읽을 수 있음)
인프라 복잡도	높음 (DB, Embedding 모델 필요)	낮음 (파일 시스템, Git 등)
맥락 유지력	청킹으로 인해 일부 소실 가능성	문서 단위 유지로 맥락 보존 유리

실무적 관점에서의 득과 실

물론 이 방식이 모든 상황에서 정답은 아닙니다. 수십억 개의 문서가 있는 초거대 데이터셋에서는 여전히 벡터 검색이 효율적일 것입니다. 하지만 대부분의 기업 내부 지식 베이스나 특정 도메인의 전문 지식 관리에서는 카파시의 방식이 압도적인 효율성을 보여줍니다.

장점은 명확합니다. 첫째, 디버깅이 쉽습니다. AI가 잘못된 정보를 제공한다면, 어떤 마크다운 파일의 어느 문장이 잘못되었는지 찾아 수정하면 끝입니다. 둘째, 버전 관리가 가능합니다. Git과 같은 도구를 사용하면 지식이 어떻게 진화했는지 히스토리를 추적할 수 있습니다. 셋째, 모델 교체가 자유롭습니다. 특정 벡터 모델에 종속되지 않으므로, 더 성능 좋은 LLM이 나오면 그대로 적용하면 됩니다.

단점으로는 컨텍스트 윈도우의 의존성이 높다는 점을 들 수 있습니다. 관련 문서가 너무 많아질 경우, 이를 효율적으로 선택해 프롬프트에 넣는 ‘라우팅’ 전략이 별도로 필요합니다. 하지만 최근 Gemini 1.5 Pro나 GPT-4o처럼 컨텍스트 윈도우가 비약적으로 커진 모델들이 등장하면서 이 단점은 빠르게 상쇄되고 있습니다.

실제 적용 사례: 윈도우 도움말 시스템의 재구성

예를 들어, 마이크로소프트의 ‘Get Help’와 같은 방대한 고객 지원 시스템에 이 방식을 적용한다고 가정해 봅시다. 기존에는 사용자가 ‘윈도우 검색 설정’을 물으면 수만 개의 FAQ 조각 중 유사한 것을 찾아 보여주었습니다. 하지만 카파시의 방식을 적용하면, AI는 ‘윈도우 검색’이라는 주제의 마크다운 문서를 관리합니다. 새로운 OS 업데이트가 나오면 AI가 해당 문서의 내용을 최신 버전으로 수정하고, 사용자의 질문에 따라 해당 문서 전체를 참조하여 일관성 있는 답변을 제공합니다.

이 과정에서 AI는 단순히 정보를 찾는 것이 아니라, “최근 업데이트 이후 검색 설정 메뉴의 위치가 변경되었으므로, 기존 가이드의 3번 항목을 수정해야겠다”라고 판단하고 지식 베이스 자체를 개선하는 ‘자기 진화형’ 시스템으로 거듭나게 됩니다.

지금 당장 실행할 수 있는 액션 아이템

복잡한 인프라 구축에 지친 제품 매니저나 개발자라면, 다음의 단계로 작은 실험을 시작해 보시기 바랍니다.

지식의 마크다운화: 현재 PDF나 DB에 흩어져 있는 핵심 지식을 구조화된 마크다운 파일로 변환하십시오.
LLM 편집 루프 구축: LLM에게 “사용자의 피드백이나 새로운 정보를 바탕으로 기존 마크다운 파일을 수정하라”는 권한과 프롬프트를 부여하십시오.
Git 기반 버전 관리: 모든 지식 베이스를 Git 저장소에 올리고, AI가 생성한 커밋 메시지를 통해 지식의 변경 이력을 관리하십시오.
컨텍스트 라우팅 최적화: 질문의 의도에 따라 어떤 마크다운 파일을 읽어올지 결정하는 간단한 분류기(Classifier)를 먼저 구현하십시오.

결론: 도구의 복잡성이 지능을 대체할 수 없다

우리는 그동안 AI의 부족한 기억력을 보완하기 위해 외부 데이터베이스라는 ‘보조 기억 장치’를 만드는 데 너무 많은 에너지를 썼을지도 모릅니다. 하지만 안드레 카파시가 보여준 방향성은 단순함의 미학입니다. AI가 스스로 읽고 쓸 수 있는 환경을 만들어주는 것, 그것이 바로 가장 강력한 지식 베이스를 구축하는 방법입니다.

결국 중요한 것은 벡터의 차원이 아니라 지식의 구조와 맥락입니다. 이제는 ‘어떻게 더 잘 검색할 것인가’가 아니라, ‘어떻게 AI가 지식을 스스로 관리하게 할 것인가’를 고민해야 할 때입니다. 복잡한 파이프라인을 걷어내고, AI와 인간이 함께 읽을 수 있는 투명한 지식 저장소를 구축하는 것. 그것이 차세대 AI 제품의 핵심 경쟁력이 될 것입니다.

지금 바로 시작할 수 있는 실무 액션

현재 팀의 AI 활용 범위와 검증 절차를 먼저 문서화합니다.
작은 파일럿 프로젝트로 KPI를 정하고 2~4주 단위로 검증합니다.
보안, 품질, 리뷰 기준을 자동화 도구와 함께 연결합니다.

RAG는 이제 끝났을까? 안드레 카파시가 제안한 ‘LLM 지식 베이스’의 충격