AI 에이전트가 위험한 이유: 공공 서비스가 '비에이전트형'을 택하는 전략

자율적 판단을 내리는 AI 에이전트의 위험성을 분석하고, 신뢰성과 책임 소재가 중요한 공공 및 기업 서비스에서 채택해야 할 비에이전트형(Non-Agentic) 설계 가이드라인을 제시합니다.

자율성의 함정: 왜 우리는 AI 에이전트를 경계해야 하는가

최근 AI 업계의 화두는 단연 ‘에이전트(Agent)’입니다. 스스로 목표를 설정하고, 도구를 선택하며, 실행 결과에 따라 다음 행동을 결정하는 자율적 AI는 개발자들에게 마법처럼 느껴집니다. 하지만 실제 서비스 환경, 특히 시민의 삶에 직접적인 영향을 미치는 공공 서비스나 의료, 법률 같은 고신뢰 영역으로 넘어오면 이야기는 달라집니다. AI가 ‘스스로 판단해서 처리했다’는 말은, 역설적으로 ‘인간이 통제할 수 없는 지점에서 오류가 발생했다’는 뜻과 같기 때문입니다.

많은 기업과 정부 기관이 AI 도입을 서두르지만, 정작 직면하는 문제는 기술적 성능이 아니라 ‘책임의 소재’입니다. AI 에이전트가 잘못된 판단으로 행정 처리를 수행하거나 잘못된 의료 정보를 제공했을 때, 그 책임은 누구에게 있을까요? 모델을 만든 개발사일까요, 프롬프트를 작성한 운영자일까요, 아니면 자율성을 부여한 결정권자일까요? 이러한 불확실성은 AI 도입의 가장 큰 진입장벽이 됩니다.

비에이전트형(Non-Agentic) AI 설계의 핵심 철학

비에이전트형 AI 설계란 AI에게 ‘결정권’을 주는 것이 아니라, 인간이 결정을 내릴 수 있도록 ‘최적의 정보와 선택지’를 제공하는 구조를 의미합니다. 이는 단순히 기능을 제한하는 것이 아니라, AI의 역할을 ‘실행자’에서 ‘조력자’로 재정의하는 전략적 선택입니다. 공공 서비스에서 비에이전트형 접근 방식이 필수적인 이유는 명확합니다. 투명성, 예측 가능성, 그리고 책임성이라는 세 가지 가치를 동시에 확보해야 하기 때문입니다.

에이전트형 AI는 내부적으로 복잡한 루프(Loop)를 돌며 사고 과정을 거치지만, 이 과정은 흔히 ‘블랙박스’로 남습니다. 반면 비에이전트형 설계는 입력과 출력 사이의 경로를 단순화하고, 각 단계마다 인간의 개입(Human-in-the-loop)을 강제합니다. 이는 효율성을 조금 희생하는 대신, 치명적인 사고를 방지하는 안전장치를 구축하는 것과 같습니다.

기술적 구현: 에이전트와 비에이전트의 구조적 차이

기술적으로 볼 때, 에이전트형 AI는 ReAct(Reasoning and Acting) 프레임워크를 사용하여 스스로 도구를 호출하고 결과를 평가합니다. 하지만 비에이전트형 AI는 결정론적인 워크플로우(Deterministic Workflow)를 따릅니다. 사용자의 요청이 들어오면 미리 정의된 경로를 통해 필요한 데이터를 추출하고, 이를 정제하여 사용자에게 제시하는 방식입니다.

에이전트형: 사용자 요청 $
ightarrow$ AI의 목표 설정 $
ightarrow$ 도구 선택 $
ightarrow$ 실행 $
ightarrow$ 결과 평가 $
ightarrow$ (반복) $
ightarrow$ 최종 응답
비에이전트형: 사용자 요청 $
ightarrow$ 의도 분류(Intent Classification) $
ightarrow$ 지정된 API 호출 $
ightarrow$ 데이터 가공 $
ightarrow$ 인간의 검토/선택 $
ightarrow$ 최종 실행

이러한 구조적 차이는 추론 비용과 지연 시간(Latency)에서도 큰 차이를 만듭니다. 에이전트형은 여러 번의 LLM 호출이 필요하므로 비용이 기하급수적으로 증가하고 응답 속도가 느려지지만, 비에이전트형은 최적화된 경로를 통해 빠르게 결과를 도출할 수 있습니다.

비에이전트형 설계의 장단점 분석

모든 기술적 선택에는 트레이드오프가 존재합니다. 비에이전트형 설계가 모든 상황에서 정답은 아니지만, 특정 환경에서는 압도적인 우위를 점합니다.

비교 항목	에이전트형 (Agentic)	비에이전트형 (Non-Agentic)
제어 가능성	낮음 (예측 불가능한 경로)	높음 (정해진 워크플로우)
신뢰성/안정성	가변적 (할루시네이션 위험)	안정적 (검증된 경로 사용)
구현 복잡도	높음 (오케스트레이션 필요)	중간 (비즈니스 로직 설계 중심)
사용자 경험	마법 같지만 불안함	명확하고 예측 가능함

비에이전트형의 가장 큰 단점은 ‘유연성 부족’입니다. 사용자가 예상치 못한 질문을 던졌을 때, 에이전트형은 어떻게든 답을 찾으려 노력하지만 비에이전트형은 “지원하지 않는 요청입니다”라고 답할 가능성이 큽니다. 하지만 공공 서비스에서는 ‘모르는 것을 모른다고 말하는 것’이 ‘틀린 답을 확신 있게 말하는 것’보다 훨씬 가치 있는 경험입니다.

실제 적용 사례: CDC와 공공 행정의 방향성

최근 미국 질병통제예방센터(CDC)가 발표한 AI 전략은 매우 시사하는 바가 큽니다. 그들은 AI의 ‘에이전트적’ 활용 가능성을 열어두면서도, 동시에 엄격한 가이드라인을 통해 위험을 관리하려 합니다. 특히 공중보건 데이터와 같이 민감한 정보를 다룰 때는 AI가 단독으로 결정을 내리는 것이 아니라, 전문가의 판단을 돕는 ‘의사결정 지원 시스템(Decision Support System)’으로서의 역할을 강조합니다.

예를 들어, 전염병 확산 예측 AI가 단순히 “A 지역에 방역 인력을 배치하십시오”라고 명령하는 것이 아니라, “현재 데이터상 A 지역의 위험도가 85%이며, 과거 사례 B와 유사합니다. 배치를 검토하시겠습니까?”라고 제안하는 방식입니다. 이는 AI의 분석 능력은 활용하되, 최종 책임은 인간이 지는 비에이전트형 설계의 전형적인 모습입니다.

실무자를 위한 단계별 액션 가이드

AI 제품을 설계하는 PM이나 개발자라면, 무작정 ‘에이전트’라는 키워드에 매몰되지 말고 다음의 단계에 따라 설계를 검토하십시오.

1. 위험 매트릭스 작성

AI가 내린 잘못된 결정이 사용자에게 미치는 영향을 평가하십시오. 금전적 손실, 법적 문제, 신체적 위험이 포함된다면 무조건 비에이전트형 설계를 기본값으로 설정해야 합니다.

2. ‘인간 개입 지점(Human-in-the-loop)’ 설계

워크플로우의 어느 단계에서 인간의 승인이 필요한지 정의하십시오. 특히 외부 API를 통해 데이터를 수정하거나 전송하는 ‘쓰기(Write)’ 작업 직전에는 반드시 인간의 확인 버튼을 배치해야 합니다.

3. 결정론적 경로(Deterministic Path) 구축

LLM이 자유롭게 경로를 찾게 하지 말고, 의도 분류기(Intent Classifier)를 통해 사용자의 요청을 몇 가지 카테고리로 나누십시오. 각 카테고리에 맞는 최적의 프롬프트와 도구 세트를 미리 매핑해 두는 것이 훨씬 안전합니다.

4. 투명한 근거 제시 (Citation)

AI가 내놓은 결과물의 근거가 되는 원문 데이터를 함께 제시하십시오. 사용자가 AI의 답변을 맹신하지 않고 직접 검증할 수 있는 환경을 만드는 것이 비에이전트형 설계의 완성입니다.

결론: 기술적 화려함보다 중요한 것은 ‘신뢰’다

AI 에이전트는 분명 매력적인 기술입니다. 하지만 기술의 목적은 항상 ‘해결해야 할 문제’에 맞춰져야 합니다. 우리가 해결하려는 문제가 ‘효율적인 자동화’라면 에이전트가 답이 될 수 있지만, ‘안전한 서비스 제공’이 목적이라면 비에이전트형 설계가 정답입니다.

결국 AI 도입의 성공 여부는 얼마나 똑똑한 모델을 썼느냐가 아니라, 사용자가 얼마나 안심하고 이 시스템을 사용할 수 있느냐에 달려 있습니다. 자율성이라는 달콤한 유혹을 견디고, 통제 가능한 설계를 구축하는 것. 그것이 바로 진정한 의미의 엔지니어링이자 책임감 있는 AI 제품 개발의 시작입니다.

FAQ

Proposed Non-Agentic Civic AI Design Guidelines — For All U.S.의 핵심 쟁점은 무엇인가요?

핵심 문제 정의, 비용 구조, 실제 적용 방법, 리스크를 함께 봐야 합니다.

Proposed Non-Agentic Civic AI Design Guidelines — For All U.S.를 바로 도입해도 되나요?

작은 범위에서 실험하고 데이터를 확인한 뒤 단계적으로 확대하는 편이 안전합니다.

실무에서 가장 먼저 확인할 것은 무엇인가요?

목표 지표, 대상 사용자, 예산 범위, 운영 책임자를 먼저 명확히 해야 합니다.

법률이나 정책 이슈도 함께 봐야 하나요?

네. 데이터 수집 방식, 플랫폼 정책, 개인정보 관련 제한을 반드시 점검해야 합니다.

성과를 어떻게 측정하면 좋나요?

비용, 전환율, 클릭률, 운영 공수, 재사용 가능성 같은 지표를 함께 보는 것이 좋습니다.

지금 바로 시작할 수 있는 실무 액션

현재 팀의 AI 활용 범위와 검증 절차를 먼저 문서화합니다.
작은 파일럿 프로젝트로 KPI를 정하고 2~4주 단위로 검증합니다.
보안, 품질, 리뷰 기준을 자동화 도구와 함께 연결합니다.

AI 에이전트가 위험한 이유: 공공 서비스가 ‘비에이전트형’을 택하는 전략