우리는 지난 몇 년간 AI와 대화하는 법을 배웠습니다. 정교한 프롬프트를 작성하고, AI가 내놓은 답변이 마음에 들지 않으면 다시 수정해서 요청하는 ‘프롬프트 엔지니어링’의 시대였습니다. 하지만 냉정하게 생각해보면, 이는 우리가 AI의 수준에 맞춘 일종의 ‘적응 과정’에 불과했습니다. 사용자가 입력창에 텍스트를 넣고, AI가 그에 맞는 텍스트를 출력하는 단순한 루프는 이제 한계에 봉착했습니다.

많은 기업과 개발자들이 여전히 ‘어떻게 하면 더 좋은 프롬프트를 짤 것인가’에 매몰되어 있을 때, AI의 진화 방향은 이미 ‘응답’이 아닌 ‘수행’으로 옮겨가고 있습니다. 이제 사용자는 AI에게 정답을 묻지 않습니다. 대신 목표를 설정하고, 그 목표를 달성하기 위한 프로세스를 AI가 스스로 설계하고 실행하기를 기대합니다. 이것이 바로 우리가 ‘프롬프트-응답’의 시대가 끝나고 ‘에이전틱 워크플로우(Agentic Workflow)’의 시대로 진입했다고 말하는 이유입니다.

단순 챗봇과 AI 에이전트의 결정적 차이

기존의 AI 서비스가 ‘똑똑한 백과사전’이었다면, 앞으로의 AI는 ‘유능한 비서’가 되어야 합니다. 이 둘의 차이는 단순히 성능의 문제가 아니라 구조적인 접근 방식의 차이에서 옵니다.

• 프롬프트-응답 모델: 사용자의 입력 $\rightarrow$ 모델의 추론 $\rightarrow$ 최종 출력. 이 과정에서 오류가 발생하면 사용자가 다시 개입하여 수정해야 합니다.
• 에이전틱 모델: 목표 설정 $\rightarrow$ 계획 수립 $\rightarrow$ 도구 사용(Tool Use) $\rightarrow$ 결과 검증 $\rightarrow$ 계획 수정 및 재실행. AI가 스스로 루프를 돌며 최적의 결과물을 만들어냅니다.

이러한 변화는 제품의 UX를 완전히 바꿉니다. 더 이상 거대한 채팅창이 중심이 되는 인터페이스가 정답이 아닙니다. AI가 백그라운드에서 작업을 수행하고, 사용자는 최종 결과물을 승인하거나 중간 단계의 의사결정만 내리는 ‘감독자’의 역할로 전환되는 것입니다.

기술적 구현: 추론 루프와 도구 활용의 결합

에이전트 시스템을 구축하기 위해서는 단순한 LLM 호출 이상의 아키텍처가 필요합니다. 핵심은 AI가 자신의 출력을 스스로 비판하고 수정할 수 있는 ‘자기 성찰(Self-Reflection)’ 메커니즘을 도입하는 것입니다.

예를 들어, 복잡한 코딩 작업을 수행할 때 AI가 한 번에 코드를 짜고 끝내는 것이 아니라, 작성한 코드를 가상 환경에서 실행해보고 에러 메시지를 확인한 뒤, 그 에러를 바탕으로 코드를 수정하는 과정을 반복하게 만드는 것입니다. 최근 연구되는 ‘프롬프트 반복 기법(Prompt Repetition Technique)’이나 ‘Chain-of-Thought’의 심화 버전들이 이러한 방향성을 지향하고 있습니다. 이는 AI가 단순히 다음 단어를 예측하는 확률 모델을 넘어, 논리적 단계를 밟아나가는 추론 엔진으로 작동하게 만듭니다.

에이전트 도입의 명과 암

모든 기술적 전환에는 트레이드오프가 존재합니다. 에이전틱 워크플로우는 강력하지만, 동시에 새로운 리스크를 가져옵니다.

구분	장점 (Pros)	단점 및 리스크 (Cons)
생산성	복잡한 다단계 작업의 완전 자동화 가능	추론 루프 증가로 인한 API 비용 상승 및 지연 시간 증가
정확도	자기 검증 과정을 통한 할루시네이션 감소	무한 루프에 빠지거나 잘못된 방향으로 자가 수정할 위험
사용자 경험	입력 공수 감소, 결과 중심의 인터페이스	AI의 내부 동작 과정에 대한 블랙박스화(통제력 상실)

특히 법적, 정책적 관점에서 ‘자율성’은 매우 민감한 문제입니다. AI 에이전트가 사용자의 권한을 위임받아 외부 API를 호출하거나 결제를 진행할 때, 그 책임의 소재를 어디에 둘 것인가에 대한 사회적 합의가 아직 부족합니다. 따라서 실무자들은 ‘완전 자율’보다는 ‘Human-in-the-loop(인간 개입)’ 구조를 설계하는 것이 현재로서는 가장 현실적인 대안입니다.

실전 적용 사례: 멘탈 헬스케어와 고객 서비스의 진화

실제로 이러한 패러다임 전환은 다양한 분야에서 나타나고 있습니다. 과거의 멘탈 헬스케어 챗봇은 “우울하시군요. 산책을 해보세요”라는 식의 정형화된 응답을 내놓았습니다. 하지만 에이전트 기반 시스템은 사용자의 과거 대화 기록을 분석하고, 현재의 감정 상태를 다각도로 추론하며, 필요하다면 전문 상담사와 연결하는 스케줄링까지 스스로 수행합니다.

고객 서비스 분야에서도 마찬가지입니다. “배송 조회를 도와드릴까요?”라고 묻는 챗봇에서, “고객님의 주문 번호를 확인해 보니 물류 센터에서 지연되고 있습니다. 제가 직접 담당자에게 확인 메일을 보내고 내일 오전까지 업데이트해 드리겠습니다”라고 말하며 실제로 액션을 취하는 에이전트로 진화하고 있습니다. 여기서 핵심은 AI가 ‘말’을 하는 것이 아니라 ‘일’을 한다는 점입니다.

실무자를 위한 단계별 액션 가이드

이제 개발자와 PM은 프롬프트를 잘 쓰는 법이 아니라, AI가 일하는 ‘시스템’을 설계하는 법을 고민해야 합니다. 지금 당장 실행할 수 있는 단계는 다음과 같습니다.

1. 워크플로우의 원자 단위 분해

사용자가 요청하는 거대한 목표를 아주 작은 단위의 작업(Task)으로 쪼개십시오. AI에게 “마케팅 전략을 짜줘”라고 하는 대신, “시장 조사 $\rightarrow$ 타겟 분석 $\rightarrow$ 메시지 도출 $\rightarrow$ 채널 선정”이라는 단계적 파이프라인을 설계하십시오.

2. 검증 루프(Verification Loop) 설계

AI의 결과물을 그대로 출력하지 마십시오. 그 결과물을 다시 AI에게 입력으로 넣어 “이 결과물에 논리적 오류가 없는지 검토하고 수정안을 제시하라”는 검증 단계를 강제로 추가하십시오. 이것만으로도 결과물의 품질이 비약적으로 상승합니다.

3. 도구(Tool) 정의와 권한 설정

AI가 사용할 수 있는 도구(API, DB 쿼리, 웹 검색 등)를 명확히 정의하십시오. 이때 AI가 할 수 있는 일과 절대 해서는 안 되는 일(Guardrails)을 설정하는 것이 제품의 안정성을 결정짓습니다.

4. 인터페이스의 전환

채팅창 중심의 UI에서 벗어나, AI가 수행 중인 작업의 상태를 보여주는 ‘진행 상태 바’나 ‘작업 로그’ 형태의 UI를 도입하십시오. 사용자는 AI가 무엇을 생각하고 어떤 단계를 밟고 있는지 알 때 더 큰 신뢰를 느낍니다.

결국 AI 모델의 성능 상향 평준화가 이루어지면, 승부는 ‘어떤 모델을 쓰느냐’가 아니라 ‘그 모델을 어떤 워크플로우 속에 배치하느냐’에서 갈릴 것입니다. 프롬프트라는 좁은 창문을 통해 AI를 바라보던 시대는 끝났습니다. 이제는 AI가 스스로 움직이는 거대한 시스템을 설계하는 아키텍트의 관점이 필요한 때입니다.