나는 최근 복잡한 워크플로우를 자동화하기 위해 여러 개의 LLM 에이전트를 연결하는 실험을 하고 있었다. 처음에는 단순히 에이전트 몇 개를 수평적으로 배치해 서로 대화를 나누게 하면 해결될 줄 알았는데, 작업의 규모가 커질수록 에이전트들이 서로의 말을 반복하거나 갈피를 못 잡고 헤매는 ‘무한 루프’ 현상이 발생했다. 이 과정을 지켜보며 나는 단순히 많은 에이전트를 투입하는 것이 아니라, 이들을 효율적으로 통제할 수 있는 계층적 구조(Hierarchical Structure)가 필수적이라는 사실을 깨달았다.
수평적 협업의 한계와 계층 구조의 필요성
초기 모델에서 내가 시도했던 방식은 이른바 ‘라운드 로빈’ 식의 수평적 구조였다. 기획 에이전트, 개발 에이전트, 검수 에이전트가 동등한 권한을 가지고 의견을 주고받는 형태였다. 하지만 문제는 책임 소재가 불분명하다는 점이었다. 검수 에이전트가 수정을 요청하면 기획 에이전트가 다시 내용을 바꾸고, 그 과정에서 원래의 목적지가 희미해지는 현상이 반복되었다. 이는 마치 팀장 없는 팀원들끼리 끝없는 회의만 하다가 마감 시간을 놓치는 상황과 비슷했다.
결국 나는 조직도와 같은 계층적 멀티 에이전트 조정(Hierarchical Multi-Agent Coordination) 개념을 도입하기로 했다. 핵심은 ‘관리자(Manager/Orchestrator)’ 에이전트를 상위에 두고, 그 아래에 특정 분야에 특화된 ‘작업자(Worker)’ 에이전트들을 배치하는 것이다. 관리자는 전체 목표를 세분화하여 하위 에이전트에게 할당하고, 결과물을 취합해 최종 판단을 내리는 역할을 수행한다. 이렇게 구조를 바꾸자 에이전트 간의 불필요한 소음이 획기적으로 줄어들었다.
오케스트레이터: 복잡성을 제어하는 지휘자
계층적 구조에서 가장 중요한 것은 상위 에이전트인 오케스트레이터의 설계다. 오케스트레이터는 단순히 메시지를 전달하는 전달자가 아니라, 전략적 판단을 내리는 뇌 역할을 해야 한다. 나는 오케스트레이터에게 ‘작업 분해(Task Decomposition)’ 능력을 부여했다. 예를 들어 “시장 분석 보고서를 작성하라”는 거대한 요청이 들어오면, 이를 ‘데이터 수집’, ‘트렌드 분석’, ‘시각화 전략 수립’, ‘최종 리포팅’이라는 네 가지 하위 작업으로 쪼개어 각각의 전문 에이전트에게 배분하는 식이다.
이 과정에서 오케스트레이터는 각 작업자의 출력값을 검토하고, 기준에 미달할 경우에만 다시 해당 작업자에게 수정을 요청한다. 수평적 구조에서는 모든 에이전트가 서로의 결과물에 간섭했지만, 계층적 구조에서는 오직 관리자만이 피드백을 제어한다. 덕분에 작업의 흐름이 일방향(Top-down)으로 명확해졌고, 전체 프로세스의 예측 가능성이 높아졌다. 이는 복잡한 문제 해결 과정에서 발생하는 ‘컨텍스트 윈도우의 오염’을 막는 데에도 매우 효과적이었다.
전문가 에이전트의 역할 정의와 격리
상위 계층이 방향을 잡았다면, 하위 계층의 작업자 에이전트들은 철저하게 단일 책임 원칙(Single Responsibility Principle)에 따라 설계해야 한다. 나는 각 에이전트에게 매우 좁고 깊은 페르소나를 부여했다. 데이터 수집 에이전트는 오직 신뢰할 수 있는 소스에서 정보를 추출하는 것에만 집중하고, 분석 에이전트는 수집된 데이터 사이의 상관관계를 찾는 논리에만 집중하게 만들었다.
여기서 흥미로운 점은 에이전트 간의 ‘정보 격리’였다. 모든 에이전트가 전체 대화 기록을 공유하게 하면 다시금 혼란이 찾아온다. 나는 작업자 에이전트가 오직 관리자가 전달한 특정 지시 사항과 필요한 최소한의 컨텍스트만 볼 수 있도록 제한했다. 이렇게 하면 에이전트는 자신의 역할에만 몰입하게 되어 환각(Hallucination) 증상이 줄어들고, 결과물의 정밀도가 올라가는 효과를 얻을 수 있었다. 결국 잘 짜인 계층 구조란 적절한 권한 부여와 적절한 정보 제한의 조화라고 볼 수 있다.
실행 가능한 조율 전략과 최적화
이런 계층적 시스템을 실제로 구현할 때 내가 가장 신경 썼던 부분은 ‘상태 관리’였다. 관리자 에이전트가 현재 어떤 작업이 완료되었고, 어떤 작업이 지연되고 있는지를 추적할 수 있는 상태 테이블을 유지하게 했다. 이를 통해 특정 에이전트가 루프에 빠졌을 때 관리자가 강제로 개입하여 작업을 중단시키거나, 다른 경로의 해결책을 모색하도록 유도할 수 있었다.
또한, 계층의 깊이를 너무 깊게 가져가는 것은 위험하다는 것을 배웠다. 3단계 이상의 계층(관리자 – 중간 관리자 – 작업자)을 구성했을 때, 상위의 의도가 하위로 내려가면서 왜곡되는 ‘전언 게임’ 현상이 발생했다. 따라서 대부분의 복잡한 문제에서도 2단계 계층(Orchestrator – Workers) 구조가 가장 효율적이라는 결론을 내렸다. 단순함과 통제력 사이의 균형을 잡는 것이 멀티 에이전트 설계의 핵심이었다.
앞으로의 고민과 확장 가능성
계층적 구조를 통해 복잡한 문제 해결의 실마리를 찾았지만, 여전히 풀지 못한 숙제가 남아 있다. 바로 ‘동적 계층 생성’이다. 지금은 내가 미리 정의한 구조대로 에이전트들이 움직이지만, 문제의 성격에 따라 에이전트들이 스스로 최적의 조직도를 구성하고 역할을 분담하는 수준까지 발전한다면 어떨까 하는 상상을 하곤 한다.
이번 실험을 통해 배운 가장 큰 교훈은, AI 에이전트의 성능을 높이는 것은 단순히 더 좋은 모델을 쓰는 것이 아니라 그들이 일하는 방식과 구조를 설계하는 것이라는 점이다. 여러분은 복잡한 자동화 시스템을 구축할 때 어떤 방식으로 에이전트들의 관계를 설정하시나요? 혹은 통제 불가능한 에이전트들의 혼란을 잠재우기 위해 나름의 ‘조직 관리’ 팁을 가지고 계신지 궁금하다.