여러분은 혹시 앨런 튜링의 ‘이미테이션 게임’에 대해 들어보신 적이 있나요? 기계가 인간과 구별할 수 없을 정도로 대화를 잘 나누면, 우리는 그 기계가 지능을 가졌다고 믿게 된다는 아주 유명한 가설이죠. 하지만 요즘 우리가 마주하는 거대 언어 모델들을 보며 이런 생각이 들더라고요. 단순히 인간의 말투를 ‘흉내 내는 것’과 실제로 문제를 ‘해결하는 능력’을 갖춘 것은 전혀 다른 이야기 아닐까요?
우리는 그동안 모델이 얼마나 인간처럼 말하는지에 집중해 왔습니다. 하지만 이제는 그 너머를 봐야 할 때가 된 것 같습니다. 단순히 “사람 같다”라는 이분법적인 판단을 넘어, 모델이 실제로 어떤 사고 과정을 거치고 어디까지 수행할 수 있는지 정밀하게 측정해야 한다는 갈증이 생긴 것이죠. 바로 여기서 ‘Beyond the Imitation Game’, 즉 BIG-bench라는 흥미로운 시도가 시작되었습니다.
단순한 모방을 넘어 정밀한 측정으로
BIG-bench는 이름 그대로 튜링의 이미테이션 게임을 오마주하면서도, 그 한계를 뛰어넘으려는 야심 찬 프로젝트입니다. 기존의 평가 방식이 “이 모델이 인간처럼 보이는가?”라는 단순한 판단에 그쳤다면, BIG-bench는 모델의 행동 양식을 훨씬 더 구체적으로 추출해내고자 합니다. 겉모습이 아니라 실질적인 ‘능력의 지도’를 그리겠다는 뜻이죠.
생각해 보면 우리는 누군가가 말을 유창하게 한다고 해서 그 사람이 모든 분야에 능통하다고 믿지 않습니다. 논리적인 추론이 가능한지, 복잡한 수학 문제를 풀 수 있는지, 혹은 상식적인 판단을 내릴 수 있는지를 따로 확인하죠. BIG-bench가 지향하는 방향도 이와 같습니다. 모델이 보여주는 결과값이 단순한 확률적 조합인지, 아니면 특정한 과제를 수행할 수 있는 실질적인 역량인지를 구분해내려는 시도라고 볼 수 있겠네요.
132개 기관, 450명의 저자가 함께 만든 거대한 시험지
이 벤치마크가 놀라운 점은 그 규모와 다양성에 있습니다. 어느 한두 명의 연구자가 만든 시험지가 아니라, 132개 기관에서 온 450명의 저자가 협력하여 구축했다는 점이 인상적입니다. 집단지성을 통해 모델이 마주할 수 있는 거의 모든 지적 영역을 촘촘하게 설계한 셈이죠.
현재 BIG-bench는 204개의 방대한 태스크로 구성되어 있습니다. 그 내용을 살펴보면 정말 다채롭습니다. 언어학적 분석부터 시작해 어린아이들의 발달 단계에서 나타나는 인지 능력, 복잡한 수학 문제, 그리고 우리가 일상에서 사용하는 상식적인 추론까지 포함되어 있죠. 여기서 끝이 아닙니다. 생물학, 물리학 같은 기초 과학은 물론이고 소프트웨어 개발 능력과 사회적 편향성 문제까지 다루고 있습니다.
이렇게 넓은 스펙트럼의 과제들을 배치한 이유는 명확합니다. 모델이 특정 데이터셋에 최적화되어 정답만 맞히는 ‘암기’를 하는 것이 아니라, 정말로 일반화된 지능을 발휘하고 있는지를 확인하기 위해서죠. 마치 전 과목 시험을 치르게 함으로써 이 학생이 정말 공부를 잘하는 것인지, 아니면 특정 과목의 족보만 외운 것인지 가려내는 것과 비슷하다고 할까요?
우리가 마주할 지능의 새로운 기준
결국 BIG-bench가 우리에게 말해주는 것은, 이제 지능을 평가하는 기준이 ‘유창함’에서 ‘수행 능력’으로 옮겨가고 있다는 사실입니다. 단순히 그럴듯한 문장을 만들어내는 단계를 지나, 실제 세상의 복잡한 문제들을 얼마나 정확하게 해결할 수 있는지를 수치화하고 추론하는 단계로 진입한 것이죠.
우리는 이제 모델이 “사람처럼 말하네요”라고 감탄하는 단계를 넘어, “이 모델은 물리학의 특정 개념을 이해하고 적용할 수 있군요” 혹은 “사회적 편향성을 이렇게 드러내는군요”라고 구체적으로 분석할 수 있게 되었습니다. 이는 모델의 한계를 명확히 인식하게 함과 동시에, 앞으로 어떤 방향으로 발전해야 할지에 대한 정교한 가이드라인을 제공해 줍니다.
여러분은 어떻게 생각하시나요? 기계가 인간의 언어를 완벽하게 흉내 내는 것과, 실제로 인간처럼 사고하여 문제를 해결하는 것 사이에는 어떤 간극이 존재할까요? 그리고 우리는 그 간극을 완전히 메울 수 있을까요? 혹은 우리가 정의하는 ‘지능’이라는 개념 자체가 이 거대한 벤치마크를 통해 다시 쓰이게 되지는 않을지, 문득 궁금해집니다.