챗GPT나 클로드 같은 생성형 AI를 사용하다 보면 문득 의문이 생깁니다. 똑같은 질문을 던졌는데 어떤 때는 놀라울 정도로 창의적인 답변이 나오고, 어떤 때는 기계처럼 딱딱하고 뻔한 대답만 반복하는 이유는 무엇일까요? 혹은 가끔은 맥락과 전혀 상관없는 ‘환각(Hallucination)’ 현상을 일으키며 엉뚱한 소리를 늘어놓기도 합니다. 많은 사용자가 이를 단순히 ‘AI의 기분 탓’이나 ‘모델의 성능 한계’라고 생각하지만, 사실 그 이면에는 AI가 다음 단어를 선택하는 방식을 결정하는 정교한 수학적 장치들이 숨어 있습니다.

우리가 AI와 대화할 때, 모델은 한 번에 하나의 완성된 문장을 만드는 것이 아니라 다음에 올 확률이 가장 높은 ‘토큰(단어 조각)’을 하나씩 예측하여 이어 붙입니다. 이때 단순히 확률이 가장 높은 단어만 선택한다면 AI는 항상 동일한 답변만 내놓는 지루한 챗봇이 될 것입니다. 반대로 너무 무작위로 선택한다면 앞뒤 맞지 않는 횡설수설을 하게 됩니다. 이 균형점을 잡기 위해 사용하는 것이 바로 Temperature(온도), Top-K, Top-P라는 세 가지 핵심 파라미터입니다.

확률의 분포를 흔드는 마법, Temperature (온도)

Temperature는 AI의 ‘창의성’ 혹은 ‘무작위성’을 조절하는 가장 대표적인 설정값입니다. 기술적으로 말하면 소프트맥스(Softmax) 함수를 통해 계산된 확률 분포를 평탄하게 만들거나 더 뾰족하게 만드는 역할을 합니다.

온도 값이 낮을수록(예: 0.1 ~ 0.3) AI는 확률이 가장 높은 상위 후보에 압도적인 가중치를 둡니다. 결과적으로 가장 안전하고 예측 가능한 답변을 선택하게 되며, 이는 사실 관계 확인이 중요한 기술 문서 작성이나 코드 생성에 적합합니다. 반면 온도 값이 높을수록(예: 0.7 ~ 1.2) 확률 분포가 평탄해지면서, 원래는 선택될 확률이 낮았던 단어들이 선택될 기회를 얻게 됩니다. 이것이 우리가 느끼는 ‘창의성’의 실체입니다. 시 쓰기, 아이디어 브레인스토밍, 소설 작성과 같은 작업에서는 높은 온도가 필수적입니다.

후보군을 숫자로 제한하는 Top-K 샘플링

Temperature가 확률의 ‘분포’를 조절한다면, Top-K는 선택지의 ‘개수’를 물리적으로 제한하는 방식입니다. AI가 다음 단어를 예측할 때 수만 개의 단어 후보가 생성되는데, Top-K는 이 중 확률 순위가 가장 높은 K개의 단어만을 남기고 나머지는 완전히 배제합니다.

예를 들어 K=50으로 설정하면, AI는 상위 50개 단어 중에서만 다음 단어를 고릅니다. 이는 확률이 매우 낮은 ‘엉뚱한 단어’가 우연히 선택되어 문맥이 완전히 파괴되는 것을 방지하는 안전장치 역할을 합니다. 하지만 K값이 너무 작으면 답변이 지나치게 단조로워지고, 너무 크면 Top-K를 설정한 의미가 사라져 다시 무작위성이 높아지는 특성이 있습니다.

누적 확률로 유연하게 필터링하는 Top-P (Nucleus Sampling)

Top-K의 한계는 단어의 개수를 고정한다는 점입니다. 어떤 상황에서는 상위 2~3개 단어가 전체 확률의 90%를 차지할 수도 있고, 어떤 상황에서는 상위 100개 단어가 비슷비슷한 확률을 가질 수도 있습니다. 이를 해결하기 위해 등장한 것이 Top-P, 즉 ‘핵심 샘플링(Nucleus Sampling)’입니다.

Top-P는 개수가 아니라 ‘누적 확률’을 기준으로 후보군을 정합니다. 예를 들어 P=0.9로 설정하면, 확률이 높은 순서대로 단어를 더해가다가 그 합계가 90%가 되는 지점까지만 후보군에 포함시킵니다. 상황에 따라 후보군이 2개가 될 수도 있고 200개가 될 수도 있기 때문에, Top-K보다 훨씬 유연하고 자연스러운 문장 생성이 가능합니다. 현대의 많은 LLM 서비스들은 Top-K보다 Top-P를 더 선호하거나 두 가지를 혼합하여 사용합니다.

파라미터 조합에 따른 결과 차이 분석

이 세 가지 설정은 독립적으로 작동하는 것이 아니라 서로 상호작용하며 최종 답변의 톤앤매너를 결정합니다. 아래 표는 목적에 따른 권장 설정 조합을 나타냅니다.

실무 적용 사례: 챗봇 서비스 최적화

실제 기업에서 고객 응대 챗봇을 구축할 때 이 파라미터 설정은 서비스의 성패를 가릅니다. 예를 들어, 금융 상품의 약관을 안내하는 챗봇이 높은 Temperature 값을 가지고 있다면, AI가 멋대로 약관 내용을 ‘창의적으로’ 해석하여 잘못된 정보를 제공하는 치명적인 사고가 발생할 수 있습니다. 이 경우 Temperature를 0에 가깝게 설정하여 모델이 가장 확률이 높은 정답만을 출력하도록 강제해야 합니다.

반면, 사용자의 고민을 들어주는 심리 상담 AI나 게임 속 NPC를 구현한다면 이야기가 다릅니다. 매번 똑같은 위로의 말을 건네는 AI는 금방 지루함을 느끼게 합니다. 이때는 Top-P를 높게 설정하고 Temperature를 0.8 정도로 올려, 매번 조금씩 다른 표현과 단어를 선택하게 함으로써 인간적인 유연함을 부여할 수 있습니다.

지금 당장 적용할 수 있는 액션 아이템

대부분의 일반 사용자용 인터페이스(ChatGPT 웹사이트 등)에서는 이 설정값이 숨겨져 있지만, API를 사용하거나 ‘Playground’ 환경을 이용한다면 직접 제어할 수 있습니다. 더 나은 AI 결과물을 얻기 위해 다음 단계를 실천해 보십시오.

• 결과가 너무 뻔하다면: Temperature를 0.1 단위로 높여보세요. 특히 마케팅 문구를 짤 때 0.7에서 0.9로 올리는 것만으로도 표현의 풍부함이 달라집니다.
• AI가 자꾸 헛소리를 한다면: Temperature를 낮추는 것과 동시에 Top-P 값을 0.8 정도로 낮춰보세요. 확률이 낮은 꼬리 부분의 단어들을 제거함으로써 논리적 일관성을 높일 수 있습니다.
• 정답이 정해진 작업을 시킨다면: Temperature를 0으로 설정하십시오. 이는 ‘Greedy Decoding’과 유사한 효과를 내어, 매번 동일한 입력에 대해 동일한 출력을 얻을 수 있게 하여 테스트와 검증을 용이하게 합니다.

결론: 제어 가능한 AI가 진짜 도구다

AI의 답변 품질은 단순히 프롬프트를 어떻게 쓰느냐(Prompt Engineering)뿐만 아니라, 모델이 어떻게 샘플링하느냐(Parameter Tuning)에 의해 결정됩니다. Temperature, Top-K, Top-P는 AI라는 거대한 확률 엔진의 핸들과 브레이크 같은 존재입니다.

기술적 원리를 이해하고 이 파라미터들을 적재적소에 활용할 수 있을 때, 우리는 AI를 단순한 ‘신기한 도구’가 아니라 비즈니스 목적에 맞게 정교하게 튜닝된 ‘전문가 시스템’으로 진화시킬 수 있습니다. 이제 여러분의 작업 성격에 맞춰 이 세 가지 다이얼을 직접 돌려보며 최적의 지점을 찾아보시기 바랍니다.