프롬프트는 텍스트가 아닌 토큰: AI의 실제 작동 방식
AI 모델에 입력되는 프롬프트는 단순 텍스트가 아니라 토큰으로 변환되어 처리됩니다. 이 글에서는 프롬프트의 토크나이징 과정과 이를 이해하는 것이 왜 중요한지 설명합니다.
KoBERT
AI 모델에 입력되는 프롬프트는 단순 텍스트가 아니라 토큰으로 변환되어 처리됩니다. 이 글에서는 프롬프트의 토크나이징 과정과 이를 이해하는 것이 왜 중요한지 설명합니다.