🤖 AI 토큰 계산기

토큰은 AI 언어 모델이 텍스트를 처리하는 최소 단위입니다. 모델은 문장을 글자나 단어가 아니라 토큰이라는 조각으로 잘라서 읽고 쓰며, API 요금도 토큰 수를 기준으로 청구됩니다. 영어는 대략 단어 1개가 1~2토큰, 한글은 1글자가 1~2토큰 정도로 쪼개지는 것이 일반적입니다. 같은 문장이라도 모델(토크나이저)마다 토큰 수가 달라질 수 있습니다.

토크나이저의 어휘 사전이 영어 중심으로 학습되어 있기 때문입니다. 영어는 자주 쓰이는 단어가 통째로 1토큰이 되는 경우가 많지만, 한글은 한 글자가 1~2개 이상의 토큰으로 쪼개지는 경우가 많아 같은 의미의 문장도 영어보다 토큰 수가 1.5~2배 이상 나올 수 있습니다. 최신 토크나이저(o200k_base)는 이전 세대(cl100k_base)보다 한글 처리 효율이 개선되어 같은 한글 문장도 토큰 수가 더 적게 나옵니다.

OpenAI는 GPT 모델의 토크나이저(tiktoken)를 오픈소스로 공개해 브라우저에서도 정확한 토큰 수를 계산할 수 있습니다. 반면 Anthropic(Claude 3 이후)과 Google(Gemini)은 최신 모델의 토크나이저를 공개하지 않아, 이 도구는 GPT 토큰 수와 텍스트의 언어 구성(한글·영문 비율)을 바탕으로 통계적 추정치를 보여줍니다. 실제 값과 대략 ±10~20% 차이가 날 수 있으며, 정확한 값이 필요하면 Anthropic의 count_tokens API나 Google의 countTokens API를 사용하는 것이 좋습니다.

이 도구는 입력한 텍스트 자체의 토큰 수를 계산합니다. 실제 API 호출 시에는 여기에 시스템 프롬프트, 대화 이력, 메시지 포맷 오버헤드(역할 구분 토큰 등), 도구 정의 등이 추가되어 청구 토큰이 더 많아질 수 있습니다. 또 응답(출력) 토큰은 입력보다 단가가 3~6배 비싸므로, 비용을 추정할 때는 예상 출력 토큰 수까지 함께 고려해야 합니다. 이 페이지의 비용 계산기에 예상 출력 토큰을 입력하면 합산 비용을 확인할 수 있습니다.

아니요. 토큰 계산은 100% 사용자의 브라우저 안에서 JavaScript로 처리되며, 입력한 텍스트는 어떤 서버로도 전송되거나 저장되지 않습니다. 페이지가 사용하는 GPT 토크나이저도 CDN에서 내려받는 정적 JavaScript 파일이라 텍스트가 외부로 나가지 않습니다. 업무 문서나 개인정보가 포함된 프롬프트도 안심하고 계산할 수 있습니다.