V VibeCoding 365
사전 목록 AI 모델·프로바이더

VIBECODING 365 / DICTIONARY

토큰

Token

기초 난이도: 기초태그: 토큰 · 토크나이저 · 비용단위

DEFINITION

정의

LLM이 텍스트를 처리하는 기본 단위로, AI 모델의 비용 산정과 성능을 이해하는 데 가장 기본이 되는 개념이다. 토크나이저(tokenizer)라는 알고리즘이 텍스트를 토큰으로 분할하며, 단어 하나가 반드시 토큰 하나가 되는 것은 아니다. 영어의 경우 대략 단어 1개 ≈ 1~1.5 토큰이지만, 한국어는 음절 단위로 분할되어 같은 의미의 텍스트가 영어보다 2~3배 많은 토큰을 소비한다(예: '안녕하세요' ≈ 3~5 토큰). 코드의 경우 'console.log("Hello World")' ≈ 약 6토큰이다. 토큰은 AI 코딩 도구의 사용량과 비용을 결정하는 핵심 단위로, API 과금은 입력 토큰과 출력 토큰을 각각 계산한다. 모델마다 다른 토크나이저를 사용하므로, 같은 텍스트도 모델에 따라 소비하는 토큰 수가 다를 수 있다. 바이브 코딩에서 예상보다 비용이 높아지는 주요 원인이 토큰 소비이므로, 컨텍스트 엔지니어링을 통해 불필요한 토큰 소비를 줄이는 것이 비용 관리의 핵심이다.

참고

AI 코딩 도구의 사용량·비용이 대부분 토큰 기준으로 산정됨.

ENGLISH

Token

EXAMPLE

console.log('Hello World') ≈ 약 6토큰.

NOTES

AI 코딩 도구의 사용량·비용이 대부분 토큰 기준으로 산정됨.