티스토리 뷰
토큰(Token)과 컨텍스트 윈도우란? AI 요금과 글자수 제한의 비밀
ChatGPT나 Claude를 쓰다 보면 "토큰"이라는 단어를 꼭 만나게 됩니다.
AI 요금표에도, 사용량 안내에도, 개발자 문서에도 온통 토큰입니다.
그런데 정작 토큰이 뭔지 설명해 주는 곳은 드뭅니다.
오늘은 AI를 쓰는 사람이라면 반드시 알아야 할 두 개념, 토큰과 컨텍스트 윈도우를 초보자 눈높이로 완전히 풀어드리겠습니다.
이 글 하나면 "왜 긴 대화를 하면 AI가 앞부분을 까먹는지", "왜 요금이 갑자기 많이 나오는지" 전부 이해할 수 있습니다.
토큰이란 무엇일까? AI가 글을 읽는 최소 단위
토큰을 한마디로 정의하면 "AI가 글을 이해할 때 쪼개는 최소 단위"입니다.
우리는 글을 읽을 때 단어 단위로 이해하지만, AI는 조금 다릅니다.
AI는 문장을 잘게 잘라서 숫자로 바꾼 뒤 처리하는데, 이때 잘라낸 조각 하나하나가 바로 토큰입니다.
레고 블록을 떠올리면 쉽습니다. 우리 눈에는 완성된 자동차 모형이 보이지만, 실제로는 수백 개의 작은 블록이 조립된 결과물이죠.
AI에게 문장은 이 레고 자동차와 같습니다.
"오늘 날씨가 정말 좋네요"라는 문장을 AI는 통째로 받아들이는 게 아니라, 여러 개의 토큰 조각으로 나눠서 하나씩 처리합니다.
그럼 토큰 하나는 얼마나 될까요? 영어 기준으로는 대략 4글자, 즉 짧은 단어 하나 정도가 1토큰입니다.
"apple"은 1토큰, "unbelievable" 같은 긴 단어는 2~3토큰으로 쪼개집니다.
흥미로운 건 자주 쓰이는 단어일수록 통째로 1토큰이 되고, 드문 단어일수록 여러 조각으로 나뉜다는 점입니다.
AI가 자주 만나본 표현일수록 효율적으로 처리한다는 뜻이죠.
여기서 꼭 기억할 사실이 하나 있습니다. 띄어쓰기와 줄바꿈, 문장부호도 전부 토큰을 차지합니다.
우리 눈에는 빈칸처럼 보여도 AI에게는 엄연한 정보입니다.
그래서 "글자수"와 "토큰수"는 결코 같지 않으며, 이 차이를 모르면 요금 계산이 늘 어긋나게 됩니다.
한국어는 왜 토큰을 더 많이 잡아먹을까?
한국어 사용자라면 반드시 알아야 할 불편한 진실이 하나 있습니다.
똑같은 내용을 말해도 한국어는 영어보다 토큰을 훨씬 많이 소모합니다. 대략 2배에서 3배 정도 차이가 납니다.
왜 그럴까요? 이유는 AI 모델이 학습한 데이터의 대부분이 영어이기 때문입니다.
AI에게 영어는 모국어처럼 익숙해서 단어를 통째로 1토큰에 담을 수 있습니다.
반면 한국어는 상대적으로 학습량이 적어, 글자 단위로 잘게 쪼개는 경우가 많습니다.
최신 모델들이 많이 개선되긴 했지만, 한글은 대체로 한 글자당 1토큰 안팎을 차지한다고 보면 됩니다.
구체적인 예를 들어볼까요? "Hello, how are you today?"는 영어로 약 7토큰입니다.
그런데 같은 의미의 "안녕하세요, 오늘 기분이 어떠신가요?"는 15~20토큰 수준까지 올라갑니다.
내용은 똑같은데 비용은 두 배 이상 드는 셈이죠.
이 사실이 왜 중요할까요? 한국어로 AI를 쓰면 같은 요금으로 처리할 수 있는 분량이 절반 이하로 줄어들기 때문입니다.
컨텍스트 한도에도 더 빨리 도달하고, API 요금도 더 많이 나갑니다.
그래서 대량으로 AI를 활용하는 서비스들은 내부 처리를 영어로 하고 최종 결과만 한국어로 번역하는 전략을 쓰기도 합니다.
물론 개인이 챗봇으로 쓰는 수준에서는 크게 신경 쓸 필요는 없지만, "한국어는 토큰을 더 먹는다"는 사실 자체는 알아두면 두고두고 도움이 됩니다.
컨텍스트 윈도우: AI가 한 번에 펼쳐놓을 수 있는 책상 크기
토큰을 이해했다면 다음은 컨텍스트 윈도우(Context Window)입니다.
이건 "AI가 한 번에 기억하고 처리할 수 있는 토큰의 최대 개수"를 뜻합니다.
책상에 비유하면 완벽하게 이해됩니다.
아무리 유능한 사람이라도 책상 위에 펼쳐놓을 수 있는 서류의 양에는 한계가 있습니다.
책상이 좁으면 새 서류를 올릴 때 기존 서류를 치워야 하죠.
AI도 똑같습니다.
컨텍스트 윈도우는 AI의 책상 크기이고, 그 위에는 지금까지의 대화 내용 + 내가 방금 던진 질문 + AI가 만들어낼 답변이 전부 올라가야 합니다.
그래서 대화가 길어지면 AI가 앞부분을 잊어버리는 현상이 생깁니다.
책상이 꽉 차서 오래된 서류부터 밀려나는 것이죠.
"아까 말했잖아!"라고 답답해했던 경험, 바로 이 컨텍스트 윈도우 한계 때문이었습니다.
최근 모델들의 컨텍스트 윈도우는 얼마나 될까요? Claude Opus 5와 Sonnet 5는 100만 토큰이라는 어마어마한 크기를 지원합니다.
두꺼운 책 여러 권 분량을 통째로 넣고 질문할 수 있는 수준이죠.
반면 가볍고 저렴한 Claude Haiku 4.5는 20만 토큰으로, 이것도 웬만한 장편소설 한 권은 거뜬히 들어갑니다.
또 하나 구분해야 할 개념이 출력 한도입니다. 컨텍스트 윈도우가 100만 토큰이어도, 한 번의 답변으로 뽑아낼 수 있는 양은 별도로 정해져 있습니다.
최신 모델 기준 한 번에 약 12만 8천 토큰까지 출력할 수 있습니다. 즉 "읽을 수 있는 양"과 "한 번에 쓸 수 있는 양"은 다르다는 점을 꼭 기억하세요.
토큰이 곧 돈이다: AI 요금 계산의 핵심 원리
AI API 요금은 전부 토큰 단위로 계산됩니다.
그리고 여기에는 초보자가 반드시 알아야 할 결정적 포인트가 있습니다. 입력 토큰과 출력 토큰의 가격이 다르다는 점입니다.
실제 요금표를 보면 명확합니다. Claude Opus 5는 입력 100만 토큰당 5달러, 출력 100만 토큰당 25달러입니다.
출력이 입력보다 무려 5배 비쌉니다. Claude Sonnet 5는 입력 3달러, 출력 15달러이고, 가장 저렴한 Claude Haiku 4.5는 입력 1달러, 출력 5달러입니다. 모든 모델에서 출력이 입력의 5배라는 공식이 유지됩니다.
왜 출력이 더 비쌀까요? AI 입장에서 읽는 일과 쓰는 일의 난이도가 다르기 때문입니다.
입력은 이미 존재하는 글을 한꺼번에 훑어보면 되지만, 출력은 단어 하나하나를 계산해서 새로 만들어내야 합니다.
사람도 책을 읽는 것보다 글을 쓰는 게 훨씬 힘들잖아요. 그 차이가 그대로 가격에 반영된 겁니다.
이 원리를 알면 비용 절감 전략이 자연스럽게 나옵니다. 긴 자료를 넣는 것보다, 긴 답변을 요구하는 게 훨씬 비쌉니다. "이 100페이지 보고서를 세 줄로 요약해줘"는 생각보다 저렴하고, "세 줄 아이디어로 30페이지 보고서를 써줘"는 훨씬 비쌉니다.
무작정 "자세히 써줘"를 남발하기보다, 정말 필요한 분량만 요청하는 습관이 곧 비용 절감입니다.
토큰을 아끼는 실전 노하우 5가지
마지막으로 실제로 써먹을 수 있는 절약 전략을 정리해 드리겠습니다.
첫째, 프롬프트 캐싱을 활용하세요.
매번 똑같은 긴 지시문이나 참고 자료를 넣는다면 캐싱 기능이 답입니다. 한 번 저장해두면 다음부터는 원래 입력 가격의 약 10퍼센트만 내고 재사용할 수 있습니다. 최대 90퍼센트까지 비용이 절감되는 강력한 기능이죠. 다만 저장할 때 약 1.25배의 비용이 한 번 발생하므로, 같은 내용을 두 번 이상 쓸 때부터 이득이라고 기억하면 됩니다.
둘째, 대화창을 적절히 새로 시작하세요. 앞서 배웠듯 대화가 길어질수록 매번 전체 기록을 다시 읽어야 해서 비용이 계속 불어납니다. 주제가 바뀌었다면 새 대화를 여는 것이 훨씬 경제적입니다.
셋째, 작업 난이도에 맞는 모델을 고르세요. 간단한 분류나 요약에 최고급 모델을 쓸 이유가 없습니다. Haiku 같은 가벼운 모델은 Opus의 5분의 1 가격이면서도 단순 작업은 충분히 처리합니다.
넷째, 출력 분량을 명확히 지정하세요. "300자 이내로", "핵심 3가지만" 같은 조건을 붙이면 가장 비싼 출력 토큰을 직접 통제할 수 있습니다.
다섯째, 불필요한 자료를 넣지 마세요. "혹시 몰라서" 파일 전체를 넣는 습관은 비용을 크게 늘립니다. 필요한 부분만 골라 넣는 것이 정확도와 비용 두 마리 토끼를 잡는 길입니다.
마무리하며
토큰은 AI가 글을 이해하는 최소 단위이고, 컨텍스트 윈도우는 AI가 한 번에 펼쳐놓을 수 있는 책상의 크기입니다.
한국어는 영어보다 토큰을 2~3배 더 쓰고, 출력 토큰은 입력보다 5배 비싸며, 프롬프트 캐싱을 쓰면 최대 90퍼센트까지 비용을 아낄 수 있습니다.
이 개념들은 단순한 지식이 아니라 AI를 저렴하고 똑똑하게 쓰는 실전 무기입니다.
오늘부터 AI에게 질문할 때 "이 요청은 토큰을 얼마나 쓸까?"를 한 번씩만 생각해보세요.
그 습관 하나가 결과의 질과 비용을 동시에 바꿔놓습니다.