Token (токен LLM)

Суть в одном предложении

Токен — минимальная единица текста для LLM; от числа токенов зависят стоимость API, лимит контекста и скорость ответа.

Краткое определение

Token в LLM — фрагмент текста (часть слова, слово или символ), в который модель разбивает вход и выход; биллинг и context window измеряются в токенах.

Оригинал и перевод

• Язык: английский
• Оригинал: Token
• Буквальный перевод: жетон, единица текста

Синонимы и варианты написания

• —

Где используется

• Искусственный интеллект
• Веб-разработка
• SEO и контент

Когда это важно

• при проектировании AI-фич на сайте
• при оптимизации под LLM-краулеры

Подробное объяснение

Ориентир: 1 токен ≈ 3–4 символа латиницы или ~2 символа кириллицы. Длинные статьи и PDF быстро заполняют context window, поэтому для RAG берут короткие релевантные чанки.