Model Inference

Суть в одном предложении

Inference — фаза, когда обученная модель отвечает на запросы; от неё зависят latency, стоимость GPU и SLA сервиса.

Краткое определение

Model inference — выполнение forward pass нейросети на входных данных для получения предсказания (токены, класс, embedding).

Оригинал и перевод

• Язык: английский
• Оригинал: Inference
• Буквальный перевод: вывод, применение модели

Синонимы и варианты написания

• —

Где используется

• Искусственный интеллект
• Веб-разработка
• SEO и контент

Когда это важно

• при проектировании AI-фич на сайте
• при оптимизации под LLM-краулеры

Подробное объяснение

Оптимизации: квантизация (INT8/FP8), batching, KV-cache, speculative decoding, edge vs cloud API (OpenAI, Anthropic, local Ollama).