Докупать нельзя доиспользовать: разбираемся где поставить запятую в оптимизации ИИ‑нагрузок

Спикер: Подмосковный Александр, менеджер продукта по направлению ML/AI, Deckhouse

0:00 — Вступление: когда пора докупать «железо»
0:46 — Опыт спикера и компании «Флант»
1:32 — Кейс внедрения AI-ассистента в бизнес
2:26 — Проблемы производительности и симптомы перегрузки
3:07 — Анализ утилизации видеопамяти и мощностей
4:56 — Технические нюансы: KV-кэш и оптимизация памяти
8:02 — Фазы инференса: Prefill и Decode
11:00 — Размещение моделей на GPU и мультиарендность (MIG, MPS)
13:58 — Планировщик сервиса инференса и автоматизация
16:15 — Выводы: сначала оптимизация, потом закупки
18:00 — Музыкальный интерактив