Михаил Кобик, «Группа Астра»: между работающим инференсом и полноценным промышленным AI-сервисом — большая дистанция

В рамках конференции «АстраКонф-2026» Михаил Кобик расскажет, как запустить языковые модели в защищенном контуре.

25 сентября в рамках «АстраКонф», посвящённой информационным технологиям в России, Михаил Кобик, технический директор платформы «Боцман» расскажет про Боцман AI и запуск языковых моделей в защищенном контуре.

Эксперт расскажет про то, как построить собственный инференс ИИ-моделей и не потерять последние волосы, ответит на вопрос почему просто запустить vllm это только 10 % результата.

На примерах разберет путь от простого инференса до надежной и безопасной системы: с контролем доступа и потребления, защитой данных, масштабированием, высокой доступностью и мониторингом. Отдельное внимание будет уделено тому, как сохранить модели и корпоративные данные внутри инфраструктуры компании и какие инженерные механизмы необходимы для безопасной эксплуатации ИИ в продакшене.

«Сегодня запустить ИИ-модель технически несложно, но между работающим инференсом и полноценным промышленным AI-сервисом — большая дистанция. В корпоративной среде важно не только качество ответов модели: нужно понимать, где находятся данные, кто и на каких условиях получает доступ к модели, как контролируется потребление ресурсов и что произойдет при росте нагрузки или отказе компонентов. Поэтому мы смотрим на безопасный ИИ как на свойство всей системы вокруг модели — от инфраструктуры и управления GPU до контроля доступа, мониторинга и отказоустойчивости» —говорит Михаил Кобик.

Конференция пройдёт 25 сентября в Москве, регистрация онлайн на сайте.

Также в рамках «АстраКонф» вы сможете узнать:

— как использовать AI для эффективного мониторинга;

— об экосистемном подходе к построению инфраструктуры на базе Astra Linux;

— о платформе для разработки и сопровождения доверенного ПО;

— про доверенное облако КИИ и сервисы для ИИ-нагрузок;

— как защитить самые важные данные компании.