Промышленный расчет метрик на графах миллиардного масштаба

Спикер: Березин Андрей, ведущий разработчик, Databases & Analytics Engines R&D, Т-Банк

0:00 — Введение: промышленный расчёт метрик на графах
0:35 — Особенности R&D-задач и неопределённость в начале проекта
1:07 — Постановка задачи: приложение GA для расчёта метрик
1:32 — Зачем нужны графовые метрики в ML
1:50 — Объекты графа и методы их анализа (связность, центральность)
2:26 — Групповые метрики и поиск связей между вершинами
3:00 — Масштаб графа: 900 млн вершин и 38 млрд рёбер
3:35 — Пределы универсальных графовых библиотек (NetworkKit)
4:15 — Проблемы ETL и суперузлы в банковских данных
4:55 — Архитектурный принцип движка Grapher Analytics
5:30 — Структура расчётов и подготовка данных для аналитиков
6:10 — Историчность данных для валидации ML-гипотез
6:45 — Промышленный контур: выгрузка через S3 и Greenplum
7:20 — Итог: 20+ продуктовых метрик за 5 дней
8:15 — Выгоды для бизнеса и окупаемость разработки
8:55 — Вопросы: PageRank и мера Жаккара