Вебинар «Разворачиваем приложение на Apache Spark в Kubernetes. Пошаговый рецепт»

Проводится: 04.02.2021 в 17:00 . Автор: CISO CLUB. Категории: Мероприятия
Вебинар «Разворачиваем приложение на Apache Spark в Kubernetes. Пошаговый рецепт»

4 февраля (четверг) Mail.ru Group приглашает принять участие в вебинаре «Разворачиваем приложение на Apache Spark в Kubernetes. Пошаговый рецепт», где даже начинающие научатся обрабатывать данные с помощью Spark в облаке. Присоединяйтесь!

Для частого запуска приложений на Spark, особенно в промышленной эксплуатации, необходимо максимально упростить сам процесс регулярного запуска Spark-задач, а также уметь гибко настраивать их конфигурации. В этом поможет современный DevOps-подход к работе со Spark, связанный с использованием Kubernetes.

Подробнее о вебинаре

Spark на Kubernetes позволяет решать задачи изоляции рабочих сред, гибкого управления ресурсами и масштабирования.

Популярные материалы останавливаются на запуске тестового приложения в K8s, которое считает число пи. На вебинаре будет собран свой образ со своим кодом, добавлены необходимые библиотеки, креды для доступа к S3-хранилищу, специалисты научат читать из S3 и записывать в него.

На вебинаре планируется:

  • Развернуть Kubernetes-кластер в облаке Mail.ru Cloud Solutions
  • Установить Kubernetes Operator for Apache Spark (Spark Operator)
  • Запустить тестовый пример Spark-задачи/приложения
  • Собрать свой Docker-образ со Spark и кастомным приложением
  • Протестировать Docker-образ в работе, получить доступ из Spark к сервисам облака (S3-хранилищу)
  • В процессе познакомиться с дебагом Spark в Kubernetes 😉

По итогам вебинара слушатели получат готовый репозиторий в Github с инструкцией, всеми командами, примерами кода, готовыми приложения — и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.

На все ваши вопросы в прямом эфире ответит его ведущий: Александр Волынский, архитектор Mail.ru Cloud Solutions

Дата проведения: 4 февраля (четверг).

Начало программы: 17:00 (Москва UTC +3).

Регистрация обязательна, после неё организаторы пришлют ссылку для подключения.

По расписанию Мероприятия
CISO CLUB

Об авторе CISO CLUB

Редакция портала cisoclub.ru. Добавляйте ваш материал на сайт в разделе "Разместить публикацию".
Читать все записи автора CISO CLUB

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *