Beeline Meetup: Data Engineering Tools
Вас ждет:
- quantity: 3 доклада;
- cost: бесплатно;
- feature: розыгрыш призов.
Программа:
Как настроить ETL с JSON’ами в Apache NiFi
Сергей расскажет, как в Apache NiFi настроить пайплайн трансформации и сохранения JSON в хранилище данных, и как с помощью Jolt и Avro уменьшить время и трудозатраты на его построение.Максим Стаценко (Яндекс)
Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow
Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчета. Никита расскажет, почему так бывает, и как в команде создавали сквозные пользовательские логи в продукте.
Apache Flink: Flink Table API & SQL
Александр расскажет, что такое Table API в Apache Flink, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.Открытие17:00–17:10Закрытие19:40–19:45Никита Хилов (билайн)
Спикеры:
Александр Булатов (билайн), Старший дата-инженер в домене «Техника»
Аспирант и преподаватель-ассистент в НГТУ, учит студентов основам ООП, логике и мышлению. Прошел путь от стажера до Middle дата-инженера за три года, два из них посвятил проекту Radcom. Занимается ETL-процессами в домене «Техника» с данными Radcom.
Сергей Евсеев (билайн), Middle дата-инженер
Когда-то мечтал стать программистом и научиться рисовать. Теперь рисует ETL и мешает коту писать код за себя. Угорает по вымышленным мирам, спейсшипам, космосу и ИИ. Дата-инженер в команде HR Services. Работает в билайне 2,5 года.Middle дата-инженер
Никита Хилов (билайн), Руководитель по разработке, Департамент «Чаптер инженеров данных и разработчиков»
Работает в билайне более 10 лет. Занимается курированием дата-инженеров, продуктов и самых разных точек бизнес-приложений.
Михаил Благов (билайн), Руководитель департамента «Чаптер инженеров данных и разработчиков»
Более десяти лет в IT, более шести лет в Big Data. В билайне занимается процессами и лучшими практиками разработки ETL. Интересуется всем, что связано с обработкой больших и малых данных.
