Data Engineering и не только

Работаешь с данными, которые не помещаются в оперативную память? Приходится использовать распределенные вычисления? Поздравляем, ты Data Engineer. Для многих в IT этот термин звучит как просто еще один из баззвордов между Lean Analytics и Artificial Intelligence. Мы хотим поговорить о инженерах данных как об отдельной специальности, а не в рамках small talk на очередном Big Data Meet Up. 

Программа:

1. Александр Елисеев, Wrike – Data Engineering: как пройти путь от Data к Engineering 
 

Мы поговорим о подходах к обработке Clicksteam’а и о том, как менялось наше представление от аналитического к дата-инженерному, какие инженерные принципы мы нарушали, и как перестать их нарушать в Data Engineering’е. Я расскажу о проблемах, с которыми мы сталкивались, на примере ошибок в проектировании источников данных (от ETL с витринами данных до более сложной схемы), пайплайнов на примере AirFlow, ограничений наших технологий (ORC, Tableau, нехватки ресурсов, пайплайнов на Jenkins’е). Вы узнаете, как мы изменили свой подход к проектированию пайплайнов и обработке данных.

2. Виталий Худобахшов, JetBrains – Тестирование приложений в Apache Spark

Цена ошибки в приложениях, связанных с анализом данных, часто очень высока. Но при этом роль данных в сбоях по сравнению с кодом так же много выше, чем обычно. Как же минимизировать ошибки в приложениях, которые сложно тестировать и отлаживать? Как правильно писать код и тесты в таком случае, чтобы несколько часов дорогого времени машинного не прошли впустую? Именно об этом мне хочется немного поговорить​.

3. Сергей Исаев, DataFabric – Как можно управлять данными и сохранять знания с помощью семантических технологий.

Расскажу про:

• сбор, преобразование и управления данными; 
• графы знаний;
• онтологическое моделирование предметной области;
• связанные данные;
• применение семантических технологий для построения интеллектуальных информационных систем;
• чем «данные» отличаются от «знаний».