По итогу обучения на курсе вы станете уверенным дата-инженером. Карьерный центр Skillfactory поможет подготовить резюме, проконсультирует по  тонкостям собеседований и поможет с трудоустройством.

О Data Engineering и важности для него ОС Linux

Введение

Базы и хранилища данных, их особенности

Hadoop-экосистема

Рассмотрим файлы как источники данных, разберём структурирование данных (JDBC), научимся использовать SQL для выгрузки.

Источники данных и работа с ними

Apache Spark и обработка данных

Здесь же слушатели познакомятся с особенностями и тонкостями hdfs.

Hadoop как хранилище данных

Apache Airflow для оркестрации конвейеров

Разберём нюансы работы с Google, Amazon, Azure.

Облачные хранилища и их особенности.

Дата-инженер собирает данные различных источников, очищает и передаёт аналитикам для принятия решений по развитию бизнеса. Обучение ориентировано на практику и знакомит с основными инструментами инженерии данных.  За 2 месяца вы получите необходимые знания и пополните портфолио реальными проектами в Data Engineering.

Ведущий дата-инженер компании «Альфастрахование». Начало работы в IT - 1996 год. Системный программист, руководитель, изобретатель. Серьёзно занимается параллельным программирование. Большой опыт работы в крупном ритейле, страховании, брокерских компаниях. Agile-руководитель