Практический курс Big Data онлайн

Лучшим студентам организуем собеседования в IT компаниях по окончании курса

Площадка:Big Data Team
Продолжительность:1 месяц
Дата:в удобное время
Стоимость:от 25000

О курсе

Курс разработан в соответствии с потребностями и ожиданиями слушателей. Мы учитываем опыт прошлых курсов и ситуацию в мире IT. Преподаватели являются практикующими специалистами и имеют большой опыт работы. Мы знаем об актуальных инструментах и обучаем тому, что применяем на практике. Рассказываем о сложных вещах простым и понятным языком. Курс состоит из более 40 академических часов аудиторных занятий с лучшими преподавателями-практиками и более 40 часов самостоятельной работы.

Мы изучаем:

analytics
bigdata

Кому подойдет курс

Обучение рассчитано на всех причастных к BigData, тех, кто развивается в этом направлении и хочет новых знаний и ответов, для тех, кто хочет приобрести самую актуальную в мире на данный момент специализацию data scientist

Необходимые навыки

Необходимо уверенно пользоваться интернетом, с легкостью регистрироваться на сайтах и сервисах и устанавливать на свой компьютер различные программы.

Эксперты

Эксперты-практики BigData Team

Алексей Драль
Генеральный директор BigData Team, читает курсы: "Введение в Большие Данные (Big Data). Распределенные файловые системы, Workshop", "Hadoop экосистема, MapReduce и не только", "Оптимизация MapReduce вычислений", "SQL поверх больших данных (Hive)"
Артём Выборнов
Head of Big Data Dev, Rambler Group, читает курс "Потоковая обработка данных (Kafka, Spark Streaming)"
Павел Клеменков
Chief Data Scientist (Data Platform), NVIDIA, читает курсы: "Модель вычислений Spark: RDD", "Spark DataFrames, Spark SQL", "Модель вычислений Spark: RDD", "NoSQL поверх больших данных: HBase, Cassand

Карьера

Выпускники курсов HiBrain получают уникальную возможность применить новые знания: компании-партнёры проекта ждут наших слушателей на стажировки и предлагают трудоустройство.

Программа курса

1 / Введение в Большие Данные (Big Data). Распределенные файловые системы, Workshop

Вводная часть: знакомство (задачи, оценки, дедлайны), подробности курса. Распределенные файловые системы (GFS, HDFS). Их составляющие, достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: Web, shell

2 / Hadoop экосистема, MapReduce и не только

Hadoop Streaming. Элементы Hadoop-задачи (Mapper, reducer, combiner, partitioner, comparator)

3 / Оптимизация MapReduce вычислений

Приложения с несколькими Hadoop-задачами. Тюнинг Hadoop-job (настройка партиционирования, сложные ключи, uber jobs). Задачи с несколькими входами. Joins в Hadoop

4 / SQL поверх больших данных (Hive)

Архитектура Hive, виды таблиц, форматы хранения данных. Трансляция Hive-запросов в MapReduce-задачи. Сериализация и десериализация. Тюнинг Join'ов в Hive. Партиционирование, бакетирование, семплирование. User defined functions, Hive Streaming

5 / Модель вычислений Spark: RDD

Схема выполнения задачи в Spark. Основные термины Spark (job, task, stage). Представление вычислений в виде графа. Spark Python API. Spark RDD API. Broadcast-сообщения и счетчики

6 / Spark DataFrames, Spark SQL

Взаимодействие Hive и Spark SQL. Отличия DF от RDD

7 / Модель вычислений Spark: RDD

Spark on YARN. Типы stage в Spark. Оптимизация операции shuffle. Настройка Garbage Collection, тюнинг потребления памяти

8 / Потоковая обработка данных (Kafka, Spark Streaming)

Подходы к Realtime-обработке. Гарантии обработки. Переход от одной гарантии к другой. Архитектуры "Лямбда" и "Каппа". Spark Streaming vs. Spark RDD, Spark Structured Streaming vs. Spark DataFrames, DStream. Архитектура Kafka, Kafka Streams, репликация в Kafka. Отличие Kafka от классических очередей. Семантики доставки сообщений. Сжатие данных в kafka. Синхронная и асинхронная репликация

9 / NoSQL поверх больших данных: HBase, Cassandra

Отличия Key-value хранилищ от Реляционных БД. Архитектуры HBase и Cassandra. Их различия. Обеспечение надёжности и высокодоступности в Key-value хранилищах. Компактификация и её виды. CQLSH, HBase shell. Взаимодействие хранилищ (Cassandra и Hbase) со Spark и Hadoop

Записаться на курс

Площадка проведения: Big Data Team

Москва, ул. Александра Солженицына, 23а, с1, офис компании SkyEng