Stepik О курсе
Подробнее
Это курс для тех, кто желает узнать, каково это быть дата-инженером и обрабатывать большие данные с помощью Apache Spark на Scala.
Для успешного прохождения курса вам потребуется:
знание Scala (для тех, кто желает использовать только Python и изучить PySpark есть альтернативный курс Spark на Python)
базовое знание SQL
компьютер под рукой
Ожидается, что вы уже знакомы со Scala. Без этого - никак. Если вы прошли курс Основы Scala, проблем у вас быть не должно. Все необходимое там было дано.
Для выполнения практических заданий придется установить на компьютер Docker и IntelliJ IDEA. Инструкции по установке также будут предоставлены.
Результат
Что вы получите
- Обрабатывать большие данные с помощью Apache Spark на Scala, а также грамотно структурировать написанный вами код.
Аудитория
Для кого этот курс
- Курс для будущих дата инженеров.
Содержание
8 занятийПрограмма курса
№ТемаЧто внутри
01Введение
- Приветствие
- Повтор Scala
- Подготовка к работе
02DataFrames (DFs)
- DFs Основы
- Чтение/Запись Данных
- Работа с колонками
- DFs Джойны
- DFs Практика
03DataSets
- DS Основы
- Работа с Null
- Трансформации DS
- Практика
04RDDs
- RDD Основы
- Работа с RDD
- Практика
05Кластер Spark
- Настройка окружения
- Запуск программ
- Практика
06Оптимизации
- План выполнения
- Spark UI
- Разделение данных
- Объединение данных
- Практика
07Оформление Кода
- Функциональный подход
- ООП подход
08Финальный Проект
- Задание
01Введение
- Приветствие
- Повтор Scala
- Подготовка к работе
02DataFrames (DFs)
- DFs Основы
- Чтение/Запись Данных
- Работа с колонками
- DFs Джойны
- DFs Практика
03DataSets
- DS Основы
- Работа с Null
- Трансформации DS
- Практика
04RDDs
- RDD Основы
- Работа с RDD
- Практика
05Кластер Spark
- Настройка окружения
- Запуск программ
- Практика
06Оптимизации
- План выполнения
- Spark UI
- Разделение данных
- Объединение данных
- Практика
07Оформление Кода
- Функциональный подход
- ООП подход
08Финальный Проект
- Задание
Организатор
Автор курса
Мнения учеников
Отзывы о курсе
Оставьте отзыв
Расскажите о качестве обучения, поддержке и результате. Это поможет другим выбрать организацию осознанно.
Оставьте заявку
Консультант ответит на вопросы о курсе «Spark на Scala» и поможет разобраться в деталях обучения.
Нажимая кнопку, вы даете согласие на обработку персональных данных
Информация обновлена 21 сентября 2026 г.
Продолжить выбор
Похожие курсы
Начать без затрат
