IBS Training Center Apache AirFlow: эффективная оркестрация задач
Всё для обучения
Как устроено обучение
О курсе
Подробнее
Освойте Apache AirFlow для создания и мониторинга сложных ETL-процессов. Улучшите производительность и управление данными в Big Data-проектах.
Требования
Что нужно для старта
- Специалисты, владеющие Python, SQL и имеющие опыт работы в Hadoop.
Результат
Что вы получите
- Создавать и настраивать DAG-задания в Apache AirFlow
- Мониторить и отлаживать выполнение задач
- Интегрировать AirFlow с Hadoop и другими системами
- Разрабатывать плагины, нотификации и собственные операторы
- Тестировать и оптимизировать задания
- Развертывать AirFlow в Docker и Kubernetes
Аудитория
Для кого этот курс
- Data Engineer
- DevOps-инженер
Содержание
9 занятийПрограмма курса
№ТемаЧто внутри
01Введение в Apache Airflow
• Что такое ETL
• Оркестрация вручную - Cron и скрипты
• Первый оркестратор для Hadoop - Oozie
• Введение в AirFlow
• Локальная установка AirFlow
• Установка в Docker
• Настройка подключений к внешним сервисам
• REST API & CLI
02Описание и выполнение заданий в AirFlow
• Запускаемое задание - граф задач (DAG)
• Оператор (operator)
• Процесс исполнения задания
• Состояния задач (task)
• Веб-интерфейс
• Планирование, ручной запуск и мониторинг выполнения заданий.
03Компоненты AirFlow
• Планировщик (Scheduler)
• Исполнитель заданий (Executor)
• Исполнитель задач (Worker)
• Веб-сервер
• База метаданных
• Конфигурация
• Настройка исполнителей для заданий.
04Операторы и их композиции
• Виды операторов
• PythonOperator
• Bash Operator
• Http Operator
• *SQL Operator
• Описание простых заданий.
• Последовательное выполнение
• Параллельное выполнение
• Проверка условий
• Передача данных между операторами: переменные
• Шаблоны и макросы
• Описание составных заданий.
05Условия срабатывания заданий
• Готовые сенсоры
• Хуки
• Триггеры
• Прослушиватели
• Backfill & catchup
• Мониторинг и отладка заданий
06Разработка для AirFlow
• Плагины и нотификации.
• Сенсоры и branch операторы.
• Операторы и хуки.
• Разработка и использование оператора.
07Лучшие практики использования
• Оптимизация заданий
• Взаимодействие заданий (XCom)
• Динамические задания
• Управление параллелизмом и пулингом
• Тестирование заданий
• Примеры практических задач и их решений
• Тестирование и оптимизация заданий.
08Интеграция Airflow с другими системами
• Обращение к файловой системе HDFS
• Пошаговое выполнение отдельными сессиями Spark
• Выполнение в одной сессии через Spark
• REST API
• Запуск заданий Spark.
• Выполнение запросов Impala
• Запуск запросов Impala.
• Выполнение запросов ClickHouse
• Запуск заданий ClickHouse.
• Интеграция с SuperSet
09Промышленное развертывание AirFlow
• Многоузловой кластер
• AirFlow в Docker
• Развертывание в Kubernetes
• Аутентификация, шифрование, управление доступом
• Журналы
• Мониторинг
• Обновление версий
• Выполнение заданий на многоузловом кластере.
01Введение в Apache Airflow
• Что такое ETL
• Оркестрация вручную - Cron и скрипты
• Первый оркестратор для Hadoop - Oozie
• Введение в AirFlow
• Локальная установка AirFlow
• Установка в Docker
• Настройка подключений к внешним сервисам
• REST API & CLI
02Описание и выполнение заданий в AirFlow
• Запускаемое задание - граф задач (DAG)
• Оператор (operator)
• Процесс исполнения задания
• Состояния задач (task)
• Веб-интерфейс
• Планирование, ручной запуск и мониторинг выполнения заданий.
03Компоненты AirFlow
• Планировщик (Scheduler)
• Исполнитель заданий (Executor)
• Исполнитель задач (Worker)
• Веб-сервер
• База метаданных
• Конфигурация
• Настройка исполнителей для заданий.
04Операторы и их композиции
• Виды операторов
• PythonOperator
• Bash Operator
• Http Operator
• *SQL Operator
• Описание простых заданий.
• Последовательное выполнение
• Параллельное выполнение
• Проверка условий
• Передача данных между операторами: переменные
• Шаблоны и макросы
• Описание составных заданий.
05Условия срабатывания заданий
• Готовые сенсоры
• Хуки
• Триггеры
• Прослушиватели
• Backfill & catchup
• Мониторинг и отладка заданий
06Разработка для AirFlow
• Плагины и нотификации.
• Сенсоры и branch операторы.
• Операторы и хуки.
• Разработка и использование оператора.
07Лучшие практики использования
• Оптимизация заданий
• Взаимодействие заданий (XCom)
• Динамические задания
• Управление параллелизмом и пулингом
• Тестирование заданий
• Примеры практических задач и их решений
• Тестирование и оптимизация заданий.
08Интеграция Airflow с другими системами
• Обращение к файловой системе HDFS
• Пошаговое выполнение отдельными сессиями Spark
• Выполнение в одной сессии через Spark
• REST API
• Запуск заданий Spark.
• Выполнение запросов Impala
• Запуск запросов Impala.
• Выполнение запросов ClickHouse
• Запуск заданий ClickHouse.
• Интеграция с SuperSet
09Промышленное развертывание AirFlow
• Многоузловой кластер
• AirFlow в Docker
• Развертывание в Kubernetes
• Аутентификация, шифрование, управление доступом
• Журналы
• Мониторинг
• Обновление версий
• Выполнение заданий на многоузловом кластере.
Документ после выпуска
Удостоверение о прохождении
Организатор
Автор курса
Мнения учеников
Отзывы о курсе
Оставьте отзыв
Расскажите о качестве обучения, поддержке и результате. Это поможет другим выбрать организацию осознанно.
Оставьте заявку
Консультант ответит на вопросы о курсе «Apache AirFlow: эффективная оркестрация задач» и поможет разобраться в деталях обучения.
Нажимая кнопку, вы даете согласие на обработку персональных данных
Информация обновлена 28 сентября 2026 г.
Продолжить выбор
Похожие курсы
Начать без затрат
