IBS Training Center Основы Kafka
Всё для обучения
Как устроено обучение
О курсе
Подробнее
Введение в Apache Kafka: стриминговая платформа для обработки данных в реальном времени. Освоите основы Apache Kafka и научитесь разрабатывать распределенные стриминговые приложения. Получите практический опыт работы с экосистемой Kafka, включая настройку кластеров, разработку клиентских приложений и использование KSQL.
Требования
Что нужно для старта
- Опыт разработки на Java от 3 месяцев.
Результат
Что вы получите
- Запускать и настраивать кластер Kafka с тремя узлами
- Разрабатывать Java-клиентов для Kafka
- Использовать KSQL для создания потоков без программирования
- Конфигурировать Kafka Connect для интеграции с внешними системами
- Мониторить и оптимизировать производительность кластера Kafka
- Создавать транзакционные приложения с использованием Kafka
Аудитория
Для кого этот курс
- Разработчик
- Архитектор ПО
- Data Engineer
Содержание
9 занятийПрограмма курса
№ТемаЧто внутри
01Обзор
• Что такое Kafka.
• Примеры удачного и неудачного использования Kafka.
• Kafka и база данных: сходства и различия.
• Kafka и прямые конкуренты.
• Kafka и Apache Pulsar.
• Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики.
• Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR.
• Клиенты и API.
02Настройка Кластера
• Практика 2.1: запуск кластера Kafka с помощью Docker.
• Установка Zookeeper.
• Установка брокеров Kafka.
03Инструменты Kafka и управление данными
• Самые популярные инструменты Kafka.
• Демо 3.1: Инструменты Kafka.
• Практики KafkaOps.
04Разработка приложений на Java
• Kafka Producer API: основы.
• Практика 4.1: Отправка одного сообщения.
• Kafka Consumer API: основы, группы потребителей.
• Практика 4.2: Один получатель.
• Практика 4.3: Несколько получателей в одной группе.
• Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей.
• Практика 4.4: Транзакционный Отправитель.
• Практика 4.5: Отправка и получение в транзакции.
• Практика 4.6: Замороженный потребитель.
• Практика 4.7: Медленный потребитель.
05Внешний доступ к кластеру Kafka
• Безопасность: SSL, SASL, Kerberos.
• REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы.
• Практика 5.1: доступ через REST Proxy.
• Schema Registry: реестр схем.
• Практика 5.2: Schema Registry.
06Kafka Streams и KSQL
• Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии.
• Устройство Kafka Streams: многопоточность, несколько экземпляров и задач.
• Практика 6.1: Реализация потоков без сохранения состояния.
• Обработка с сохранением состояния: хранилище состояний, отказоустойчивость для хранилищ состояний.
• Практика 6.2: Агрегация в Kafka Streams.
• KTable: Потоки обновления данных, кэширование, скорость выдачи, агрегация.
• Окна в потоках: метки времени, плавающие, прыгающие, сеансовые.
• Соединение: поток с потоком, KTable с KTable, поток с KTable.
• Практика 6.3: Соединение потоков и таблиц.
• KSQL: Потоки без программирования.
• KSQL Серверная архитектура.
• Практика 6.4: Реализация потоков без сохранения состояния в KSQL.
• Практика 6.5: Агрегация в KSQL.
• Практика 6.6: Соединение в KSQL.
07Kafka Connect
• Архитектура Kafka Connect.
• Источники Kafka Connect.
• Практика 7.1: JDBC Source Connector (postgres).
• Практика 7.2: JDBC Source Connector (postgres) с ключами.
• Kafka Connect Sinks.
• Практика 7.3: JDBC Sink Connector (postgres).
• Практика 7.4: JDBC Sink Connector (postgres) с ключами.
08Эксплуатация и мониторинг
• Цели по производительности и режимы выполнения.
• Zookeeper: конфигурация, автономный режим и режим кворума, CLI.
• Управление и мониторинг кластера.
• Практика 8.1: Мониторинг кластера Kafka с помощью Prometheus.
• Практика 8.2: Измерение производительности.
09Мульти-кластеры
• Различные мультикластреные архитектуры MirrorMaker.
• Практика 9.1: Использование MirrorMaker для синхронизации кластеров.
• Confluence Replicator.
01Обзор
• Что такое Kafka.
• Примеры удачного и неудачного использования Kafka.
• Kafka и база данных: сходства и различия.
• Kafka и прямые конкуренты.
• Kafka и Apache Pulsar.
• Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики.
• Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR.
• Клиенты и API.
02Настройка Кластера
• Практика 2.1: запуск кластера Kafka с помощью Docker.
• Установка Zookeeper.
• Установка брокеров Kafka.
03Инструменты Kafka и управление данными
• Самые популярные инструменты Kafka.
• Демо 3.1: Инструменты Kafka.
• Практики KafkaOps.
04Разработка приложений на Java
• Kafka Producer API: основы.
• Практика 4.1: Отправка одного сообщения.
• Kafka Consumer API: основы, группы потребителей.
• Практика 4.2: Один получатель.
• Практика 4.3: Несколько получателей в одной группе.
• Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей.
• Практика 4.4: Транзакционный Отправитель.
• Практика 4.5: Отправка и получение в транзакции.
• Практика 4.6: Замороженный потребитель.
• Практика 4.7: Медленный потребитель.
05Внешний доступ к кластеру Kafka
• Безопасность: SSL, SASL, Kerberos.
• REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы.
• Практика 5.1: доступ через REST Proxy.
• Schema Registry: реестр схем.
• Практика 5.2: Schema Registry.
06Kafka Streams и KSQL
• Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии.
• Устройство Kafka Streams: многопоточность, несколько экземпляров и задач.
• Практика 6.1: Реализация потоков без сохранения состояния.
• Обработка с сохранением состояния: хранилище состояний, отказоустойчивость для хранилищ состояний.
• Практика 6.2: Агрегация в Kafka Streams.
• KTable: Потоки обновления данных, кэширование, скорость выдачи, агрегация.
• Окна в потоках: метки времени, плавающие, прыгающие, сеансовые.
• Соединение: поток с потоком, KTable с KTable, поток с KTable.
• Практика 6.3: Соединение потоков и таблиц.
• KSQL: Потоки без программирования.
• KSQL Серверная архитектура.
• Практика 6.4: Реализация потоков без сохранения состояния в KSQL.
• Практика 6.5: Агрегация в KSQL.
• Практика 6.6: Соединение в KSQL.
07Kafka Connect
• Архитектура Kafka Connect.
• Источники Kafka Connect.
• Практика 7.1: JDBC Source Connector (postgres).
• Практика 7.2: JDBC Source Connector (postgres) с ключами.
• Kafka Connect Sinks.
• Практика 7.3: JDBC Sink Connector (postgres).
• Практика 7.4: JDBC Sink Connector (postgres) с ключами.
08Эксплуатация и мониторинг
• Цели по производительности и режимы выполнения.
• Zookeeper: конфигурация, автономный режим и режим кворума, CLI.
• Управление и мониторинг кластера.
• Практика 8.1: Мониторинг кластера Kafka с помощью Prometheus.
• Практика 8.2: Измерение производительности.
09Мульти-кластеры
• Различные мультикластреные архитектуры MirrorMaker.
• Практика 9.1: Использование MirrorMaker для синхронизации кластеров.
• Confluence Replicator.
Документ после выпуска
Удостоверение о прохождении
Организатор
Автор курса
Мнения учеников
Отзывы о курсе
Оставьте отзыв
Расскажите о качестве обучения, поддержке и результате. Это поможет другим выбрать организацию осознанно.
Оставьте заявку
Консультант ответит на вопросы о курсе «Основы Kafka» и поможет разобраться в деталях обучения.
Нажимая кнопку, вы даете согласие на обработку персональных данных
Направления:Базы данных
Информация обновлена 12 октября 2026 г.
Продолжить выбор
Похожие курсы
Начать без затрат
