Основы Kafka
Пока неизвестно
24 ак.ч.
онлайн
удостоверение о повышении квалификации государственного образца
44 500 ₽
Подробнее о курсе
Документ после выпуска
удостоверение о повышении квалификации государственного образца
Автор курса
Программа курса
1. Обзор – теория (2 ч.)
Что такое Kafka. Примеры удачного и неудачного использования Kafka. Kafka и база данных: сходства и различия. Kafka и прямые конкуренты. Kafka и Apache Pulsar. Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики. Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR. Клиенты и API.
2. Настройка Кластера (практика – 1 ч)
Практика 2.1: запуск кластера Kafka с помощью Docker. Установка Zookeeper. Установка брокеров Kafka.
3. Инструменты Kafka и управление данными – теория и демо (1 ч.)
Самые популярные инструменты Kafka. Демо 3.1: Инструменты Kafka. Практики KafkaOps.
4. Разработка приложений на Java – теория (2 ч.), практика (1 ч.)
Kafka Producer API: основы. Практика 4.1: Отправка одного сообщения. Kafka Consumer API: основы, группы потребителей. Практика 4.2: Один получатель. Практика 4.3: Несколько получателей в одной группе. Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей. Практика 4.4: Транзакционный Отправитель. Практика 4.5: Отправка и получение в транзакции. Практика 4.6: Замороженный потребитель. Практика 4.7: Медленный потребитель.
5. Внешний доступ к кластеру Kafka – теория (2 ч.), практика (2 ч.)
Безопасность: SSL, SASL, Kerberos. REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы. Практика 5.1: доступ через REST Proxy. Schema Registry: реестр схем. Практика 5.2: Schema Registry.
6. Kafka Streams и KSQL – теория (2 ч.), практика (2 ч.)
Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии. Устройство Kafka Streams: многопоточность, несколько экземпляров и задач. Практика 6.1: Реализация потоков без сохранения состояния. Обработка с сохранением состояния: хранилище состояний, отказоустойчивость для хранилищ состояний. Практика 6.2: Агрегация в Kafka Streams. KTable: Потоки обновления данных, кэширование, скорость выдачи, агрегация. Окна в потоках: метки времени, плавающие, прыгающие, сеансовые. Соединение: поток с потоком, KTable с KTable, поток с KTable. Практика 6.3: Соединение потоков и таблиц. KSQL: Потоки без программирования. KSQL Серверная архитектура. Практика 6.4: Реализация потоков без сохранения состояния в KSQL. Практика 6.5: Агрегация в KSQL. Практика 6.6: Соединение в KSQL.
7. Kafka Connect – теория (2 ч.), практика (2 ч.)
Архитектура Kafka Connect. Источники Kafka Connect. Практика 7.1: JDBC Source Connector (postgres). Практика 7.2: JDBC Source Connector (postgres) с ключами. Kafka Connect Sinks. Практика 7.3: JDBC Sink Connector (postgres). Практика 7.4: JDBC Sink Connector (postgres) с ключами.
8. Эксплуатация и мониторинг – теория (1 ч.), практика (1 ч.)
Цели по производительности и режимы выполнения. Zookeeper: конфигурация, автономный режим и режим кворума, CLI. Управление и мониторинг кластера. Практика 8.1: Мониторинг кластера Kafka с помощью Prometheus. Практика 8.2: Измерение производительности.
9. Мульти-кластеры – теория (1 ч.), практика (1 ч.)
Различные мультикластреные архитектуры MirrorMaker. Практика 9.1: Использование MirrorMaker для синхронизации кластеров. Confluence Replicator.
Итого: теория – 14 ч. (58%), практика – 10 ч. (42%)
Оставьте отзыв
Похожие курсы
StepikОставьте заявку
Наши консультанты ответят на все вопросы
И помогут в выборе
Нажимая кнопку, вы даете согласие на обработку персональных данных