Эксплуатация Arenadata Streaming

Экосистема EDP: Arenadata Streaming, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper) Arenadata Streaming Control Arenadata Platform Security

Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache Kafka, Apache NiFi) Мониторинг ADS: архитектура кластера мониторинга. Мониторинг ADS: Kafka, NiFi. Встроенный мониторинг NiFi

Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas Topics Kafka Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension) Гарантии надежности Kafka (доставка/потребление) Producers Kafka: Запись сообщений в Kafka, console Producer Настройка Producers Consumers Kafka: Сonsumer groups, ребалансировка разделов Настройка Consumers Изменение параметров Topics, consumer groups, Partitions

Основные понятия и инструменты FileStream Connectors CDC Debezium Kafka ADB Connectors

Основные возможности и примеры использования

Топология мультикластерной репликации Настройка MirrorMaker, Mirror Connectors

Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение Создание, настройка и управление процессорами, процессорными группами Flow Files и атрибуты Подключение источников (File, Apache Kafka, СУБД (ADB)) FlowFile Repository, Content Repository, Provenance Repository: детальное изучение

Инструменты мониторинга и администрирования Горизонтальное масштабирование и отказоустойчивость NiFi Управление репликацией и балансировкой нагрузки Apache NiFi Registry версионность и поддержка production deployment (CI/CD).Модуль 8. «Администрирование и эксплуатация Apache NiFi»

Планирование кластера, настройка параметров окружения и установка, обзор UI Основные операции ADS Control: управление и добавление коннекторов FileStreamSinkConnector, FileStreamSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector, пользовательских, Debezium)

Установка и настройка Arenadata Platform Security (ADPS): основные этапы установки, подготовка инфраструктуры, распределение компонент ADPS Керберизация ADS/ADPS с MS Active Directory, Kerberos-аутентификация для web-интерфейсов компонентов. Настройка SPNEGO для браузеров Настройка LDAP sync source для Ranger User synchronizer Настройка LDAP/AD auth для Ranger Admin Присоединение узлов к Active Directory (SSSD/realmd) Настройка SSL ADS/ADPS: Сертификаты и Центры сертификации. Шифрование данных. Основные этапы настройки SSL Настройка авторизации: Kafka (ACL, Apache Ranger Plugin), Apache NiFi (based authorizer, Apache Ranger Plugin).Модуль 10. «Управление информационной безопасностью кластера ADS»