Кластер Apache NiFi

Продолжительность: 2 дня, 16 академических часов.

Аудитория
Системные администраторы, системные архитекторы, разработчики Hadoop желающие получить практические навыки по установке, настройке и конфигурированию потоковыми данными с использованием кластера Apache NiFi.

Соотношение теории к практике 50/50.

Предварительный уровень подготовки:
• Начальный опыт работы в Unix
• Начальный опыт работы с Hadoop

Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Можно сказать, что Найфай – это распределенный ETL-инструмент с открытым исходным кодом, гарантированной доставкой и возможностью хранить данные до выгрузки их в другие системы. Также NiFi обеспечивает балансировку нагрузки и предоставляет GUI для проектирования потоков данных.

На практике Apache NiFi широко используется в следующих задачах:

• распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
• ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
• средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
• маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
• шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.

Для кого предназначен курс Apache NiFi

Наши курсы обучения по NiFi ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов и разработчиков Big Data систем, а также специалистов по администрированию и сопровождению потоков данных с использованием Apache NiFi.

Если вы хотите получить следующие знания и навыки:

• понять, что такое Apache NiFi;
• уяснить отличия NiFi и MiniFi;
• освоить принципы потоковой обработки данных в экосистеме Hadoop;
• научиться устанавливать, настраивать и поддерживать кластер NiFi;
• освоить методы администрирования кластера NiFi;
• настраивать мониторинг и оптимизацию потоков данных в кластере NiFi;
• интегрировать Apache NiFi с другими Big Data фреймворками (Kafka, Hadoop, MiniFi) и внешними системами,
• все это и многое другое вы узнаете на практических примерах в рамках нашего курса по администрированию Apache NiFi.

Программа курса Кластер Apache NiFi

Введение в Apache NiFi

Архитектура Hadoop Data Flow
Архитектура решения и ключевые концепции Apache NiFi :
Принципы потоковой обработки данных
FlowFile
processor
connector
FlowFile Repository
Content Repository
Provenance Repository
Data Lineage и Data Provenance (Data Provenance Events)
Функционал NiFi по управлению потоковой обработкой данных:
гарантированная доставка
управление каналом (буферизация, pressure)
QoS
версионность

Администрирование NiFi

Установка и настройка кластера Apache NiFi
Управление кластером NiFi
Создание NiFi DataFlow
Добавление процессора, возможности масштабирования, работа с атрибутами и свойствами
Процессорные группы (Remote Processor Group)
Использование NiFi шаблонов
Оптимизация DataFlow
Инструменты мониторинга и уведомлений NiFi
Apache NiFi Registry версионность и поддержка production deployment

Интеграция и масштабирование

Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
Доступные расширения и готовые «из коробки» процессоры и коннекторы
Возможности интеграции кластера NiFi (consumer/provider) с Kafka
Apache Nifi vs MiniFi
Интеграция Apache Kafka, NiFi, MiNiFi
Типовые сценарии/схемы потоковой обработки данных