Продолжительность: 2 дня, 16 академических часов.
Аудитория
Системные администраторы, системные архитекторы, разработчики Hadoop желающие получить практические навыки по установке, настройке и конфигурированию потоковыми данными с использованием кластера Apache NiFi.
Соотношение теории к практике 50/50.
- Предварительный уровень подготовки:
- Начальный опыт работы в Unix
- Начальный опыт работы с Hadoop
Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Можно сказать, что Найфай – это распределенный ETL-инструмент с открытым исходным кодом, гарантированной доставкой и возможностью хранить данные до выгрузки их в другие системы. Также NiFi обеспечивает балансировку нагрузки и предоставляет GUI для проектирования потоков данных.
На практике Apache NiFi широко используется в следующих задачах:
- распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
- ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
- средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
- маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
- шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.
Для кого предназначен курс Apache NiFi
Наши курсы обучения по NiFi ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов и разработчиков Big Data систем, а также специалистов по администрированию и сопровождению потоков данных с использованием Apache NiFi.
Если вы хотите получить следующие знания и навыки:
- понять, что такое Apache NiFi;
- уяснить отличия NiFi и MiniFi;
- освоить принципы потоковой обработки данных в экосистеме Hadoop;
- научиться устанавливать, настраивать и поддерживать кластер NiFi;
- освоить методы администрирования кластера NiFi;
- настраивать мониторинг и оптимизацию потоков данных в кластере NiFi;
- интегрировать Apache NiFi с другими Big Data фреймворками (Kafka, Hadoop, MiniFi) и внешними системами,
- все это и многое другое вы узнаете на практических примерах в рамках нашего курса по администрированию Apache NiFi.
Программа курса Кластер Apache NiFi
Введение в Apache NiFi
Архитектура Hadoop Data Flow
Архитектура решения и ключевые концепции Apache NiFi :
Принципы потоковой обработки данных
FlowFile
processor
connector
FlowFile Repository
Content Repository
Provenance Repository
Data Lineage и Data Provenance (Data Provenance Events)
Функционал NiFi по управлению потоковой обработкой данных:
гарантированная доставка
управление каналом (буферизация, pressure)
QoS
версионность
Администрирование NiFi
Установка и настройка кластера Apache NiFi
Управление кластером NiFi
Создание NiFi DataFlow
Добавление процессора, возможности масштабирования, работа с атрибутами и свойствами
Процессорные группы (Remote Processor Group)
Использование NiFi шаблонов
Оптимизация DataFlow
Инструменты мониторинга и уведомлений NiFi
Apache NiFi Registry версионность и поддержка production deployment
Интеграция и масштабирование
Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
Доступные расширения и готовые «из коробки» процессоры и коннекторы
Возможности интеграции кластера NiFi (consumer/provider) с Kafka
Apache Nifi vs MiniFi
Интеграция Apache Kafka, NiFi, MiNiFi
Типовые сценарии/схемы потоковой обработки данных
- Лекции 0
- Тесты 0
- Учебное время 50 hours
- Навык Все уровни
- Язык English
- Студенты 0
- Оценки Да