• Главная
  • О компании
  • Каталог курсов
  • Расписание
  • Контакты
Мы на связи:
+7 (7172)79 30 99 Астана
+7 (727) 344 30 99 Алматы
+7 (701) 757 83 23
info@dtu.kz
university@dtu.kz
Digital Transformation University
  • Главная
  • О компании
  • Каталог курсов
  • Расписание
  • Контакты

Big Data

  • Главная
  • Все курсы
  • Big Data
  • Кластер Apache NiFi

Кластер Apache NiFi

Digital Transformation University
Big Data
Бесплатно
Big Data
  • Обзор
Бесплатно
  • Обзор

Продолжительность: 2 дня, 16 академических часов.

Аудитория
Системные администраторы, системные архитекторы, разработчики Hadoop желающие получить практические навыки по установке, настройке и конфигурированию потоковыми данными с использованием кластера Apache NiFi.

Соотношение теории к практике 50/50.

    Предварительный уровень подготовки:

  • Начальный опыт работы в Unix
  • Начальный опыт работы с Hadoop

Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Можно сказать, что Найфай – это распределенный ETL-инструмент с открытым исходным кодом, гарантированной доставкой и возможностью хранить данные до выгрузки их в другие системы. Также NiFi обеспечивает балансировку нагрузки и предоставляет GUI для проектирования потоков данных.

На практике Apache NiFi широко используется в следующих задачах:

  • распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
  • ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
  • средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
  • маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
  • шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.

Для кого предназначен курс Apache NiFi

Наши курсы обучения по NiFi ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов и разработчиков Big Data систем, а также специалистов по администрированию и сопровождению потоков данных с использованием Apache NiFi.

Если вы хотите получить следующие знания и навыки:

  • понять, что такое Apache NiFi;
  • уяснить отличия NiFi и MiniFi;
  • освоить принципы потоковой обработки данных в экосистеме Hadoop;
  • научиться устанавливать, настраивать и поддерживать кластер NiFi;
  • освоить методы администрирования кластера NiFi;
  • настраивать мониторинг и оптимизацию потоков данных в кластере NiFi;
  • интегрировать Apache NiFi с другими Big Data фреймворками (Kafka, Hadoop, MiniFi) и внешними системами,
  • все это и многое другое вы узнаете на практических примерах в рамках нашего курса по администрированию Apache NiFi.

Программа курса Кластер Apache NiFi

Введение в Apache NiFi

Архитектура Hadoop Data Flow
Архитектура решения и ключевые концепции Apache NiFi :
Принципы потоковой обработки данных
FlowFile
processor
connector
FlowFile Repository
Content Repository
Provenance Repository
Data Lineage и Data Provenance (Data Provenance Events)
Функционал NiFi по управлению потоковой обработкой данных:
гарантированная доставка
управление каналом (буферизация, pressure)
QoS
версионность

Администрирование NiFi

Установка и настройка кластера Apache NiFi
Управление кластером NiFi
Создание NiFi DataFlow
Добавление процессора, возможности масштабирования, работа с атрибутами и свойствами
Процессорные группы (Remote Processor Group)
Использование NiFi шаблонов
Оптимизация DataFlow
Инструменты мониторинга и уведомлений NiFi
Apache NiFi Registry версионность и поддержка production deployment

Интеграция и масштабирование

Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
Доступные расширения и готовые «из коробки» процессоры и коннекторы
Возможности интеграции кластера NiFi (consumer/provider) с Kafka
Apache Nifi vs MiniFi
Интеграция Apache Kafka, NiFi, MiNiFi
Типовые сценарии/схемы потоковой обработки данных

  • Лекции 0
  • Тесты 0
  • Учебное время 50 hours
  • Навык Все уровни
  • Язык English
  • Студенты 0
  • Оценки Да
  • Поделиться:

Вам Может Понравиться

MB-910T00: Microsoft Dynamics 365 Fundamentals (CRM)Подробнее
Digital Transformation University

MB-910T00: Microsoft Dynamics 365 Fundamentals (CRM)

Хотите подробнее изучить Dynamics 365? Этот курс даст вам общее представление о возможностях Dynamics 365 по взаимодействию с клиентами. Вы познакомитесь с понятием взаимодействия с клиентами, приложениями для взаимодействия с клиентами, включая Dynamics 365 Marketing, Dynamics 365 Sales, Dynamics 365 Customer Service и Dynamics 365 Field Service, а также их основными...

Digital Transformation University
0
student
₸1.00
MB-210T01: Microsoft Dynamics 365 SalesПодробнее
Digital Transformation University

MB-210T01: Microsoft Dynamics 365 Sales

Microsoft Dynamics 365 Sales — это комплексное приложение для управления взаимоотношениями с существующими и потенциальными клиентами. С помощью Dynamics 365 Sales организации могут отслеживать данные о целях продаж, автоматизировать рекомендации, учиться на основе данных и многое другое. Присоединяйтесь к нашей команде всемирно признанных экспертов, так как...

Digital Transformation University
0
student
Бесплатно
MB-920T00: Microsoft Dynamics 365 Fundamentals (ERP)Подробнее
Digital Transformation University

MB-920T00: Microsoft Dynamics 365 Fundamentals (ERP)

Хотите подробнее изучить Dynamics 365? Курс MB-920T00: Microsoft Dynamics 365 Fundamentals (ERP) даст вам общее представление о возможностях Dynamics 365, касающихся финансов и операций. Вы познакомитесь с понятием управления ресурсами предприятия (ERP), а также изучите основные возможности приложений для управления финансами и операциями. Затем мы рассмотрим...

Digital Transformation University
0
student
Бесплатно
CompTIA PenTest+Подробнее
Digital Transformation University

CompTIA PenTest+

Курс CompTIA PenTest+  предназначен для ИТ-специалистов, которые хотят развить навыки тестирования на проникновение, чтобы они могли выявлять уязвимости информационных систем и эффективные методы устранения этих уязвимостей. В частности, студенты, которым также нужны практические рекомендации по надлежащей защите информационных систем и их содержимого. Этот курс также...

Digital Transformation University
0
student
Бесплатно
CompTIA Cybersecurity Analyst (CySA+)Подробнее
Digital Transformation University

CompTIA Cybersecurity Analyst (CySA+)

Курс CompTIA Cybersecurity Analyst (CySA+) подготовит вас к успешному получению этой востребованной сертификации с помощью практического обучения на основе сценариев, чтобы вы были готовы к передовым постоянным угрозам (APT). В этом сертификационном учебном курсе вы получите базовые знания для полной подготовки к экзамену CySA+. Это...

Digital Transformation University
0
student
Бесплатно

+7 (7172) 79 30 99, +7 (727) 344 30 99

info@dtu.kz

© 2023 | Digital Transformation University

Записаться на курс