• Главная
  • О компании
  • Каталог курсов

    Обучение

    • Все курсы
    • Big Data
    • Business analysis
    • Cisco
    • CyberSecurity
    • Digital Transformation
    • DevOps
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Red Hat Linux
    • VMware
    • Тренинг
    Ключевые практики архитектора ПО

    Ключевые практики архитектора ПО

    Бесплатно
    Подробнее
  • Расписание
  • Контакты
      • Cart

        0
    Мы на связи:
    +7 701 757 83 23, +7 (7172) 79 50 55
    info@dtu.kz
    Digital Transformation UniversityDigital Transformation University
    • Главная
    • О компании
    • Каталог курсов

      Обучение

      • Все курсы
      • Big Data
      • Business analysis
      • Cisco
      • CyberSecurity
      • Digital Transformation
      • DevOps
      • IT Management
      • Juniper
      • Microsoft
      • Oracle
      • Postgres
      • Programming
      • Red Hat Linux
      • VMware
      • Тренинг
      Ключевые практики архитектора ПО

      Ключевые практики архитектора ПО

      Бесплатно
      Подробнее
    • Расписание
    • Контакты
        • Cart

          0

      Кластер Apache NiFi

      Aigul
      Big Data
      (0 review)
      Бесплатно
      Big Data
      • Обзор

      Продолжительность: 2 дня, 16 академических часов.

      Аудитория
      Системные администраторы, системные архитекторы, разработчики Hadoop желающие получить практические навыки по установке, настройке и конфигурированию потоковыми данными с использованием кластера Apache NiFi.

      Соотношение теории к практике 50/50.

        Предварительный уровень подготовки:

      • Начальный опыт работы в Unix
      • Начальный опыт работы с Hadoop

      Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Можно сказать, что Найфай – это распределенный ETL-инструмент с открытым исходным кодом, гарантированной доставкой и возможностью хранить данные до выгрузки их в другие системы. Также NiFi обеспечивает балансировку нагрузки и предоставляет GUI для проектирования потоков данных.

      На практике Apache NiFi широко используется в следующих задачах:

      • распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
      • ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
      • средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
      • маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
      • шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.

      Для кого предназначен курс Apache NiFi

      Наши курсы обучения по NiFi ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов и разработчиков Big Data систем, а также специалистов по администрированию и сопровождению потоков данных с использованием Apache NiFi.

      Если вы хотите получить следующие знания и навыки:

      • понять, что такое Apache NiFi;
      • уяснить отличия NiFi и MiniFi;
      • освоить принципы потоковой обработки данных в экосистеме Hadoop;
      • научиться устанавливать, настраивать и поддерживать кластер NiFi;
      • освоить методы администрирования кластера NiFi;
      • настраивать мониторинг и оптимизацию потоков данных в кластере NiFi;
      • интегрировать Apache NiFi с другими Big Data фреймворками (Kafka, Hadoop, MiniFi) и внешними системами,
      • все это и многое другое вы узнаете на практических примерах в рамках нашего курса по администрированию Apache NiFi.

      Программа курса Кластер Apache NiFi

      Введение в Apache NiFi

      Архитектура Hadoop Data Flow
      Архитектура решения и ключевые концепции Apache NiFi :
      Принципы потоковой обработки данных
      FlowFile
      processor
      connector
      FlowFile Repository
      Content Repository
      Provenance Repository
      Data Lineage и Data Provenance (Data Provenance Events)
      Функционал NiFi по управлению потоковой обработкой данных:
      гарантированная доставка
      управление каналом (буферизация, pressure)
      QoS
      версионность

      Администрирование NiFi

      Установка и настройка кластера Apache NiFi
      Управление кластером NiFi
      Создание NiFi DataFlow
      Добавление процессора, возможности масштабирования, работа с атрибутами и свойствами
      Процессорные группы (Remote Processor Group)
      Использование NiFi шаблонов
      Оптимизация DataFlow
      Инструменты мониторинга и уведомлений NiFi
      Apache NiFi Registry версионность и поддержка production deployment

      Интеграция и масштабирование

      Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
      Доступные расширения и готовые «из коробки» процессоры и коннекторы
      Возможности интеграции кластера NiFi (consumer/provider) с Kafka
      Apache Nifi vs MiniFi
      Интеграция Apache Kafka, NiFi, MiNiFi
      Типовые сценарии/схемы потоковой обработки данных

      Course Features

      • Lectures 0
      • Quizzes 0
      • Duration 50 hours
      • Skill level All levels
      • Language English
      • Students 0
      • Assessments Yes
      • Обзор
      Бесплатно
      • Поделиться:

      Вам Может Понравиться

      Ключевые практики архитектора ПО Подробнее
      Aigul

      Ключевые практики архитектора ПО

      0
      0
      Free
      Oracle Database 12c: SQL and PL/SQL Fundamentals Подробнее
      Aigul

      Oracle Database 12c: SQL and PL/SQL Fundamentals

      0
      0
      Free
      Implementing and Configuring Cisco Identity Services Engine (SISE) Подробнее
      Aigul

      Implementing and Configuring Cisco Identity Services Engine (SISE)

      0
      0
      Free
      Certified Network Defense (CND) v2 Подробнее
      Aigul

      Certified Network Defense (CND) v2

      0
      0
      Free
      Основы тестирования производительности Подробнее
      Aigul

      Основы тестирования производительности

      0
      0
      Free

      Рекомендуемые

      Ключевые практики архитектора ПО

      Ключевые практики архитектора ПО

      Бесплатно
      Oracle Database 12c: SQL and PL/SQL Fundamentals

      Oracle Database 12c: SQL and PL/SQL Fundamentals

      Бесплатно
      Implementing and Configuring Cisco Identity Services Engine (SISE)

      Implementing and Configuring Cisco Identity Services Engine (SISE)

      Бесплатно

      +7 (701) 757 83 23, +7 (7172) 79 50 55

      info@dtu.kz

      © 2021 | Digital Transformation University

      • Главная
      • Контакты
      Записаться на курс