• Главная
  • О компании
  • Каталог курсов
    • Все курсы
    • AWS
    • Big Data
    • Business analysis
    • Check Point
    • Cisco
    • CyberSecurity
    • DevOps
    • Digital Transformation
    • IBM
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Project Management
    • Red Hat Linux
    • VMware
    • Тестирование ПО
    • Тренинг
    Ораторское мастерство

    Ораторское мастерство

    Бесплатно
    Подробнее
  • Расписание
  • Контакты
Мы на связи:
+7 (7172)79 30 99 Нур-султан
+7 (727) 344 30 99 Алматы
+7 (701) 757 83 23
info@dtu.kz
Digital Transformation University
  • Главная
  • О компании
  • Каталог курсов
    • Все курсы
    • AWS
    • Big Data
    • Business analysis
    • Check Point
    • Cisco
    • CyberSecurity
    • DevOps
    • Digital Transformation
    • IBM
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Project Management
    • Red Hat Linux
    • VMware
    • Тестирование ПО
    • Тренинг
    Ораторское мастерство

    Ораторское мастерство

    Бесплатно
    Подробнее
  • Расписание
  • Контакты

    Big Data

    • Главная
    • Все курсы
    • Big Data
    • Кластер Apache NiFi

    Кластер Apache NiFi

    Digital Transformation University
    Big Data
    Бесплатно
    Big Data
    • Обзор
    Бесплатно
    • Обзор

    Продолжительность: 2 дня, 16 академических часов.

    Аудитория
    Системные администраторы, системные архитекторы, разработчики Hadoop желающие получить практические навыки по установке, настройке и конфигурированию потоковыми данными с использованием кластера Apache NiFi.

    Соотношение теории к практике 50/50.

      Предварительный уровень подготовки:

    • Начальный опыт работы в Unix
    • Начальный опыт работы с Hadoop

    Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Можно сказать, что Найфай – это распределенный ETL-инструмент с открытым исходным кодом, гарантированной доставкой и возможностью хранить данные до выгрузки их в другие системы. Также NiFi обеспечивает балансировку нагрузки и предоставляет GUI для проектирования потоков данных.

    На практике Apache NiFi широко используется в следующих задачах:

    • распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
    • ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
    • средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
    • маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
    • шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.

    Для кого предназначен курс Apache NiFi

    Наши курсы обучения по NiFi ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов и разработчиков Big Data систем, а также специалистов по администрированию и сопровождению потоков данных с использованием Apache NiFi.

    Если вы хотите получить следующие знания и навыки:

    • понять, что такое Apache NiFi;
    • уяснить отличия NiFi и MiniFi;
    • освоить принципы потоковой обработки данных в экосистеме Hadoop;
    • научиться устанавливать, настраивать и поддерживать кластер NiFi;
    • освоить методы администрирования кластера NiFi;
    • настраивать мониторинг и оптимизацию потоков данных в кластере NiFi;
    • интегрировать Apache NiFi с другими Big Data фреймворками (Kafka, Hadoop, MiniFi) и внешними системами,
    • все это и многое другое вы узнаете на практических примерах в рамках нашего курса по администрированию Apache NiFi.

    Программа курса Кластер Apache NiFi

    Введение в Apache NiFi

    Архитектура Hadoop Data Flow
    Архитектура решения и ключевые концепции Apache NiFi :
    Принципы потоковой обработки данных
    FlowFile
    processor
    connector
    FlowFile Repository
    Content Repository
    Provenance Repository
    Data Lineage и Data Provenance (Data Provenance Events)
    Функционал NiFi по управлению потоковой обработкой данных:
    гарантированная доставка
    управление каналом (буферизация, pressure)
    QoS
    версионность

    Администрирование NiFi

    Установка и настройка кластера Apache NiFi
    Управление кластером NiFi
    Создание NiFi DataFlow
    Добавление процессора, возможности масштабирования, работа с атрибутами и свойствами
    Процессорные группы (Remote Processor Group)
    Использование NiFi шаблонов
    Оптимизация DataFlow
    Инструменты мониторинга и уведомлений NiFi
    Apache NiFi Registry версионность и поддержка production deployment

    Интеграция и масштабирование

    Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
    Доступные расширения и готовые «из коробки» процессоры и коннекторы
    Возможности интеграции кластера NiFi (consumer/provider) с Kafka
    Apache Nifi vs MiniFi
    Интеграция Apache Kafka, NiFi, MiNiFi
    Типовые сценарии/схемы потоковой обработки данных

    • Лекции 0
    • Тесты 0
    • Учебное время 50 hours
    • Навык Все уровни
    • Язык English
    • Студенты 0
    • Оценки Да
    • Поделиться:

    Вам может понравиться

    Ораторское мастерствоПодробнее
    Digital Transformation University

    Ораторское мастерство

    Продолжительность: 16 академических часов. Цели обучения овладеть навыками уверенного и яркого публичного выступления получить техники подготовки к публичному выступлению понять механизмы эффективного взаимодействия с аудиторией получить приемы рационального и эмоционального воздействия на аудиторию усовершенствовать навыки убедительной, яркой и выразительной речи приобрести уверенность в общении Для...

    Digital Transformation University
    0
    student
    Бесплатно
    ReactJS: Разработка WEB клиентских приложений с использованием Redux и функций HooksПодробнее
    Digital Transformation University

    ReactJS: Разработка WEB клиентских приложений с использованием Redux и функций Hooks

    Продолжительность: 24 академических часа. Курс: ReactJS: Разработка WEB клиентских приложений, использование библиотек Redux и функций Hooks. Аудитория: Веб разработчики. Цель: по окончанию курса слушатели смогут самостоятельно разрабатывать клиентские ReactJS приложения с использованием библиотек Redux и функций Hooks Предварительная подготовка: знание основ JavaScript. По ходу изучения...

    Digital Transformation University
    0
    student
    Бесплатно
    Разработка Web приложений. TypeScript,  AngularПодробнее
    Digital Transformation University

    Разработка Web приложений. TypeScript, Angular

    Продолжительность: 40 академических часов. Курс Разработка Web приложений. TypeScript, Angular предназначен для разработчиков пользовательского интерфейса WEB приложений. На протяжении курса строится пилотный проект с нуля, в котором создаются основные компоненты пользовательского интерфейса — деревья, таблицы, формы ввода данных., всплывающие окна, диалоги. В качестве сервера —...

    Digital Transformation University
    0
    student
    Бесплатно
    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)Подробнее
    Digital Transformation University

    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)

    Автоматизация Red Hat Enterprise Linux при помощи Ansible (RH294) Продолжительность: 32 академических часов, 4 дня. Курс Red Hat System Administration III: Automation with Ansible  разработан для системных администраторов Linux® и разработчиков, которым приходится решать задачи автоматизации выделения ресурсов, настройки и развертывания приложений в инфраструктуре. Слушатели...

    Digital Transformation University
    0
    student
    Бесплатно
    Understanding Cisco Collaboration Foundations (CLFNDU)Подробнее
    Digital Transformation University

    Understanding Cisco Collaboration Foundations (CLFNDU)

    Основные сведения о Cisco Collaboration (CLFNDU) Продолжительность: 40 академических часов. Курс Understanding Cisco Collaboration Foundations (CLFNDU) дает навыки и знания, необходимые для администрирования и поддержки простой VoIP инфраструктуры, построенной с применением продукта Cisco Unified Communications Manager и голосовых шлюзов, и сосредоточенной на одной площадке. В курсе...

    Digital Transformation University
    0
    student
    Бесплатно

    Рекомендуемые

    Computer Hacking Forensics Investigator (CHFI)

    Computer Hacking Forensics Investigator (CHFI)

    Бесплатно
    Бизнес и системный анализ в IT

    Бизнес и системный анализ в IT

    Бесплатно
    Обслуживание экстра — класса

    Обслуживание экстра — класса

    Бесплатно
    (ENARSI) Implementing Cisco Enterprise Advanced Routing and Services

    (ENARSI) Implementing Cisco Enterprise Advanced Routing and Services

    Бесплатно
    VMware vSphere: Install, Configure, Manage

    VMware vSphere: Install, Configure, Manage

    Бесплатно

    +7 (7172) 79 30 99, +7 (727) 344 30 99

    info@dtu.kz

    © 2022 | Digital Transformation University

    Записаться на курс