• Главная
  • О компании
  • Каталог курсов
    • Все курсы
    • AWS
    • Big Data
    • Business analysis
    • Check Point
    • Cisco
    • CyberSecurity
    • DevOps
    • Digital Transformation
    • IBM
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Project Management
    • Red Hat Linux
    • VMware
    • Тестирование ПО
    • Тренинг
    Матрица компетенций бизнес-аналитика

    Матрица компетенций бизнес-аналитика

    Бесплатно
    Подробнее
  • Расписание
  • Контакты
Мы на связи:
+7 (7172)79 30 99 Нур-султан
+7 (727) 344 30 99 Алматы
+7 (701) 757 83 23
info@dtu.kz
Digital Transformation University
  • Главная
  • О компании
  • Каталог курсов
    • Все курсы
    • AWS
    • Big Data
    • Business analysis
    • Check Point
    • Cisco
    • CyberSecurity
    • DevOps
    • Digital Transformation
    • IBM
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Project Management
    • Red Hat Linux
    • VMware
    • Тестирование ПО
    • Тренинг
    Матрица компетенций бизнес-аналитика

    Матрица компетенций бизнес-аналитика

    Бесплатно
    Подробнее
  • Расписание
  • Контакты

    Big Data

    • Главная
    • Все курсы
    • Big Data
    • Кластер Apache NiFi

    Кластер Apache NiFi

    Digital Transformation University
    Big Data
    Бесплатно
    Big Data
    • Обзор
    Бесплатно
    • Обзор

    Продолжительность: 2 дня, 16 академических часов.

    Аудитория
    Системные администраторы, системные архитекторы, разработчики Hadoop желающие получить практические навыки по установке, настройке и конфигурированию потоковыми данными с использованием кластера Apache NiFi.

    Соотношение теории к практике 50/50.

      Предварительный уровень подготовки:

    • Начальный опыт работы в Unix
    • Начальный опыт работы с Hadoop

    Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Можно сказать, что Найфай – это распределенный ETL-инструмент с открытым исходным кодом, гарантированной доставкой и возможностью хранить данные до выгрузки их в другие системы. Также NiFi обеспечивает балансировку нагрузки и предоставляет GUI для проектирования потоков данных.

    На практике Apache NiFi широко используется в следующих задачах:

    • распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
    • ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
    • средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
    • маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
    • шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.

    Для кого предназначен курс Apache NiFi

    Наши курсы обучения по NiFi ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов и разработчиков Big Data систем, а также специалистов по администрированию и сопровождению потоков данных с использованием Apache NiFi.

    Если вы хотите получить следующие знания и навыки:

    • понять, что такое Apache NiFi;
    • уяснить отличия NiFi и MiniFi;
    • освоить принципы потоковой обработки данных в экосистеме Hadoop;
    • научиться устанавливать, настраивать и поддерживать кластер NiFi;
    • освоить методы администрирования кластера NiFi;
    • настраивать мониторинг и оптимизацию потоков данных в кластере NiFi;
    • интегрировать Apache NiFi с другими Big Data фреймворками (Kafka, Hadoop, MiniFi) и внешними системами,
    • все это и многое другое вы узнаете на практических примерах в рамках нашего курса по администрированию Apache NiFi.

    Программа курса Кластер Apache NiFi

    Введение в Apache NiFi

    Архитектура Hadoop Data Flow
    Архитектура решения и ключевые концепции Apache NiFi :
    Принципы потоковой обработки данных
    FlowFile
    processor
    connector
    FlowFile Repository
    Content Repository
    Provenance Repository
    Data Lineage и Data Provenance (Data Provenance Events)
    Функционал NiFi по управлению потоковой обработкой данных:
    гарантированная доставка
    управление каналом (буферизация, pressure)
    QoS
    версионность

    Администрирование NiFi

    Установка и настройка кластера Apache NiFi
    Управление кластером NiFi
    Создание NiFi DataFlow
    Добавление процессора, возможности масштабирования, работа с атрибутами и свойствами
    Процессорные группы (Remote Processor Group)
    Использование NiFi шаблонов
    Оптимизация DataFlow
    Инструменты мониторинга и уведомлений NiFi
    Apache NiFi Registry версионность и поддержка production deployment

    Интеграция и масштабирование

    Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
    Доступные расширения и готовые «из коробки» процессоры и коннекторы
    Возможности интеграции кластера NiFi (consumer/provider) с Kafka
    Apache Nifi vs MiniFi
    Интеграция Apache Kafka, NiFi, MiNiFi
    Типовые сценарии/схемы потоковой обработки данных

    • Лекции 0
    • Тесты 0
    • Учебное время 50 hours
    • Навык Все уровни
    • Язык English
    • Студенты 0
    • Оценки Да
    • Поделиться:

    Вам может понравиться

    Матрица компетенций бизнес-аналитикаПодробнее
    Digital Transformation University

    Матрица компетенций бизнес-аналитика

    Продолжительность: 16 академических часов. Курс Матрица компетенций бизнес-аналитика основывается на матрице компетенций, которая содержится в Своде знаний по бизнес-анализу (BABOK) 3.0 и состоит из 29 базовых компетенций для аналитика, сгруппированных в 6 категорий: · Аналитическое мышление и решение проблем; · Поведенческие характеристики; · Знание бизнеса; ·...

    Digital Transformation University
    0
    student
    Бесплатно
    Zabbix. Enterprise monitoring IT infrastructureПодробнее
    Digital Transformation University

    Zabbix. Enterprise monitoring IT infrastructure

    Linux. Zabbix. Мониторинг IT инфраструктуры предприятия Курс Zabbix. Enterprise monitoring IT infrastructure предназначен для системных администраторов, которым требуется обеспечить комплексный мониторинг сетевой инфраструктуры средствами свободного программного обеспечения (СПО), работающего под управлением систем Linux/FreeBSD, а также,  для тех, кто планирует освоить компетенцию специалиста по мониторингу инфраструктуры предприятия....

    Digital Transformation University
    0
    student
    Бесплатно
    Introduction to DevOps: Infrastructure as Code, using Docker and KubernetesПодробнее
    Digital Transformation University

    Introduction to DevOps: Infrastructure as Code, using Docker and Kubernetes

    Введение в DevOps: инфраструктура как код, использование Docker и Kubernetes Курс Introduction to DevOps: Infrastructure as Code, using Docker and Kubernetes разработан для системных администраторов, желающих освоить принципы и технологии Infrastructure as a Code для автоматизации развертывания и управления IT-инфраструктурой предприятия. Сейчас происходят процессы трансформации профессии...

    Digital Transformation University
    0
    student
    Бесплатно
    Linux. Администрирование сервисов и сетейПодробнее
    Digital Transformation University

    Linux. Администрирование сервисов и сетей

    Продолжительность: 24 академических часа. По окончании курса Linux Администрирование сервисов и сетей вы сможете решать большинство задач, связанных с работой компьютерной сети предприятия. Вы научитесь использовать Linux в качестве интернет шлюза и пакетного фильтра, предоставите своим пользователям возможность работы с файловыми сервисами и электронной почтой....

    Digital Transformation University
    0
    student
    Бесплатно
    Linux administration fundamentalsПодробнее
    Digital Transformation University

    Linux administration fundamentals

    После курса Linux administration fundamentals вы сможете устанавливать и настраивать операционную систему Linux, заводить учетные записи пользователей, предоставлять им регламентируемый доступ к ресурсам сервера на базе ОС Linux. Для Вас не составит труда настроить параметры локальной сети и подключение к Интернет. Вы легко будете устанавливать,...

    Digital Transformation University
    0
    student
    Бесплатно

    Рекомендуемые

    Computer Hacking Forensics Investigator (CHFI)

    Computer Hacking Forensics Investigator (CHFI)

    Бесплатно
    Бизнес и системный анализ в IT

    Бизнес и системный анализ в IT

    Бесплатно
    Обслуживание экстра — класса

    Обслуживание экстра — класса

    Бесплатно
    (ENARSI) Implementing Cisco Enterprise Advanced Routing and Services

    (ENARSI) Implementing Cisco Enterprise Advanced Routing and Services

    Бесплатно
    VMware vSphere: Install, Configure, Manage

    VMware vSphere: Install, Configure, Manage

    Бесплатно

    +7 (7172) 79 30 99, +7 (727) 344 30 99

    info@dtu.kz

    © 2023 | Digital Transformation University

    Записаться на курс