• Главная
  • О компании
  • Каталог курсов
    • Все курсы
    • AWS
    • Big Data
    • Business analysis
    • Check Point
    • Cisco
    • CyberSecurity
    • DevOps
    • Digital Transformation
    • IBM
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Project Management
    • Red Hat Linux
    • VMware
    • Тестирование ПО
    • Тренинг
    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)

    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)

    Бесплатно
    Подробнее
  • Расписание
  • Контакты
Мы на связи:
+7 (7172)79 30 99 Нур-султан
+7 (727) 344 30 99 Алматы
+7 (701) 757 83 23
info@dtu.kz
Digital Transformation University
  • Главная
  • О компании
  • Каталог курсов
    • Все курсы
    • AWS
    • Big Data
    • Business analysis
    • Check Point
    • Cisco
    • CyberSecurity
    • DevOps
    • Digital Transformation
    • IBM
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Project Management
    • Red Hat Linux
    • VMware
    • Тестирование ПО
    • Тренинг
    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)

    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)

    Бесплатно
    Подробнее
  • Расписание
  • Контакты

    Big Data

    • Главная
    • Все курсы
    • Big Data
    • Администрирование кластера Kafka

    Администрирование кластера Kafka

    Digital Transformation University
    Big Data
    Бесплатно
    Big Data
    • Обзор
    Бесплатно
    • Обзор

    Kafka Cluster Administration

    (Big Data курсы для администраторов Data Flow)

    Продолжительность: 3 дня, 24 академических часа.

    Где используется Apache Kafka

    На практике Apache Кафка широко применяется в следующих задачах:

    • интерактивный обмен данными между распределенными приложениями и микросервисами;
    • считывание информации из распределенных файловых систем (HDFS, Amazon S3);
    • организация конвейеров обработки данных (data pipeline);
    • прием технологической информации из интеллектуальных устройств Internet of Things (IoT), в т.ч. промышленного интернета вещей (Industrial IoT, IIoT);
    • обработка событий из журналов корпоративных информационных систем;
    • анализ логов пользовательского поведения на сайтах и в соцсетях.

    Apache Kafka активно используется во множестве отечественных и зарубежных Big Data проектов, от высоконагруженных веб-платформ обработки больших данных до корпоративных систем управления промышленным производством. Специалисты по Kafka (инженеры данных, администраторы кластера, разработчики Data Flow) востребованы в различных отраслях деятельности: банковский сектор, медицина, промышленные предприятия, страхование, автомобильное производство и т.д.

    Соотношение теории к практике 40/60.

    3—дневный курс обучения по Kafka позволит вам получить и систематизировать знания по использованию Кафка для организации распределенной обработки событий (Event Stream Processing) на практических примерах с потоковыми данными в реальном времени. Курс содержит расширенные сведения по установке распределенного кластера Apache Kafka (Confluent), настройке безопасности Kerberos и интеграции с другими продуктами, мониторинга и оптимизации Kafka в соответствии с лучшими практиками (best practices).

    Вы изучите необходимый теоретический минимум, чтобы понять основные концепции этого брокера сообщений и узнаете некоторые особенности управления кластером Кафка. Преподаватель курса администрирования Apache Kafka подробно объяснит все тонкости установки, конфигурирования, мониторинга и прикладного использования этой Big Data системы, чтобы вы могли самостоятельно работать с ней в реальности.
    На практике вы развернете собственный кластер Apache Kafka, настроив его конфигурацию, средства обеспечения информационной безопасности (cybersecurity) и инструменты мониторинга.

    Наши курсы обучения по Kafka ориентированы на системных администраторов, разработчиков Big Data систем и DevOps-инженеров, которые хотят получить следующие знания и навыки:

    • понять, что такое Apache Kafka;
    • научиться устанавливать, настраивать и поддерживать кластера Кафка и Zookeeper;
    • освоить методы администрирования кластера Kafka (Confluent);
    • изучить настройки безопасности для Apache Kafka с использованием SSL, SASL, Kerberos;
    • настраивать мониторинг и оптимизацию очереди сообщений Kafka с использованием практических примеров реализации;
    • интегрировать Apache Кафка с другими Big Data фреймворками (Hadoop, Spark, NiFi, Flume) и внешними системами.

    Предварительный уровень подготовки: Начальный опыт работы в Unix.

    Программа 

    Введение в Kafka
    Что такое Apache Kafka?
    Сценарии использования Kafka
    Компоненты Kafka и Kafka экосистемы
    Архитектура Kafka
    Кластер Zookeeper
    Потоковая Обработка Событий(Event Stream Processing): Терминология и основные концепции.

    Основные концепции Kafka
    Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
    Брокеры (Brokers): Развертывание. Конфигурация Multibroker
    Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API
    Потребители данных (Consumers): Очереди Consumers. Широковещание (Broadcasting).
    Установка кластера Apache Kafka

    Требования по установке кластера Kafka
    Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
    Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka. Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners. Отказоустойчивость кластера Kafka. Kafka менеджер.
    Установка кластера Kafka на AWS
    Репликация кластера с использованием Mirror Maker (Confluent Replicator)
    Базовые операции в Apache Kafka

    Операции с Топиками (Topic)
    Публикация данных с консольного Producer
    Получение данных с консольного Consumer
    Пользовательские интерфейсы топика Kafka (Topics UI)
    Разбор примеров кода producer
    Разбор примеров кода consumer
    Оптимизация кластера Apache Kafka

    Оптимизация производительности компонент кластера
    Масштабирование кластера
    Балансировка разделов(partition) и использование Partition Reassignment Tools
    Балансировка с использованием ADB (Auto Data Balancing)
    Best Practices Kafka/Confluent
    Мониторинг кластера Kafka
    Настройка мониторинга кластера Kafka (Confluent) с использованием Prometheus + Grafana ( Telegraf/Influx + Grafana)

    Интеграция с Apache Kafka
    Использование Apache NiFi
    Интеграция Apache Flume с Kafka
    Сценарии интеграции с Apache Kafka

    Расширенная конфигурация кластера Kafka
    Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing(количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
    Confluent REST Proxy
    Настройка Confluent Schema Registry
    Архитектура Kafka Connect

    Безопасность в Kafka
    Шифрование SSL: Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов
    Аутентификация SSL/SASL
    Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
    Авторизация в Kafka
    Управление списками управления доступом (ACL)

    • Лекции 0
    • Тесты 0
    • Учебное время 50 hours
    • Навык Все уровни
    • Язык English
    • Студенты 0
    • Оценки Да
    • Поделиться:

    Вам может понравиться

    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)Подробнее
    Digital Transformation University

    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)

    Автоматизация Red Hat Enterprise Linux при помощи Ansible (RH294) Продолжительность: 32 академических часов, 4 дня. Курс Red Hat System Administration III: Automation with Ansible  разработан для системных администраторов Linux® и разработчиков, которым приходится решать задачи автоматизации выделения ресурсов, настройки и развертывания приложений в инфраструктуре. Слушатели...

    Digital Transformation University
    0
    student
    Бесплатно
    Understanding Cisco Collaboration Foundations (CLFNDU)Подробнее
    Digital Transformation University

    Understanding Cisco Collaboration Foundations (CLFNDU)

    Основные сведения о Cisco Collaboration (CLFNDU) Продолжительность: 40 академических часов. Курс Understanding Cisco Collaboration Foundations (CLFNDU) дает навыки и знания, необходимые для администрирования и поддержки простой VoIP инфраструктуры, построенной с применением продукта Cisco Unified Communications Manager и голосовых шлюзов, и сосредоточенной на одной площадке. В курсе...

    Digital Transformation University
    0
    student
    Бесплатно
    Understanding Cisco Cybersecurity Operations Fundamentals (CBROPS)Подробнее
    Digital Transformation University

    Understanding Cisco Cybersecurity Operations Fundamentals (CBROPS)

    Understanding Cisco Cybersecurity Operations Fundamentals (CBROPS) Продолжительность: 40 академических часов. Курс Understanding Cybersecurity Operations Fundamentals (CBROPS) v1.0 дает слушателям представление о функциях сетевых устройств, об уязвимостях сетевых протоколов стека Transmission Control Protocol/Internet Protocol (TCP/IP), об особенностях функционирования операционных систем конечных устройств. Слушатели узнают о концепциях...

    Digital Transformation University
    0
    student
    Бесплатно
    Управление проектами по разработке ПОПодробнее
    Digital Transformation University

    Управление проектами по разработке ПО

    Продолжительность: 32 академических часа. Цель курса Управление проектами по разработке ПО: Совершенствование знаний и навыков в области управления проектами по разработке программного обеспечения (ПО). Целевая аудитория: Руководители проектов разработки ПО Руководители линейных подразделений, чьи сотрудники участвуют в разработке ПО Необходимая подготовка: Опыт руководства или участия...

    Digital Transformation University
    0
    student
    Бесплатно
    Microsoft Power BI Data Analyst (PL-300)Подробнее
    Digital Transformation University

    Microsoft Power BI Data Analyst (PL-300)

    Аналитик данных Microsoft Power BI (PL-300) Продолжительность: 3 дня, 24 академических часа. В  курсе Microsoft Power BI Data Analyst (PL-300) будут обсуждаться различные методы и рекомендации, которые соответствуют корпоративным требованиям и техническим требованиям для моделирования, визуализации и анализа данных с помощью Power BI. Этот курс...

    Digital Transformation University
    0
    student
    Бесплатно

    Рекомендуемые

    Computer Hacking Forensics Investigator (CHFI)

    Computer Hacking Forensics Investigator (CHFI)

    Бесплатно
    Бизнес и системный анализ в IT

    Бизнес и системный анализ в IT

    Бесплатно
    Обслуживание экстра — класса

    Обслуживание экстра — класса

    Бесплатно
    (ENARSI) Implementing Cisco Enterprise Advanced Routing and Services

    (ENARSI) Implementing Cisco Enterprise Advanced Routing and Services

    Бесплатно
    VMware vSphere: Install, Configure, Manage

    VMware vSphere: Install, Configure, Manage

    Бесплатно

    +7 (7172) 79 30 99, +7 (727) 344 30 99

    info@dtu.kz

    © 2022 | Digital Transformation University

    Записаться на курс