• Главная
  • О компании
  • Каталог курсов

    Обучение

    • Все курсы
    • Big Data
    • Business analysis
    • Cisco
    • CyberSecurity
    • Digital Transformation
    • DevOps
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Red Hat Linux
    • VMware
    • Тренинг
    Ключевые практики архитектора ПО

    Ключевые практики архитектора ПО

    Бесплатно
    Подробнее
  • Расписание
  • Контакты
      • Cart

        0
    Мы на связи:
    +7 701 757 83 23, +7 (7172) 79 50 55
    info@dtu.kz
    Digital Transformation UniversityDigital Transformation University
    • Главная
    • О компании
    • Каталог курсов

      Обучение

      • Все курсы
      • Big Data
      • Business analysis
      • Cisco
      • CyberSecurity
      • Digital Transformation
      • DevOps
      • IT Management
      • Juniper
      • Microsoft
      • Oracle
      • Postgres
      • Programming
      • Red Hat Linux
      • VMware
      • Тренинг
      Ключевые практики архитектора ПО

      Ключевые практики архитектора ПО

      Бесплатно
      Подробнее
    • Расписание
    • Контакты
        • Cart

          0

      Администрирование кластера Kafka

      Aigul
      Big Data
      (0 review)
      Бесплатно
      Big Data
      • Обзор

      Kafka Cluster Administration

      (Big Data курсы для администраторов Data Flow)

      Продолжительность: 3 дня, 24 академических часа.

      Где используется Apache Kafka

      На практике Apache Кафка широко применяется в следующих задачах:

      • интерактивный обмен данными между распределенными приложениями и микросервисами;
      • считывание информации из распределенных файловых систем (HDFS, Amazon S3);
      • организация конвейеров обработки данных (data pipeline);
      • прием технологической информации из интеллектуальных устройств Internet of Things (IoT), в т.ч. промышленного интернета вещей (Industrial IoT, IIoT);
      • обработка событий из журналов корпоративных информационных систем;
      • анализ логов пользовательского поведения на сайтах и в соцсетях.

      Apache Kafka активно используется во множестве отечественных и зарубежных Big Data проектов, от высоконагруженных веб-платформ обработки больших данных до корпоративных систем управления промышленным производством. Специалисты по Kafka (инженеры данных, администраторы кластера, разработчики Data Flow) востребованы в различных отраслях деятельности: банковский сектор, медицина, промышленные предприятия, страхование, автомобильное производство и т.д.

      Соотношение теории к практике 40/60.

      3—дневный курс обучения по Kafka позволит вам получить и систематизировать знания по использованию Кафка для организации распределенной обработки событий (Event Stream Processing) на практических примерах с потоковыми данными в реальном времени. Курс содержит расширенные сведения по установке распределенного кластера Apache Kafka (Confluent), настройке безопасности Kerberos и интеграции с другими продуктами, мониторинга и оптимизации Kafka в соответствии с лучшими практиками (best practices).

      Вы изучите необходимый теоретический минимум, чтобы понять основные концепции этого брокера сообщений и узнаете некоторые особенности управления кластером Кафка. Преподаватель курса администрирования Apache Kafka подробно объяснит все тонкости установки, конфигурирования, мониторинга и прикладного использования этой Big Data системы, чтобы вы могли самостоятельно работать с ней в реальности.
      На практике вы развернете собственный кластер Apache Kafka, настроив его конфигурацию, средства обеспечения информационной безопасности (cybersecurity) и инструменты мониторинга.

      Наши курсы обучения по Kafka ориентированы на системных администраторов, разработчиков Big Data систем и DevOps-инженеров, которые хотят получить следующие знания и навыки:

      • понять, что такое Apache Kafka;
      • научиться устанавливать, настраивать и поддерживать кластера Кафка и Zookeeper;
      • освоить методы администрирования кластера Kafka (Confluent);
      • изучить настройки безопасности для Apache Kafka с использованием SSL, SASL, Kerberos;
      • настраивать мониторинг и оптимизацию очереди сообщений Kafka с использованием практических примеров реализации;
      • интегрировать Apache Кафка с другими Big Data фреймворками (Hadoop, Spark, NiFi, Flume) и внешними системами.

      Предварительный уровень подготовки: Начальный опыт работы в Unix.

      Программа 

      Введение в Kafka
      Что такое Apache Kafka?
      Сценарии использования Kafka
      Компоненты Kafka и Kafka экосистемы
      Архитектура Kafka
      Кластер Zookeeper
      Потоковая Обработка Событий(Event Stream Processing): Терминология и основные концепции.

      Основные концепции Kafka
      Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
      Брокеры (Brokers): Развертывание. Конфигурация Multibroker
      Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API
      Потребители данных (Consumers): Очереди Consumers. Широковещание (Broadcasting).
      Установка кластера Apache Kafka

      Требования по установке кластера Kafka
      Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
      Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka. Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners. Отказоустойчивость кластера Kafka. Kafka менеджер.
      Установка кластера Kafka на AWS
      Репликация кластера с использованием Mirror Maker (Confluent Replicator)
      Базовые операции в Apache Kafka

      Операции с Топиками (Topic)
      Публикация данных с консольного Producer
      Получение данных с консольного Consumer
      Пользовательские интерфейсы топика Kafka (Topics UI)
      Разбор примеров кода producer
      Разбор примеров кода consumer
      Оптимизация кластера Apache Kafka

      Оптимизация производительности компонент кластера
      Масштабирование кластера
      Балансировка разделов(partition) и использование Partition Reassignment Tools
      Балансировка с использованием ADB (Auto Data Balancing)
      Best Practices Kafka/Confluent
      Мониторинг кластера Kafka
      Настройка мониторинга кластера Kafka (Confluent) с использованием Prometheus + Grafana ( Telegraf/Influx + Grafana)

      Интеграция с Apache Kafka
      Использование Apache NiFi
      Интеграция Apache Flume с Kafka
      Сценарии интеграции с Apache Kafka

      Расширенная конфигурация кластера Kafka
      Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing(количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
      Confluent REST Proxy
      Настройка Confluent Schema Registry
      Архитектура Kafka Connect

      Безопасность в Kafka
      Шифрование SSL: Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов
      Аутентификация SSL/SASL
      Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
      Авторизация в Kafka
      Управление списками управления доступом (ACL)

      Course Features

      • Lectures 0
      • Quizzes 0
      • Duration 50 hours
      • Skill level All levels
      • Language English
      • Students 0
      • Assessments Yes
      • Обзор
      Бесплатно
      • Поделиться:

      Вам Может Понравиться

      Ключевые практики архитектора ПО Подробнее
      Aigul

      Ключевые практики архитектора ПО

      0
      0
      Free
      Oracle Database 12c: SQL and PL/SQL Fundamentals Подробнее
      Aigul

      Oracle Database 12c: SQL and PL/SQL Fundamentals

      0
      0
      Free
      (SISE) Implementing and Configuring Cisco Identity Services Engine Подробнее
      Aigul

      (SISE) Implementing and Configuring Cisco Identity Services Engine

      0
      0
      Free
      Certified Network Defense (CND) v2 Подробнее
      Aigul

      Certified Network Defense (CND) v2

      0
      0
      Free
      Основы тестирования производительности Подробнее
      Aigul

      Основы тестирования производительности

      0
      0
      Free

      Рекомендуемые

      Ключевые практики архитектора ПО

      Ключевые практики архитектора ПО

      Бесплатно
      Oracle Database 12c: SQL and PL/SQL Fundamentals

      Oracle Database 12c: SQL and PL/SQL Fundamentals

      Бесплатно
      (SISE) Implementing and Configuring Cisco Identity Services Engine

      (SISE) Implementing and Configuring Cisco Identity Services Engine

      Бесплатно

      +7 (701) 757 83 23, +7 (7172) 79 50 55

      info@dtu.kz

      © 2021 | Digital Transformation University

      • Главная
      • Контакты
      Записаться на курс