• Главная
  • О компании
  • Каталог курсов
    • Все курсы
    • AWS
    • Big Data
    • Business analysis
    • Check Point
    • Cisco
    • CyberSecurity
    • DevOps
    • Digital Transformation
    • IBM
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Project Management
    • Red Hat Linux
    • VMware
    • Тестирование ПО
    • Тренинг
    Матрица компетенций бизнес-аналитика

    Матрица компетенций бизнес-аналитика

    Бесплатно
    Подробнее
  • Расписание
  • Контакты
Мы на связи:
+7 (7172)79 30 99 Нур-султан
+7 (727) 344 30 99 Алматы
+7 (701) 757 83 23
info@dtu.kz
Digital Transformation University
  • Главная
  • О компании
  • Каталог курсов
    • Все курсы
    • AWS
    • Big Data
    • Business analysis
    • Check Point
    • Cisco
    • CyberSecurity
    • DevOps
    • Digital Transformation
    • IBM
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Project Management
    • Red Hat Linux
    • VMware
    • Тестирование ПО
    • Тренинг
    Матрица компетенций бизнес-аналитика

    Матрица компетенций бизнес-аналитика

    Бесплатно
    Подробнее
  • Расписание
  • Контакты

    Big Data

    • Главная
    • Все курсы
    • Big Data
    • Администрирование кластера Kafka

    Администрирование кластера Kafka

    Digital Transformation University
    Big Data
    Бесплатно
    Big Data
    • Обзор
    Бесплатно
    • Обзор

    Kafka Cluster Administration

    (Big Data курсы для администраторов Data Flow)

    Продолжительность: 3 дня, 24 академических часа.

    Где используется Apache Kafka

    На практике Apache Кафка широко применяется в следующих задачах:

    • интерактивный обмен данными между распределенными приложениями и микросервисами;
    • считывание информации из распределенных файловых систем (HDFS, Amazon S3);
    • организация конвейеров обработки данных (data pipeline);
    • прием технологической информации из интеллектуальных устройств Internet of Things (IoT), в т.ч. промышленного интернета вещей (Industrial IoT, IIoT);
    • обработка событий из журналов корпоративных информационных систем;
    • анализ логов пользовательского поведения на сайтах и в соцсетях.

    Apache Kafka активно используется во множестве отечественных и зарубежных Big Data проектов, от высоконагруженных веб-платформ обработки больших данных до корпоративных систем управления промышленным производством. Специалисты по Kafka (инженеры данных, администраторы кластера, разработчики Data Flow) востребованы в различных отраслях деятельности: банковский сектор, медицина, промышленные предприятия, страхование, автомобильное производство и т.д.

    Соотношение теории к практике 40/60.

    3—дневный курс обучения по Kafka позволит вам получить и систематизировать знания по использованию Кафка для организации распределенной обработки событий (Event Stream Processing) на практических примерах с потоковыми данными в реальном времени. Курс содержит расширенные сведения по установке распределенного кластера Apache Kafka (Confluent), настройке безопасности Kerberos и интеграции с другими продуктами, мониторинга и оптимизации Kafka в соответствии с лучшими практиками (best practices).

    Вы изучите необходимый теоретический минимум, чтобы понять основные концепции этого брокера сообщений и узнаете некоторые особенности управления кластером Кафка. Преподаватель курса администрирования Apache Kafka подробно объяснит все тонкости установки, конфигурирования, мониторинга и прикладного использования этой Big Data системы, чтобы вы могли самостоятельно работать с ней в реальности.
    На практике вы развернете собственный кластер Apache Kafka, настроив его конфигурацию, средства обеспечения информационной безопасности (cybersecurity) и инструменты мониторинга.

    Наши курсы обучения по Kafka ориентированы на системных администраторов, разработчиков Big Data систем и DevOps-инженеров, которые хотят получить следующие знания и навыки:

    • понять, что такое Apache Kafka;
    • научиться устанавливать, настраивать и поддерживать кластера Кафка и Zookeeper;
    • освоить методы администрирования кластера Kafka (Confluent);
    • изучить настройки безопасности для Apache Kafka с использованием SSL, SASL, Kerberos;
    • настраивать мониторинг и оптимизацию очереди сообщений Kafka с использованием практических примеров реализации;
    • интегрировать Apache Кафка с другими Big Data фреймворками (Hadoop, Spark, NiFi, Flume) и внешними системами.

    Предварительный уровень подготовки: Начальный опыт работы в Unix.

    Программа 

    Введение в Kafka
    Что такое Apache Kafka?
    Сценарии использования Kafka
    Компоненты Kafka и Kafka экосистемы
    Архитектура Kafka
    Кластер Zookeeper
    Потоковая Обработка Событий(Event Stream Processing): Терминология и основные концепции.

    Основные концепции Kafka
    Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
    Брокеры (Brokers): Развертывание. Конфигурация Multibroker
    Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API
    Потребители данных (Consumers): Очереди Consumers. Широковещание (Broadcasting).
    Установка кластера Apache Kafka

    Требования по установке кластера Kafka
    Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
    Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka. Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners. Отказоустойчивость кластера Kafka. Kafka менеджер.
    Установка кластера Kafka на AWS
    Репликация кластера с использованием Mirror Maker (Confluent Replicator)
    Базовые операции в Apache Kafka

    Операции с Топиками (Topic)
    Публикация данных с консольного Producer
    Получение данных с консольного Consumer
    Пользовательские интерфейсы топика Kafka (Topics UI)
    Разбор примеров кода producer
    Разбор примеров кода consumer
    Оптимизация кластера Apache Kafka

    Оптимизация производительности компонент кластера
    Масштабирование кластера
    Балансировка разделов(partition) и использование Partition Reassignment Tools
    Балансировка с использованием ADB (Auto Data Balancing)
    Best Practices Kafka/Confluent
    Мониторинг кластера Kafka
    Настройка мониторинга кластера Kafka (Confluent) с использованием Prometheus + Grafana ( Telegraf/Influx + Grafana)

    Интеграция с Apache Kafka
    Использование Apache NiFi
    Интеграция Apache Flume с Kafka
    Сценарии интеграции с Apache Kafka

    Расширенная конфигурация кластера Kafka
    Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing(количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
    Confluent REST Proxy
    Настройка Confluent Schema Registry
    Архитектура Kafka Connect

    Безопасность в Kafka
    Шифрование SSL: Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов
    Аутентификация SSL/SASL
    Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
    Авторизация в Kafka
    Управление списками управления доступом (ACL)

    • Лекции 0
    • Тесты 0
    • Учебное время 50 hours
    • Навык Все уровни
    • Язык English
    • Студенты 0
    • Оценки Да
    • Поделиться:

    Вам может понравиться

    Матрица компетенций бизнес-аналитикаПодробнее
    Digital Transformation University

    Матрица компетенций бизнес-аналитика

    Продолжительность: 16 академических часов. Курс Матрица компетенций бизнес-аналитика основывается на матрице компетенций, которая содержится в Своде знаний по бизнес-анализу (BABOK) 3.0 и состоит из 29 базовых компетенций для аналитика, сгруппированных в 6 категорий: · Аналитическое мышление и решение проблем; · Поведенческие характеристики; · Знание бизнеса; ·...

    Digital Transformation University
    0
    student
    Бесплатно
    Zabbix. Enterprise monitoring IT infrastructureПодробнее
    Digital Transformation University

    Zabbix. Enterprise monitoring IT infrastructure

    Linux. Zabbix. Мониторинг IT инфраструктуры предприятия Курс Zabbix. Enterprise monitoring IT infrastructure предназначен для системных администраторов, которым требуется обеспечить комплексный мониторинг сетевой инфраструктуры средствами свободного программного обеспечения (СПО), работающего под управлением систем Linux/FreeBSD, а также,  для тех, кто планирует освоить компетенцию специалиста по мониторингу инфраструктуры предприятия....

    Digital Transformation University
    0
    student
    Бесплатно
    Introduction to DevOps: Infrastructure as Code, using Docker and KubernetesПодробнее
    Digital Transformation University

    Introduction to DevOps: Infrastructure as Code, using Docker and Kubernetes

    Введение в DevOps: инфраструктура как код, использование Docker и Kubernetes Курс Introduction to DevOps: Infrastructure as Code, using Docker and Kubernetes разработан для системных администраторов, желающих освоить принципы и технологии Infrastructure as a Code для автоматизации развертывания и управления IT-инфраструктурой предприятия. Сейчас происходят процессы трансформации профессии...

    Digital Transformation University
    0
    student
    Бесплатно
    Linux. Администрирование сервисов и сетейПодробнее
    Digital Transformation University

    Linux. Администрирование сервисов и сетей

    Продолжительность: 24 академических часа. По окончании курса Linux Администрирование сервисов и сетей вы сможете решать большинство задач, связанных с работой компьютерной сети предприятия. Вы научитесь использовать Linux в качестве интернет шлюза и пакетного фильтра, предоставите своим пользователям возможность работы с файловыми сервисами и электронной почтой....

    Digital Transformation University
    0
    student
    Бесплатно
    Linux administration fundamentalsПодробнее
    Digital Transformation University

    Linux administration fundamentals

    После курса Linux administration fundamentals вы сможете устанавливать и настраивать операционную систему Linux, заводить учетные записи пользователей, предоставлять им регламентируемый доступ к ресурсам сервера на базе ОС Linux. Для Вас не составит труда настроить параметры локальной сети и подключение к Интернет. Вы легко будете устанавливать,...

    Digital Transformation University
    0
    student
    Бесплатно

    Рекомендуемые

    Computer Hacking Forensics Investigator (CHFI)

    Computer Hacking Forensics Investigator (CHFI)

    Бесплатно
    Бизнес и системный анализ в IT

    Бизнес и системный анализ в IT

    Бесплатно
    Обслуживание экстра — класса

    Обслуживание экстра — класса

    Бесплатно
    (ENARSI) Implementing Cisco Enterprise Advanced Routing and Services

    (ENARSI) Implementing Cisco Enterprise Advanced Routing and Services

    Бесплатно
    VMware vSphere: Install, Configure, Manage

    VMware vSphere: Install, Configure, Manage

    Бесплатно

    +7 (7172) 79 30 99, +7 (727) 344 30 99

    info@dtu.kz

    © 2023 | Digital Transformation University

    Записаться на курс