• Главная
  • О компании
  • Каталог курсов
    • Все курсы
    • AWS
    • Big Data
    • Business analysis
    • Check Point
    • Cisco
    • CyberSecurity
    • DevOps
    • Digital Transformation
    • IBM
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Project Management
    • Red Hat Linux
    • VMware
    • Тестирование ПО
    • Тренинг
    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)

    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)

    Бесплатно
    Подробнее
  • Расписание
  • Контакты
Мы на связи:
+7 (7172)79 30 99 Нур-султан
+7 (727) 344 30 99 Алматы
+7 (701) 757 83 23
info@dtu.kz
Digital Transformation University
  • Главная
  • О компании
  • Каталог курсов
    • Все курсы
    • AWS
    • Big Data
    • Business analysis
    • Check Point
    • Cisco
    • CyberSecurity
    • DevOps
    • Digital Transformation
    • IBM
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Project Management
    • Red Hat Linux
    • VMware
    • Тестирование ПО
    • Тренинг
    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)

    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)

    Бесплатно
    Подробнее
  • Расписание
  • Контакты

    Big Data

    • Главная
    • Все курсы
    • Big Data
    • Основы Hadoop

    Основы Hadoop

    Digital Transformation University
    Big Data
    Бесплатно
    Big Data
    • Обзор
    Бесплатно
    • Обзор

    Продолжительность: 3 дня, 24 академических часа.
    (Курсы Big Data для администраторов Hadoop, Spark)

    Соотношение теории к практике 50/50.

    Практический курс «Основы Hadoop» содержит базовые сведения по установке, настройке и эксплуатации кластера Hadoop. Обучение Хадуп в нашем учебном центре включает теоретический минимум, необходимый для эффективной практической работы с кластером Apache Hadoop. На курсе рассматриваются следующие темы:

    • выполнение основных операций в файловой системе HDFS;
    • запуск задач MapReduce;
    • основы управления ресурсами Hadoop с помощью планировщика задач YARN;
    • концепции использования Hadoop и компонентов экосистемы Хадуп (MapReduce, Apache Hive, Apache Pig, Apache Flume, Apache Sqoop и Apache Spark) для организации хранения больших данных и процессинга.

    Курс построен на сквозных практических примерах с тренировочными наборами данных для запуска пакетных (batch) и потоковых (streaming) задач в Hadoop кластере. Для каждого слушателя предоставляются индивидуальные кластера в облачной инфраструктуре Amazon Web Services (AWS), чтобы вы освоили все концепции и понятия на практике. Какой именно дистрибутив Хадуп выбрать, решаете вы: Cloudera Distributed Hadoop, HortonWorks HDP или ArenaData Hadoop.
    Также на наших курсах обучения основам Hadoop вы познакомитесь с программным обеспечением по управлению кластером Cloudera Manager или Apache Ambari (на выбор).

    Программа курса «Основы Hadoop»

    Основы Hadoop и Big Data

    Что такое Big Data.
    Понимание проблемы Big Data. Эволюция систем распределенных вычислений Hadoop. Концепция Data Lake.

    Архитектура Apache Hadoop
    Hadoop сервисы и основные компоненты: Name node, Data Node, YARN, HDFS.
    Отказоустойчивость и высокая доступность.
    Batch процессинг.
    Потоковая обработка

    Распределенная файловая система HDFS
    Основы HDFS: Блоки HDFS. Основные команды работы с HDFS. Операции чтения и записи, назначения HDFS. Дисковые квоты.
    Архитектура HDFS. Управление репликацией. Политики гибридного хранения данных HDFS.
    Основные форматы хранения данных TXT, AVRO, ORC, Parquet, Sequence файлы.
    Влияние компрессии на производительность. Кодеки компрессии.
    Импорт(загрузка) данных на HDFS

    MapReduce
    Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduce. YARN MapReduce v2. Ограничения и параметры MapReduce и YARN. Управление запуском пользовательских задач (jobs) под MapReduce.
    Установка кластера Hadoop

    Установка Hadoop кластера.
    Выбор начальной конфигурации.
    Оптимизация уровня ядра для узлов.
    Оптимизация Java, JVM, Heap size, Garbage Collection
    Начальная конфигурация HDFS и MapReduce.
    Файлы логов и конфигураций.
    Настройка подключений Hadoop клиентов.
    Установка кластера Hadoop в облаке.
    Особенности настройки кластера Hadoop на физическом сервере (on-premises)
    Топология кластера Hadoop
    Tiering — многоуровневое хранение данных (Cold, Warm,Hot, RAM disk). Storage policy — полтиики хранения. Метки конфигураций узлов. RACK awareness.

    Архитектура YARN — планировщик и менеджер ресурсов
    Поиск узких мест. Производительность. Файловая система. Data Node. Сетевая производительность.
    FIFO scheduler
    Capacity scheduler (Планировщик по мощности)
    Fair scheduler (Гранулярное управление ресурсами)
    Защита очередей и доминантное управление ресурсами DRF

    Инструментарий Hadoop экосистемы
    Графический интерфейс сервиса HUE/Zeppelin
    Базовые операции в Apache Pig
    Использование Apache Hive для доступа к данным на HDFS по SQL интерфейсу, понятие Hive таблицы, HiveQL — базовый синтаксис.
    Импорт и экспорт SQL таблиц с применением Apache sqoop
    Настройка агентов для управления потоковыми операциями с Apache Flume
    Базовые операции в Apache Spark

    Примерный список практических занятий по курсу «Основы Hadoop»:

    • Установка 3х-узлового кластера в облаке Amazon Web Services с использованием Cloudera Manager/Apache Ambari
    • Базовые операции обслуживания кластера Hadoop и файловые операции HDFS
    • Управление ресурсами и запуском задач с использованием YARN и MapReduce
    • ETL операции преобразования с использованием Apache Pig
    • Знакомство с SQL интерфейсом доступа Apache Hive
    • Выполнение базовых операций импорта/экспорта с применением Apache sqoop
    • Настройка агента потоковой обработки Apache Flume(опционально)
    • Применение веб-интерфейса HUE/Zeppelin (опционально)
    • Примечание:
      • Доступ к лабораторному стенду на Amazon Web Services предоставляется на время учебных курсов с 8:30 до 18:30 (возможно продление времени по запросу)
      • Практические занятия с меткой (опционально) выполняются по желанию и при наличии свободного времени у слушателей
    • Лекции 0
    • Тесты 0
    • Учебное время 50 hours
    • Навык Все уровни
    • Язык English
    • Студенты 0
    • Оценки Да
    • Поделиться:

    Вам может понравиться

    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)Подробнее
    Digital Transformation University

    (RH294) Red Hat System Administration III: Automation with Ansible (RHEL9)

    Автоматизация Red Hat Enterprise Linux при помощи Ansible (RH294) Продолжительность: 32 академических часов, 4 дня. Курс Red Hat System Administration III: Automation with Ansible  разработан для системных администраторов Linux® и разработчиков, которым приходится решать задачи автоматизации выделения ресурсов, настройки и развертывания приложений в инфраструктуре. Слушатели...

    Digital Transformation University
    0
    student
    Бесплатно
    Understanding Cisco Collaboration Foundations (CLFNDU)Подробнее
    Digital Transformation University

    Understanding Cisco Collaboration Foundations (CLFNDU)

    Основные сведения о Cisco Collaboration (CLFNDU) Продолжительность: 40 академических часов. Курс Understanding Cisco Collaboration Foundations (CLFNDU) дает навыки и знания, необходимые для администрирования и поддержки простой VoIP инфраструктуры, построенной с применением продукта Cisco Unified Communications Manager и голосовых шлюзов, и сосредоточенной на одной площадке. В курсе...

    Digital Transformation University
    0
    student
    Бесплатно
    Understanding Cisco Cybersecurity Operations Fundamentals (CBROPS)Подробнее
    Digital Transformation University

    Understanding Cisco Cybersecurity Operations Fundamentals (CBROPS)

    Understanding Cisco Cybersecurity Operations Fundamentals (CBROPS) Продолжительность: 40 академических часов. Курс Understanding Cybersecurity Operations Fundamentals (CBROPS) v1.0 дает слушателям представление о функциях сетевых устройств, об уязвимостях сетевых протоколов стека Transmission Control Protocol/Internet Protocol (TCP/IP), об особенностях функционирования операционных систем конечных устройств. Слушатели узнают о концепциях...

    Digital Transformation University
    0
    student
    Бесплатно
    Управление проектами по разработке ПОПодробнее
    Digital Transformation University

    Управление проектами по разработке ПО

    Продолжительность: 32 академических часа. Цель курса Управление проектами по разработке ПО: Совершенствование знаний и навыков в области управления проектами по разработке программного обеспечения (ПО). Целевая аудитория: Руководители проектов разработки ПО Руководители линейных подразделений, чьи сотрудники участвуют в разработке ПО Необходимая подготовка: Опыт руководства или участия...

    Digital Transformation University
    0
    student
    Бесплатно
    Microsoft Power BI Data Analyst (PL-300)Подробнее
    Digital Transformation University

    Microsoft Power BI Data Analyst (PL-300)

    Аналитик данных Microsoft Power BI (PL-300) Продолжительность: 3 дня, 24 академических часа. В  курсе Microsoft Power BI Data Analyst (PL-300) будут обсуждаться различные методы и рекомендации, которые соответствуют корпоративным требованиям и техническим требованиям для моделирования, визуализации и анализа данных с помощью Power BI. Этот курс...

    Digital Transformation University
    0
    student
    Бесплатно

    Рекомендуемые

    Computer Hacking Forensics Investigator (CHFI)

    Computer Hacking Forensics Investigator (CHFI)

    Бесплатно
    Бизнес и системный анализ в IT

    Бизнес и системный анализ в IT

    Бесплатно
    Обслуживание экстра — класса

    Обслуживание экстра — класса

    Бесплатно
    (ENARSI) Implementing Cisco Enterprise Advanced Routing and Services

    (ENARSI) Implementing Cisco Enterprise Advanced Routing and Services

    Бесплатно
    VMware vSphere: Install, Configure, Manage

    VMware vSphere: Install, Configure, Manage

    Бесплатно

    +7 (7172) 79 30 99, +7 (727) 344 30 99

    info@dtu.kz

    © 2022 | Digital Transformation University

    Записаться на курс