• Главная
  • О компании
  • Каталог курсов

    Обучение

    • Все курсы
    • Big Data
    • Business analysis
    • Cisco
    • CyberSecurity
    • Digital Transformation
    • DevOps
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Red Hat Linux
    • VMware
    • Тренинг
    Ключевые практики архитектора ПО

    Ключевые практики архитектора ПО

    Бесплатно
    Подробнее
  • Расписание
  • Контакты
      • Cart

        0
    Мы на связи:
    +7 701 757 83 23, +7 (7172) 79 50 55
    info@dtu.kz
    Digital Transformation UniversityDigital Transformation University
    • Главная
    • О компании
    • Каталог курсов

      Обучение

      • Все курсы
      • Big Data
      • Business analysis
      • Cisco
      • CyberSecurity
      • Digital Transformation
      • DevOps
      • IT Management
      • Juniper
      • Microsoft
      • Oracle
      • Postgres
      • Programming
      • Red Hat Linux
      • VMware
      • Тренинг
      Ключевые практики архитектора ПО

      Ключевые практики архитектора ПО

      Бесплатно
      Подробнее
    • Расписание
    • Контакты
        • Cart

          0

      Основы Hadoop

      Aigul
      Big Data
      (0 review)
      Бесплатно
      Big Data
      • Обзор

      Продолжительность: 3 дня, 24 академических часа.
      (Курсы Big Data для администраторов Hadoop, Spark)

      Соотношение теории к практике 50/50.

      Практический курс «Основы Hadoop» содержит базовые сведения по установке, настройке и эксплуатации кластера Hadoop. Обучение Хадуп в нашем учебном центре включает теоретический минимум, необходимый для эффективной практической работы с кластером Apache Hadoop. На курсе рассматриваются следующие темы:

      • выполнение основных операций в файловой системе HDFS;
      • запуск задач MapReduce;
      • основы управления ресурсами Hadoop с помощью планировщика задач YARN;
      • концепции использования Hadoop и компонентов экосистемы Хадуп (MapReduce, Apache Hive, Apache Pig, Apache Flume, Apache Sqoop и Apache Spark) для организации хранения больших данных и процессинга.

      Курс построен на сквозных практических примерах с тренировочными наборами данных для запуска пакетных (batch) и потоковых (streaming) задач в Hadoop кластере. Для каждого слушателя предоставляются индивидуальные кластера в облачной инфраструктуре Amazon Web Services (AWS), чтобы вы освоили все концепции и понятия на практике. Какой именно дистрибутив Хадуп выбрать, решаете вы: Cloudera Distributed Hadoop, HortonWorks HDP или ArenaData Hadoop.
      Также на наших курсах обучения основам Hadoop вы познакомитесь с программным обеспечением по управлению кластером Cloudera Manager или Apache Ambari (на выбор).

      Программа курса «Основы Hadoop»

      Основы Hadoop и Big Data

      Что такое Big Data.
      Понимание проблемы Big Data. Эволюция систем распределенных вычислений Hadoop. Концепция Data Lake.

      Архитектура Apache Hadoop
      Hadoop сервисы и основные компоненты: Name node, Data Node, YARN, HDFS.
      Отказоустойчивость и высокая доступность.
      Batch процессинг.
      Потоковая обработка

      Распределенная файловая система HDFS
      Основы HDFS: Блоки HDFS. Основные команды работы с HDFS. Операции чтения и записи, назначения HDFS. Дисковые квоты.
      Архитектура HDFS. Управление репликацией. Политики гибридного хранения данных HDFS.
      Основные форматы хранения данных TXT, AVRO, ORC, Parquet, Sequence файлы.
      Влияние компрессии на производительность. Кодеки компрессии.
      Импорт(загрузка) данных на HDFS

      MapReduce
      Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduce. YARN MapReduce v2. Ограничения и параметры MapReduce и YARN. Управление запуском пользовательских задач (jobs) под MapReduce.
      Установка кластера Hadoop

      Установка Hadoop кластера.
      Выбор начальной конфигурации.
      Оптимизация уровня ядра для узлов.
      Оптимизация Java, JVM, Heap size, Garbage Collection
      Начальная конфигурация HDFS и MapReduce.
      Файлы логов и конфигураций.
      Настройка подключений Hadoop клиентов.
      Установка кластера Hadoop в облаке.
      Особенности настройки кластера Hadoop на физическом сервере (on-premises)
      Топология кластера Hadoop
      Tiering — многоуровневое хранение данных (Cold, Warm,Hot, RAM disk). Storage policy — полтиики хранения. Метки конфигураций узлов. RACK awareness.

      Архитектура YARN — планировщик и менеджер ресурсов
      Поиск узких мест. Производительность. Файловая система. Data Node. Сетевая производительность.
      FIFO scheduler
      Capacity scheduler (Планировщик по мощности)
      Fair scheduler (Гранулярное управление ресурсами)
      Защита очередей и доминантное управление ресурсами DRF

      Инструментарий Hadoop экосистемы
      Графический интерфейс сервиса HUE/Zeppelin
      Базовые операции в Apache Pig
      Использование Apache Hive для доступа к данным на HDFS по SQL интерфейсу, понятие Hive таблицы, HiveQL — базовый синтаксис.
      Импорт и экспорт SQL таблиц с применением Apache sqoop
      Настройка агентов для управления потоковыми операциями с Apache Flume
      Базовые операции в Apache Spark

      Примерный список практических занятий по курсу «Основы Hadoop»:

      • Установка 3х-узлового кластера в облаке Amazon Web Services с использованием Cloudera Manager/Apache Ambari
      • Базовые операции обслуживания кластера Hadoop и файловые операции HDFS
      • Управление ресурсами и запуском задач с использованием YARN и MapReduce
      • ETL операции преобразования с использованием Apache Pig
      • Знакомство с SQL интерфейсом доступа Apache Hive
      • Выполнение базовых операций импорта/экспорта с применением Apache sqoop
      • Настройка агента потоковой обработки Apache Flume(опционально)
      • Применение веб-интерфейса HUE/Zeppelin (опционально)
      • Примечание:
        • Доступ к лабораторному стенду на Amazon Web Services предоставляется на время учебных курсов с 8:30 до 18:30 (возможно продление времени по запросу)
        • Практические занятия с меткой (опционально) выполняются по желанию и при наличии свободного времени у слушателей

      Course Features

      • Lectures 0
      • Quizzes 0
      • Duration 50 hours
      • Skill level All levels
      • Language English
      • Students 0
      • Assessments Yes
      • Обзор
      Бесплатно
      • Поделиться:

      Вам Может Понравиться

      Ключевые практики архитектора ПО Подробнее
      Aigul

      Ключевые практики архитектора ПО

      0
      0
      Free
      Oracle Database 12c: SQL and PL/SQL Fundamentals Подробнее
      Aigul

      Oracle Database 12c: SQL and PL/SQL Fundamentals

      0
      0
      Free
      (SISE) Implementing and Configuring Cisco Identity Services Engine Подробнее
      Aigul

      (SISE) Implementing and Configuring Cisco Identity Services Engine

      0
      0
      Free
      Certified Network Defense (CND) v2 Подробнее
      Aigul

      Certified Network Defense (CND) v2

      0
      0
      Free
      Основы тестирования производительности Подробнее
      Aigul

      Основы тестирования производительности

      0
      0
      Free

      Рекомендуемые

      Ключевые практики архитектора ПО

      Ключевые практики архитектора ПО

      Бесплатно
      Oracle Database 12c: SQL and PL/SQL Fundamentals

      Oracle Database 12c: SQL and PL/SQL Fundamentals

      Бесплатно
      (SISE) Implementing and Configuring Cisco Identity Services Engine

      (SISE) Implementing and Configuring Cisco Identity Services Engine

      Бесплатно

      +7 (701) 757 83 23, +7 (7172) 79 50 55

      info@dtu.kz

      © 2021 | Digital Transformation University

      • Главная
      • Контакты
      Записаться на курс