• Главная
  • О компании
  • Каталог курсов
    • Все курсы
    • AWS
    • Big Data
    • Business analysis
    • Check Point
    • Cisco
    • CyberSecurity
    • DevOps
    • Digital Transformation
    • IBM
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Project Management
    • Red Hat Linux
    • VMware
    • Тестирование ПО
    • Тренинг
    Матрица компетенций бизнес-аналитика

    Матрица компетенций бизнес-аналитика

    Бесплатно
    Подробнее
  • Расписание
  • Контакты
Мы на связи:
+7 (7172)79 30 99 Нур-султан
+7 (727) 344 30 99 Алматы
+7 (701) 757 83 23
info@dtu.kz
Digital Transformation University
  • Главная
  • О компании
  • Каталог курсов
    • Все курсы
    • AWS
    • Big Data
    • Business analysis
    • Check Point
    • Cisco
    • CyberSecurity
    • DevOps
    • Digital Transformation
    • IBM
    • IT Management
    • Juniper
    • Microsoft
    • Oracle
    • Postgres
    • Programming
    • Project Management
    • Red Hat Linux
    • VMware
    • Тестирование ПО
    • Тренинг
    Матрица компетенций бизнес-аналитика

    Матрица компетенций бизнес-аналитика

    Бесплатно
    Подробнее
  • Расписание
  • Контакты

    Big Data

    • Главная
    • Все курсы
    • Big Data
    • Основы Hadoop

    Основы Hadoop

    Digital Transformation University
    Big Data
    Бесплатно
    Big Data
    • Обзор
    Бесплатно
    • Обзор

    Продолжительность: 3 дня, 24 академических часа.
    (Курсы Big Data для администраторов Hadoop, Spark)

    Соотношение теории к практике 50/50.

    Практический курс «Основы Hadoop» содержит базовые сведения по установке, настройке и эксплуатации кластера Hadoop. Обучение Хадуп в нашем учебном центре включает теоретический минимум, необходимый для эффективной практической работы с кластером Apache Hadoop. На курсе рассматриваются следующие темы:

    • выполнение основных операций в файловой системе HDFS;
    • запуск задач MapReduce;
    • основы управления ресурсами Hadoop с помощью планировщика задач YARN;
    • концепции использования Hadoop и компонентов экосистемы Хадуп (MapReduce, Apache Hive, Apache Pig, Apache Flume, Apache Sqoop и Apache Spark) для организации хранения больших данных и процессинга.

    Курс построен на сквозных практических примерах с тренировочными наборами данных для запуска пакетных (batch) и потоковых (streaming) задач в Hadoop кластере. Для каждого слушателя предоставляются индивидуальные кластера в облачной инфраструктуре Amazon Web Services (AWS), чтобы вы освоили все концепции и понятия на практике. Какой именно дистрибутив Хадуп выбрать, решаете вы: Cloudera Distributed Hadoop, HortonWorks HDP или ArenaData Hadoop.
    Также на наших курсах обучения основам Hadoop вы познакомитесь с программным обеспечением по управлению кластером Cloudera Manager или Apache Ambari (на выбор).

    Программа курса «Основы Hadoop»

    Основы Hadoop и Big Data

    Что такое Big Data.
    Понимание проблемы Big Data. Эволюция систем распределенных вычислений Hadoop. Концепция Data Lake.

    Архитектура Apache Hadoop
    Hadoop сервисы и основные компоненты: Name node, Data Node, YARN, HDFS.
    Отказоустойчивость и высокая доступность.
    Batch процессинг.
    Потоковая обработка

    Распределенная файловая система HDFS
    Основы HDFS: Блоки HDFS. Основные команды работы с HDFS. Операции чтения и записи, назначения HDFS. Дисковые квоты.
    Архитектура HDFS. Управление репликацией. Политики гибридного хранения данных HDFS.
    Основные форматы хранения данных TXT, AVRO, ORC, Parquet, Sequence файлы.
    Влияние компрессии на производительность. Кодеки компрессии.
    Импорт(загрузка) данных на HDFS

    MapReduce
    Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduce. YARN MapReduce v2. Ограничения и параметры MapReduce и YARN. Управление запуском пользовательских задач (jobs) под MapReduce.
    Установка кластера Hadoop

    Установка Hadoop кластера.
    Выбор начальной конфигурации.
    Оптимизация уровня ядра для узлов.
    Оптимизация Java, JVM, Heap size, Garbage Collection
    Начальная конфигурация HDFS и MapReduce.
    Файлы логов и конфигураций.
    Настройка подключений Hadoop клиентов.
    Установка кластера Hadoop в облаке.
    Особенности настройки кластера Hadoop на физическом сервере (on-premises)
    Топология кластера Hadoop
    Tiering — многоуровневое хранение данных (Cold, Warm,Hot, RAM disk). Storage policy — полтиики хранения. Метки конфигураций узлов. RACK awareness.

    Архитектура YARN — планировщик и менеджер ресурсов
    Поиск узких мест. Производительность. Файловая система. Data Node. Сетевая производительность.
    FIFO scheduler
    Capacity scheduler (Планировщик по мощности)
    Fair scheduler (Гранулярное управление ресурсами)
    Защита очередей и доминантное управление ресурсами DRF

    Инструментарий Hadoop экосистемы
    Графический интерфейс сервиса HUE/Zeppelin
    Базовые операции в Apache Pig
    Использование Apache Hive для доступа к данным на HDFS по SQL интерфейсу, понятие Hive таблицы, HiveQL — базовый синтаксис.
    Импорт и экспорт SQL таблиц с применением Apache sqoop
    Настройка агентов для управления потоковыми операциями с Apache Flume
    Базовые операции в Apache Spark

    Примерный список практических занятий по курсу «Основы Hadoop»:

    • Установка 3х-узлового кластера в облаке Amazon Web Services с использованием Cloudera Manager/Apache Ambari
    • Базовые операции обслуживания кластера Hadoop и файловые операции HDFS
    • Управление ресурсами и запуском задач с использованием YARN и MapReduce
    • ETL операции преобразования с использованием Apache Pig
    • Знакомство с SQL интерфейсом доступа Apache Hive
    • Выполнение базовых операций импорта/экспорта с применением Apache sqoop
    • Настройка агента потоковой обработки Apache Flume(опционально)
    • Применение веб-интерфейса HUE/Zeppelin (опционально)
    • Примечание:
      • Доступ к лабораторному стенду на Amazon Web Services предоставляется на время учебных курсов с 8:30 до 18:30 (возможно продление времени по запросу)
      • Практические занятия с меткой (опционально) выполняются по желанию и при наличии свободного времени у слушателей
    • Лекции 0
    • Тесты 0
    • Учебное время 50 hours
    • Навык Все уровни
    • Язык English
    • Студенты 0
    • Оценки Да
    • Поделиться:

    Вам может понравиться

    Матрица компетенций бизнес-аналитикаПодробнее
    Digital Transformation University

    Матрица компетенций бизнес-аналитика

    Продолжительность: 16 академических часов. Курс Матрица компетенций бизнес-аналитика основывается на матрице компетенций, которая содержится в Своде знаний по бизнес-анализу (BABOK) 3.0 и состоит из 29 базовых компетенций для аналитика, сгруппированных в 6 категорий: · Аналитическое мышление и решение проблем; · Поведенческие характеристики; · Знание бизнеса; ·...

    Digital Transformation University
    0
    student
    Бесплатно
    Zabbix. Enterprise monitoring IT infrastructureПодробнее
    Digital Transformation University

    Zabbix. Enterprise monitoring IT infrastructure

    Linux. Zabbix. Мониторинг IT инфраструктуры предприятия Курс Zabbix. Enterprise monitoring IT infrastructure предназначен для системных администраторов, которым требуется обеспечить комплексный мониторинг сетевой инфраструктуры средствами свободного программного обеспечения (СПО), работающего под управлением систем Linux/FreeBSD, а также,  для тех, кто планирует освоить компетенцию специалиста по мониторингу инфраструктуры предприятия....

    Digital Transformation University
    0
    student
    Бесплатно
    Introduction to DevOps: Infrastructure as Code, using Docker and KubernetesПодробнее
    Digital Transformation University

    Introduction to DevOps: Infrastructure as Code, using Docker and Kubernetes

    Введение в DevOps: инфраструктура как код, использование Docker и Kubernetes Курс Introduction to DevOps: Infrastructure as Code, using Docker and Kubernetes разработан для системных администраторов, желающих освоить принципы и технологии Infrastructure as a Code для автоматизации развертывания и управления IT-инфраструктурой предприятия. Сейчас происходят процессы трансформации профессии...

    Digital Transformation University
    0
    student
    Бесплатно
    Linux. Администрирование сервисов и сетейПодробнее
    Digital Transformation University

    Linux. Администрирование сервисов и сетей

    Продолжительность: 24 академических часа. По окончании курса Linux Администрирование сервисов и сетей вы сможете решать большинство задач, связанных с работой компьютерной сети предприятия. Вы научитесь использовать Linux в качестве интернет шлюза и пакетного фильтра, предоставите своим пользователям возможность работы с файловыми сервисами и электронной почтой....

    Digital Transformation University
    0
    student
    Бесплатно
    Linux administration fundamentalsПодробнее
    Digital Transformation University

    Linux administration fundamentals

    После курса Linux administration fundamentals вы сможете устанавливать и настраивать операционную систему Linux, заводить учетные записи пользователей, предоставлять им регламентируемый доступ к ресурсам сервера на базе ОС Linux. Для Вас не составит труда настроить параметры локальной сети и подключение к Интернет. Вы легко будете устанавливать,...

    Digital Transformation University
    0
    student
    Бесплатно

    Рекомендуемые

    Computer Hacking Forensics Investigator (CHFI)

    Computer Hacking Forensics Investigator (CHFI)

    Бесплатно
    Бизнес и системный анализ в IT

    Бизнес и системный анализ в IT

    Бесплатно
    Обслуживание экстра — класса

    Обслуживание экстра — класса

    Бесплатно
    (ENARSI) Implementing Cisco Enterprise Advanced Routing and Services

    (ENARSI) Implementing Cisco Enterprise Advanced Routing and Services

    Бесплатно
    VMware vSphere: Install, Configure, Manage

    VMware vSphere: Install, Configure, Manage

    Бесплатно

    +7 (7172) 79 30 99, +7 (727) 344 30 99

    info@dtu.kz

    © 2023 | Digital Transformation University

    Записаться на курс