Безопасность озера данных Hadoop

Продолжительность: 3 дня, 24 академических часов.
(Курсы Big Data для администраторов Hadoop, Spark)

Соотношение теории к практике 30/70.

Теоретическая часть курсов по безопасности озера данных построена на сквозных примерах развертывания и администрирования защищенной архитектуры кластера Hadoop, включая вместе:

• безопасные протоколы Kerberos и шифрование SSL;
• настройки интегрированной безопасности компонент экосистемы Hadoop для унифицированного входа с использованием Single-Sign-On;
• использование шлюза безопасности Apache Knox Gateway;
• политики разграничения доступа Apache Ranger.

Практические занятия выполняются на локальных рабочих станциях и в облачном кластере Amazone Web Services с использованием дистрибутива HortonWorks Hadoop Data Platform или Cloudera.

3 дня практического обучения по установке и конфигурированию интегрированной безопасности кластера Hadoop с использованием протоколов безопасности Kerberos, настройки аутентификации Active Directory с поддержкой механизмов авторизации и аудита событий Apache Ranger.

Что обеспечивает безопасность озера данных в кластере Hadoop

Для защиты информации в озере данных (Data Lake) кластера Hadoop применяются следующие меры:

настройка защищенного периметра сети с поддержкой Single-Sign-On средствами Apache Knox Gateway;
политики ограничения доступа Apache Ranger на уровне строк, колонок и значений с использованием Apache Atlas;
поддержка резервного копирования, репликации и восстановления;
создание и сопровождение защищенного озера данных с использованием Apache Metron;
защищенное взаимодействие с компонентами экосистемы Hadoop: Spark, Hive, HBase, Kafka, HDFS, MapReduce.
Как эффективно реализовать все это, рассказывает наш курс по безопасности Hadoop. Для наглядной демонстрации и практических занятий используется дистрибутив HortonWorks Hadoop Data Platform (HDP)

Кому нужны курсы по безопасности Hadoop

Практический курс по безопасности Hadoop рассчитан на ИТ-специалистов, системных администраторов, архитекторов и разработчиков Big Data, которые отвечают за cybersecurity озера данных и хотят получить практические навыки по установке, конфигурированию, обслуживанию и управлению защищенной средой кластера Хадуп на базе дистрибутива HortonWorks Hadoop Data Platform или Cloudera (CDH).

Предварительный обязательный уровень подготовки:

• Опыт работы в Unix (2 года)
• Знания Hadoop в рамках курса «Администрирование кластера Hadoop» или прохождение данного курса
• Понимание основ информационной безопасности

Программа 

Cybersecurity для больших данных в Hadoop

• Особенности реализации информационной безопасности (далее ИБ) в озере данных Hadoop
• Специфические угрозы ИБ существующие в озере данных
• Организационные меры по ИБ для озера данных

Обзор подсистем безопасности озера данных

• Автоматизация
• Аутентификация и защита периметра
• Авторизация
• Аудит
• Защита данных:
• шифрование данных
• антивирусная защита данных
• snapshots
• репликация данных
• резервное копирование и восстановление данных

Hardening security для базовых компонент:

• операционные системы
• базы данных
• веб сервисы

Построение безопасности озера данных на базе компонентов HortonWorks Hadoop Data Platform

• Особенности дистрибутива HortonWorks HDP и базовая безопасность(по умолчанию)
• Администрирование Apache Ambari для аутентификации с Kerberos
• Настройка протокола Kerberos для аутентификации с Active Directory (FreeIPA)
• Настройка безопасности периметра с Apache Knox Gateway
• Настройка Apache Knoх Single—Sign—On
• Best Practices для аутентификации данных и защиты периметра

Настройка авторизации в озере данных Hadoop

• Установка Apache Ranger с помощью Apache Ambari
• Настройка мапирования групп Ldap для Hadoop аутенитификации
• Настройка Ranger плагинов для авторизации компонент экосистемы Hadoop с использованием протокола Kerberos
• Настройка политик Rangers для разграниения полномочий доступа:
• RBAC — ролевые политики для разграничения доступа
• ResourceBAC — ресурсные политики разграничения доступа
• Строковая фильтрация для разграничения доступа
• Фильтр на колонки для разграничения доступа
• Политики разграничения на основании меток (tags) Apache Atlas
• Best Practices для политик разграничения полномочий

Защита данных HDFS

• Шифрование данных при передаче (Data @ Wire encryption):
• SSL шифрование для подключения к Web UI компонент экосистемы Hadoop
• Протокол SPNEGO
• Best Practices для шифрования трафика
• Шифрование данных на хранении (DARE):
• Настройка Ranger KMS
• HDFS шифрование
• Best Practices для шифрования данных файловой системы
• Управление доступом к HDFS
• Posix и ACL для HDFS
• Best Practices для управления списками доступа для файловой системы
• Антивирусная защита в озере данных

Настройка политик аудита в Hadoop

• Использование Apache Solr для аудита событий
• Включение аудита для Ambari кластера
• Использование аудита для управления в Ranger
• Best Practices для политик аудита

Hardening Security для узлов кластера

• Конфигурация узлов для non—root установки
• Endpoint security подход
• Best Practices для защиты конечных узлов

Организационные меры информационной безопасности данных в озере данных

• Best Practices для построения защищенного озера данных
• Рекомендации по использованию ПО верхнего уровня для защиты озера данных
• Технологии Machine Learning для построения защищенного озера данных
• Использование Apache Metron для создания защищенной инфраструктуры озера данных