Udemy [Udemy] Практическое руководство по настройке кластера Hadoop и Spark с использованием CDH (2019)

[Trinity]

[Udemy] Практическое руководство по настройке кластера Hadoop и Spark с использованием CDH (2019)

Cloudera — один из ведущих поставщиков дистрибутивов, связанных с Hadoop и Spark. В рамках этого Практического руководства вы пошагово изучите процесс настройки Hadoop и Spark Cluster с помощью CDH.

Установка. Продемонстрируйте понимание процесса установки Cloudera Manager, CDH и проектов экосистемы.

• Настройте локальный репозиторий CDH
• Выполнение настройки на уровне ОС для установки Hadoop
• Установите сервер Cloudera Manager и агенты
• Установите CDH с помощью Cloudera Manager
• Добавить новый узел в существующий кластер
• Добавить сервис с помощью Cloudera Manager

Настройка — выполнение базовой и расширенной настройки, необходимой для эффективного администрирования кластера Hadoop.

• Настройка сервиса с помощью Cloudera Manager
• Создайте домашний каталог пользователя HDFS
• Настройка высокой доступности NameNode
• Настройка высокой доступности ResourceManager
• Настроить прокси для Hiveserver2/Impala

Управление — Поддерживайте и модифицируйте кластер для поддержки повседневных операций на предприятии.

• Перебалансировать кластер
• Настройте оповещение о чрезмерном заполнении диска
• Определение и установка сценария топологии стойки
• Установите новый тип библиотеки сжатия ввода-вывода в кластере
• Пересмотрите назначение ресурсов YARN на основе отзывов пользователей.
• Ввод/вывод узла

Безопасный — включите соответствующие службы и настройте кластер в соответствии с целями, определенными политикой безопасности; продемонстрировать знание основных методов обеспечения безопасности

• Настройка списков ACL HDFS
• Установите и настройте Сентри
• Настройте авторизацию и аутентификацию пользователей Hue
• Включить/настроить журнал и редактирование запросов
• Создание зашифрованных зон в HDFS

Тестирование — Сравните операционные показатели кластера, проверьте конфигурацию системы на работоспособность и эффективность.

• Выполнение команд файловой системы через HTTPFS
• Эффективно копировать данные внутри кластера/между кластерами
• Создание/восстановление моментального снимка каталога HDFS
• Получить/установить ACL для файла или структуры каталогов
• Сравните кластер (ввод-вывод, ЦП, сеть)

Устранение неполадок — продемонстрировать способность находить основную причину проблемы, оптимизировать неэффективное выполнение и разрешать сценарии конфликтов ресурсов.

• Устранение ошибок/предупреждений в Cloudera Manager
• Устранение проблем с производительностью/ошибок в работе кластера
• Определить причину сбоя приложения
• Настройте Fair Scheduler для устранения задержек приложений

Наш подход

• Вы начнете с создания виртуальной машины Cloudera QuickStart (если у вас есть ноутбук с 16 ГБ ОЗУ и четырехъядерным процессором). Это поможет вам освоиться с Cloudera Manager.
• Вы сможете зарегистрироваться в GCP и воспользоваться кредитом до 300 долларов США, пока действует предложение. Кредиты действительны до года.
• Затем вы поймете краткий обзор GCP и предоставления от 7 до 8 виртуальных машин с использованием шаблонов. Вы также подключите внешний жесткий диск для настройки HDFS позже.
• Как только серверы будут подготовлены, вы приступите к настройке Ansible для автоматизации серверов.
• Вы позаботитесь о локальном репозитории для Cloudera Manager и Cloudera Distribution of Hadoop с помощью пакетов.
• Затем вы настроите Cloudera Manager с пользовательской базой данных, а затем Cloudera Distribution of Hadoop с помощью мастера, который входит в состав Cloudera Manager.
• В рамках настройки Cloudera Distribution of Hadoop вы настроите HDFS, изучите команды HDFS, настроите YARN, настроите HDFS и высокую доступность YARN, узнаете о планировщиках, настроите Spark, перейдете к участкам, настроите Hive и Impala, настроите HBase и Kafka и т. д. .

Для кого этот курс:

• Системные администраторы, которые хотят понять экосистему больших данных и настроить кластеры
• Опытные администраторы больших данных, которые хотят научиться управлять настройкой кластеров Hadoop и Spark с помощью CDH.
• Профессионалы начального уровня, которые хотят изучить основы и настроить кластеры больших данных

Требования

• Базовые навыки работы с Linux
• 64-битный компьютер с оперативной памятью не менее 4 ГБ.
• Операционная система — Windows 10 или Mac или Linux Flavor

Материал на английском языке

Подробнее:

Practical Guide to setup Hadoop and Spark Cluster using CDH

Step by step instructions to setup Hadoop and Spark Cluster using Cloudera Distribution of Hadoop (Formerly CCA 131)

www.udemy.com

Скачать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.