راهنمای عملی راه‌اندازی خوشه Hadoop و Spark با استفاده از CDH

آنچه یاد خواهید گرفت:

• یادگیری مدیریت Hadoop و Spark با استفاده از CDH
• تأمین خوشه از GCP (Google Cloud Platform) برای راه‌اندازی خوشه Hadoop و Spark با استفاده از CDH
• راه‌اندازی Ansible برای اتوماسیون سرورها و آماده‌سازی پیش‌نیازهای راه‌اندازی خوشه Hadoop و Spark با استفاده از CDH
• راه‌اندازی یک خوشه 8 نودی از ابتدا با استفاده از CDH
• آشنایی با معماری HDFS و YARN و Spark و Hive و Hue و موارد دیگر

پیش‌نیازهای دوره

• مهارت‌های پایه Linux
• یک رایانه 64 بیتی با حداقل 4 GB RAM
• سیستم‌عامل - Windows 10 یا مک یا یکی از نسخه‌های Linux

توضیحات دوره

Cloudera یکی از پیشروترین ارائه‌دهندگان توزیع‌های مرتبط با Hadoop و Spark است. در این راهنمای عملی، فرآیند راه‌اندازی خوشه Hadoop و Spark با استفاده از CDH را به‌ صورت گام‌به‌گام یاد خواهید گرفت.

نصب - نمایش درک خود از فرآیند نصب Cloudera Manager و CDH و پروژه‌های اکوسیستم

• راه‌اندازی یک مخزن محلی CDH
• انجام پیکربندی در سطح سیستم‌عامل برای نصب Hadoop
• نصب سرور و ایجنت‌های Cloudera Manager
• نصب CDH با استفاده از Cloudera Manager
• افزودن یک نود جدید به خوشه موجود
• افزودن یک سرویس با استفاده از Cloudera Manager

پیکربندی - انجام پیکربندی‌های پایه و پیشرفته مورد نیاز برای مدیریت مؤثر خوشه Hadoop

• پیکربندی یک سرویس با استفاده از Cloudera Manager
• ایجاد دایرکتوری home برای کاربر HDFS
• پیکربندی NameNode HA
• پیکربندی ResourceManager HA
• پیکربندی proxy برای Hiveserver2/Impala

مدیریت - نگهداری و اصلاح خوشه برای پشتیبانی از عملیات‌های روزمره در سازمان

• متعادل‌سازی مجدد خوشه
• راه‌اندازی هشدارها برای پر شدن بیش از حد دیسک
• تعریف و نصب اسکریپت توپولوژی rack
• نصب نوع جدیدی از کتابخانه فشرده‌سازی I/O در خوشه
• بازنگری تخصیص منابع YARN بر اساس بازخورد کاربران
• افزودن و حذف یک نود از سرویس

ایمن‌سازی - فعال‌سازی سرویس‌های مرتبط و پیکربندی خوشه برای دستیابی به اهداف تعریف‌ شده در سیاست امنیتی - نمایش دانش درباره اصول پایه امنیت

• پیکربندی HDFS ACLs
• نصب و پیکربندی Sentry
• پیکربندی مجوزدهی و احراز هویت کاربران Hue
• فعال‌سازی و پیکربندی redaction برای لاگ و کوئری
• ایجاد زون‌های رمزنگاری‌ شده در HDFS

تست - بنچ‌مارکینگ متریک‌های عملیاتی خوشه و تست پیکربندی سیستم برای عملکرد و کارایی

• اجرای فرمان‌های فایل‌ سیستم از طریق HTTPFS
• کپی مؤثر داده‌ درون یک خوشه و یا بین خوشه‌ها
• ایجاد و بازیابی snapshot از یک دایرکتوری HDFS
• دریافت و تنظیم ACLs برای یک فایل یا ساختار دایرکتوری
• بنچ‌مارک‌ کردن خوشه (I/O و CPU، شبکه)

عیب‌یابی - نمایش توانایی یافتن علت ریشه‌ای یک مشکل، بهینه‌سازی اجرای ناکارآمد و رفع سناریوهای رقابت بر سر منابع

• رفع خطاها و هشدارها در Cloudera Manager
• رفع مشکلات عملکرد و خطاها در عملیات خوشه
• تعیین دلیل شکست اپلیکیشن
• پیکربندی Fair Scheduler برای رفع تأخیرهای اپلیکیشن

رویکرد ما

• کار را با ساخت Cloudera QuickStart VM آغاز می‌کنید (در صورتی که لپ‌تاپی با 16 GB RAM و Quad Core داشته باشید). این کار به شما کمک می‌کند با Cloudera Manager راحت‌تر آشنا شوید.
• شما یک مرور کوتاه از GCP خواهید داشت و 7 تا 8 ماشین مجازی را با استفاده از قالب‌ها تامین می‌کنید. همچنین یک هارددیسک خارجی متصل می‌کنید تا بعداً برای HDFS پیکربندی شود.
• پس از تامین سرورها، سراغ راه‌اندازی Ansible برای اتوماسیون سرورها می‌روید.
• مخزن محلی برای Cloudera Manager و Cloudera Distribution of Hadoop را با استفاده از پکیج‌ها آماده می‌کنید.
• سپس Cloudera Manager را با پایگاه‌ داده سفارشی راه‌اندازی می‌کنید و بعد Cloudera Distribution of Hadoop را با استفاده از Wizard موجود در Cloudera Manager نصب می‌کنید.
• در فرآیند راه‌اندازی Cloudera Distribution of Hadoop شما HDFS را راه‌اندازی می‌کنید، فرمان‌های HDFS را یاد می‌گیرید، YARN را راه‌اندازی می‌کنید، High Availability در HDFS و YARN را پیکربندی می‌کنید، با Schedulers آشنا می‌شوید، Spark را راه‌اندازی می‌کنید، به Parcels مهاجرت می‌کنید، Hive و Impala را راه‌اندازی کرده و HBase و Kafka را راه‌اندازی می‌کنید.

این دوره برای چه کسانی مناسب است؟

• مدیران سیستم که می‌خواهند اکوسیستم کلان داده و راه‌اندازی خوشه‌ها را درک کنند.
• مدیران باتجربه کلان داده که می‌خواهند مدیریت راه‌اندازی خوشه‌های Hadoop و Spark با استفاده از CDH را یاد بگیرند.
• افراد در سطح مبتدی که می‌خواهند مبانی و راه‌اندازی خوشه‌های کلان داده را یاد بگیرند.