انجام علم داده با Azure Databricks

معرفی
سرفصل

✅ سرفصل و جزئیات آموزش

آنچه یاد خواهید گرفت:

استفاده از قدرت آپاچی اسپارک و خوشه‌های قدرتمند در حال اجرا روی پلتفرم Azure Databricks برای اجرای حجم‌های کاری علم داده
انجام یادگیری ماشین با Azure Databricks - کار با توابع تعریف شده توسط کاربر (UDF) در Azure Databricks
کار با دیتافریم‌ها در Azure Databricks - استفاده از Azure Databricks و نوت‌بوک آپاچی اسپارک برای پردازش مقادیر زیادی از داده‌
ساخت و کوئری دریاچه دلتا

توضیحات دوره

در این دوره یاد می‌گیرید که چگونه از قدرت آپاچی اسپارک و خوشه‌های قدرتمند در حال اجرا روی پلتفرم Azure Databricks برای اجرای حجم‌های کاری علم داده در ابر استفاده کنید.

این دوره چهارمین دوره از یک برنامه پنج‌ دوره‌ای است که شما را برای شرکت در آزمون گواهینامه DP-100: Designing and Implementing a Data Science Solution on Azurec ertification آماده می‌کند.

آزمون گواهینامه فرصتی برای اثبات دانش و تخصص در راه‌حل‌های یادگیری ماشین در مقیاس ابری با استفاده از Azure Machine Learning است. این تخصص به شما می‌آموزد که چگونه از دانش موجود خود درباره پایتون و یادگیری ماشین برای مدیریت جذب و آماده‌سازی داده‌، آموزش و استقرار مدل، و نظارت بر راه‌حل‌های یادگیری ماشین در مایکروسافت آژور استفاده کنید. هر دوره به شما مفاهیم و مهارت‌هایی را آموزش می‌دهد که توسط این آزمون ارزیابی می‌شود.

این تخصص برای دانشمندان داده طراحی شده که دانش لازم درباره پایتون و فریمورک‌های یادگیری ماشین مانند Scikit-Learn و PyTorch و تنسورفلو را در اختیار دارند و می‌خواهند راه‌حل‌های یادگیری ماشین را در ابر بسازند و استفاده کنند. دوره به دانشمندان داده آموزش می‌دهد که چگونه راه‌حل‌های end-to-end در مایکروسافت آژور ایجاد کنند. دانشجویان یاد می‌گیرند که چگونه منابع آژور را برای یادگیری ماشین مدیریت کنند، تست‌ها را اجرا کنند، مدل‌ها را آموزش دهند، راه‌حل‌های یادگیری ماشین را مستقر و عملیاتی کنند و یادگیری ماشین مسئولانه را پیاده‌ کنند. آنها همچنین یاد می‌گیرند که چگونه از Azure Databricks برای بررسی، آماده‌سازی و مدل‌سازی داده‌ استفاده کرده و فرآیندهای یادگیری ماشین Databricks را با Azure Machine Learning یکپارچه کنند.

انجام علم داده با Azure Databricks

فصل 1: آشنایی با Azure Databricks

مقدمه‌ای بر دوره 2:33
توضیح Azure Databricks 5:27
خلاصه درس 1:47
مقدمه درس 1:44
درک معماری خوشه اسپارک در Azure Databricks 4:20
درک معماری job در اسپارک 3:46
خلاصه درس 1:13
سیلابس دوره None
چگونه در این دوره موفق باشید؟ None
ایجاد فضای کار و خوشه Azure Databricks None
ایجاد و اجرای یک نوت‌بوک None
تمرین - کار با نوت‌بوک‌ها None

فصل 2: کار با داده‌ در Azure Databricks

مقدمه درس 1:26
خلاصه درس 1:15
مقدمه درس 1:52
خلاصه درس 1:17
خواندن داده به فرمت CSV None
خواندن داده‌ به فرمت جی سان None
خواندن داده‌ به فرمت Parquet None
خواندن داده ذخیره‌شده در جداول و views None
نوشتن داده‌ None
تمرینات - خواندن و نوشتن داده‌ None
توضیح یک دیتافریم None
استفاده از متدهای رایج دیتافریم None
استفاده از تابع نمایش None
تمرین - مقالات متمایز None

فصل 3: پردازش داده‌ در Azure Databricks

توضیح دریاچه دلتا متن باز 7:08
خلاصه درس 1:11
مقدمه درس 1:48
خلاصه درس 1:03
شروع کار با دلتا با استفاده از Spark APIs None
تمرین - کار با قابلیت‌ اولیه دریاچه دلتا None
توضیح اینکه چگونه Azure Databricks دریاچه دلتا را مدیریت می‌کند؟ None
تمرین - استفاده از ماشین زمان دریاچه دلتا و انجام بهینه‌سازی None
نوشتن توابع تعریف شده توسط کاربر None
تمرین - انجام عملیات‌های استخراج، تبدیل و بارگذاری (ETL) با استفاده از توابع تعریف شده توسط کاربر None
منابع اضافی None

فصل 4: شروع کار با Databricks و یادگیری ماشین

مقدمه درس 1:41
خلاصه درس 1:34
مقدمه درس 1:32
خلاصه درس 1:07
درک یادگیری ماشین None
تمرین - آموزش مدل و ایجاد پیش‌بینی‌ها None
درک داده‌ با استفاده از تحلیل اکتشافی داده‌ None
تمرین - انجام تحلیل داده اکتشافی None
توضیح گردش کارهای یادگیری ماشین None
تمرین - ساخت و ارزیابی مدل بیس لاین یادگیری ماشین None
انجام ویژگی‌یابی مجموعه داده‌ None
تمرین - تکمیل ویژگی‌یابی مجموعه داده‌ None
درک مدل‌سازی رگرسیون None
تمرین - ساخت و تفسیر مدل رگرسیون None
منابع اضافی None

فصل 5: مدیریت چرخه‌های عمر یادگیری ماشین و تیونینگ دقیق مدل‌ها

مقدمه درس 1:34
خلاصه درس 0:43
مقدمه درس 1:32
خلاصه درس 0:58
استفاده از MLflow برای ردیابی تست‌ها، متریک‌های لاگ و مقایسه اجراها None
تمرین - کار با MLflow برای ردیابی متریک‌های تست، پارامترها، آرتیفکت‌ها و مدل‌ها None
توضیح انتخاب مدل و تیونینگ هایپرپارامترها None
تمرین - انتخاب مدل بهینه با تیونینگ هایپرپارامترها None
منابع اضافی None

فصل 6: آموزش شبکه عصبی توزیع‌شده و ارائه مدل‌ها با Azure Machine Learning

مقدمه درس 1:45
خلاصه درس 1:08
مقدمه درس 1:55
خلاصه درس 1:05
تبریک 0:45
استفاده از Horovod برای آموزش مدل یادگیری عمیق None
استفاده از Petastorm برای خواندن فرمت Apache Parquet با Horovod برای آموزش مدل توزیع‌ شده None
تمرین - کار با Horovod و Petastorm برای آموزش مدل یادگیری عمیق None
استفاده از Azure Machine Learning برای استقرار مدل‌های ارائه شده None
منابع اضافی None
مرحله‌های بعدی None