مهندسی داده در Azure: پروژه‌های دنیای واقعی و اصول

معرفی
سرفصل

✅ سرفصل و جزئیات آموزش

آنچه یاد خواهید گرفت:

درک جامع اصول Azure Cloud
تجربه عملی با سرویس کلیدی Azure
مهارت‌های عملی در بررسی داده، تبدیل داده و Blob Storage
مهارت‌های عملی در یکپارچه‌سازی داده، ارکستراسیون پایپ‌لاین‌ها و مدیریت امن کلید با استفاده از سرویس های Azure Cloud
درک قوی از مبانی Azure
تجربه عملی در استقرار و استفاده از چندین سرویس AWS
یادگیری یکپارچه‌سازی منابع مختلف برای واکشی پویای داده‌ها
آشنایی با تبدیل و ایجاد بینش از داده‌های منبع با استفاده از فضای ابری

پیش‌نیازهای دوره

نیاز به تجربه قبلی با Azure نیست، اما دانش اولیه از مفاهیم رایانش ابری مفید خواهد بود.

توضیحات دوره

به مسترکلاس مهندسی داده Azure خوش آمدید؛ راهنمای نهایی شما برای تسلط به اصول Azure Cloud و کسب تجربه عملی از طریق پروژه‌های فراگیر. چه تازه‌کاری باشید که مشتاق درک اصول Azure است و چه یک حرفه‌ای باتجربه که هدفش ارتقای مهارت‌های مهندسی داده است، این دوره جامع برای توانمندسازی شما طراحی شده است.

آنچه خواهید آموخت:

ماژول 1: مقدمه‌ای بر Azure Cloud
قدرت تحول‌آفرین رایانش ابری را برای پردازش داده‌های مدرن کشف کنید.
درک محکمی از مفاهیم ضروری رایانش ابری، از جمله IaaS ،PaaS و SaaS به دست آورید.
بیاموزید چگونه حساب کاربری Azure خود را به‌طور کارآمد برای استفاده بهینه از منابع راه اندازی و مدیریت کنید.
ماژول 2: تسلط به Azure Databricks
پتانسیل کامل Azure Databricks، ابزاری پویا برای تحلیل داده را آزاد کنید.
بررسی عمیق Apache Spark و نقش آن در Databricks برای بررسی و تبدیل داده‌های بدون نقص بپردازید.
ویژگی‌های همکاری و بهترین شیوه ها را برای پردازش کارآمد داده‌ها بررسی کنید.
ماژول 3: تسلط به Azure Blob Storage
به یک کارشناس Azure Blob Storage تبدیل شوید و از قابلیت‌های آن برای ذخیره‌سازی امن و مقیاس‌پذیر داده بهره‌مند شوید.
مدیریت داده‌ها به‌صورت یکپارچه با Blob Storage شامل آپلود، دانلود و نسخه‌بندی را بیاموزید.
گزینه‌های مختلف ذخیره‌سازی و موارد استفاده مربوطه آن‌ها را برای مدیریت بهینه داده بررسی کنید.
ماژول 4: تسلط به Azure Data Factory
سفری جامع را در Azure Data Factory، رکن اصلی یکپارچه‌سازی داده‌های مدرن آغاز کنید.
به هنر ساخت پایپ‌لاین‌های داده مقاوم با فعالیت‌هایی مانند کپی داده و Data Flow مسلط شوید.
یکپارچه‌سازی با سایر سرویس‌های Azure را برای ایجاد گردش های کاری داده بدون درز و افزایش بهره‌وری بررسی کنید.
ماژول 5: تسلط به Azure Key Vaults
به بررسی عمیق در Azure Key Vaults و نقش حیاتی آن‌ها در حفاظت از اطلاعات حساس بپردازید.
پیاده‌سازی و پیکربندی Azure Key Vaults را با اطمینان یاد بگیرید تا اقدامات امنیتی قوی تضمین شود.
بهترین شیوه ها برای مدیریت ایمن کلیدها در سناریوهای متنوع توسعه را بررسی کنید.

پروژه‌های عملی:

تحلیل دیتاست Play Store

توضیحات:

یکپارچه‌سازی سرویس‌های Azure با استفاده از Key Vault برای امنیت رمزگذاری‌شده.
ساخت یک پایپ‌لاین کپی با Azure Data Factory (ADF) برای واکشی پویای فایل‌های فشرده tar.gz از GitHub و آپلود آن‌ها در کانتینر Storage Account
پیش‌پردازش داده‌ها در Azure Databricks برای اطمینان از دقت و قابلیت اطمینان
تحلیل داده‌های Play Store برای استخراج بینش‌هایی مانند نصب اپلیکیشن‌ها، رتبه‌بندی‌ها، توزیع اپلیکیشن‌های رایگان در مقابل پولی و موارد دیگر

تحلیل دیتاست المپیک

توضیحات:

استفاده از درخواست‌های API برای واکشی دیتاست‌ها از Kaggle و ذخیره آن‌ها در Azure Storage Accounts
انجام پیش‌پردازش و بررسی داده‌ها در Azure Databricks برای کشف بینش‌ها درباره رویدادهای المپیک
تحلیل روندهای مشارکت جنسیتی، ملی و ورزشی برای درک عملکرد تاریخی و تغییرات محبوبیت

تحلیل دیتاست Stack Overflow

توضیحات:
ساخت پایپ‌لاین‌های پویای Data Factory برای واکشی داده‌های نظرسنجی توسعه‌دهندگان Stack Overflow و پیش‌پردازش آن جهت تحلیل
استخراج بینش درباره سطح تحصیلات توسعه‌دهندگان، منابع ترجیحی یادگیری و روندهای جمعیتی
استفاده از سرویس‌های Azure برای مدیریت فرمت‌های متنوع داده و تولید بینش‌های عملی جهت درک پیش‌زمینه توسعه‌دهندگان

تحلیل دیتاست تاکسی Uber

توضیحات:

ایجاد پایپ‌لاین‌های مقاوم Data Factory برای دریافت داده‌های تاکسی Uber از سایت NYC TLC و پیش‌پردازش آن برای تحلیل
تحلیل الگوهای تقاضای تاکسی، توزیع انواع پرداخت و همبستگی بین متدهای پرداخت و مسافت سفر
استفاده از قابلیت‌های Azure Data Factory برای مدیریت مسیرهای پویا و تولید بینش‌های ارزشمند جهت بهینه‌سازی خدمات حمل‌ونقل

ویژگی‌های کلیدی:

یکپارچه‌سازی بدون درز سرویس‌های Azure برای مدیریت امن و کارآمد داده‌ها
پروژه‌های عملی و کاربردی که دیتاست‌ها و سناریوهای تحلیلی متنوع را پوشش می‌دهند.
راهنمایی تخصصی و بهترین شیوه ها برای ساخت پایپ‌لاین‌های مقاوم داده و استخراج بینش‌های عملی

به ما در مسترکلاس مهندسی داده Azure بپیوندید و مهارت‌های داده Azure خود را به سطح بعدی ارتقا دهید. چه علاقه‌مند به داده باشید، چه مهندس داده مشتاق، یا یک حرفه‌ای باتجربه، این مسترکلاس دروازه شما برای تسلط به اصول Azure Cloud و پروژه‌های مهندسی داده دنیای واقعی است.

این دوره برای چه کسانی مناسب است؟

تحلیل‌گران داده
مهندسین داده
توسعه‌دهندگان علاقه‌مند به فضای ابری
حرفه‌ای‌های IT که در حال بررسی Azure Cloud هستند.
مهندسین داده مشتاق
توسعه‌دهندگان علاقه‌مند به فضای ابری
کسب‌وکارهایی که می‌خواهند استفاده از فضای ابری را شروع کنند.
علاقه‌مندان به تحلیل داده

مهندسی داده در Azure: پروژه‌های دنیای واقعی و اصول

فصل 1: تسلط به Azure Cloud: ارتقای مهارت‌های داده در Azure Cloud

مقدمه‌ای بر Azure 04:22
اهمیت رایانش ابری 05:50
مبانی سرویس‌های Azure 04:01
ایجاد حساب Azure 06:26
ایجاد Resource Group 04:22
محتوای دوره (ماژول 1 تا ماژول 5) 03:28
محتوای دوره (ماژول 6 تا ماژول 11) 04:39

فصل 2: تسلط به Azure Databricks

مقدمه‌ای بر ماژول 03:19
Databricks چیست؟ 05:05
ایجاد سرویس Databricks 07:58
Cluster چیست 05:26
ایجاد Cluster 11:19
سیستم ذخیره‌سازی Databricks 09:17
ویژگی‌های WorkSpace 06:25
خواندن از DBFS 09:46
خواندن از Hive Metastore 05:27
نوشتن داده در ذخیره‌ساز DB 08:40
پردازش داده پیشرفته 10:44
اهمیت اصلی Azure Databricks چیست؟ None
کدام‌یک از موارد زیر ویژگی کلیدی Azure Databricks است؟ None
در Databricks Workspace، چه ویژگی‌های همکاری در دسترس است؟ None
داده‌ها چگونه از منابع مختلف به Azure Databricks وارد می‌شوند؟ None
هدف زیرماژول «پردازش پیشرفته داده با Databricks» چیست؟ None

فصل 3: تسلط به Azure Storage Accounts

مقدمه‌ای بر ماژول 04:02
Azure Storage چیست؟ 04:03
Cloud Storage محبوب 07:55
عملکرد Storage Account 04:25
افزونگی ذخیره‌سازی 05:03
افزونگی Primary Region 07:19
افزونگی Secondary Region 06:07
Azure Blob Storage 05:30
Blob Access Tier 04:35
Azure File Storage 02:24
Azure Queue Storage 02:10
Azure Table Storage 04:46
ایجاد سرویس Azure 2 09:31
اهمیت اصلی Azure Blob Storage چیست؟ None
کدام سطوح دسترسی در Azure Blob Storage موجود است؟ None
هدف از مدیریت Blobهای نسخه‌بندی‌شده برای تاریخچه داده چیست؟ None
کدام نوع ذخیره‌سازی برای داده‌هایی که به‌طور مکرر دسترسی دارند و نیاز به تأخیر کم دارند، مناسب است؟ None
یک Container در زمینه Azure Blob Storage چیست؟ None

فصل 4: تسلط به Azure Data Factory

مقدمه‌ای بر ماژول 03:44
ADF چیست 03:22
ADF یک ابزار ETL 03:41
ایجاد سرویس ADF 07:18
Integration Runtime 02:50
ایجاد Integration Runtime 06:47
Linked Service 08:56
Datasets 10:43
Activities 04:50
پایپ‌لاین‌ها (Pipelines) 03:11
ایجاد Pipeline 21:48
Trigger 01:59
Schedule Trigger 02:42
Tumbling Window Trigger 04:42
Event Based Trigger 03:29
ایجاد Trigger 05:59
Data Flows 11:33
نقش اصلی Azure Data Factory در یکپارچه‌سازی داده‌های مدرن چیست؟ None
کدام‌یک از موارد زیر یک عنصر بنیادی پایپ‌لاین‌های داده در Azure Data Factory است؟ None
کدام مؤلفه برای طراحی پایپ‌لاین‌ها در رابط کاربری Azure Data Factory استفاده می‌شود؟ None
کدام مؤلفه مسئول راه‌اندازی جابجایی داده‌ها در Azure Data Factory است؟ None

فصل 5: تسلط به Azure Key Vault

مقدمه‌ای بر ماژول 02:55
Key Vault چیست؟ 02:35
ویژگی‌های کلیدی 03:58
ایجاد سرویس Key Vault 05:10
ایجاد Secrets 09:23
ایجاد Linked Service 09:37
نقش اصلی Azure Key Vaults در زمینه این ماژول چیست؟ None
چه انواعی از داده‌های امن می‌توانند در Key Vaultها ذخیره شوند؟ None
چگونه از هر سرویس دیگری در Azure به اسرار در Key Vault دسترسی پیدا کنیم؟ None
روش‌های موجود در Key Vault برای کنترل دسترسی به داده‌های امن؟ None
چه کسی دسترسی برای تخصیص نقش به هر کاربر یا سرویس را دارد؟ None

فصل 6: تسلط به مهندسی داده Azure: پروژه‌های دنیای واقعی

مقدمه‌ای بر پروژه‌های Azure 02:46

فصل 7: پروژه 1: دیتاست PlayStore

تحلیل دیتاست Play Store 03:29
Linked Services 15:43
Copy Data Activity 15:47
ایجاد Compute 04:47
ایجاد Secret Scope 06:23
Mount کردن کانتینر 14:33
روش‌های متعدد خواندن داده 17:03
پیش‌پردازش داده 15:59
تحلیل رتبه‌بندی نصب 17:20
تحلیل قیمت رایگان و پولی 08:37
کدام سرویس با Azure Key Vault یکپارچه شده است تا لایه امنیتی رمزگذاری‌شده در پروژه فراهم کند؟ None
کدام فرمت فایل به‌صورت پویا از GitHub در پروژه واکشی می‌شود؟ None
کدام سرویس Azure برای Mount کردن کانتینر حاوی دیتاست Play Store استفاده می‌شود؟ None
چه نوع تحلیلی برای تعیین پرامتیازترین دسته‌بندی اپلیکیشن‌ها انجام می‌شود؟ None
هدف اصلی یکپارچه‌سازی Key Vault با سایر سرویس‌ها در پروژه چیست؟ None

فصل 8: پروژه 2: دیتاست المپیک

تحلیل دیتاست المپیک 04:59
واکشی داده از Kaggle 14:19
نوشتن در Blob 09:19
پیش‌پردازش داده 09:28
تحلیل سطح جنسیتی 12:36
تحلیل سطح ملی 14:01
تحلیل سطح ورزشی 14:46
دیتاست در پروژه از کجا واکشی می‌شود؟ None
کدام Storage Account برای نوشتن دیتاست المپیک از Databricks استفاده می‌شود؟ None
چه نوع تحلیلی برای درک عملکرد تاریخی کشورها در المپیک انجام می‌شود؟ None
کدام API برای واکشی دیتاست المپیک استفاده می‌شود؟ None
کدام سرویس برای پیش‌پردازش دیتاست المپیک در Databricks استفاده می‌شود؟ None

فصل 9: پروژه 3: دیتاست Stack Overflow

تحلیل دیتاست Stack Overflow 06:26
کپی داده‌های Zip 12:15
Unzip کردن داده 10:47
پیش‌پردازش 15:40
تحلیل سطح تحصیلات 16:31
تحلیل یادگیری چگونگی کدنویسی 17:55
یکی از تمرکزهای اصلی پروژه تحلیل دیتاست Stack Overflow چیست؟ None
کدام سرویس Azure برای ساخت یک پایپ‌لاین پویای مقاوم در Data Factory در پروژه استفاده می‌شود؟ None
چه نوع داده‌ای در پروژه از وب‌سایت رسمی Stack Overflow واکشی می‌شود؟ None
یکی از بینش‌های کلیدی بدست‌آمده از پروژه تحلیل دیتاست Stack Overflow چیست؟ None
هدف اصلی از Unzip کردن پوشه حاوی داده‌های Stack Overflow چیست؟ None

فصل 10: پروژه 4: دیتاست تاکسی Uber

تحلیل دیتاست تاکسی Uber 05:07
مقدمه‌ای بر پروژه 06:10
Copy Activity 06:51
ForEach Activity 12:08
پیش‌پردازش 13:47
تحلیل تقاضای تاکسی 18:42
تحلیل پرداخت 20:24
منبع اصلی داده برای پروژه تحلیل دیتاست تاکسی Uber چیست؟ None
کدام Activity در پایپ‌لاین Data Factory برای واکشی فایل‌های داده از سایت NYC TLC استفاده می‌شود؟ None
هدف پیش‌پردازش داده‌ها در Databricks چیست؟ None
کدام تحلیل به درک تقاضای کلی برای سفرهای Uber در بازه‌های زمانی مختلف کمک می‌کند؟ None
هدف اصلی استفاده از ForEach Activity در پایپ‌لاین Data Factory چیست؟ None