ساخت پروژه مهندسی داده آژور End-to-End

معرفی
سرفصل

✅ سرفصل و جزئیات آموزش

آنچه یاد خواهید گرفت:

در این دوره، به شما آموزش داده می‌شود چگونه یک پروژه مهندسی داده End-to-End را در Azure بسازید.
شما یاد می‌گیرید چگونه داده‌ را از منابع مختلف جمع‌آوری کنید، آن‌ها را در Azure Data Lake Storage ذخیره کنید، با استفاده از Azure Data Factory پردازش نمایید و تحلیل‌هایی را روی داده‌ پردازش شده اعمال کنید.
این دوره برای هر کسی که دانش SQL و Python دارد مناسب است. چه شما یک مهندس نرم‌افزار، تحلیل‌گر داده یا متخصص فناوری اطلاعات باشید.
شما بینش های ارزشمندی درباره ساخت پایپ لاین های داده مقیاس‌پذیر و قابل اعتماد در Azure کسب خواهید کرد.

پیش نیازهای دوره

دانش اولیه در Azure و Databricks

توضیحات دوره

در این دوره، به شما آموزش داده می‌شود چگونه یک پروژه مهندسی داده End-to-End را در Azure بسازید. شما یاد می‌گیرید چگونه داده‌ را از منابع مختلف جمع‌آوری کنید، آن‌ها را در Azure Data Lake Storage ذخیره کنید، با استفاده از Azure Data Factory پردازش کنید و با کمک Azure Databricks تحلیل‌های لازم را روی داده‌ پردازش شده انجام دهید. در طول دوره، یک پروژه از ابتدا ساخته می‌شود که بهترین شیوه‌ها و الگوهای طراحی حرفه‌ای مهندسان داده را دنبال می‌کند.

در پایان دوره، دانش عمیقی از مجموعه ابزارهای مهندسی داده Azure خواهید داشت و قادر خواهید بود مهارت‌های خود را در پروژه‌های واقعی اعمال کنید. این دوره برای هر کسی که دانش SQL و Python دارد مناسب است. چه مهندس نرم‌افزار، تحلیل‌گر داده یا متخصص فناوری اطلاعات باشید، بینش های ارزشمندی درباره ساخت پایپ لاین داده مقیاس‌پذیر و قابل اعتماد در Azure کسب خواهید کرد. سفر خود را برای تبدیل شدن به یک مهندس داده حرفه‌ای Azure با این دوره جامع آغاز کنید.

همین حالا در این دوره شرکت کنید.

مدرس در این دوره از مهارت‌های زیر استفاده کرده‌ است:

Azure Data Factory (ADF)
Databricks
Azure Data Lake Storage Gen2 (ADLS Gen2)
Blob Storage
Service Principal
IAM
Azure Synapse
Rest API
Python
SQL
Github
Azure DevOps

مهارت‌های مهندسی داده Azure خود را با تجربه عملی در یک پروژه End-to-End بسازید. راه‌حل‌های واقعی توسعه دهید و مهارت‌های پرتقاضا را امروز کسب کنید!

این دوره برای چه کسانی مناسب است؟

دانشجویانی که به دنبال تغییر شغل هستند.

ساخت پروژه مهندسی داده آژور End-to-End

فصل 1: بیایید منابع Azure را بشناسیم و چگونگی ایجاد آن‌ها را یاد بگیریم

معماری 14:00
معرفی Azure Data Factory (ADF) 13:58
معرفی Blob Storage 14:09
معرفی Azure Data Lake Gen2 11:01
معرفی Key Vault 06:54
SPN چیست و چگونه SPN را ثبت کنیم؟ 07:04
معرفی SQL 09:33
معرفی Azure Databricks 08:02
معرفی Azure Logic App 06:36
معرفی حساب Azure Automation 04:13
API چیست؟ و چگونه API_Key را ثبت کنیم؟ 04:19

فصل 2: آماده‌سازی داده و بارگذاری آن در منابع مربوطه

ایمپورت کردن فایل‌ها و داده به Azure Blob، DataLake Gen2 و پایگاه داده SQL 10:37

فصل 3: دریافت داده از منابع متعدد

ایجاد LinkedServices و اعطای دسترسی به منابع 22:19
ایجاد مجموعه داده و وارد کردن فایل‌های CSV 31:19
کپی جداول SQL از سرور به DataLake Gen2 با استفاده از پارامتری‌سازی 20:00
استخراج فایل‌های فشرده و وارد کردن آن‌ها به Data Lake Gen2 با استفاده از یک پایپ لاین واحد 21:08
دریافت داده از API با استفاده از Rest API و Web Activity برای دریافت اطلاعات ورود 19:24
راه‌اندازی مخزن و کامیت تغییرات ADF به مخزن GitHub 07:51
بروزرسانی‌های پایپ لاین ADF 00:59
ایجاد نقطه اتصال (Mount Point) به Azure Blob Storage با استفاده از Databricks 14:09
ایجاد Mount Point برای Azure DataLake Gen2 و قرار دادن فایل‌های PDF با استفاده از Databricks 22:05
کپی فایل‌های PDF از Azure Blob Storage به Azure Data Lake با استفاده از پارامتری‌سازی 16:33