مسترکلاس در Azure Data Factory - مهندس داده برای سال 2024

معرفی
سرفصل

✅ سرفصل و جزئیات آموزش

در این دوره با ETL، پردازش کلان داده، Azure Data Factory (ADF) و SQL Server و Blob، دریاچه داده، REST API و PySpark و Databricks آشنا می شوید.

آنچه یاد خواهید گرفت

شما یاد می گیرید که چگونه یک پایپ لاین داده بلادرنگ در Azure Data Factory (ADF) بسازید.
شما یاد می گیرید که چگونه داده را با استفاده از جریان های داده در Azure Data Factory (ADF) تبدیل کنید و در ADLS2 و Blob storage بارگذاری کنید.
شما یاد می گیرید که چگونه داده جی سان را از SQL Server به اندپوینت API جذب کنید.
شما یاد می گیرید که چگونه پایپ لاین های آماده تولید بسازید و با شیوه های خوب و استانداردهای نامگذاری آشنا می شوید.
شما یاد می گیرید که چگونه بر پایپ لاین ها با استفاده از Azure Data Factory (ADF) و Azure Monitor و Log Analytics با یک پروژه واقعی نظارت کنید.
شما در مورد تریگرها و manual در Azure Data Factory (ADF) و نحوه استفاده از آن ها برای زمانبندی پایپ لاین های داده خواهید آموخت.
ایجاد پایپ لاین تولید داده محور، کاملاً یکپارچه، پویا و خودکار - ایجاد و ارکستراسیون
مفاهیم انبار داده مانند جداول فکت و ابعاد، SCD نوع 1، نوع 2، بارگذاری افزایشی و پیاده سازی با استفاده از ADF
اتصال و کپی داده‌ از دیتا استورهای On Premise در On premise SQL server از طریق ران تایم یکپارچه سازی خود میزبانی شده در ابر
چگونه داده را از منابعی مانند REST API و Azure Blob Storage و پایگاه داده SQL به Azure Data Lake Gen2 با استفاده از Azure Data Factory (ADF) جذب کنیم؟
Azure Data Factory (ADF) را با پروژه های بلادرنگ مانند ADF و SQL Server و Blob Storage و Datalake G1 و G2 و REST API می آموزید.

توضیحات دوره

این دوره با پوشش راه حل های مهندسی داده با استفاده از ADF برای سناریوهای واقعی آموزش داده شده است.

کل دوره بر اساس سناریوهای بلادرنگ ساخته شده که قرار است به طور مکرر و مشترک برای هر نوع پروژه در حوزه های مختلف مورد استفاده قرار گیرد.

این دوره به شما مهارت های لازم را ارائه داده و به شما کمک می کند تا در آزمون های گواهینامه مانند DP200 و DP203 قبول شوید.

این دوره برای چه کسانی مناسب است؟

برای تمام سطوح
دانشجویان و متخصصان شاغل

مسترکلاس در Azure Data Factory - مهندس داده برای سال 2024

فصل 1: مفاهیم اولیه

ایجاد Data Factory 07:38
گروه منبع 05:25
مفاهیم سطح بالا در ADF 08:22
سرویس لینک شده و مجموعه داده ها 11:41
Blob Storage 14:04
متغیرها در ADF 06:24
پارامترها 12:07
ساختار جی سان 10:21
ران تایم یکپارچه سازی 09:31

فصل 2: فعالیت های پایپ لاین

فعالیت کپی 17:38
فعالیت الحاق متغیر 10:28
فعالیت حذف 10:21
فعالیت پایپ لاین اجرا 07:09
فعالیت Fail 04:20
فعالیت دریافت متادیتا 10:06
فعالیت Lookup 12:21
فعالیت تنظیم متغیر 12:23
فعالیت Wait 04:38

فصل 3: فعالیت های شرطی ها و حلقه ها

فعالیت Switch 14:00
فعالیت Filter 09:02
فعالیت ForEach 22:58
فعالیت Until 15:04
شرطی If 10:16

فصل 4: تبدیلات جریان داده

تبدیل تقسیم شرطی 19:20
تبدیل Exists 16:00
تبدیل Union 22:16
تبدیل جوین 24:28
تبدیل تجمیع 13:11
تبدیل کلید جایگزین 12:01
تبدیل Select 10:41
تبدیل Lookup 15:10
تبدیل ستون مشتق شده 18:03
تبدیل Pivot 17:32
تبدیل Unpivot 15:27
تبدیل Rank 14:54
تبدیل Window 22:13
تبدیل Flatten 12:58
تبدیل فیلتر 13:16

فصل 5: سناریوهای بلادرنگ

بخش 1 - کپی فایل ها به صورت پویا از لوکیشن ذخیره سازی به مکان دیگر 10:36
بخش 2 - کپی فایل ها به صورت پویا از لوکیشن ذخیره سازی به مکان دیگر 10:01
تنظیم متغیر - مدیریت تخصیص self 15:16
واکشی نام فایل ها از پوشه و تخصیص به متغیر 11:19
کپی فایل های الگوی فایل خاص از منبع به Sink 16:38
لاگ کردن پایپ لاین ADF 08:41
پردازش فایل CSV و تقسیم تک ستون به چندین ستون 14:23
کپی فایل های از دست رفته از منبع به مقصد 28:38
اجرای پایپ لاین ADF به صورت دستی - فراخوانی پایپ لاین از ایپ لاین ADF دیگر (با REST API) 12:32

فصل 6: نوتیفیکیشن ایمیل با ADF و اپلیکیشن منطق

تئوری نوتیفیکیشن ایمیل 14:01
ایجاد اپلیکیشن منطق در آژور 02:41
اپلیکیشن منطق و پیکربندی ADF برای نوتیفیکیشن ایمیل 30:56
پیکربندی نوتیفیکیشن ایمیل قبل و بعد از پایپ لاین با رویه ذخیره شده 48:25

فصل 7: بارگذاری داده برای جداول چندگانه و رویکردهای چندگانه

بارگذاری کامل و تئوری بار افزایشی 08:07
کپی چندین جدول از پایگاه داده به پایگاه داده با استفاده از آرایه ADF 55:45

فصل 8: تغییر آهسته ابعاد

مقدمه جداول فکت و ابعاد 06:36
تغییر آهسته ابعاد - نوع 1 39:39
تغییر آهسته ابعاد - نوع 2 25:58
تغییر آهسته ابعاد - نوع 6 06:38

فصل 9: نگهداری لاگ ها در ADF

ایجاد جدول لاگ ها 08:07
شروع ایجاد رویه های ذخیره شده لاگ ها 10:38

فصل 10: Azure Key Vault

Azure Key Vault - ایجاد 10:10

فصل 11: Azure Databricks - PySpark

سرویس Azure Databricks - ایجاد 03:45
اتصال JDBC - چگونه به SQL server متصل شویم و جدول را از Azure Databricks بخوانیم؟ 08:31
اتصال به ADLS یا Blob از Azure Databricks با استفاده از PySpark 10:15
خواندن فایل CSV از DBFS با اسکیما و هدر 11:32
تابع تبدیل ()withColumn 38:25