آموزش Azure Data Factory - مهندسی داده با پروژه بلادرنگ

Name: آموزش Azure Data Factory - مهندسی داده با پروژه بلادرنگ
Price: 23270000 IRR
Availability: InStock
Author: AI Academy

معرفی
سرفصل

✅ سرفصل و جزئیات آموزش

آنچه یاد خواهید گرفت:

طراحی و توسعه پایپ‌لاین‌های Azure Data Factory برای ورود داده
طراحی و توسعه پایپ‌لاین‌های Azure Data Factory برای تبدیل و بارگذاری داده
طراحی و توسعه پایپ‌لاین‌های Azure Data Factory برای پایگاه داده گزارش‌دهی تحلیلی
طراحی و توسعه Azure Data Factory برای پردازش داده نیمه‌ساختاریافته

پیش‌نیازهای دوره

ندارد.

توضیحات دوره

این دوره شامل اکثر سناریوهای Real-Time در توسعه پروژه تحلیلی داده است.

ایجاد و پیکربندی Azure Data Lake Storage Gen2 ،Azure Data Factory و Azure SQL Database

توسعه پایپ‌لاین ورود داده متادیتا محور برای بارگذاری داده منبع به حساب Azure Data Lake Storage

کسب دانش تخصصی در فعالیت‌های Lookup ،Foreach و Copy برای ورود داده منبع

طراحی مدل‌سازی ابعادی برای طراحی جداول Dimension و Fact

ایجاد جداول Dimension در Azure SQL Database

طراحی و توسعه پایپ‌لاین‌های Azure Data Factory برای بارگذاری جداول Dimension نوع 1

طراحی و توسعه بارگذاری جداول Dimension نوع 2 با استفاده از پایپ‌لاین Azure Data Factory

طراحی و توسعه جداول Fact با استفاده از پایپ‌لاین Azure Data Factory

اجرای بارگذاری افزایشی در پایپ‌لاین‌های ورود و تبدیل داده Azure Data Factory برای پردازش داده Delta

پردازش داده نیمه‌ساختاریافته با استفاده از کامپوننت‌های Dataflow در Azure Data Factory

اتوماسیون اجرای پایپ‌لاین Azure Data Factory با استفاده از انواع مختلف تریگرهای Schedule ،Tumbling Window و Event

پیکربندی امنیت بین Azure Data Factory، حساب Azure Data Lake Storage ،Azure SQL Database و Azure Key Vault

استفاده از Azure Key Vault برای ذخیره Secretها و استفاده از آن‌ها در پایپ‌لاین‌های ADF

نظارت بر اجرای پایپ‌لاین‌های ADF با استفاده از ADF Monitor و Azure Monitor

اشکال‌زدایی و مدیریت خطا در پایپ‌لاین‌های Azure Data Factory

این دوره برای چه کسانی مناسب است؟

کسانی که قصد تغییر شغل به تحلیل داده را دارند، دانشجویان، توسعه‌دهندگان انبار داده و هوش تجاری (BI)، توسعه‌دهندگان نرم‌افزار غیر ابری

آموزش Azure Data Factory - مهندسی داده با پروژه بلادرنگ

فصل 1: مقدمه

مقدمه‌ای بر تحلیل داده و مهندسی داده 16:10
مقدمه‌ای بر سرویس‌های تحلیلی داده Azure 19:02
مقدمه‌ای بر اصول ابری Azure 05:58
حساب رایگان Azure برای دانشجویان 01:33
حساب رایگان Azure برای همه 04:43

فصل 2: بررسی Azure Portal و ایجاد منابع تحلیل داده

لطفاً تماشا کنید - استفاده از فایل‌های پشتیبان در بخش منابع برای تمرین عملی 01:38
بررسی Azure Portal و راه‌اندازی Resource Group 14:22
راه‌اندازی Azure Data Factory 05:34
راه‌اندازی Azure Data Lake Storage Gen2 04:15
جمع‌بندی 05:07

فصل 3: مقدمه Azure Data Factory

بررسی استودیوی Azure Data Factory 06:01
بررسی پایپ‌لاین Azure Data Factory 05:46
فعالیت Copy Data - پیکربندی دیتاست منبع 06:09
فعالیت Copy Data - پیکربندی دیتاست مقصد 03:20
دیباگ پایپ‌لاین 06:29
مروری بر اجزای Data Factory 03:27
مروری بر فعالیت Copy Data - بارگذاری داده‌ JSON 10:23
خلاصه اجزای Azure Data Factory 06:02

فصل 4: پایپ‌لاین ورود داده - منبع HTTP

نیازمندی‌های پایپ‌لاین ورود داده 05:47
بررسی اجمالی Expression Builder پایپ‌لاین و پارامترهای دیتاست 03:58
ایجاد و پیکربندی پارامترهای دیتاست 07:07
بررسی پارامترهای پایپ‌لاین 06:46
ایجاد و پیکربندی پارامترهای پایپ‌لاین 05:53
اشکال‌زدایی و ارسال پویای مقادیر پارامتر 06:32
مروری بر پارامترهای دیتاست و پایپ‌لاین 07:02
شناسایی مقادیر پارامتر استاتیک و دینامیک 05:20
پیکربندی مقادیر پارامتر پایپ‌لاین استاتیک 08:12
عبارات پویای پایپ‌لاین با استفاده از پارامترهای پایپ‌لاین و توابع ADF 09:06
بررسی فرمت DATETIME در Data Factory و مدیریت خطا در پایپ‌لاین ورود داده 06:48
فرمت‌دهی مقادیر DATETIME با استفاده از عبارات پیشرفته و توابع تاریخ 06:09
پیکربندی متغیرهای پایپ‌لاین و فعالیت SET VARIABLE 07:03
بررسی تریگرهای ADF 06:07
ایجاد و پیکربندی تریگر Tumbling Window 06:17
ارسال متغیرهای سیستمی تریگر Tumbling Window به پارامترهای پایپ‌لاین 05:30
نظارت بر اجرای خودکار پایپ‌لاین از طریق تریگر Tumbling Window 04:27

فصل 5: پایپ‌لاین ورود داده مبتنی بر متادیتا - منبع HTTP

بررسی اجمالی پایپ‌لاین ورود داده متادیتا محور 06:20
نیازمندی‌های پایپ‌لاین ورود داده متادیتا محور 05:10
ایجاد فایل متادیتا 06:15
آپلود فایل متادیتا و بررسی اجمالی فعالیت LOOKUP 05:41
پیکربندی فعالیت LOOKUP - خواندن فایل متادیتا 04:32
پیکربندی تنظیمات فعالیت LOOKUP و خواندن مقادیر فایل متادیتا به عنوان آرایه 06:55
پیکربندی فعالیت FOR EACH برای حلقه زدن روی آرایه خروجی LOOKUP 06:23
پیکربندی فعالیت FOREACH برای ارسال مقادیر متادیتا به پارامترهای دیتاست 08:19
اشکال‌زدایی پایپ‌لاین ورود داده متادیتا محور و مدیریت خطا 05:59
سازماندهی ساختار پوشه‌ها در ADF 04:47
پایپ‌لاین ورود داده متادیتا محور از ابتدا تا انتها - ایجاد فایل متادیتا 05:47
پایپ‌لاین ورود داده متادیتا محور از ابتدا تا انتها - ایجاد دیتاست‌ها 05:57
پایپ‌لاین ورود داده متادیتا محور از ابتدا تا انتها - ایجاد پایپ‌لاین بخش 1 07:04
پایپ‌لاین ورود داده متادیتا محور از ابتدا تا انتها - ایجاد پایپ‌لاین بخش 2 08:54
پایپ‌لاین ورود داده متادیتا محور از ابتدا تا انتها - اشکال‌زدایی و مدیریت خطا 04:00
پایپ‌لاین ورود داده متادیتا محور از ابتدا تا انتها - ایجاد تریگر Tumbling Window 07:55
ورود داده از وب‌سرور HTTP - جمع‌بندی 02:17

فصل 6: طراحی پایگاه داده گزارش‌دهی - مدل‌سازی ابعادی داده (Star Schema)

بررسی مدل‌سازی داده ابعادی 04:23
مدل‌سازی داده ابعادی - بررسی داده‌ منبع 02:50
شناسایی ستون‌های شرح کسب و کار (Dimension) و معیارهای کسب و کار (Fact) 05:54
شناسایی گروه‌های ستون شرح کسب و کار (Dimension) دارای رابطه 1-1 05:16
مدل‌سازی منطقی داده - طراحی جداول Dimension 03:53
مدل‌سازی منطقی داده - طراحی جداول Fact 04:41
بررسی اجمالی مدل‌سازی فیزیکی داده 02:42
مدل‌سازی فیزیکی داده - شناسایی انواع داده 06:21
مدل‌سازی فیزیکی داده - اعمال قراردادهای نام‌گذاری 01:57
مدل‌سازی فیزیکی داده - شامل کردن ستون‌های Audit و تعریف شمای پایگاه داده 03:40
راه‌اندازی AZURE SQL DATABASE - بررسی اجمالی 00:46
بررسی اجمالی ویرایشگر کوئری Azure SQL Database 06:20
بررسی اجمالی SQL Server Management Studio 02:03

فصل 7: بارگذاری جداول Dimension - بررسی اجمالی ADF DATAFLOW

بررسی اجمالی بارگذاری جدول Dimension 00:56
بارگذاری جدول Dimension - بررسی اجمالی تبدیل داده‌ها 05:47
بارگذاری جدول Dimension - پیکربندی دیتاست منبع 04:14
بارگذاری جدول Dimension - پیکربندی Linked Serviceهای SQL Database و دیتاست Sink 03:35
بارگذاری جدول Dimension - محدودیت‌های COPYDATA و الزامات استفاده از DATAFLOW 04:58
بارگذاری جدول Dimension - بررسی اجمالی DATAFLOW 06:13
بارگذاری جدول Dimension - ترنسفورمیشن SELECT در DATAFLOW 04:26
بارگذاری جدول Dimension - ترنسفورمیشن AGGREGATE در DATAFLOW 05:45
بارگذاری جدول Dimension - بررسی اجمالی EXPRESSION BUILDER در DATAFLOW 05:40
بارگذاری جدول Dimension - ترنسفورمیشن SURROGATE KEY در DATAFLOW 03:42
بارگذاری جدول Dimension - ترنسفورمیشن‌های DERIVED COLUMN و SINK در DATAFLOW 05:41
بارگذاری جدول Dimension - مرور ترنسفورمیشن‌های DATAFLOW و اشکال‌زدایی 04:57
بارگذاری جدول Dimension - بررسی Change Data Capture (CDC) 05:33
بارگذاری جدول Dimension - افزودن داده‌های Sink به جریان منبع در CDC 05:55
بارگذاری جدول Dimension - ترنسفورمیشن LOOKUP در CDC 05:29
بارگذاری جدول Dimension - ترنسفورمیشن FILTER در CDC 06:07
بارگذاری جدول Dimension - محدودیت SURROGATE KEY در CDC 05:59
بارگذاری جدول Dimension - دریافت حداکثر SURROGATE KEY با استفاده از کوئری در CDC 06:04
بارگذاری جدول Dimension - ادغام حداکثر SK با منبع با استفاده از ترنسفورمیشن JOINER 05:34
بارگذاری جدول Dimension - شرط اتصال سفارشی در ترنسفورمیشن JOINER برای ادغام حداکثر SK 06:31

فصل 8: طراحی جریان داده قابل استفاده مجدد برای بارگذاری جداول بُعد

طراحی DATAFLOW قابل استفاده مجدد - ایجاد دیتاست‌های منبع و مقصد 08:15
طراحی DATAFLOW قابل استفاده مجدد - پیکربندی ترنسفورمیشن منبع 06:06
طراحی DATAFLOW قابل استفاده مجدد - تولید کوئری SQL پویا با استفاده از پارامتر Dataflow 06:20
طراحی DATAFLOW قابل استفاده مجدد - Import Projection کوئری SQL پویا 06:34
طراحی DATAFLOW قابل استفاده مجدد - کوئری SQL پویا برای مقدار حداکثر Surrogate Key 05:21
طراحی DATAFLOW قابل استفاده مجدد - پیکربندی SELECT ،AGGREGATOR و LOOKUP 04:39
طراحی DATAFLOW قابل استفاده مجدد - پیکربندی FILTER ،JOINER و DERIVED COLUMN 06:09
طراحی DATAFLOW قابل استفاده مجدد - پیکربندی SINK و پایپ‌لاین برای اجرای خودکار 05:13
طراحی DATAFLOW قابل استفاده مجدد - اشکال‌زدایی 02:05
طراحی DATAFLOW قابل استفاده مجدد - تولید اسکریپت‌های SQL برای ایجاد جداول Dimension و Fact 02:48
طراحی DATAFLOW قابل استفاده مجدد - استفاده مجدد برای پر کردن جدول DIM_MARKET 05:41
طراحی DATAFLOW قابل استفاده مجدد - استفاده مجدد برای پر کردن جدول DIM_PRODUCT 06:08
طراحی DATAFLOW قابل استفاده مجدد - استفاده مجدد برای پر کردن جدول DIM_VARIETY 06:40
طراحی DATAFLOW قابل استفاده مجدد - اشکال‌زدایی اجرای بارگذاری تمام جداول Dimension 03:46

فصل 9: بارگذاری افزایشی (پردازش رکوردهای Delta) - بارگذاری جداول Dimension

بررسی اجمالی بارگذاری افزایشی 02:11
بارگذاری افزایشی - بررسی اجمالی فعالیت GET METADATA 05:20
بارگذاری افزایشی - فیلتر کردن متادیتا بین تاریخ‌ها در فعالیت GET METADATA 06:46
بارگذاری افزایشی - بررسی اجمالی فعالیت IF CONDITION 05:18
بارگذاری افزایشی - فعالیت IF CONDITION برای مدیریت استثنا 02:59
بارگذاری افزایشی - محدودیت‌های تک پایپ‌لاین ADF و راهکار (چند پایپ‌لاین) 03:13
بارگذاری افزایشی - فراخوانی و ارسال مقادیر بین پارامترها 06:32
بارگذاری افزایشی - طراحی پایپ‌لاین اصلی بارگذاری جداول گزارش‌دهی 06:29
بارگذاری افزایشی - فراخوانی بارگذاری Dimension گزارش‌دهی از پایپ‌لاین Master 05:13
بارگذاری افزایشی - استفاده از خروجی GET METADATA پایپ‌لاین Master در پایپ‌لاین Child 04:49
بارگذاری افزایشی - اشکال‌زدایی بارگذاری جداول Dimension بخش 1 06:09
بارگذاری افزایشی - اشکال‌زدایی بارگذاری جداول Dimension بخش 2 03:55
بارگذاری افزایشی - پیکربندی تریگر Tumbling Window 05:27
بارگذاری افزایشی - تست اجرای تریگر Tumbling Window 01:11
بارگذاری افزایشی - رفع خطای کیفیت داده در بارگذاری جدول DIM_VARIETY 01:05
پایپ‌لاین ورود داده - بارگذاری کامل منبع HTTP با استفاده از تریگر Tumbling Window 02:52

فصل 10: طراحی DATAFLOW بارگذاری جدول Fact

بررسی ترنسفورمیشن بارگذاری جدول Fact 05:51
DATAFLOW بارگذاری جدول Fact - پیکربندی فایل منبع 02:23
DATAFLOW بارگذاری جدول Fact - پیکربندی منبع جدول Dimension و LOOKUP SurrogateID 04:58
DATAFLOW بارگذاری جدول Fact - پیکربندی تمام جداول Dimension و LOOKUP SurrogateIDها 05:53
DATAFLOW بارگذاری جدول Fact - پیکربندی جدول Dimension DATE و LOOKUP SurrogateID 04:53
اشکال‌زدایی DATAFLOW بارگذاری جدول Fact و رفع مشکلات داده 03:49
DATAFLOW بارگذاری جدول Fact - پیکربندی ترنسفورمیشن SINK 05:44
تست DATAFLOW بارگذاری جدول Fact بخش 1 07:26
DATAFLOW بارگذاری جدول Fact - افزودن تریگر Tumbling Window 06:17
DATAFLOW بارگذاری جدول Fact - تست بارگذاری پایگاه داده گزارش‌دهی از انتها به انتها 02:46

فصل 11: طراحی Data Lake - معماری Medallion

بررسی اجمالی طراحی Data Lake 08:01
طراحی Data Lake - راه‌اندازی کانتینر و ساختار پوشه‌ها 01:23
طراحی Data Lake - نیازمندی‌های داده منبع اضافی 06:53
طراحی Data Lake - بررسی اجمالی فرمت داده منبع اضافی 06:09

فصل 12: None

بررسی ورود داده‌های جمعیت‌شناسی 00:37
بررسی HTTP Request در مقابل REST API REQUEST RESPONSE 03:02
ورود داده‌ جمعیت‌شناسی - پیکربندی Linked Service 04:00
ورود داده‌ جمعیت‌شناسی - پیکربندی دیتاست‌های منبع و مقصد 05:01
ورود داده‌ جمعیت‌شناسی - ایجاد پایپ‌لاین ورود داده 04:19
ورود داده‌ جمعیت‌شناسی - پیکربندی پارامترهای پایپ‌لاین 05:15
ورود داده‌ جمعیت‌شناسی - ایجاد و آپلود فایل متادیتا 03:58
ورود داده‌ جمعیت‌شناسی - پیکربندی فعالیت‌های LOOKUP و FOREACH 04:37
ورود داده‌ جمعیت‌شناسی - ارسال مقادیر پارامتر دیتاست از فایل متادیتا 05:40
ورود داده‌ جمعیت‌شناسی - شناسایی و رفع خطاها 04:33
ورود داده‌ جمعیت‌شناسی - شناسایی و رفع خطاهای کاربری 05:17

فصل 13: بارگذاری داده‌ در لایه برنزی دریاچه داده - داده‌ هواشناسی از طریق REST API

بررسی ورود داده‌ آب و هوا 05:04
ورود داده‌ آب و هوا - ایجاد فایل متادیتا پویا و پیکربندی منبع 04:55
ورود داده‌ آب و هوا - ایجاد فایل متادیتا پویا و پیکربندی شمای منبع 04:38
ورود داده‌ آب و هوا - ایجاد فایل متادیتا پویا و FLATTEN کردن JSON پیچیده 06:20
ورود داده‌ آب و هوا - پیکربندی پارامترهای اضافی فایل متادیتا پویا و SINK 06:38
ورود داده‌ آب و هوا - ایجاد فایل متادیتا پویا و پارتیشن‌بندی DATAFLOW 07:06
ورود داده‌ آب و هوا - پیکربندی دیتاست‌های منبع و مقصد 04:12
ورود داده‌ آب و هوا - پیکربندی فعالیت‌های LOOKUP و FOREACH 05:44
ورود داده‌ آب و هوا - پیکربندی پارامترهای پایپ‌لاین و متغیرها 06:15
ورود داده‌ آب و هوا - ارسال مقادیر پارامتر دیتاست با استفاده از Expression پایپ‌لاین 04:28
ورود داده‌ آب و هوا - پیکربندی ایجاد زیرپوشه پویا در ذخیره‌سازی مقصد 07:09
ورود داده‌ آب و هوا - اشکال‌زدایی پایپ‌لاین و خطای شناخته شده در نام فعالیت 02:01
ورود داده‌ آب و هوا - ستون منبع اضافی در COPYDATA و راه‌اندازی تریگر 06:42