آموزش Azure Data Factory (ADF) - ساخت پایپ‌لاین‌های داده مقیاس‌پذیر

آنچه یاد خواهید گرفت:

• توضیح اصول Azure Data Factory (ADF) و نقش آن در اکوسیستم ابری آژور
• درک مفاهیم رایانش ابری، سرویس‌ها و تایپ‌های داده‌ مرتبط با یکپارچه‌سازی داده‌ سازمانی
• شناسایی و پیکربندی کامپوننت‌های اصلی ADF از جمله سرویس‌های مرتبط، مجموعه داده‌ها، پایپ‌لاین‌ها و تریگرها
• انجام تسک‌های جذب داده و مهاجرت داده مانند کپی داده بین Azure Blob Storage و ADLS Gen2، پایگاه‌های SQL و منابع on-premises
• تحلیل و مدیریت رفتار فعالیت کپی برای بهینه‌سازی کارایی و قابلیت اطمینان انتقال داده
• پیاده‌سازی پارامترسازی در پایپ‌لاین‌های ADF با استفاده از سرویس‌های مرتبط، مجموعه داده‌ها و متغیرها برای قابلیت استفاده مجدد و پیکربندی‌های پویا
• اجرای عملیات‌های کپی پیشرفته مانند انتقال داده‌ انبوه، فعالیت‌های مبتنی بر تعداد فایل و سناریوهای جذب چندین فایل
• استفاده از رویه‌های ذخیره‌ شده و کوئری‌های SQL در پایپ‌لاین‌های ADF برای تبدیل و مدیریت جریان‌های داده
• تبدیل و تحول فرمت‌های داده ساختاریافته (مثلاً CSV به جی‌سان) با استفاده از جریان‌های داده در ADF
• اعمال بهترین شیوه‌های امنیت با یکپارچه‌سازی Azure Key Vault برای مدیریت secrets و مدیریت اعتبارات ایمن
• طراحی و اجرای استراتژی‌های مختلف بارگذاری داده از جمله بارگذاری‌های کامل، بارگذاری‌های افزایشی (دلتا) و رویکردهای هیبریدی
• یکپارچه‌سازی APIs و سرویس‌های خارجی در پایپ‌لاین‌های ADF برای گسترش قابلیت‌های جابه‌جایی و تبدیل داده
• ارکستراسیون گردش‌کارهای داده هیبریدی و چندابری با اتصال ADF به AWS، گوگل کلود و سیستم‌های on-premises
• زمانبندی، نظارت و اتوماسیون پایپ‌لاین‌ها با استفاده از تریگرها و ویژگی‌های زمانبندی در ADF
• اعمال منطق تبدیل با استفاده از جریان‌های داده، از جمله عملیات‌های جوین، برای آماده‌سازی داده‌ جهت تحلیل و سیستم‌های downstream

پیش‌نیازهای دوره

• انگیزه و عزم برای اثرگذاری در جهان

توضیحات دوره

به دوره Azure Data Factory (ADF) - ساخت پایپ‌لاین‌های داده مقیاس‌پذیر از Uplatz خوش آمدید.

Azure Data Factory چیست؟

Azure Data Factory (ADF)، سرویس ETL (استخراج, تبدیل و بارگذاری) و یکپارچه‌سازی داده مبتنی بر ابر از مایکروسافت است. این سرویس امکان جابجایی، تبدیل و ارکستراسیون داده از چندین منبع را فراهم می‌کند، چه on-premises، چه در ابر و یا بین پلتفرم‌های مختلف باشد.

این سرویس به‌ عنوان سرویس پایپ‌لاین داده در آژور عمل می‌کند و امکان اتصال، پاکسازی و تحویل داده به سیستم‌هایی مانند دریاچه‌های داده، انبارهای داده، پلتفرم‌های هوش تجاری و پایپ‌لاین‌های یادگیری ماشین را فراهم می‌کند.

Azure Data Factory چگونه کار می‌کند؟

Azure Data Factory از رویکرد گردش‌کاری با چهار مرحله اصلی پیروی می‌کند:

 اتصال به منابع داده (استخراج)

ADF به بیش از صد منبع داده از طریق سرویس‌های لینک‌ شده مانند SQL Server، Azure Blob Storage و Amazon S3 و Google Cloud Storage و Salesforce و SAP متصل می‌شود. داده‌ به صورت دسته‌ای یا بلادرنگ جذب می‌شود.

آماده‌سازی و تبدیل داده

ADF از جریان‌های داده (رابط ویژوال بدون کد برای تبدیل) یا فعالیت‌های سفارشی مانند اسکریپت‌های SQL و jobs اسپارک، نوت‌بوک‌های Databricks و رویه‌های ذخیره شده استفاده می‌کند. تبدیل‌ها ممکن است شامل جوین‌ها، فیلترینگ، تجمیع، تبدیل فرمت‌ها (CSV به جی‌سان، Parquet و غیره) و پاکسازی داده باشد.

جابه‌جایی و بارگذاری داده

داده‌ به سیستم‌های هدف مانند پایگاه داده SQL آژور، Azure Synapse Analytics، دریاچه داده آژور و Cosmos DB یا سیستم‌های ذخیره‌سازی خارجی بارگذاری می‌شوند. این سرویس از بارگذاری‌های کامل، بارگذاری افزایشی و جذب داده به صورت استریمینگ پشتیبانی می‌کند.

ارکستراسیون و نظارت بر پایپ‌لاین‌ها

گردش‌کارها به پایپ‌لاین‌هایی تقسیم می‌شوند که شامل یک یا چند فعالیت هستند. تریگرها امکان زمانبندی یا اجرای مبتنی بر رویداد را فراهم می‌کنند. ADF شامل نظارت و لاگ‌ کردن داخلی است تا عملکرد را ردیابی، خطاها را شناسایی و توان عملیاتی را تحلیل کند.

کامپوننت‌های اصلی ADF

• پایپ‌لاین‌ها - گروه‌های منطقی از فعالیت‌ها که یک گردش‌.کار را تعریف می‌کنند
• فعالیت‌ها - گام‌های جداگانه مانند کپی، تبدیل یا اجرای رویه ذخیره شده
• مجموعه داده‌ها - ارجاع به ساختارهای داده‌ مانند جداول یا فایل‌ها
• سرویس‌های لینک شده - جزئیات اتصال به منابع داده
• جریان‌های داده - رابط ویژوال برای ساخت منطق تبدیل
• ران‌تایم یکپارچه‌سازی - موتور رایانش که جابجایی داده و تبدیلات را به‌ صورت ابری یا خود میزبانی شده اجرا می‌کند.

چرا از Azure Data Factory استفاده کنیم؟

• کاملاً مدیریت‌ شده و بدون سرور با مقیاس‌بندی خودکار
• پشتیبانی از یکپارچه‌سازی داده‌ هیبریدی و چندابری
• تجربه توسعه کم‌کد و بدون کد با گزینه‌ای برای کدنویسی پیشرفته
• امنیت و حاکمیت سطح سازمانی از طریق Azure Key Vault و RBAC
• آماده‌سازی پایپ‌لاین‌های داده برای تحلیل‌های پیشرفته، گزارش‌دهی و حجم کارهای یادگیری ماشین

Azure Data Factory - برنامه درسی دوره

مبحث 1 - اصول آژور و ADF

• آشنایی با Azure Data Factory
• رایانش ابری - بخش 1
• رایانش ابری - بخش 2
• سرویس‌های ابری
• تایپ‌های داده

مبحث 2 - کامپوننت‌های اصلی ADF

• کامپوننت‌های برتر ADF - بخش 1
• کامپوننت‌های برتر ADF - بخش 2

مبحث 3 - اصول کپی داده و مهاجرت داده

• مطالعه موردی 1 - کپی داده از Blob Storage به Blob Storage
• کپی از Azure BLOB Storage به ADLS Gen2
• کپی چند فایل از Azure BLOB Storage به ADLS Gen2
• کپی داده از Azure Blob به پایگاه داده SQL
• ابزار کپی داده
• رفتار فعالیت کپی - بخش 1
• رفتار فعالیت کپی - بخش 2

مبحث 4 - پارامترسازی در ADF

• پارامترسازی سرویس‌های لینک شده - بخش 1
• پارامترسازی سرویس‌های لینک شده - بخش 2
• پارامترسازی مجموعه داده و پایپ‌لاین

مبحث 5 - عملیات‌های پیشرفته کپی

• کپی داده‌ انبوه از پایگاه داده SQL به Blob Storage - بخش 1
• کپی داده‌ انبوه از پایگاه داده SQL به Blob Storage - بخش 2
• رفتار فعالیت کپی بر پایه تعداد فایل در منبع

مبحث 6 - رویه‌های ذخیره شده و تبدیلات

• درک رویه ذخیره شده در Azure Cloud
• کپی داده با استفاده از رویه ذخیره شده و کوئری SQL
• تبدیل CSV به جی‌سان با استفاده از ADF - بخش 1
• تبدیل CSV به جی‌سان با استفاده از ADF - بخش 2
• کپی فایل (جی‌سان به CSV)

مبحث 7 - امنیت و مدیریت کلید

• سرویس Azure Key Vault

مبحث 8 - استراتژی‌های بارگذاری

• بارگذاری کامل و بارگذاری افزایشی - بخش 1
• بارگذاری کامل و بارگذاری افزایشی - بخش 2
• بارگذاری کامل و بارگذاری افزایشی - بخش 3

مبحث 9 - یکپارچه‌سازی داده هیبریدی

• کپی داده از On-Premise به ابر در ADF - بخش 1
• کپی داده از On-Premise به ابر در ADF - بخش 2

مبحث 10 - یکپارچه‌سازی APIو متغیرها

• یکپارچه‌سازی API با ADF - بخش 1
• یکپارچه‌سازی API با ADF - بخش 2
• متغیر پایپ‌لاین - بخش 1
• متغیر پایپ‌لاین - بخش 2

مبحث 11 - یکپارچه‌سازی‌های چندابری

• یکپارچه‌سازی AWS با آژور
• یکپارچه‌سازی ADF با Google Cloud Storage

مبحث 12 - زمانبندی و ارکستراسیون

• تریگرها در ADF
• تریگر زمانبندی در Azure Data Factory - بخش 1
• تریگر زمانبندی در Azure Data Factory - بخش 2

مبحث 13 - تبدیلات داده

• تبدیل جوین با جریان‌های داده در ADF

این دوره برای چه کسانی مناسب است؟

• مهندسان داده و توسعه‌دهندگان ETL - کسانی که می‌خواهند پایپ‌لاین‌های داده مقیاس‌پذیر را روی آژور طراحی کرده، ساخته و مدیریت کنند.
• مهندسان ابری و معماران راه‌حل - که به‌ دنبال یکپارچه‌سازی منابع داده on-premises و چندابری در پلتفرم‌های تحلیلی مبتنی بر آژور هستند.
• مدیران پایگاه داده (DBAs) - که به دنبال مهاجرت به مدیریت داده‌ ابری و اتوماسیون با استفاده از ADF هستند.
• توسعه‌دهندگان BI و تحلیلگران - که برای آماده‌سازی، جابجایی و تبدیل داده‌ برای گزارش‌دهی و تحلیل هستند.
• کارشناسان کلان داده و تحلیل - که به‌ دنبال ارکستراسیون گردش‌کارهای داده بین سیستم‌های مختلف هستند.
• توسعه‌دهندگان نرم‌افزار - که برای گسترش مهارت‌های خود به یکپارچه‌سازی داده و جریان‌های داده مبتنی بر ابری نیاز دارند.
• کارشناسان IT و یکپارچه‌کننده‌های سیستم‌ - که در پروژه‌های مهاجرت داده‌ سازمانی، مدرن‌سازی و پذیرش ابری درگیر هستند.
• دانشجویان و مبتدیان در مهندسی داده ابری - که به دنبال دسترسی عملی به Azure Data Factory به‌ عنوان گامی به سوی مشاغل مهندسی داده و تحلیل ابر هستند.