تسلط به Azure Data Factory: پروژه‌های واقعی با ADF

آنچه یاد خواهید گرفت:

• تسلط به اجزای اصلی ADF: درک سرویس‌های متصل، مجموعه داده‌، پایپ‌لاین‌ها، تریگرها و Integration Runtimeها از طریق موارد استفاده واقعی
• - ساخت پایپ‌لاین‌های مبتنی بر متادیتا: خودکارسازی دریافت داده‌ پویا با استفاده از Lookup ،ForEach و مجموعه داده‌ پارامتریک
• - یکپارچه‌سازی منابع داده متنوع: اتصال یکپارچه به Azure SQL ،PostgreSQL ،Snowflake ،REST API و سیستم‌های محلی با استفاده از SHIR
• - پیاده‌سازی بارهای افزایشی و CDC: طراحی پایپ‌لاین‌های کارآمد با استفاده از مقادیر آخرین پردازش، تریگرهای Tumbling Window و ثبت تغییرات داده (Insert ،Update)
• - بهینه‌سازی عملکرد و همزمانی: تنظیم اجرای پایپ‌لاین، مدیریت همزمانی و پاک‌سازی فضای ذخیره‌سازی برای مهندسی داده مقرون‌به‌صرفه
• - طراحی گردش‌کارهای رویداد محور و زمان‌بندی‌شده: راه‌اندازی پایپ‌لاین‌ها از طریق ایمیل‌ها، پیوست‌ها و رویدادهای Blob با وابستگی‌های چند تریگری
• - تبدیل داده‌ها با Data Flows: اعمال پیوندها، چرخش‌ها، بازگشت چرخش‌ها، بررسی‌های کیفیت داده (DQ) و ابعاد تغییر آهسته (SCD1 و SCD2) با استفاده از ADF Data Flows
• - یکپارچه‌سازی ADF با Databricks و SQL Pools: زمان‌بندی نوت‌بوک‌ها، ایجاد جداول خارجی و ساخت معماری‌های ترکیبی برای تحلیل‌های مقیاس‌پذیر
• - ساخت چارچوب‌های قابل استفاده مجدد و سیستم‌های حسابرسی: ایجاد لاگ کردن متمرکز، چارچوب‌های دریافت داده - قابل استفاده مجدد و نگاشت پویای اسکیما برای راه‌حل‌های سازمانی

پیش‌نیازهای دوره

• - بدون نیاز به تجربه قبلی با Azure Data Factory: تمام مفاهیم به صورت گام‌به‌گام و از طریق پروژه‌های عملی و واقعی توضیح داده می‌شوند.
• - درک اولیه از مهندسی داده مفید است اما اجباری نیست: موضوعاتی مانند ETL، پایپ‌لاین‌های داده و ذخیره‌سازی ابری در طول دوره معرفی و تقویت می‌شوند.
• - آشنایی با SQL مفید است: اگرچه دانش اولیه SQL می‌تواند کمک کند، اما کوئری‌ها و رویه‌های کلیدی در جلسات نمایش داده می‌شوند.
• - دانش مقدماتی از سرویس‌های Azure یک مزیت است: مفاهیمی مانند Azure Storage ،Azure SQL و گروه‌های منابع در صورت نیاز پوشش داده می‌شوند.
• - دسترسی به یک حساب Azure (رایگان یا پولی): برای تمرین آزمایشگاه‌های عملی توصیه می‌شود، اما برای دنبال کردن دوره الزامی نیست.

توضیحات دوره

آیا از درس های تئوری و آمادگی‌های عمومی برای گواهینامه خسته شده‌اید؟ این دوره برای یادگیرندگانی طراحی شده است که می‌خواهند Azure Data Factory را دقیقاً همان‌طور که در دنیای واقعی استفاده می‌شود از طریق پروژه‌های عملی، پایپ‌لاین‌های پویا و حل مسائل کاربردی فرا بگیرند.

این دوره که توسط CloudPandith (مالایا)، یک معمار ارشد داده و مدرس خصوصی هدایت می‌شود، شما را از طریق بیش از 40 سناریوی بلادرنگ ADF، از دریافت داده‌ در SQL ،REST APIs ،Snowflake و PostgreSQL گرفته تا ساخت چارچوب‌های قابل استفاده مجدد، پیاده‌سازی بارهای افزایشی و تبدیل داده‌ها با Data Flows راهنمایی می‌کند.

چه مبتدی باشید و چه یک حرفه‌ای شاغل، یاد خواهید گرفت که چگونه پایپ‌لاین‌های داده را با استفاده از تمام ویژگی‌های ADF شامل SHIR، تریگرها، یکپارچه‌سازی Key Vault ،CDC و زمان‌بندی Databricks طراحی، خودکارسازی و بهینه‌سازی کنید. هر جلسه حول موارد استفاده واقعی ساخته شده است، نه تئوری‌های کتابی

چه چیزی این دوره را متمایز می‌کند

• پروژه‌های بلادرنگ، نه فقط دموها
• طراحی پایپ‌لاین مبتنی بر متادیتا و قابل استفاده مجدد
• یکپارچه‌سازی با منابع متنوع: SQL ،REST ،Snowflake ،Excel On-Prem
• تبدیل‌های پیشرفته: SCDها، بررسی‌های DQ، چرخش‌ها، پیوندها 
• راه‌اندازی پایپ‌لاین‌ها از طریق رویدادها، زمان‌بندی‌ها و پیوست‌های ایمیل
• استراتژی‌های بهینه‌سازی عملکرد و لاگ کردن حسابرسی
• تدریس توسط یک معمار فعال - نه یک مدرس عمومی

در پایان این دوره، شما قادر خواهید بود با اطمینان پایپ‌لاین‌های داده در سطح سازمانی را در Azure Data Factory بسازید که با تجربه عملی و مهارت‌های آماده برای آینده پشتیبانی می‌شوند.

این دوره برای چه کسانی مناسب است؟

• مهندسان داده مشتاق: مبتدیانی که به دنبال ورود به مهندسی داده ابری با یادگیری عملی و مبتنی بر پروژه هستند. بدون نیاز به تجربه قبلی در ADF است.
• حرفه‌ای‌های شاغل و تحلیل‌گران: توسعه‌دهندگان SQL، تحلیل‌گران BI و متخصصان ETL که می‌خواهند مهارت‌های خود را در Azure Data Factory ارتقا دهند و گردش‌کارهای داده را خودکار کنند. - مهندسان و معماران ابری: کسانی که راه‌حل‌های داده مقیاس‌پذیر را روی Azure می‌سازند و به دنبال چارچوب‌های قابل استفاده مجدد، پایپ‌لاین‌های مبتنی بر متادیتا و بهینه‌سازی عملکرد هستند. - دانشجویان و تغییردهندگان شغل: یادگیرندگانی که سناریوهای واقعی را به درس‌های تئوری ترجیح می‌دهند و می‌خواهند مهارت‌های آماده برای کار را با اطمینان بسازند. - هر کسی که از آموزش‌های عمومی خسته شده است: اگر به دنبال راهنمایی معتبر و عملی از کسی هستید که آنچه را به صورت حرفه‌ای استفاده می‌کند آموزش می‌دهد—این دوره برای شماست. (آیا نسخه‌ای از این را برای مخاطبان واتساپ یا یوتیوب خود نیز می‌خواهید؟ مدرس می‌تواند آن را برای هماهنگی با برند شما مکالمه‌ای‌تر و انگیزشی‌تر کند).
• مهندسان و معماران ابری: کسانی که راه‌حل‌های داده مقیاس‌پذیر را روی Azure می‌سازند و به دنبال چارچوب‌های قابل استفاده مجدد، پایپ‌لاین‌های مبتنی بر متادیتا و بهینه‌سازی عملکرد هستند.
• دانشجویان و تغییردهندگان شغل: یادگیرندگانی که سناریوهای واقعی را به درس‌های تئوری ترجیح می‌دهند و می‌خواهند مهارت‌های آماده برای کار را با اطمینان بسازند. - هر کسی که از آموزش‌های عمومی خسته شده است: اگر به دنبال راهنمایی معتبر و عملی از کسی هستید که آنچه را به صورت حرفه‌ای استفاده می‌کند آموزش می‌دهد. این دوره برای شماست. (آیا نسخه‌ای از این را برای مخاطبان واتساپ یا یوتیوب خود نیز می‌خواهید؟ مدرس می‌تواند آن را برای هماهنگی با برند شما مکالمه‌ای‌تر و انگیزشی‌تر کند).
• هر کسی که از آموزش‌های عمومی خسته شده است: اگر به دنبال راهنمایی معتبر و عملی از کسی هستید که آنچه را به صورت حرفه‌ای استفاده می‌کند آموزش می‌دهد. این دوره برای شماست.