دوره‌ گواهینامه مهندسی داده آژور

آنچه یاد خواهید گرفت:

• یادگیری SQL برای مهندسی داده، شامل کوئری و تبدیل داده، بهینه‌سازی عملکرد پایگاه‌ داده‌ها و مدیریت کارآمد مجموعه داده‌های بزرگ
• تسلط به مفاهیم انبارهای داده، شامل OLTP در مقابل OLAP، مدل‌سازی ابعادی، طراحی اسکیماهای ستاره‌ای و گلوله‌ برفی و فرآیندهای ETL و ELT
• یادگیری اصول مهندسی داده در آژور، شامل سرویس‌های کلیدی آژور مانند ذخیره‌سازی دریاچه داده آژور، Blob Storage ،Synapse Analytics و امنیت
• توسعه مهارت‌های عملی در Azure Data Factory (ADF) با ساخت پایپ‌لاین‌های ETL، یکپارچه‌سازی داده از منابع مختلف و تبدیل داده‌ با استفاده از سرویس‌های آژور
• تسلط به Databricks و PySpark، شامل رایانش توزیع‌ شده، SQL اسپارک، RDDs و بهینه‌سازی عملکرد برای مدیریت کلان داده
• یاد می‌گیرید که چگونه PySpark jobs را برای پردازش داده‌ در مقیاس بزرگ ایجاد و اجرا کرده و Databricks را با سرویس‌های آژور یکپارچه‌ کنید.
• درک جداول دلتا و نسخه‌سازی، شامل تراکنش‌های ACID، تقویت اسکیما و قابلیت‌های time-travel
• بررسی Snowflake برای مهندسی داده، شامل معماری، بارگذاری داده‌، بهینه‌سازی کوئری و یکپارچه‌سازی با آژور
• یاد می‌گیرید که چگونه پایپ‌لاین‌های تولید را با پیروی از بهترین شیوه‌ها برای معماری‌های پایپ‌لاین مقیاس‌پذیر، مدیریت استثنا و نظارت، طراحی و مستقر کنید.
• یادگیری دواپس آژور برای استقرار پایپ‌لاین CI/CD، کنترل نسخه و تست‌های خودکار
• یاد می‌گیرید که چگونه از تحلیل مهندسی داده آژور، شامل تحلیل داده‌، مصورسازی و نظارت با استفاده از سرویس‌های آژور، بهره ببرید.

پیش‌نیازهای دوره

• علاقه‌مندی به اصول مهندسی داده آژور
• درک اولیه از برنامه‌نویسی و الگوریتم‌ها

توضیحات دوره

قدم بعدی را در حرفه خود بردارید. چه شما مهندس مشتاق داده، حرفه‌ای باتجربه IT، معمار راه‌حل‌های ابری، یا تحلیلگر داده باشید، این دوره فرصت شما برای توسعه مهارت‌های مهندسی داده آژور، ارتقای توانایی طراحی راه‌حل‌های داده‌ مقیاس‌پذیر و پیشرفت در حوزه مهندسی داده مبتنی بر ابر است.

با این دوره موارد زیر را یاد می‌گیرید:

• تسلط به مهارت‌ها و مفاهیم بنیادی مهندسی داده آژور، شامل SQL، انبار داده، فرآیندهای ETL و ELT و یکپارچه‌سازی داده مبتنی بر ابر
• ساخت و بهینه‌سازی پایپ‌لاین‌های داده با استفاده از Azure Data Factory (ADF) و Databricks ،Snowflake ،PySpark و جداول دلتا برای اطمینان از پردازش و تبدیل داده‌ کارآمد
• دسترسی به قالب‌ها و بهترین شیوه‌های استاندارد صنعت برای معماری داده، طراحی اسکیما و بهینه‌سازی عملکرد در محیط‌های ابری
• بررسی کاربردهای واقعی سرویس‌های آژور شامل ذخیره‌سازی دریاچه داده، تحلیل‌ بلادرنگ، نظارت بر داده و بهترین شیوه های ایمن‌سازی داده‌ سازمانی 
• در یادگیری مهندسی داده در آژور سرمایه‌گذاری کرده و توانایی طراحی و مدیریت راه‌حل‌های داده‌ مقیاس‌پذیر و با کارایی بالا که کسب‌وکار را پیش می‌برند، کسب کنید.

فریمورک های دوره

با ویدئوهای جذاب، مطالعات موردی، پروژه‌ها، منابع قابل دانلود، و تمرین‌های تعاملی این دوره برای بررسی مهندسی داده آژور طراحی شده است و مفاهیمی شامل SQL، انبار داده، فرآیندهای ETL و ELT و راه‌حل‌های داده مبتنی بر ابری با استفاده از سرویس‌های آژور را در بر می‌گیرد.

در این دوره، مطالعات موردی متعدد، قالب‌ها، ورک‌شیت‌ها، مباحث مطالعه، آزمون‌ها، خودارزیابی‌ها و لابراتوارهای عملی برای تعمیق درک شما درباره مفاهیم مهندسی داده آژور و کاربردهای واقعی فراهم شده است.

• در اولین بخش دوره، با مبانی SQL و تکنیک‌های پیشرفته، اصول انبار داده و جذب و تبدیل داده‌ با استفاده از Azure Data Factory (ADF) و Synapse Analytics آشنا می‌شوید.
• در بخش میانی دوره، درک عمیقی از Databricks و PySpark، جداول دلتا، نسخه‌سازی و استریمینگ داده‌ بلادرنگ با استفاده از Azure Event Hub و Stream Analytics پیدا می‌کنید.
• در بخش نهایی دوره، مهارت لازم برای کار با Snowflake برای مهندسی داده، طراحی پایپ‌لاین‌های تولید، پیاده‌سازی CI/CD با دواپس آژور و نظارت بر گردش‌کارهای داده را کسب می‌نمایید.

بخش 1

مقدمه و برنامه مطالعه

• مقدمه و آشنایی با مدرس
• برنامه مطالعه و ساختار دوره

ماژول 1 - مبانی SQL و مفاهیم پیشرفته

آشنایی با SQL

• مبانی پایگاه‌ داده‌های رابطه‌ای و SQL
• سینتکس SQL و ساختار کوئری
• SELECT و WHERE و GROUP BY و ORDER BY clauses

تکنیک‌های پیشرفته SQL

• جوین‌ها (INNER و OUTER و LEFT و RIGHT)
• کوئری‌های فرعی، CTEs و توابع Window
• تجمیع‌ها و توابع تحلیلی

SQL برای مهندسی داده

• دستکاری و تبدیل داده‌
• مدیریت مجموعه داده‌های بزرگ و پرفورمنس تیونینگ
• جذب و اعتبارسنجی داده‌ با استفاده از SQL

ماژول 2 - مفاهیم انبار داده

آشنایی با انبار داده

• OLTP در مقابل OLAP
• طراحی اسکیماهای ستاره‌ای و گلوله برفی
• مفاهیم مدل‌سازی ابعادی

طراحی پایپ لاین‌ داده

• فرآیندهای ETL در مقابل ELT
• لایه‌های مرحله‌بندی، یکپارچه‌سازی و تبدیل داده

فعالیت عملی

• ایجاد نمونه اسکیماها و بارگذاری داده‌ نمونه

ماژول 3 - اصول مهندسی داده آژور

بررسی مهندسی داده آژور

• آشنایی با پلتفرم ابری آژور
• سرویس‌های کلیدی آژور برای مهندسی داده

راه‌حل‌های Azure Storage

• ذخیره‌سازی دریاچه داده آژور
• Blob Storage و مدیریت فایل‌
• مکانیزم‌های امنیت و کنترل دسترسی

یکپارچه‌سازی داده آژور

• آشنایی با Azure Synapse Analytics
• ابزارهای انتقال و یکپارچه‌سازی داده در آژور

ماژول 4 - سرویس‌های آژور برای مهندسی داده

توابع آژور و اپلیکیشن‌های منطق

• خودکارسازی گردش‌کارها با استفاده از اپلیکیشن‌های منطق
• رایانش بدون سرور با توابع آژور

Azure Event Hub و Stream Analytics

• جذب داده استریمینگ
• تحلیل‌ بلادرنگ در آژور

نظارت و بهینه‌سازی

• تکنیک‌های بهینه‌سازی هزینه
• نظارت و اشکال زدایی حجم‌های کاری آژور

ماژول 5 - Azure Data Factory (ADF)

آشنایی با Azure Data Factory (ADF)

• معماری و کامپوننت‌های ADF
• پایپ‌لاین‌ها، تریگرها و مجموعه‌ داده‌ها

ساخت پایپ‌لاین‌های ETL در ADF

• ایجاد و مدیریت پایپ‌لاین‌های داده
• تبدیلات داده‌ با استفاده از ADF

یکپارچه‌سازی با دیگر سرویس‌ها

• یکپارچه‌سازی ADF با Databricks ،SQL Server و Snowflake

فعالیت عملی

• ساخت نمونه پایپ‌لاین ETL در ADF

ماژول 6 - Databricks و PySpark

آشنایی با Databricks

• بررسی Databricks و معماری آنها
• راه‌اندازی فضای کاری Databricks

آشنایی با PySpark

• مبانی رایانش توزیع‌ شده
• دیتافریم‌ها، RDDs و SQL اسپارک

تکنیک‌های پیشرفته PySpark

• نوشتن و بهینه‌سازی PySpark Jobs 
• کار با مجموعه داده‌های بزرگ

فعالیت‌های عملی

• ساخت اپلیکیشن‌های PySpark
• یکپارچه‌سازی Databricks با سرویس‌های آژور

ماژول 7 - جداول دلتا و نسخه‌سازی

اصول دریاچه دلتا

• بررسی جداول دلتا
• تراکنش‌های ACID و تقویت اسکیما

نسخه‌سازی و Time Travel

• کوئری داده در زمان‌های مشخص
• پیاده‌سازی گردش‌کارهای CDC (ضبط تغییرات داده)

ماژول 8 - مفاهیم اصلی Snowflake

آشنایی با Snowflake

• معماری و ویژگی‌های اصلی Snowflake
• انبارهای داده، پایگاه داده‌ها و اسکیما در Snowflake

بارگذاری و کوئری داده در Snowflake

• کپی داده‌ به Snowflake
• نوشتن و بهینه‌سازی کوئری‌ها

Snowflake برای مهندسی داده

• یکپارچه‌سازی با سرویس‌های آژور
• بهترین شیوه‌ها برای استفاده از Snowflake در تولید

ماژول 9 - پایپ‌لاین‌ها و استقرار در تولید

طراحی پایپ‌لاین‌های تولید

• بهترین شیوه‌ها برای پایپ‌لاین‌های مقیاس‌پذیر
• مدیریت استثناها و retries

CI/CD در مهندسی داده آژور

• استفاده از دواپس آژور برای استقرار پایپ‌لاین‌
• کنترل نسخه و تست خودکار

نظارت و نگهداری

• نظارت بر پایپ‌لاین‌های داده در تولید
• عیب‌یابی و پرفورمنس تیونینگ

بخش 2

ماژول 10 - پروژه Capstone

طراحی و پیاده‌سازی پروژه

• طراحی راه‌حل کامل مهندسی داده
• استفاده از سرویس‌های آژور، Databricks ،Snowflake و PySpark

این دوره برای چه کسانی مناسب است؟

• حرفه‌ای‌های داده که قصد دارند در SQL، انبار داده، و فرآیندهای ETL و ELT مهارت کسب کنند تا مدیریت و تبدیل داده‌ را بهبود بخشند.
• حرفه‌ای‌های تازه‌کار که می‌خواهند به حوزه مهندسی داده آژور وارد شده، راه‌حل‌های داده‌ مبتنی بر ابر، توسعه پایپ‌لاین‌های داده و پردازش کلان داده را یاد بگیرند.
• مهندسان داده، معماران و حرفه‌ای‌های IT که قصد دارند مهارت‌های خود را در حوزه‌های مربوطه ارتقا دهند تا گردش‌کارهای داده‌ را بهینه‌تر کرده و بهبود بخشند.
• رهبران فنی، مدیران و تصمیم‌گیرندگانی که می‌خواهند معماری‌های مهندسی داده مقیاس‌پذیر، استراتژی‌های یکپارچه‌سازی داده مبتنی بر ابری و تحلیل‌های داده بلادرنگ را درک کنند.