مهندسی داده‌ Azure با Synapse ،ADB ،ADF و PowerBI

برای یکپارچه‌سازی داده‌ و گزارش‌گیری گام‌به‌گام، مراحلی را دنبال می‌کنیم.

آنچه یاد خواهید گرفت:

• اجرای پروژه End to End مهندسی داده در Azure
• در عرض 2 هفته می‌توانید بیاموزید که چگونه پروژه‌ها را پیاده‌سازی کنید.
• می‌توانید پس از اتمام این دوره، پروژه‌های خود را پیاده‌سازی کنید.

پیش نیازهای دوره

• Azure
• Databricks
• Synapse
• Power BI

توضیحات دوره

توضیحات پروژه:

در دنیای داده‌محور امروز، سازمان‌ها به پلتفرم‌های قوی برای جمع‌آوری، پردازش، تحلیل و نمایش بصری داده‌ به منظور تصمیم‌گیری آگاهانه نیاز دارند. این پروژه قصد دارد یک پلتفرم داده یکپارچه را با استفاده از سرویس‌های مایکروسافت آژور شامل Azure Databricks ،Power BI و Azure Data Factory (ADF) Azure Synapse Analytics طراحی و پیاده‌سازی کند.

اهداف پروژه:

• جمع‌آوری و یکپارچه‌سازی داده‌: استفاده از Azure Data Factory برای سازماندهی جمع‌آوری داده‌ از منابع مختلف شامل پایگاه‌های داده، فایل‌ها و منابع استریم و پیاده‌سازی پایپ‌لاین‌های یکپارچه‌سازی داده‌ برای پاکسازی، تبدیل و بارگذاری داده‌ به یک دریاچه داده یا انبار داده مرکزی
• انبار داده مقیاس‌پذیر: استقرار Azure Synapse Analytics (که به‌طور قبلی SQL Data Warehouse نامیده می‌شد) برای ایجاد یک راه‌حل انبار داده مقیاس‌پذیر و کارا همچنین طراحی و بهینه‌سازی مدل‌های داده برای حمایت از کوئری‌های تحلیلی پیچیده و الزامات گزارش‌گیری
• تحلیلات پیشرفته و پردازش داده‌: استفاده از Azure Databricks برای انجام تحلیل‌های پیشرفته، یادگیری ماشین و تسک‌های پردازش داده‌ بر روی حجم‌های بزرگ اطلاعات و توسعه فرآیندهای ETL مبتنی بر Spark، ساخت مدل‌های پیش‌بینی و انجام بررسی و مصورسازی داده‌ با استفاده از Python یا Scala
• تحلیلات در بلادرنگ و استریم: پیاده‌سازی پردازش و تحلیل داده‌ در بلادرنگ با استفاده از Azure Stream Analytics یا قابلیت‌های استریم Azure Databricks و تحلیل داده‌ استریم از دستگاه‌های IoT، حسگرها یا پلتفرم‌های اجتماعی برای بدست آوردن بینش‌ها و شناسایی الگوها در بلادرنگ
• هوش تجاری و گزارش‌گیری: توسعه داشبوردها و گزارش‌های تعاملی با استفاده از Power BI برای مصورسازی بینش‌های بدست‌آمده از پلتفرم یکپارچه داده و ایجاد مصورسازی‌های غنی، گزارش‌های دقیق و داشبوردهای اجرایی برای قدرت‌بخشی به کاربران تجاری با بینش‌های عملی

محصولات تحویلی پروژه:

• پایپ‌لاین‌های Azure Data Factory برای جمع‌آوری، تبدیل و بارگذاری داده‌
• انبار داده Azure Synapse Analytics با مدل‌های داده بهینه‌شده
• دفترچه‌های Azure Databricks برای تحلیل‌های پیشرفته، ETL و یادگیری ماشین
• راه‌حل‌های تحلیلات در بلادرنگ با استفاده از Azure Stream Analytics یا استریم Azure Databricks
• داشبوردها و گزارش‌های Power BI برای هوش تجاری و حمایت از تصمیم‌گیری

مزایای پروژه:

• گردش‌های کاری ساده‌تر برای یکپارچه‌سازی و پردازش داده‌
• بهبود دقت، سازگاری و قابلیت اطمینان داده‌
• مقیاس‌پذیری و عملکرد بهبود یافته برای حجم کاری تجزیه و تحلیل.
• بینش‌های بلادرنگ برای تصمیم‌گیری فعال
• توانمندسازی کاربران کسب‌وکار با قابلیت‌های تجزیه سلف‌سرویس و گزارش‌دهی

نتیجه‌گیری:

این پروژه به‌دنبال نشان دادن قابلیت‌های خدمات Microsoft Azure برای ساخت یک پلتفرم داده مدرن است که داده‌ را از منابع مختلف یکپارچه کرده، تحلیل‌های پیشرفته‌ای را انجام می‌دهد و بینش‌های عملی را برای موفقیت کسب‌وکار فراهم می‌کند.

این دوره برای چه کسانی مناسب است؟

• علاقه‌مندان به مهندسی داده‌ Azure