تسلط به Azure Synapse - مهندسی داده End-to-End

آنچه یاد خواهید گرفت:

• راه‌اندازی حساب آژور، سابسکریپشن و منابع برای پروژه‌های مهندسی داده
• ایجاد و مدیریت پایپ‌لاین‌های Azure Synapse برای یکپارچه‌سازی داده‌ و اتوماسیون
• ساخت راه‌حل‌های مقیاس‌پذیر جذب داده از پایگاه داده‌ها، APIs، ذخیره‌سازی ابری و سیستم‌های On-premises
• پیاده‌سازی بارگذاری‌های افزایشی داده، تریگرهای مبتنی بر رویداد، Tumbling windows و اجراهای زمانبندی شده
• اعمال لاگ کردن، نوتیفیکیشن‌ها و مدیریت ایمن کلیدها برای تضمین قابلیت اطمینان و حاکمیت
• طراحی و اجرای تبدیلات داده شامل جوین‌ها، lookups و pivots و unpivots و تغییر آهسته ابعاد (SCD) نوع 1 و نوع 2
• یکپارچه‌سازی سرویس‌های خارجی مانند Snowflake و AWS S3 و REST APIs در پایپ‌لاین‌های Synapse
• استفاده از Synapse Notebooks، جداول خارجی و گزینه‌های کوئری پیشرفته برای تحلیل و اتوماسیون
• حل مسائل مهندسی داده واقعی با الگوهای پیشرفته پایپ‌لاین و وابستگی‌ها
• پیاده‌سازی استراتژی‌های بارگذاری کامل و افزایشی با استفاده از Lakehouses و Warehouses و تکنیک‌های رفرش خودکار
• طراحی jobs چندوابستگی با استفاده از فعالیت‌های پایپ‌لاین، تریگرها و ارکستراسیون فضای کاری
• ایجاد پایپ‌لاین‌های قابل استفاده مجدد با کامپوننت‌های پارامتریک برای جذب و تبدیل مقیاس‌پذیر

پیش‌نیازهای دوره

• هیچ تجربه قبلی لازم نیست. شما همه موارد را از پایه یاد خواهید گرفت.
• یک کامپیوتر با دسترسی به اینترنت
• درک اولیه از پایگاه داده‌ها (اصول SQL مانند جداول، کوئری ها و رویه‌های ذخیره‌ شده) مفید است اما اجباری نیست.
• آشنایی با مفاهیم ابری (ذخیره‌سازی، رایانش و مبانی شبکه‌سازی) مفید است اما اجباری نیست.
• هیچ دانش قبلی از پایپ‌لاین‌های Synapse یا جریان‌های داده لازم نیست. همه موارد گام‌به‌گام توضیح داده شده است.

توضیحات دوره

آیا برای تبدیل شدن به مهندس داده ماهر با استفاده از Azure Synapse آماده هستید؟

این دوره شما را به یک سفر کامل و عملی، از جذب داده تا تبدیل، ارکستراسیون و اتوماسیون واقعی می‌برد. چه یک مبتدی در حال بررسی پایپ‌لاین‌های داده ابری باشید و چه یک متخصص که به دنبال پیشرفت شغلی است، این دوره شما را با دانش و اعتمادبه‌نفس لازم برای کار بر روی پروژه‌های مهندسی داده end-to-end در آژور مجهز می‌کند.

شما با اصول آژور و Synapse شروع کرده و سپس به مفاهیم پیشرفته‌ مانند بارگذاری‌های افزایشی، تریگرها، ارکستراسیون، یکپارچه‌سازی‌های On-premises، جذب REST API، اتصال به Snowflake و AWS S3 و تبدیل داده با استفاده از Data Flows خواهید رسید. در پایان دوره، شما قادر خواهید بود راه‌حل‌های داده در سطح سازمانی را طراحی، ساخته و خودکار کنید.

آنچه این دوره پوشش می‌دهد:

• راه‌اندازی حساب آژور و بررسی Synapse Studio
• کپی داده‌ در چندین منبع (Blob ،SQL، دریاچه داده، REST APIs و Snowflake و AWS S3 و سیستم‌های On-prem)
• استفاده از فعالیت‌های پایپ‌لاین مانند Lookup، ForEach، GetMetadata، شرطی‌های If و پارامترها برای اتوماسیون
• پیاده‌سازی بارگذاری‌های افزایشی داده برای کارایی بیشتر
• کار با تریگرهای زمانبندی شده، Tumbling window، مبتنی بر رویداد و مبتنی بر وابستگی
• ایمن‌سازی پایپ‌لاین‌ها با یکپارچه‌سازی Key Vault و نظارت با لاگ‌های حسابرسی و نوتیفیکیشن‌ها
• تسلط به Data Flows - شامل جوین‌ها، فیلترها، Pivots و SCD و بررسی‌های کیفیت داده
• ساخت راه‌حل‌های end-to-end با پایپ‌لاین‌های تودرتو، الگوهای Master-child و نوتیفیکیشن‌ها
• استفاده از Synapse Notebooks با یوتیلیتی‌های اسپارک، جداول خارجی و استخرهای SQL اختصاصی

چرا این دوره را بگذرانیم؟

• راهنمایی گام‌به‌گام - بدون پیش‌فرض، همه موارد با جزئیات توضیح داده شده است.
• پروژه‌های واقعی که می‌توانید مستقیماً در شغل خود به کار ببرید.
• پوشش هر دو سطح مبانی و تکنیک‌های پیشرفته در یک دوره
• یادگیری نحوه انتقال، تبدیل و ارکستراسیون داده‌ در مقیاس بزرگ توسط سازمان‌ها در آژور
• کسب مهارت‌های آماده برای بازار کار جهت فعالیت به عنوان مهندس داده، توسعه‌دهنده BI یا متخصص ابر

در پایان دوره، شما فقط پایپ‌لاین‌های Synapse را درک نخواهید کرد، بلکه می‌توانید با اطمینان راه‌حل‌های داده سازمانی را طراحی، خودکارسازی و مدیریت کنید که مقیاس‌پذیر، کارآمد و آماده تولید هستند.

بیایید سفر مهندسی داده end-to-end خود را با Azure Synapse شروع کنیم.

این دوره برای چه کسانی مناسب است؟

• مهندسان داده و توسعه‌دهندگانی که به دنبال ایجاد تخصص در Azure Synapse برای پروژه‌های واقعی هستند.
• توسعه‌دهندگان ETL و ELT که می‌خواهند مهارت‌های خود را با استفاده از پایپ‌لاین‌های Cloud-native مدرن کنند.
• متخصصان هوش تجاری و تحلیل داده که نیاز به انتقال، تبدیل و اتوماسیون داده‌ در مقیاس بزرگ دارند.
• دانشجویان و مبتدیان در مهندسی داده که خواهان تمرین عملی با پایپ‌لاین‌ها، تریگرها، تبدیل‌ها و یکپارچه‌سازی‌ها هستند.
• مهندسان ابر که هدفشان یکپارچه‌سازی چندین منبع داده مانند SQL ،APIs ،AWS S3 ،Snowflake و سیستم‌های On-prem در Azure Synapse است.