آموزش Apache Airflow 3 - بوت‌کمپ کامل [همراه با پروژه‌ها]

آنچه یاد خواهید گرفت:

• درک معماری Airflow و کامپوننت‌های اصلی آن - DAG Processor، پایگاه داده متادیتا، Scheduler ،Executor، وب سرور، Workers و نحوه تعامل آن‌ها با یکدیگر
• ساخت 2 پروژه‌ end-to-end شامل AWS S3 و Spark و Databricks و AWS Glue و APIs و موارد دیگر تا یادگیری‌ شما تثبیت شود و تجربه‌ عملی قوی به دست آورید.
• ساخت DAGs حرفه‌ای و استاندارد صنعت با استفاده از TaskFlow API مدرن برای وابستگی‌های پیچیده، برنچینگ و subDAGs
• یادگیری XCOMها و kwargs برای ارتباط بین تسک‌ها و انتقال داده بین تسک‌ها در DAGs
• تسلط به عملگرها و هوک‌ها برای تعامل با سیستم‌های خارجی مانند پایگاه‌ داده‌ها، APIs و سرویس‌های ابری
• زمانبندی DAGs با Cron و Delta Triggers و تریگرهای مبتنی بر رویداد و پوشش موارد استفاده‌ واقعی آنها
• نظارت و عیب‌یابی DAGs با استفاده از رابط کاربری Airflow، لاگ‌ها و متریک‌ها تا از قابلیت اطمینان آنها مطمئن شوید.
• ایجاد اتصال‌ها در Airflow تا اعتبارنامه‌های سیستم‌های خارجی را به‌ صورت امن ذخیره کنید.
• پیاده‌سازی بارگذاری افزایشی داده و Backfill کردن DAGs برای مدیریت داده‌ تاریخی
• پیاده‌سازی مکانیزم‌های مدیریت خطا و Retry تا گردش‌کارهای قوی و مقاوم در برابر داشته باشید.
• توسعه دارایی‌های Airflow تا پایپ‌لاین‌های آگاه از داده بسازید و وابستگی‌های داده را به‌ طور مؤثر مدیریت کنید.
• مقیاس‌بندی Airflow با چندین worker و صف تا حجم کاری توزیع شود و عملکرد بهینه شود.

پیش‌نیازهای دوره

• دانش پایه‌ پایتون نیاز است.
• دانش پایه‌ SQL نیاز است.
• هیچ دانش قبلی از Apache Airflow لازم نیست (همه‌ موارد از پایه پوشش داده می‌شود.)

توضیحات دوره

این یک بوت‌کمپ کامل Apache Airflow 3 است که در 2026 برای تبدیل شدن به توسعه‌دهنده‌ حرفه‌ای Apache Airflow به آن نیاز دارید.

چه مبتدی باشید و چه یک فرد شاغل که می‌خواهد مهارت‌های خود را ارتقا دهد، این دوره شما را گام‌به‌گام با درس‌هایی عملی، کاربردی و جذاب (با تصویرسازی‌ها) همراهی می‌کند.

کسب تجربه‌ عملی قوی در موارد زیر:

• اصول و معماری Airflow - اصول Airflow را یاد بگیرید و درک کنید که DAG Processor، پایگاه داده متادیتا، Scheduler ،Executor، وب سرور و Workers چگونه با هم کار می‌کنند تا پایپ‌لاین‌های داده را ارکستره کنند.
• نوشتن DAG - به TaskFlow API مدرن مسلط شوید تا DAGs پیچیده با وابستگی‌ها، برنچینگ و subDAGs را برای گردش‌کارهای داده‌ واقعی بسازید. XCOMs و kwargs را برای ارتباط بین تسک‌ها و انتقال داده بین تسک‌ها در DAGs یاد بگیرید.
• عملگرها و هوک‌ها - یاد بگیرید چگونه از عملگرها و هوک‌های داخلی برای تعامل با سیستم‌های خارجی مانند پایگاه‌ داده‌ها، APIs و سرویس‌های ابری استفاده کنید. connectors سفارشی بسازید تا با هر سیستمی یکپارچه شوید.
• زمانبندی و تریگرها - DAGs خود را با استفاده از Cron، تریگرهای دلتا و تریگرهای مبتنی بر رویداد و بازه‌های زمانی مشخص زمانبندی کنید تا طیف گسترده‌ای از موارد استفاده‌ واقعی را پوشش دهید.
• بارگذاری افزایشی و Backfilling - استراتژی‌های بارگذاری افزایشی را پیاده‌سازی کرده و داده‌ تاریخی را backfill کنید تا پایپ‌لاین‌های شما بتوانند هم داده‌ جدید و هم داده‌ موجود را به‌ طور مؤثر مدیریت کنند.
• نظارت و عیب‌یابی - از رابط کاربری Airflow، لاگ‌ها و متریک‌ها برای نظارت بر DAGs، شناسایی مشکلات و عیب‌یابی خطاها استفاده کنید تا اجرای قابل‌ اعتماد پایپ لاین تضمین شود.
• امنیت و Retry - اتصال‌ها را در Airflow ایجاد کنید تا اعتبارنامه‌های سیستم‌های خارجی را به‌ صورت امن ذخیره کنید. مکانیزم‌های مدیریت خطا و Retry را پیاده‌سازی کنید تا گردش‌کارهای قوی و مقاوم در برابر خطا داشته باشید.
• دارایی‌های Airflow و مقیاس‌پذیری - دارایی‌های Airflow را توسعه دهید تا پایپ‌لاین‌های آگاه از داده بسازید و وابستگی‌های داده را به‌طور مؤثر مدیریت کنید. Airflow را با چندین worker و صف مقیاس‌پذیر کنید تا حجم کاری توزیع شود و عملکرد بهینه شود.
• پروژه‌های end-to-end - علاوه بر این، 2 پروژه‌ واقعی با یکپارچه‌سازی AWS S3 و Spark و Databricks و AWS Glue و APIs و موارد دیگر بسازید تا یادگیری شما با کاربردهای واقعی Airflow عملی‌تر شود.

آنچه دوره را منحصربه‌فرد می‌کند؟

• درس‌های بسیار جذاب - اینجا خبری از تئوری خسته‌کننده نیست. ما هر مفهوم را با مثال‌های واقعی و تصویرسازی‌ها به شکلی روشن و مناسب مبتدیان توضیح می‌دهیم.
• بررسی عمیق هر موضوع - ما فقط به سطح موضوعات نمی‌پردازیم. شما «دلیل» و «چگونگی» پشت هر قابلیت را درک خواهید کرد.
• تمرکز قوی بر کار عملی - شما با انجام دادن یاد می‌گیرید. هر فصل شامل تعداد زیادی تمرین عملی است تا درک شما تثبیت شود و مهارت‌های واقعی به دست آورید.

این دوره برای چه کسانی مناسب است؟

• کسی که می‌خواهد Apache Airflow را یاد بگیرد و به توسعه‌دهنده‌ Airflow تبدیل شود.