مقدمه جامع و عملی درباره Apache Airflow 3

معرفی
سرفصل

✅ سرفصل و جزئیات آموزش

آنچه یاد خواهید گرفت:

ساخت پلاگین‌ها برای افزودن قابلیت‌های جدید به Apache Airflow
استفاده از Docker همراه با Airflow و انواع مختلف اجرکنندگان (Executors)
تسلط به امکانات اصلی مانند DAGها، Operators ،Tasks ،Workflows و غیره
درک و پیاده‌سازی مفاهیم پیشرفته‌ی Apache Airflow مانند XCOMs ،Branching و SubDAGs
تفاوت بین Executors محلی، Sequential و Celery، نحوه عملکرد آن‌ها و چگونگی استفاده از آن‌ها
کاربرد Apache Airflow در اکوسیستم بزرگی داده با Hive ،PostgreSQL ،Elasticsearch و دیگران
نصب و پیکربندی Apache Airflow
تفکر، پاسخ‌دهی و پیاده‌سازی راه‌حل‌های مرتبط با مشکلات واقعی پردازش داده با استفاده از Airflow

پیش‌نیازهای دوره

حداقل 8 گیگابایت حافظه
تجربه قبلی در برنامه‌نویسی یا اسکریپت‌نویسی. تجربه در زبان Python به شدت مفید است، هرچند این زبان بسیار ساده است و اگر آشنا نباشید، نباید کار زیاد سختی باشد.

توضیحات دوره

Apache Airflow یک پلتفرم متن‌باز است که برای ایجاد، زمان‌بندی و نظارت بر گردش کارها به صورت برنامه‌نویسی طراحی شده است. اگر مجموعه‌ای از ETLها برای مدیریت دارید، استفاده از Airflow الزامی است.

در این دوره، تمامی موارد لازم برای شروع به کار با Apache Airflow 3 را از طریق ویدئوهای نظری و عملی یاد خواهید گرفت.

در ابتدای دوره با مفاهیمی پایه‌ای مانند موارد زیر آشنا می شوید:

Apache Airflow چیست؟
مفاهیم اصلی در Airflow
معماری‌های مختلف برای اجرای Airflow
زمانی که یک Workflow اجرا می‌شود چه اتفاقی می‌افتد

سپس اولین pipeline داده‌ی خود را ایجاد می‌کنید، که شامل ویژگی‌های متعددی از Airflow است، از جمله:

سنسورها برای انتظار شرایط خاص
هاک‌ها برای تعامل با پایگاه داده‌ها
Taskflow برای نوشتن DAG‌های کارآمد و قابل خواندن
XCOMs برای اشتراک‌گذاری داده‌ها

و موارد دیگر. در پایان پروژه، شما آماده ساختن و طراحی جریان‌های کاری خود خواهید بود.

پس از پایان پروژه، با سینتکس Asset جدید آشنا می‌شوید که کاملاً نحوه تفکر شما درباره Tasks در Airflow 3 را تغییر می‌دهد:

Asset چیست؟
چگونه وابستگی‌ها بین Assets تعریف کنیم؟
چگونه یک Asset را مادی‌سازی کنیم؟

و موارد دیگر. همچنین، شما با انواع مختلف اجرکنندگان برای اجرای Airflow در ابعاد بزرگ آشنا می‌شوید، به خصوص CeleryExecutor که بسیار محبوب است:

چگونه Airflow را برای استفاده از CeleryExecutor پیکربندی کنیم؟
چگونه تسک های خود را بر روی Workerهای مختلف توزیع کنیم؟
چگونه برای Workerهای خود Queue تعریف کنیم؟

و موارد دیگر. در ادامه، ویژگی‌های پیشرفته را بررسی می‌کنید تا DAG‌های خود را به سطحی جدید برسانید و در انتها، ایجاد یک ارائه‌دهنده (provider) جدید برای Airflow و یک دکوراتور (decorator) جدید برای اجرای درخواست‌های SQL را انجام می‌دهید.

اگر در شرکتی با Airflow کار می‌کنید، قطعاً این بخش مورد علاقه‌تان خواهد بود.

این دوره برای چه کسانی مناسب است؟