شروع به کار با Apache Airflow

آنچه یاد خواهید گرفت:

مدیریت گردش کارهای داده پیچیده بدون ارکستراسیون، به سرعت منجر به شکست‌ها، گلوگاه‌ها و ناکارآمدی‌ها می‌شود. فرآیندهای دستی به خصوص در تیم‌های در حال رشد و مجموعه‌های داده بزرگ دشوار می‌شود تا پیگیری، نگهداری و مقیاس‌پذیریشان صورت گیرد.

در این دوره، «شروع به کار با Apache Airflow»، شما توانایی orchestrate کردن گردش کارها و مدیریت اجرای تسک را با استفاده از چارچوب انعطاف‌پذیر و مقیاس‌پذیر Apache Airflow خواهید کسب کرد.

ابتدا، نحوه نصب و پیکربندی Apache Airflow در محیط توسعه محلی، درک معماری آن و راه‌اندازی وب سرور و scheduler را بررسی خواهید کرد.

سپس، یاد خواهید گرفت چگونه DAGها – گردش کارهای دایرکت شده Airflow – را با استفاده از اپراتورهای Bash و Python بنویسید و اجرا کنید.

سپس، نحوه ارتباط تسک ها، نظارت بر اجرای آن‌ها از طریق UI، و اشکال‌زدایی ران‌های شکست یافته به‌طور مؤثر را کشف خواهید کرد.

سرانجام، مفاهیم زمان‌بندی مانند schedule_interval ،start_date ،catchup و تریگر کردن دستی را کاوش می‌کنید؛ کنترل کامل بر زمان و نحوه اجرای گردش کارها در دست شماست.

وقتی این دوره را تمام کنید، مهارت و اعتماد به‌نفس لازم برای راه‌اندازی و مدیریت محیط‌های مطمئن Airflow و ساخت پایپ لاین های آماده تولیدی که خودکار، قابل مشاهده و نگهداری‌شده‌اند، خواهید داشت.