مدیریت مؤثر گردش کار با Apache Airflow

آنچه یاد خواهید گرفت

مدیریت گردش کار بدون زمان‌بندی مناسب، نظارت و بازیابی از شکست می‌تواند منجر به از دست رفتن تسک ها، تأخیر در پایپ لاین ها و اشکال‌زدایی طاقت‌فرسا شود. بدون شفافیت و انعطاف‌پذیری، حتی گردش کارهای ساده ممکن است در مقیاس بزرگ غیرقابل اعتماد شوند. در این دوره، مدیریت مؤثر گردش کار با Apache Airflow، می توانید گردش های کاری قابل اعتماد، زمان‌بندی‌شده و قابل مشاهده‌ای را با استفاده از امکانات زمان‌بندی، تکرار و مانیتورینگ Airflow ایجاد کنید.

ابتدا، نحوه‌ی زمان‌بندی گردش‌های کاری با استفاده از عبارات cron و timedelta را بررسی کرده و متوجه می شوید که چگونه تنظیماتی مانند start_date ،catchup و depends_on_past بر اجرا تأثیر می‌گذارند. در مرحله‌ی بعد، با پیکربندی تلاش‌های مجدد، تنظیم استراتژی‌های تأخیر و مدیریت اجراهای ناموفق مستقیماً از رابط کاربری، نحوه‌ی مدیریت شکست‌های تسک را می آموزید.

در نهایت یاد خواهید گرفت که چگونه با استفاده از رابط Airflow، بررسی گزارش‌ها، بررسی وضعیت تسک و درک جریان اجرا از طریق نمودارها و نماهای درختی، اجرای تسک ها را نظارت و اشکال‌زدایی کنید. وقتی این دوره را به پایان برسانید، مهارت‌ها و دانش لازم در مورد زمان‌بندی گردش کار و انعطاف‌پذیری در Apache Airflow را برای ساخت پایپ لاین داده خود-ترمیم شونده و آماده برای تولید، خواهید داشت.