اصول Apache Airflow

آنچه یاد خواهید گرفت:

• چگونگی ساخت و زمان‌بندی گردش‌کارها با Apache Airflow
• مفاهیم اصلی DAGها، تسک‌ها، اپراتورها و زمان‌بندی
• مدیریت خطا، تلاش‌های مجدد و مقاوم‌سازی گردش‌کارها در برابر خطا
• تضمین idempotency و استحکام در پایپ‌لاین‌های داده
• استفاده از سنسورها برای انتظار سیستم‌ها یا رویدادهای خارجی
• ارکستراسیون جاب‌های Apache Spark درون Airflow
• اتصال Airflow به منابع داده خارجی
• دریافت داده‌ها در یک Data Lake با خودکارسازی

انتقال داده از نقطه A به نقطه B تنها بخشی از کار است. اطمینان از اینکه داده‌ها به طور قابل اعتماد، خودکار و در زمان مناسب می‌رسند؟ اینجاست که Apache Airflow وارد می‌شود.

این دوره به شما می‌آموزد که چگونه پایپ‌لاین‌های نامرتب و دستی را به گردش‌کارهای تمیز و ارکستر شده تبدیل کنید. شما ساده شروع خواهید کرد - با درک اینکه Airflow چه کاری انجام می‌دهد و چگونه کار می‌کند - سپس به سراغ تکنیک‌های پیشرفته‌تر مانند تلاش‌های مجدد، مدیریت ظریف خطاها، استفاده از سنسورها و کار با Apache Spark خواهید رفت. همچنین یاد خواهید گرفت که چگونه دریافت داده از منابع خارجی به Data Lake خود را خودکار کنید.

چه تازه وارد حوزه مهندسی داده شده باشید و چه به دنبال تقویت مهارت‌های ارکستراسیون خود باشید، این دوره ابزارهای عملی را برای قابل اعتماد و مقیاس‌پذیر کردن پایپ‌لاین‌های داده به شما می‌دهد.

صبر کنید... Byte چیست؟

دوره های Byte دوره‌های کوتاه‌تری هستند که به شما امکان می‌دهند مهارت‌ها و دانش خود را تنها در یک روز ارتقا دهید!

یادگیری سخت است. و گاهی اوقات شما فقط به یک یادگیری سریع نیاز دارید، درست است؟ برای یادگیری چیزی عالی، جالب و مرتبط با اهداف شغلی‌تان.

به همین دلیل است که مدرسان Bytes را ایجاد کرده‌اند.

نتیجه نهایی چیست؟

این دوره درباره مطالب سطحی و بیهوده نیست.

در عوض، این دوره شما را از یک مبتدی کامل به درک نحوه استفاده از Apache Airflow در سطحی عمیق‌تر می‌رساند.