مسترکلاس Apache Airflow: ساخت پروژه‌های واقعی

آنچه یاد خواهید گرفت:

• Apache Airflow را از سطح مبتدی تا سطح تولید درک کنید.
• به DAGها، Taskها، Operatorها، Hookها، Sensorها و XCom مسلط شوید.
• معماری Airflow را یاد بگیرید: Scheduler، Webserver، اجراکننده‌ها، Workers و Metadata DB
• DAGها را با استفاده از API مدرن TaskFlow همراه با دموهای واقعی بنویسید.
• زمان‌بندی، تلاش‌های مجدد، لاگ کردن، نظارت و بهترین شیوه های تولید را مدیریت کنید.
• Task Groupها، Dynamic Task Mapping و مدیریت وابستگی‌ها را پیاده‌سازی کنید.
• یک خط‌لوله سرتاسری کاملاً خودکار در Airflow با استفاده از APIهای زنده بسازید.
• معماری Medallion را اعمال کنید: لایه‌های Bronze → Silver → Gold
• داده‌ افزایشی را پردازش کنید، در پایگاه‌داده بارگذاری کنید و مجموعه‌داده‌ آماده‌ی BI بسازید.
• مثل یک مهندس داده حرفه‌ای در پروژه‌های واقعی فکر و کار کنید.

پیش‌نیازهای دوره

• دانش اولیه برنامه‌نویسی Python
• آشنایی با ابزارهای خط فرمان مفید است، اما الزامی نیست.
• درک پایگاه‌داده یا SQL یک امتیاز محسوب می‌شود.
• یک کامپیوتر که بتواند Docker و Python را به‌صورت محلی اجرا کند.
• تمایل به دنبال کردن تمرین‌های کدنویسی زنده
• هیچ تجربه قبلی با Airflow لازم نیست.
• دسترسی به یک ویرایشگر کد مانند VS Code

توضیحات دوره

Apache Airflow یکی از پرتقاضاترین ابزارها در مهندسی داده مدرن، مهندسی تحلیل و پلتفرم‌های داده پشتیبان است. این دوره یک مسترکلاس کامل و متمرکز بر تولید برای Apache Airflow است که شما را از یک مبتدی مطلق به یک کاربر مطمئن و حرفه‌ای Airflow در دنیای واقعی تبدیل می‌کند.

این یک آموزش کوتاه یا مرور سطحی نیست. ابتدا Apache Airflow را از الف تا ی یاد می‌گیرید و می‌فهمید که واقعاً در پشت صحنه چگونه کار می‌کند. سپس این دانش را با ساخت یک پروژه کامل مهندسی داده سرتاسری با استفاده از گردش‌کارهای واقعی داده به‌کار می‌گیرید.

بخش 1: دوره کامل Apache Airflow (مبتدی تا پیشرفته)

در بخش اول دوره، از ابتدا شروع می‌کنیم و به‌تدریج به مفاهیم پیشرفته و آماده تولید می‌رسیم. هر درس به‌صورت شفاف ساختاربندی شده و با کاربردهای واقعی هماهنگ است.

شما یاد خواهید گرفت:

• Apache Airflow چیست، چرا استفاده می‌شود و چه زمانی باید یا نباید از آن استفاده کرد؟
• بلوک‌های اصلی سازنده: DAGها، Taskها، Operatorها، Hookها، Sensorها و XCom
• توضیح کامل و تصویری معماری Airflow، شامل Scheduler، Webserver، اجراکننده، Workers و Metadata Database
• اجراکننده‌های مختلف Airflow (Local، Celery، Kubernetes) و چگونگی انتخاب گزینه مناسب
• نصب و اجرای Apache Airflow با استفاده از Docker و راه‌اندازی محلی
• ناوبری و استفاده مؤثر از رابط کاربری Airflow
• نوشتن DAGها با استفاده از API مدرن TaskFlow
• بررسی عمیق operatorها همراه با دموهای واقعی (Python ،Bash ،Cloud و Sensorها)
• Variables ،Connections ،Secrets و بهترین شیوه های پیکربندی
• جزئیات داخلی XCom، اشتباهات رایج و الگوهای نادرست
• مفاهیم زمان‌بندی شامل syntax کرون، timetableها، catchup و backfill
• Task Groupها و Dynamic Task Mapping با مثال‌های عملی
• مدیریت خطا، تلاش‌های مجدد، لاگ کردن، نظارت و بهترین شیوه های تولید

تا پایان این بخش، Airflow را مانند یک مهندس داده فعال درک خواهید کرد، نه فقط کسی که نمونه DAGها را کپی می‌کند.

بخش 2: پروژه واقعی مهندسی داده سرتاسری

در بخش دوم دوره، یک پروژه کامل و واقعی مهندسی داده را با استفاده از Apache Airflow می‌سازیم.

شما یک خط‌لوله خودکار خواهید ساخت که:

• داده زنده عملیات پرواز را از APIهای خارجی دریافت می‌کند.
• معماری Medallion را پیاده‌سازی می‌کند:
• لایه Bronze برای دریافت خام
• لایه Silver برای داده پاک‌سازی و نرمال‌شده
• لایه Gold برای KPIهای آماده تحلیل
• داده را در بازه‌های زمانی مشخص و به‌صورت افزایشی پردازش می‌کند.
• داده تحلیلی را در یک انبار داده ابری بارگذاری می‌کند.
• تلاش‌های مجدد، خطاها، وابستگی‌ها و اجرای مجدد را به‌صورت ایمن مدیریت می‌کند.
• مجموعه‌داده آماده تحلیل و مناسب برای داشبوردها تولید می‌کند.

این پروژه دقیقاً بر الگوها، هماهنگ‌سازی و تحلیل تمرکز دارد؛ همان‌طور که تیم‌های واقعی مهندسی داده کار می‌کنند.

این دوره برای چه کسانی است؟

• مبتدیانی که می‌خواهند Apache Airflow را از ابتدا و به‌درستی یاد بگیرند.
• تحلیل‌گران داده که به دنبال ورود به نقش‌های مهندسی داده هستند.
• مهندسان داده‌ای که برای پروژه‌ها یا مصاحبه‌های واقعی آماده می‌شوند.
• مهندسان تحلیلی که با ابزارهای هماهنگ‌سازی کار می‌کنند.
• هر کسی که به دانش Airflow در سطح تولید نیاز دارد، نه فقط تئوری

پس از پایان این دوره، قادر خواهید بود:

• پایپ لاین های Airflow آماده تولید را طراحی و پیاده‌سازی کنید.
• معماری Airflow و انتخاب اجراکننده‌ها را با اطمینان درک کنید.
• DAGهای تمیز و قابل نگهداری را با استفاده از بهترین روش‌های مدرن بنویسید.
• پایپ لاین‌های داده سرتاسری را با استفاده از APIها و گردش‌کارهای واقعی بسازید.
• مثل یک مهندس داده حرفه‌ای فکر کنید، نه دنبال‌کننده آموزش‌ها

این دوره با رویکردی عملی و مبتنی بر دنیای واقعی ساخته شده و برای هر کسی که می‌خواهد Apache Airflow را فراتر از سطح مقدماتی به‌طور جدی یاد بگیرد، ایده‌آل است.

این دوره برای چه کسانی مناسب است؟

• مبتدیانی که می‌خواهند Apache Airflow را از ابتدا یاد بگیرند.
• تحلیل‌گران داده که به دنبال ورود به نقش‌های مهندسی داده هستند.
• مهندسان داده مشتاق یا تازه‌کار که هدفشان پروژه‌های تولید است.
• مهندسان تحلیلی که می‌خواهند به ارکستراسیون گردش‌کار مسلط شوند.
• مهندسان پشتیبان که به ساخت پایپ لاین های داده علاقه‌مندند.
• حرفه‌ای‌هایی که برای مصاحبه‌های متمرکز بر Airflow آماده می‌شوند.
• هر کسی که به دنبال تجربه عملی با پایپ لاین‌های واقعی است.
• هر کسی که جدی است و می‌خواهد یک مهندس داده مطمئن و واقعی شود.