آموزش ETL و پایپ‌لاین‌های داده با شل، Airflow و کافکا

آنچه یاد خواهید گرفت:

• توصیف و مقایسه‌ فرآیندهای استخراج، تبدیل، بارگذاری (ETL) و استخراج، بارگذاری و تبدیل (ELT)
• توضیح حالت‌های اجرایی دسته‌ای در مقابل همزمان
• پیاده‌سازی گردش کار ETL از طریق توابع bash و پایتون
• توصیف کامپوننت‌های پایپ‌لاین داده، فرآیندها، ابزارها و فناوری‌ها

توضیحات دوره

شما به بررسی دو رویکرد متفاوت در تبدیل داده‌ خام به داده‌ آماده برای تحلیل می‌پردازید. یک رویکرد، فرایند استخراج، تبدیل و بارگذاری (ETL) است. رویکرد دیگر، فرآیند استخراج، بارگذاری و تبدیل (ELT) است. فرآیندهای ETL به انبارهای داده و بازارهای داده مربوط می‌شوند. فرآیندهای ELT به دریاچه‌های داده مربوط می‌شوند، جایی که داده‌ بر اساس تقاضا توسط اپلیکیشن فراخوانی و درخواست‌کننده تبدیل می‌شوند.

در این دوره، شما با ابزارها و تکنیک‌های مختلفی که در ETL و پایپ‌لاین‌های داده استفاده می‌شوند، آشنا خواهید شد. هم ETL و هم ELT، داده‌ را از سیستم‌های منبع استخراج کرده، آنها را از طریق پایپ‌لاین داده منتقل کرده و در سیستم‌های مقصد ذخیره می‌کنند. در طول دوره، نحوه‌ تفاوت پردازش‌های ELT و ETL را تجربه کرده و یوزکیس‌ها را برای هر دو شناسایی خواهید کرد. شما متدها و ابزارهای استفاده شده برای استخراج داده، ادغام داده‌ استخراج‌شده چه به صورت منطقی و چه به صورت فیزیکی و بارگذاری داده در مخازن داده را درک خواهید کرد.

شما همچنین تبدیلاتی که باید روی داده‌ منبع اعمال شود تا داده‌ معتبر، متناسب و برای کاربران داده قابل دسترسی باشد، تعریف خواهید کرد. شما قادر خواهید بود برخی از متدهای متعدد برای بارگذاری داده‌ در سیستم مقصد، اعتبارسنجی کیفیت داده، نظارت بر شکست‌های بارگذاری و استفاده از مکانیزم‌های بازیابی در صورت بروز ترسیم را بیان کنید.

در پایان دوره، شما همچنین یاد می‌گیرید که چگونه از Apache Airflow برای ساخت پایپ‌لاین‌های داده استفاده کنید و با مزایای استفاده از این رویکرد آشنا خواهید شد. همچنین یاد می‌گیرید که چگونه از آپاچی کافکا برای ایجاد پایپ‌لاین‌های استریمینگ استفاده کنید و نیز با کامپوننت‌های اصلی کافکا که شامل: بروکرها، تاپیک‌ها، پارتیشن‌ها، رپلیکیشن‌ها، producers و consumers است آشنا خواهید شد.

در نهایت، شما یک پروژه‌ نهایی قابل اشتراک‌گذاری را تکمیل خواهید کرد که به شما امکان می‌دهد مهارت‌هایی که در هر ماژول به دست آورده‌اید را نمایش دهید.