ساخت پایپ لاین ETL با PySpark

آنچه یاد خواهید گرفت

مجموعه‌های داده بزرگ را با ابزارهای سنتی ETL می‌توان به‌صورت کند، ناکارآمد و مقیاس‌پذیری دشوار در دسترس قرار داد. PySpark فریمورک محاسبات توزیع‌شده قدرتمندی ارائه می‌دهد که به‌صورت کارآمد داده‌های بزرگ را پردازش می‌کند، اما شروع کار ممکن است بدون راهنمایی مناسب چالش‌برانگیز باشد.

در این دوره، ساخت پایپ لاین ETL با PySpark، توانایی طراحی و پیاده‌سازی گردش های کاری مقیاس‌پذیر ETL را با استفاده از PySpark کسب خواهید کرد.

ابتدا، روش استخراج داده از منابع متعدد، از جمله فرمت‌های ساختاریافته و بدون ساختار مانند CSV ،JSON و Parquet را بررسی خواهید کرد.

سپس می‌آموزید چگونه داده را با استفاده از عملیات قدرتمند DataFrame در PySpark، شامل فیلتر کردن، تجمیع و مدیریت مقادیر گمشده، تبدیل و پاکسازی کنید.

در نهایت، یاد می گیرید چگونه با بهینه‌سازی عملکرد از طریق پارتیشن بندی، bucketing و بروزرسانی‌های افزایشی، داده‌های پردازش‌شده را به‌صورت کارآمد در مقصدهای مختلف بارگذاری کنید.

با پایان این دوره، مهارت‌ها و دانش PySpark ETL را به دست می آورید که برای ساخت پایپ لاین داده مقیاس‌پذیر و با عملکرد بالا در اپلیکیشن های واقعی نیاز است.