پردازش داده‌های استریمی با پایتون

آنچه یاد خواهید گرفت

در دنیای داده محور امروز، پردازش و تحلیل بلادرنگ داده‌های استریمی برای کاربردهایی در امور مالی، اینترنت اشیا، تشخیص کلاهبرداری و موارد دیگر بسیار مهم است.

در این دوره، پردازش داده‌های استریمی با پایتون، توانایی ساخت بلادرنگ پایپ لاین های داده را با استفاده از پایتون و فریم‌ورک‌های محبوب استریمی خواهید آموخت.

ابتدا اصول پردازش داده‌های استریمی و دسته‌ای را بررسی خواهید کرد و مفاهیمی مانند تأخیر، ظرفیت و مدیریت state را درک خواهید نمود. در مرحله بعد، نحوه استریم کردن داده‌ها با استفاده از آپاچی کافکا با پایتون، از جمله تولید، consume و مدیریت کارآمد تاپیک‌های کافکا را خواهید آموخت. سپس، نحوه پیاده‌سازی پردازش بلادرنگ استریم با استفاده از Faust، یک جایگزین مبتنی بر پایتون برای استریم‌های کافکا، را خواهید آموخت. در نهایت، نحوه مقیاس‌بندی پردازش بلادرنگ با استفاده از PySpark Streaming و مدیریت کارآمد داده‌های استریم در مقیاس بزرگ را خواهید آموخت.

وقتی این دوره را به پایان برسانید، مهارت‌ها و دانش لازم برای ساخت پایپ لاین داده بلادرنگ با استفاده از پایتون برای کاربردهای استریمینگ را خواهید داشت.