غلبه بر مشکلات رایج عملکرد در Apache Spark

آنچه یاد خواهید گرفت:

• سه دلیل اصلی مشکلات عملکرد در Apache Spark
• چگونه مشکلات عملکرد ناشی از Shuffle در Apache Spark را رفع کنیم؟
• چگونه مشکلات عملکرد ناشی از Skew در Apache Spark را رفع کنیم؟
• چگونه مشکلات عملکرد ناشی از Spill در Apache Spark را رفع کنیم؟

پیش‌نیازهای دوره

• برنامه‌نویسی Apache Spark

توضیحات دوره

Spark یک فریم‌ورک قدرتمند برای پردازش موازی مجموعه داده‌های بزرگ است. اما، با معماری پیچیده، مشکلات عملکردی مکرر نیز به وجود می‌آید.

بر اساس تجربه مدرس، گشتن به دنبال منبعی آنلاین که با کلماتی بیان شده باشد که شما به طور کامل کارکردهای داخلی Spark و چگونگی رسیدگی به این مسائل را درک کنید، می‌تواند خسته‌کننده باشد. بنابراین، او این دوره را ایجاد کرد!

این یک دوره کدنویسی همزمان نیست. این دوره فرض می‌کند که شما از قبل می‌دانید چگونه در Spark کدنویسی کنید. در اینجا، در مورد چگونگی حل مشکلات عملکردی که در طول مسیر توسعه خود با آن‌ها مواجه می‌شوید صحبت می‌شود! تمام تئوری‌ها بررسی خواهند شد و شما گام‌های عملی برای حل مشکلات عملکرد خود خواهید داشت.

در این دوره، موارد زیر پوشش داده خواهند شد:

• معماری Apache Spark
• انواع حالت‌های استقرار در Apache Spark
• ساختار Jobها در Apache Spark
• چگونگی مدیریت سه دغدغه اصلی عملکرد در Spark

اگر هنوز نمی‌دانید چگونه در Spark کدنویسی کنید، می‌توانید به دوره فشرده 60 دقیقه‌ای مدرس در PySpark، در Udemy بپیوندید.

بیایید شروع به درک این موضوع کنیم که چرا اسکریپت‌های شما آنطور که انتظار دارید عمل نمی‌کنند و مشکلات عملکرد را با هم حل کنیم. Shuffle، Skew و Spill پس از این دوره، دغدغه‌های گذشته خواهند بود!

این دوره برای چه کسانی مناسب است؟

• توسعه‌دهندگان Spark که به دنبال بهبود عملکرد اسکریپت‌های خود هستند.