بهینه‌سازی عملکرد در Databricks

آنچه یاد خواهید گرفت

بهینه‌سازی عملکرد Databricks تضمین می‌کند که پردازش داده‌ها در جداول دلتا و خروجی‌های فایل parquet به طور کارآمد، مقیاس‌پذیر و مقرون به صرفه انجام شود. بهترین شیوه‌ها به مرور زمان تغییر می‌کنند و Databricks نیز در حال پیگیری این تغییرات برای جامعه متن‌باز است.

در این دوره، بهینه‌سازی عملکرد در Databricks، به بررسی دلایل و راه‌حل‌های مشکلات عملکردی مانند داده‌های نامتعادل و کوئری‌های با پردازش طولانی می‌پردازید. در ابتدا، استراتژی‌هایی مانند z-ordering و استفاده از متد optimize برای ذخیره‌سازی فشرده داده‌ها را متوجه می شوید. سپس، تکنیک‌های بهینه‌سازی کوئری را یاد خواهید گرفت، که از آن جمله می توان به بهترین شیوه‌ها برای نوشتن SQL کارآمد و استراتژی‌های پارتیشن بندی برای کاهش زمان اجرا اشاره کرد.

در پایان، پیکربندی کلاسترها را برای تخصیص منابع، انتخاب اندازه کلاستر مناسب با قابلیت مقیاس‌پذیری خودکار و استفاده از گزینه‌های پردازش Databricks مانند Photon را برای افزایش سرعت پردازش بررسی خواهید کرد.

با پایان این دوره ضمن کمینه کردن هزینه ها، مهارت‌های لازم برای بهینه‌سازی عملکرد فرآیندها و بهبود محیط Databricks را خواهید داشت.