بهینهسازی عملکرد در Databricks
✅ سرفصل و جزئیات آموزش
آنچه یاد خواهید گرفت
بهینهسازی عملکرد Databricks تضمین میکند که پردازش دادهها در جداول دلتا و خروجیهای فایل parquet به طور کارآمد، مقیاسپذیر و مقرون به صرفه انجام شود. بهترین شیوهها به مرور زمان تغییر میکنند و Databricks نیز در حال پیگیری این تغییرات برای جامعه متنباز است.
در این دوره، بهینهسازی عملکرد در Databricks، به بررسی دلایل و راهحلهای مشکلات عملکردی مانند دادههای نامتعادل و کوئریهای با پردازش طولانی میپردازید. در ابتدا، استراتژیهایی مانند z-ordering و استفاده از متد optimize برای ذخیرهسازی فشرده دادهها را متوجه می شوید. سپس، تکنیکهای بهینهسازی کوئری را یاد خواهید گرفت، که از آن جمله می توان به بهترین شیوهها برای نوشتن SQL کارآمد و استراتژیهای پارتیشن بندی برای کاهش زمان اجرا اشاره کرد.
در پایان، پیکربندی کلاسترها را برای تخصیص منابع، انتخاب اندازه کلاستر مناسب با قابلیت مقیاسپذیری خودکار و استفاده از گزینههای پردازش Databricks مانند Photon را برای افزایش سرعت پردازش بررسی خواهید کرد.
با پایان این دوره ضمن کمینه کردن هزینه ها، مهارتهای لازم برای بهینهسازی عملکرد فرآیندها و بهبود محیط Databricks را خواهید داشت.
بهینهسازی عملکرد در Databricks
-
ساختار جدول دلتا 2m 50s
-
دمو: پر کردن جدول دلتا 4m 31s
-
پارتیشن بندی جداول دلتا 1m 13s
-
دمو: پارتیشن بندی جداول دلتا 3m 40s
-
بهینهسازیهای کلاستر اسپارک و استفاده از کشینگ 1m 35s
-
دمو: کشینگ 3m 7s
-
بهینهسازی و z-ordering 1m 45s
-
دمو: OPTIMIZE و VACUUM 2m 52s
-
مقیاسپذیری خودکار 1m 41s
-
دمو: مقیاسپذیری خودکار 2m 20s
-
پیکربندی Pool های کلاستر 50s
-
دمو: استفاده از Pool برای کلاسترها 3m 7s
-
گلوگاههای عملکرد 2m 1s
-
دمو: گزینههای گلوگاههای عملکرد 2m 37s
-
نظارت بر مسائل عملکرد 1m 17s
مشخصات آموزش
بهینهسازی عملکرد در Databricks
- تاریخ به روز رسانی: 1404/06/21
- سطح دوره:مقدماتی
- تعداد درس:15
- مدت زمان :00:35:34
- حجم :114.0MB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy