بهینه‌سازی ذخیره‌سازی و عملکرد در Azure Databricks با Delta Lake

آنچه یاد خواهید گرفت

data lakeهای مدرن اغلب با مشکلات کیفیت داده، اسکیمای ناسازگار و عملکرد ضعیف هنگام پردازش داده‌های دسته‌ای و استریمی روبه‌رو می‌شوند. بدون یک فرمت ذخیره‌سازی ساختارمند و قابل اعتماد، ساختن جریان‌های کاری تحلیلی قابل اعتماد و قابل نگهداری دشوار است. در این دوره، بهینه‌سازی فضای ذخیره‌سازی و عملکرد در Azure Databricks با Delta Lake، می توانید با استفاده از فرمت Delta Lake، داده‌های با مقیاس بزرگ را به‌صورت مؤثر مدیریت و اجرا کنید.

ابتدا، اصول بنیادی Delta Lake را بررسی می‌کنید که شامل نقش آن در معماری Lakehouse، چگونگی ساخت بر پایه Parquet همراه با لاگ‌های تراکنشی، و حمایت از تراکنش‌های ACID و اجرای اسکیما است.

سپس، روش کار عملی با Delta Lake را یاد می‌گیرید که شامل تبدیل داده‌ها به فرمت Delta، انجام عملیات دسته‌ای و استریمی، و مدیریت تکامل اسکیما با استفاده از آپاچی اسپارک است.

در نهایت، یاد می گیرید چگونه عملکرد Delta Lake را با استفاده از امکاناتی مانند Z-ordering، پرش داده، و کشینگ بهینه‌سازی و یکپارچگی داده را با Time Travel، سیاست‌های نگهداری، و ابزارهای نظارتی نیتیو Azure حفظ کنید.

پس از اتمام این دوره، مهارت‌ها و دانش لازم در مورد Delta Lake روی Azure را خواهید داشت تا با اطمینان آن را به‌عنوان لایه‌ای بنیادی برای جریان‌های داده‌ای قابل اعتماد، مقیاس‌پذیر، و به‌خوبی مدیریت‌شده استفاده کنید.