آموزش dbt روی Databricks

آنچه یاد خواهید گرفت:

• تجربه‌ عملی با dbt Cloud و dbt Core، شامل راه‌اندازی، ارکستراسیون و استقرار در سناریوهای واقعی
• درک و پیاده‌سازی مدل‌ها، منابع و seed های dbt در محیط Databricks برای تبدیلات کارآمد داده
• یادگیری استفاده از توابع و ماکروهای Jinja برای ایجاد کد SQL پویا و قابل استفاده مجدد در پروژه‌های dbt
• تسلط به متریال‌سازی جداول و بارگذاری داده‌ افزایشی برای بهینه‌سازی گردش‌کارها و عملکرد داده
• توسعه شیوه‌های جامع تست و مستندسازی برای اطمینان از کیفیت داده و شفافیت پروژه در dbt

پیش‌نیازهای دوره

• درک قوی از Databricks، شامل معماری Lakehouse
• آشنایی با SQL
• دانش رایانش ابری (حداقل یکی از آژور، GCP یا AWS)
• دسترسی به حساب پلتفرم ابری (حداقل یکی از آژور، GCP یا AWS)
• آگاهی از کنترل نسخه (اختیاری)

توضیحات دوره

آیا آماده‌اید تا تمام پتانسیل پایپ‌لاین‌های تحلیل داده خود را کشف کنید؟ دوره «dbt روی Databricks» یک دوره‌ کامل است که برای حرفه‌ای‌های داده طراحی شده تا مهارت‌های خود را در تبدیل داده با استفاده از dbt (ابزار بیلد داده) در پلتفرم Databricks تقویت کنند و از قدرت آپاچی اسپارک برای گردش‌کارهای مقیاس‌پذیر و کارآمد بهره ببرند.

در حالی که Databricks قابلیت‌های قوی پردازش داده را ارائه می‌دهد، dbt این تجربه را با فراهم کردن یک فریمورک برای تبدیلات SQL مبتنی بر کنترل نسخه، ماژولار و قابل تست تقویت می‌کند. این ترکیب از قدرت آپاچی اسپارک برای گردش‌کارهای مقیاس‌پذیر استفاده می‌کند و در عین حال کدها را تمیزتر، قابل نگهداری و قابل استفاده مجدد نگه می‌دارد.

این دوره هم dbt Cloud و هم dbt Core را پوشش می‌دهد و مهارت‌های چندمنظوره‌ای را برای هر محیط به یادگیرندگان می‌آموزد.

این دوره چه مواردی را پوشش می‌دهد:

• آشنایی با dbt و مفاهیم کلیدی - شروع با یک بررسی عمیق از dbt، قالب‌های Jinja و YAML برای پیکربندی - درک می‌کنید که چگونه این ابزارها در کنار هم برای ساده‌سازی تبدیل داده به کار می‌روند.
• راه‌اندازی محیط - راهنمایی گام‌به‌گام برای پیکربندی dbt Cloud با Databricks، اصول کنترل نسخه و آشنایی با کامپوننت‌های اصلی و پایپ‌لاین‌های داده
• مدل‌سازی داده و تبدیلات داده - بررسی معماری داده چندلایه، شامل مدل‌های برنز، نقره‌ای و طلا - یادگیری رویکردهای عملی برای ارجاع‌دهی به منابع، پیکربندی اسکیما و ایجاد پایپ‌لاین‌های داده کارآمد با استفاده از فرمان‌های dbt
• تست و اعتبارسنجی پیشرفته - پیاده‌سازی بررسی‌های کیفیت داده قوی از طریق تست‌های جنریک و جداگانه، انتقال از سینتکس تست به تست‌های داده و یکپارچه‌سازی پکیج‌های dbt مانند dbt_utils برای قابلیت بیشتر
• Jinja، ماکروها و توابع سفارشی - تسلط به هنر کد قابل استفاده مجدد و مقیاس‌پذیر با سینتکس Jinja و ماکروها - کسب مهارت‌های لازم برای دستکاری مدل‌های داده به صورت پویا، تغییر اسکیماها و توسعه منطق سفارشی برای یوزکیس‌های خاص
• توضیحات متریال‌سازی - درک استراتژی‌های مختلف متریال‌سازی شامل جداول، views، بارهای افزایشی و اسنپ‌شات‌ها - بررسی سناریوهای خاص مانند SCD نوع 2 برای جداول ابعادی و بروزرسانی‌های افزایشی برای جداول فکت
• گردش‌کارهای استقرار و تولید - راه‌اندازی محیط dbt آماده تولید روی Databricks، مدیریت jobs و استقرار مدل‌ها به‌ طور بی‌نقص - یادگیری پیکربندی متغیرهای محیطی و هدف‌گذاری متغیرها برای ساده‌سازی گردش‌کارهای CI/CD
• توسعه با dbt Core - تجربه انعطاف‌پذیری dbt Core از طریق راه‌اندازی‌های محلی پروژه، یکپارچه‌سازی گیت‌هاب و ناوبری خط فرمان، در حالی که بهترین شیوه‌ها برای کنترل نسخه و همکاری را یاد می‌گیرید.
• عیب‌یابی و تکنیک‌های پیشرفته - کسب بینش‌هایی درباره نحوه مدیریت مشکلات رایج اتصال، بهینه‌سازی عملکرد پروژه و مقیاس‌پذیری حجم‌های کاری روی Databricks

مخاطب هدف:

این دوره برای مهندسان داده، تحلیلگران و معمارانی طراحی شده که با SQL آشنا هستند و می‌خواهند مهارت‌های خود را در تبدیل داده با استفاده از dbt روی پلتفرم Databricks ارتقا دهند. دانش ابتدایی از پایتون، گیت و محیط‌های داده مبتنی بر ابر توصیه می‌شود.

چرا این دوره را بگذرانید؟

با پروژه‌های عملی، تمرینات راهنما و منابع قابل دانلود، این دوره مهارت‌های عملی را توسعه می‌دهد که می‌توانند به چالش‌های واقعی داده نزدیک شوند. در پایان دوره، تسلط به ساخت، تست و استقرار پایپ‌لاین‌های داده قوی، یادگیرندگان را به عنوان حرفه‌ای‌های متخصص داده برای مدیریت گردش‌کارهای تحلیل پیچیده متمایز خواهد کرد.

این دوره برای چه کسانی مناسب است؟

• این دوره برای توسعه‌دهندگان Databricks، مهندسان داده و حرفه‌ای‌های تحلیل داده مناسب است که می‌خواهند از dbt برای تبدیلات کارآمد داده استفاده کنند و تخصص خود را در گردش‌کارهای داده مدرن افزایش دهند.