مفاهیم دیتابریکس (Databricks)

قدرت لیک‌هاوس را بیاموزید در دنیای امروز که مملو از داده است، به ابزارهایی نیاز داریم که تا حد امکان امکان تصمیم‌گیری داده محور را فراهم کنند. این دوره از ابتدا تا انتها شما را راهنمایی می‌کند که چگونه پلتفرم دیتابریکس لیک‌هاوس، یک بستر یکپارچه، مقیاس‌پذیر و پربازده برای فرآیندهای داده شما ارائه می‌دهد. کار کردن با یک مجموعه داده واقعی به شما می‌آموزد که چگونه تسک های متنوعی را درون پلتفرم دیتابریکس انجام دهید. شما دوره را با یادگیری چگونگی مدیریت پلتفرم دیتابریکس و اطمینان از راه‌اندازی امن محیط کاری خود آغاز خواهید کرد.

مهندسی داده مقیاس‌پذیر را تمرین کنید پس از راه‌اندازی فضای کاری، یاد خواهید گرفت که چگونه با استفاده از دیتابریکس، پایپ لاین های داده قدرتمندی ایجاد کنید. شما تبدیل‌های مختلفی را روی مجموعه داده اعمال خواهید کرد و آن را در یک معماری مدالیون از لایه Bronze به Silver و سپس Gold منتقل خواهید نمود. خواهید آموخت که چگونه خوشه‌های دیتابریکس، قدرت محاسباتی آماده و مقیاس‌پذیری را فراهم می‌کنند. یک گردش کار end-to-end در دیتابریکس راه‌اندازی خواهید کرد تا کل پایپ لاین داده خود را خودکارسازی کنید.

لیک‌هاوس را به عنوان انبار داده خود استفاده کنید بخش کلیدی معماری لیک‌هاوس این است که می‌توانید فضای ذخیره‌سازی داده خود را مانند یک انبار داده سنتی کوئری کنید. در این بخش، خواهید آموخت که چگونه Databricks SQL عملکرد مورد نظر شما برای انباره‌داری داده را روی دریاچه داده شما ارائه می‌دهد. یاد خواهید گرفت که چگونه با استفاده از استاندارد ANSI SQL، کوئری ایجاد کنید و از نتایج آن برای ساخت داشبوردهای موقت در برابر کل مجموعه داده خود استفاده نمایید.

علم داده و یادگیری ماشین تحت حاکمیت را پیاده‌سازی کنید در نهایت، خواهید آموخت که چگونه دیتابریکس مجموعه کاملی از ابزارها برای موارد استفاده علم داده و یادگیری ماشین فراهم می‌کند. با استفاده از چارچوب یکپارچه MLFlow برای MLOps، یاد خواهید گرفت که مدل‌های خود را ردیابی و ارزیابی کنید. خواهید آموخت که Feature Store و Model Registry فرآیند ایجاد مدل‌های یادگیری ماشین با کیفیت آماده تولید را ساده می‌کنند. در پایان، با استفاده از قابلیت‌های داخلی سرویس‌دهی مدل، چگونگی استقرار و نظارت بر مدل‌های خود را فرا خواهید گرفت.