کوپایلت تبدیل داده Prophecy برای مهندسی داده

در این دوره Databricks و مهندسی داده اسپارک را می آموزید تا تبدیل داده سلف سرویس و توسعه سریع پایپ لاین را انجام دهید.

آنچه یاد خواهید گرفت

• پارادایم data lakehouse را برای یک شرکت تجارت الکترونیک می آموزید و طراحی می کنید.
• محیط لابراتوار عملی با این دوره فراهم شده است.
• یک معماری medallion را با استفاده از Prophecy که روی Databricks اجرا می شود، پیاده و مستقر می کنید.
• آپاچی اسپارک و بهترین شیوه های آن را با یوزکیس های واقعی درک می کنید.
• کامپوننت های پایپ لاین را با متخصصان داده و تحلیلگران به اشتراک می گذارید و گسترش می دهید.
• پایپ لاین ها را برای تولید و CI/CD و بهترین شیوه ها مستقر می کنید.
• از کنترل نسخه و مدیریت تغییر در مهندسی داده استفاده می کنید.
• check های کیفیت داده و تست های واحد را مستقر می کنید.

توضیحات دوره

ما با مرحله‌ بندی داده‌ جذب شده از پلتفرم‌ های اپلیکیشنی مانند Salesforce، پایگاه‌ داده های عملیاتی با داده‌ تراکنشی CDC و داده‌ تولید شده توسط ماشین مانند لاگ ها و متریک ها شروع خواهیم کرد. ما می خواهیم جداول جذب شده را پاکسازی و نرمال سازی کنیم تا یک مدل داده کامل، تمیز و کارآمد تهیه کنیم. از آن مدل داده، ما چهار پروژه ایجاد می‌ کنیم که اپلیکیشن های consumption را برای یوزکیس های واقعی مختلف ایجاد می‌ کنند.

با هر یک از پروژه ها، مطالب جدیدی یاد خواهید گرفت:

• ما یک اکسپورت spreadsheet برای بخش مالی شما ایجاد می کنیم، جایی که مفاهیم مدل سازی و تبدیل داده را بررسی خواهیم کرد. از آنجایی که بخش مالی واقعاً به کیفیت داده اهمیت می دهد، ما همچنین در مورد نحوه راه اندازی تست های واحد و تست های یکپارچه سازی برای حفظ کیفیت بالا یاد خواهیم گرفت.
• ما یک سیستم هشداردهی برای تیم پشتیبانی عملیاتی شما ایجاد خواهیم کرد تا از موفقیت مشتری اطمینان حاصل کنیم، جایی که می خواهیم در مورد بهترین شیوه های ارکستراسیون بیاموزیم.
• آپلود داده‌ فروش که می‌ تواند به Salesforce بازگردانده شود، جایی که ما مفاهیم توسعه‌ پذیری پیشرفته را بررسی خواهیم کرد که به ما امکان می‌ دهد شیوه‌ های استاندارد شده را ایجاد و دنبال کنیم.
• یک داشبورد مستقیماً در Databricks برای تیم محصول شما برای نظارت بر استفاده لایو - در اینجا ما موارد زیادی در مورد مشاهده پذیری و کیفیت داده یاد می گیریم.

این دوره برای چه کسانی مناسب است؟

• مهندسان داده، دانشمندان داده، تحلیلگران داده، معماران داده، رهبران داده و رهبران مهندسی داده