مهندسی داده با Spark و Databricks و Delta Lake و Lakehouse

آنچه یاد خواهید گرفت:

• کسب مهارت‌های لازم برای ورود به موقعیت‌های شغلی مهندسی داده
• دستیابی به درک عملی از مفاهیم Data Lakehouse از طریق تجربه‌های کاربردی
• یادگیری کار با جداول Delta، شامل دسترسی به تاریخچه نسخه‌ها، بازیابی داده و استفاده از قابلیت Time Travel
• بهینه‌سازی جداول Delta با تکنیک‌هایی مانند Caching، Partitioning و Z-Ordering برای تحلیل سریع‌تر داده‌ها
• کسب دانش عملی در ساخت پایپ‌لاین داده با استفاده از Apache Spark بر روی پلتفرم Databricks
• انجام تحلیل داده در حساب کاربری Databricks روی پلتفرم AWS

پیش‌نیازهای دوره

• درک اولیه با مفاهیم پایگاه داده و کوئری‌های SQL

توضیحات دوره

مهندسی داده یکی از کامپوننت های حیاتی کسب‌وکارهای مدرن و داده‌محور است. توانایی پردازش، مدیریت و تحلیل مجموعه‌داده‌های بزرگ، یک نیاز اساسی برای سازمان‌هایی است که می‌خواهند در بازار رقابتی باقی بمانند. در این دوره، شما یاد می‌گیرید چگونه یک پایپ‌لاین داده را با استفاده از Apache Spark بر روی معماری Lakehouse پلتفرم Databricks بسازید. این دوره به شما تجربه عملی کار با Spark و مفاهیم Lakehouse را می‌دهد و شما را برای موفقیت در نقش یک مهندس داده در محیط‌های واقعی آماده می‌کند.

در طول این دوره، شما موارد زیر را خواهید آموخت:

• انجام تحلیل داده با استفاده از Python و Scala به همراه Spark
• استفاده از Spark SQL و Databricks SQL برای تحلیل داده.
• توسعه یک پایپ‌لاین داده با Apache Spark
• کسب مهارت در استفاده از نسخه Community پلتفرم Databricks
• مدیریت جداول Delta، شامل دسترسی به تاریخچه نسخه‌ها، بازیابی داده و استفاده از قابلیت Time Travel
• بهینه‌سازی عملکرد کوئری‌ها با استفاده از Delta Cache.
• کار با جداول Delta و سیستم فایل Databricks (DBFS)
• کسب بینش عمیق از سناریوهای واقعی با راهنمایی اساتید باتجربه

ساختار دوره:

• دوره با آشنایی شما با نسخه Community پلتفرم Databricks و ساخت یک پایپ‌لاین ساده با Spark آغاز می‌شود.
• پس از کسب تسلط به پلتفرم، به سراغ مباحث پیچیده‌تر خواهید رفت.
• تحلیل داده با Spark و با استفاده از زبان‌های Python و Scala را یاد می‌گیرید که شامل مباحثی چون transformations و actions و joins و Spark SQL و DataFrame APIs می‌شود.
• دانش و مهارت‌های لازم برای کار با جداول Delta، از جمله دسترسی به تاریخچه نسخه‌ها، بازیابی داده‌ها و استفاده از قابلیت Time Travel با کمک Spark و Databricks SQL را کسب می‌کنید.
• چگونگی استفاده از Delta Cache برای بهینه‌سازی عملکرد کوئری‌ها را درک خواهید کرد.

سرفصل‌های اختیاری در زمینه یکپارچه‌سازی با AWS:

• 'راه‌اندازی حساب Databricks بر روی AWS' و 'اجرای Notebookها در حساب Databricks روی AWS'.
• ساخت یک پایپ‌لاین ETL با استفاده از Delta Live Tables.
• این بخش‌ها فرصت‌های بیشتری برای کار با Databricks در اکوسیستم AWS فراهم می‌کنند.

این دوره برای مبتدیان حوزه مهندسی داده طراحی شده و نیازی به دانش قبلی Python و Scala ندارد. با این حال، آشنایی با پایگاه‌های داده و SQL برای موفقیت در این دوره ضروری است. پس از اتمام دوره، شما مهارت و دانش لازم برای موفقیت در یک موقعیت شغلی واقعی به عنوان مهندس داده را خواهید داشت.

در سراسر دوره، شما با مثال‌های عملی و سناریوهای واقعی کار خواهید کرد تا مفاهیم آموخته‌شده را به کار ببرید. در پایان، شما تجربه عملی و مهارت‌های مورد نیاز برای درک مفاهیم Spark و Lakehouse را کسب کرده و قادر خواهید بود یک پایپ‌لاین داده مقیاس‌پذیر و قابل‌اعتماد را با استفاده از Spark بر روی معماری Lakehouse پلتفرم Databricks بسازید.

این دوره برای چه کسانی مناسب است؟

• افراد مبتدی در حوزه مهندسی داده