آموزش فرآیندهای ETL از MS SQL به Databricks Spark برای مهندسان داده

آنچه یاد خواهید گرفت:

• درک چگونگی عملکرد Databricks و چرایی پیشرو بودن آن به عنوان پلتفرمی برای مهندسی داده مدرن
• راه‌اندازی، ناوبری و مدیریت محیط کاری و رابط کاربری Databricks
• کار با اعتماد به نفس با Notebookها، فایل‌ها و خوشه‌های محاسباتی در Databricks
• افزایش سرعت توسعه با استفاده از میان‌برهای بهره‌وری و دستورات ضروری Notebook
• مدیریت فایل و Notebook و یادگیری معماری Lakehouse و الگوی طراحی داده Medallion (برنز-نقره-طلا)
• تسلط به اصول Delta Lake، شامل تراکنش‌های ACID و عملیات Delta Log
• استفاده از Unity Catalog برای حاکمیت متمرکز، مدیریت دسترسی‌ها و سازماندهی داده‌
• ایجاد و مدیریت کاتالوگ‌ها، شماتیک‌ها، جدول‌ها و Volumeها
• ساخت پایپ لاین‌های ETL با استفاده از Apache Spark و اعمال آن‌ها روی مجموعه‌داده واقعی
• بررسی و تبدیل مجموعه‌داده Olist از وضعیت خام به پاک‌سازی شده (نقره)
• شناسایی داده تکراری، مقادیر گم‌شده، مشکلات شماتیک و اعمال بررسی‌های کیفیت داده
• پاک‌سازی و غنی‌سازی داده مشتریان، فروشندگان، محصولات، سفارش‌ها، اقلام سفارش، پرداخت‌ها و نظرات
• حذف داده تکراری و اعتبارسنجی جداول جغرافیایی و مرجع در لایه نقره
• انجام تبدیل‌های تحلیلی برای گزارش‌دهی در لایه طلا
• تحلیل توزیع مشتریان، معیارهای فروشندگان و دسته‌بندی محصولات
• ساخت تحلیل‌های یکپارچه سفارش در سطح طلا و Joinهای تحلیلی با کیفیت بالا
• شروع یادگیری از ابتدا و آموزش تمام مباحث MS SQL Server همراه با مثال
• یادگیری اصول SQL با استفاده از SSMS (SQL Server Management Studio)
• استفاده از فرمان های SQL برای فیلتر کردن، مرتب‌سازی و دستکاری رشته‌ها، تاریخ‌ها و داده عددی از منابع مختلف
• مدیریت امتیازات کاربر، فرمان های دسترسی و نقش‌ها
• یادگیری چگونگی ایجاد، تغییر و حذف جداول

پیش‌نیازهای دوره

• فقط شما، کیبوردتان و اشتیاق برای تبدیل شدن به یک مهندس داده!
• بدون نیاز به تجربه قبلی در Databricks ،Spark یا Lakehouse
• انگیزه برای ساخت پایپ لاین‌های کامل از ابتدا تا انتها با استفاده از Databricks و Apache Spark
• کنجکاوی درباره پلتفرم‌های ابری مدرن و گردش های کاری ETL در مقیاس بزرگ
• علاقه به مهندسی داده و پایپ لاین‌های داده در دنیای واقعی
• درک اولیه از Python (توابع، حلقه‌ها، متغیرها - فقط در حد ضروریات)
• اتصال اینترنت پایدار برای دسترسی به Databricks
• یک کامپیوتر (ویندوز، مک یا لینوکس)

توضیحات دوره

به دوره «آموزش ETL از MS SQL به Databricks Spark برای مهندسان داده» خوش آمدید.

یاد بگیرید که چگونه MS SQL، Databricks و Spark را برای طراحی گردش های کاری قابل اعتماد ETL جهت آماده‌سازی داده برای تحلیل‌های مدرن ادغام کنید.

MS SQL Server یکی از پرکاربردترین سیستم‌های پایگاه داده رابطه‌ای در جهان است. این سیستم محیطی قدرتمند برای ذخیره‌سازی داده، کوئری، بهینه‌سازی و تحلیل‌های سطح سازمانی فراهم می‌کند. با T-SQL، می‌توانید پرس‌وجوهای پیچیده بنویسید، ساختارهای رابطه‌ای را مدیریت کنید و داده را برای بارهای کاری ETL پایین‌دستی آماده کنید.

Databricks یک پلتفرم یکپارچه تحلیل و مهندسی داده است که بر پایه Apache Spark ساخته شده و برای پردازش داده در مقیاس بزرگ، گردش های کاری ETL و توسعه مشارکتی طراحی شده است. این پلتفرم امکان تبدیل کارآمد داده، ذخیره‌سازی Delta Lake و حاکمیت در سطح سازمانی را از طریق Unity Catalog فراهم می‌کند.

در این دوره، مدرس شما را با تمام مواردی که برای تسلط به مهندسی داده با استفاده از MS SQL ،Databricks و Apache Spark نیاز دارید، آشنا می‌کند. این مسیر با نمودارها، مثال‌های عملی و توسعه واقعی پایپ لاین ETL همراه خواهد بود.

این دوره که برای تمامی سطوح مهارتی طراحی شده است، شما را گام‌به‌گام از مفاهیم مقدماتی تا تکنیک‌های پیشرفته مهندسی داده پیش می‌برد. با نمایش‌های عملی، توضیحات شفاف و پروژه‌های جذاب، به اجزای ضروری گردش های کاری مدرن ETL مسلط خواهید شد.

این دوره با بهره‌گیری کامل از MS SQL و Databricks، شما را برای ساخت پایپ لاین‌های داده قابل اعتماد و آماده برای تولید توانمند می‌سازد. شما مهارت‌های پاک‌سازی، استخراج، تبدیل، اعتبارسنجی و بهینه‌سازی داده را در کنار تکنیک‌های حل مسئله برای چالش‌های واقعی ETL کسب خواهید کرد که مزیت رقابتی قدرتمندی در حوزه مهندسی داده به شما می‌دهد.

برای ساخت پایپ لاین‌های قدرتمند ETL با MS SQL و Databricks آماده‌اید؟ این دوره نقطه شروع ایده‌آل شماست!

آنچه خواهید آموخت:

معماری پایپ لاین ETL (MS SQL و Databricks): درک چگونگی عملکرد گردش های کاری مدرن ETL. یادگیری پیش‌پردازش‌های مبتنی بر SQL، منطق Notebookهای Databricks و جریان اجرای Spark Job

مبانی MS SQL برای مهندسی داده: تسلط به کوئری های SQL ،Joinها، Subqueryها، Viewها، Stored Procedureها، Triggerها، Constraintها، ایندکس‌گذاری و بهینه‌سازی عملکرد

محیط کاری و Notebookهای Databricks: یادگیری چگونگی پیمایش در رابط کاربری Databricks، مدیریت پایگاه‌های داده، استفاده از Notebookهای مشارکتی و پیکربندی خوشه‌ها

اصول Apache Spark: درک Spark DataFrameها، ارزیابی تنبل، تبدیل‌ها، اکشن‌ها، پردازش توزیع‌شده و روش‌های اجرای بهینه

Delta Lake و مفاهیم ذخیره‌سازی مدرن: یادگیری ویژگی‌های Delta Lake مانند تراکنش‌های ACID، لاگ دلتا، تکامل شماتیک، Upsertها و سفر در زمان 

Unity Catalog و حاکمیت داده: تجربه عملی در مدیریت امن داده، کاتالوگ‌ها، شماتیک‌ها، جداول، دسترسی‌ها و رهگیری داده 

پاک‌سازی و تبدیل داده (برنز ← نقره ← طلا): تسلط به معماری Medallion با استفاده از داده واقعی. انجام حذف داده تکراری، مدیریت داده گم‌شده، نرمال‌سازی، اعتبارسنجی و عملیات غنی‌سازی

پردازش داده با SQL + Spark: ترکیب پیش‌پردازش‌های MS SQL با تبدیل‌های Spark برای ETL مقیاس‌پذیر در مجموعه‌داده بزرگ

بهینه‌سازی عملکرد (SQL و Spark): یادگیری ایندکس‌گذاری SQL، تنظیم پرس‌وجو، نقشه‌های اجرا، پارتیشن‌بندی Spark، کش کردن، Broadcast Joinها و بهترین روش‌های بهینه‌سازی

استقرار گردش های کاری ETL: درک زمان‌بندی کارها، Databricks Jobs، سیاست‌های خوشه و تکنیک‌های اتوماسیون

در پایان این دوره، در ساخت پایپ لاین‌های ETL مستحکم و مقیاس‌پذیر با MS SQL و Databricks اعتماد به نفس کامل خواهنی داشت و برای مقابله با پروژه‌های واقعی مهندسی داده آماده می‌شوید.

Databricks چیست؟

Databricks یک محیط یکپارچه مبتنی بر ابر است که بر پایه Apache Spark ساخته شده و برای پردازش داده در مقیاس بزرگ، ETL و تحلیل طراحی شده است. این پلتفرم Notebookهای مشارکتی، محاسبات مقیاس‌پذیر، ذخیره‌سازی Delta Lake و ابزارهای حاکمیتی قوی ارائه می‌دهد.

MS SQL Server چیست؟

MS SQL Server یک سیستم مدیریت پایگاه داده رابطه‌ای است که برای ذخیره داده ساختاریافته، نوشتن کوئری های پیچیده، بهینه‌سازی عملکرد و پشتیبانی از تحلیل‌های سطح سازمانی و گردش های کاری ETL استفاده می‌شود.

Apache Spark چیست؟

Apache Spark یک موتور پردازش داده توزیع‌شده است که برای ETL سریع و مقیاس‌پذیر، تحلیل، استریمینگ و بارهای کاری یادگیری ماشین ساخته شده است. Databricks قدرت Spark را با اجرای بهینه و ویژگی‌های آماده برای سازمان افزایش می‌دهد.

چرا باید این دوره را انتخاب کنید؟

پاسخ ساده است: کیفیت آموزش. آکادمی OAK مستقر در لندن، یک شرکت آموزش آنلاین است که در زمینه‌های IT، نرم‌افزار، طراحی و توسعه به زبان‌های مختلف در پلتفرم یودمی فعالیت می‌کند و بیش از 2000 ساعت محتوای ویدیویی دارد. با ثبت‌نام در این دوره، تخصص توسعه‌دهندگان باسابقه آکادمی OAK را لمس خواهید کرد.

کیفیت تولید ویدیو و صدا: تمام محتوای ما با کیفیت بالا تولید شده تا بهترین تجربه یادگیری را برای شما فراهم کند. شما مطالب را به وضوح خواهید دید، صدا را شفاف خواهید شنید و بدون عوامل حواس‌پرتی در دوره پیش خواهید رفت.

مدرس از شما دعوت می‌کند همین حالا در دوره «آموزش ETL از MS SQL به Databricks Spark برای مهندسان داده» غرق شوید و یاد بگیرید چگونه سیستم‌های مدرن را ادغام کنید.

این دوره برای چه کسانی مناسب است؟

• هر کسی که می‌خواهد مهندسی داده را از طریق گردش های کاری واقعی و کامل Databricks یاد بگیرد.
• مهندسان داده مشتاق که به دنبال کسب تجربه آماده برای صنعت در Spark ،Unity Catalog و اکوسیستم Databricks هستند.
• زبان‌آموزانی که می‌خواهند مهارت‌های Python و SQL خود را از طریق پروژه‌های عملی مهندسی داده تقویت کنند.
• هر کسی که کنجکاو است بداند سیستم‌های داده در مقیاس بزرگ در سازمان‌های واقعی چگونه کار می‌کنند.
• کسانی که به دنبال راهنمایی عملی برای ساخت پایپ لاین‌های ETL با استفاده از معماری Lakehouse و Medallion هستند.
• دانشجویان، تحلیل‌گران یا متخصصان علاقه‌مند به Databricks Apache Spark یا پلتفرم‌های داده مدرن