پایتون، دیتابریکس و آپاچی اسپارک: مهندسی کامل ETL

آنچه یاد خواهید گرفت:

• ساخت تحلیل‌های یکپارچه سفارش در سطح طلایی و جوین‌های تحلیلی با کیفیت بالا
• انجام تحلیل توزیع مشتری، معیارهای فروشنده و دسته‌بندی محصول
• راه‌اندازی، ناوبری و مدیریت فضای کاری و رابط کاربری دیتابریکس
• درک چگونگی عملکرد دیتابریکس و چرایی پیشرو بودن آن به عنوان پلتفرمی برای مهندسی داده مدرن
• کار با اعتماد به نفس با نوت‌بوک‌ها، فایل‌ها و کلاسترهای محاسباتی دیتابریکس
• بهبود سرعت توسعه با استفاده از میانبرهای بهره‌وری و دستورات ضروری نوت‌بوک
• یادگیری معماری لیک‌هوس و الگوی طراحی داده مدالیون (برنز-نقره‌ای-طلایی)
• تسلط به اصول Delta Lake، شامل تراکنش‌های ACID و عملیات Delta Log
• استفاده از Unity Catalog برای حاکمیت متمرکز، مجوزها و سازمان‌دهی داده
• ایجاد و مدیریت کاتالوگ‌ها، اسکیماها، جداول و Volumes
• ساخت پایپ‌لاین‌های ETL با استفاده از آپاچی اسپارک و اعمال آن‌ها روی مجموعه داده واقعی
• بررسی و تبدیل مجموعه داده Olist از برنز خام به نقره‌ای تمیز
• تشخیص تکراری‌ها، داده گمشده، مشکلات اسکیما و اعمال بررسی‌های کیفیت داده
• پاکسازی و غنی‌سازی داده مشتریان، فروشندگان، محصولات، سفارشات، اقلام سفارش، پرداخت‌ها و نظرات
• حذف تکراری‌ها و اعتبارسنجی جداول جغرافیایی و مرجع در لایه نقره‌ای
• انجام تبدیل‌های تحلیلی برای گزارش‌دهی لایه طلایی
• یادگیری اصول پایتون، سینتکس و مفاهیم اصلی برنامه‌نویسی برای ساخت یک پایه کدنویسی قوی
• کار با اعتماد به نفس با متغیرها، انواع داده، لیست‌ها، دیکشنری‌ها، مجموعه‌ها، تاپل‌ها و سایر ساختارهای داده کلیدی
• نوشتن توابع، استفاده از حلقه‌ها و منطق شرطی، و به‌کارگیری کنترل جریان پایتون برای حل مسائل واقعی
• استفاده از ژوپیتر نوت‌بوک و نوشتن کد پایتون تمیز و حرفه‌ای با رعایت استانداردهای PEP8
• به‌کارگیری مهارت‌های پایتون در خودکارسازی، تحلیل داده و تسک های برنامه‌نویسی دنیای واقعی با اعتماد به نفس

پیش‌نیازهای دوره

• یک کامپیوتر سالم (ویندوز، مک یا لینوکس)
• اتصال اینترنت پایدار برای دسترسی به دیتابریکس
• درک اولیه از SQL (کوئری‌های پایه مانند SELECT   ،WHERE ،JOIN کافی است)
• علاقه به مهندسی داده و پایپ‌لاین‌های داده دنیای واقعی
• کنجکاوی درباره پلتفرم‌های ابری مدرن و گردش های کاری ETL در مقیاس بزرگ
• انگیزه برای ساخت پایپ‌لاین‌های کامل با استفاده از دیتابریکس و آپاچی اسپارک
• بدون نیاز به تجربه قبلی با دیتابریکس، اسپارک یا لیک‌هوس
• فقط شما، کیبوردتان و اشتیاق شما برای تبدیل شدن به یک مهندس داده!

توضیحات دوره

به دوره "پایتون، دیتابریکس و آپاچی اسپارک: مهندسی کامل ETL" خوش آمدید.

ساخت پایپ‌لاین‌های قدرتمند ETL با استفاده از پایتون، دیتابریکس و آپاچی اسپارک برای تبدیل داده خام به بینش‌های کسب و کار قابل اعتماد

پایتون یکی از قدرتمندترین و پرکاربردترین زبان‌های برنامه‌نویسی در مهندسی داده و تحلیل است. اکوسیستم غنی آن، شامل کتابخانه‌هایی مانند Pandas ،PySpark و NumPy، به شما اجازه می‌دهد تا داده را به طور کارآمد پردازش کنید، بار کاری را خودکار کنید و سیستم‌های ETL مقیاس‌پذیر بسازید.

دیتابریکس یک پلتفرم تحلیل و مهندسی داده یکپارچه است که برای ساده‌سازی پردازش کلان‌داده و گردش های کاری یادگیری ماشین طراحی شده است. این پلتفرم که بر پایه آپاچی اسپارک ساخته شده، محیطی بهینه برای ایجاد پایپ‌لاین‌های ETL قابل اعتماد و با کارایی بالا، نوت‌بوک‌های اشتراکی و حاکمیت داده در سطح سازمانی با Unity Catalog فراهم می‌کند.

در این دوره، هر آنچه برای تسلط به مهندسی داده با استفاده از پایتون، دیتابریکس و آپاچی اسپارک نیاز دارید، همراه با نمودارها، مثال‌های عملی و توسعه واقعی پایپ‌لاین ETL آموزش داده می‌شود.

این دوره که برای تمام سطوح مهارت طراحی شده، شما را گام‌به‌گام از مفاهیم مبتدی تا تکنیک‌های پیشرفته پیش می‌برد. با نمایش‌های عملی، توضیحات شفاف و پروژه‌های جذاب، به اجزای ضروری مهندسی داده مدرن مسلط خواهید شد.

این دوره شما را توانمند می‌سازد تا با بهره‌گیری کامل از پایتون و دیتابریکس، پایپ‌لاین‌های داده کارآمد و آماده تولید بسازید. شما مهارت‌های پاکسازی، تبدیل، اعتبارسنجی و تحلیل مجموعه داده بزرگ را به همراه تکنیک‌های حل مسئله برای مقابله با چالش‌های واقعی ETL کسب خواهید کرد — که به شما مزیت رقابتی در زمینه مهندسی داده می‌دهد.

آماده ساختن پایپ‌لاین‌های قدرتمند ETL با پایتون و دیتابریکس هستید؟ این دوره نقطه شروع کاملی است!

آنچه یاد خواهید گرفت:

معماری پایپ‌لاین ETL (پایتون و دیتابریکس):درک چگونگی عملکرد گردش های کاری ETL مدرن. یادگیری منطق نوت‌بوک دیتابریکس، جریان اجرای جاب (Job) اسپارک و تبدیل‌های مبتنی بر پایتون

مبانی پایتون برای مهندسی داده:تسلط به دستکاری داده با ضروریات پایتون، شامل Pandas، انواع داده، کار با فایل، توابع و گردش های کاری اتوماسیون.

فضای کاری و نوت‌بوک‌های دیتابریکس:یادگیری چگونگی ناوبری در رابط کاربری دیتابریکس، استفاده از نوت‌بوک‌ها، مدیریت فایل‌ها و پیکربندی کلاسترها برای بارهای کاری اسپارک

اصول آپاچی اسپارک:درک مفاهیم اصلی اسپارک — دیتافریم‌ها، ارزیابی تنبل، تبدیل‌ها، اکشن‌ها، پارتیشن‌ها و اجرای بهینه

Delta Lake و ذخیره‌سازی داده مدرن:یادگیری مفاهیم Delta Lake مانند تراکنش‌های ACID، عملیات Delta Log، سفر در زمان، تکامل اسکیما و ذخیره‌سازی بهینه

Unity Catalog و حاکمیت داده:کسب تجربه عملی با مدیریت امن داده، کاتالوگ‌ها، اسکیماها، جداول و مجوزها

پاکسازی و تبدیل داده (برنز ← نقره‌ای ← طلایی): تسلط به معماری مدالیون با استفاده از مجموعه داده واقعی. انجام حذف تکراری‌ها، مدیریت مقادیر گمشده، نرمال‌سازی، اعتبارسنجی و عملیات غنی‌سازی

پردازش داده پایتون + اسپارک:نوشتن کد PySpark کارآمد برای جوین‌ها، تجمیع‌ها، توابع پنجره‌ای و تبدیل‌های مقیاس بزرگ

بهینه‌سازی عملکرد (پایتون و اسپارک):یادگیری بهترین شیوه ها مانند پارتیشن‌بندی، کش کردن، Broadcast Joins و بهینه‌سازی کوئری

استقرار گردش های کاری ETL:درک زمان‌بندی جاب، Databricks Jobs، سیاست‌های کلاستر و بهترین روش‌های اتوماسیون

در پایان این دوره، در ساخت پایپ‌لاین‌های ETL مستحکم و مقیاس‌پذیر با پایتون و دیتابریکس اعتماد به نفس خواهید داشت و کاملاً برای مقابله با پروژه‌های مهندسی داده در دنیای واقعی آماده خواهید بود.

دیتابریکس چیست؟

دیتابریکس یک پلتفرم یکپارچه مبتنی بر ابر است که بر روی آپاچی اسپارک ساخته شده و برای ساده‌سازی مهندسی داده و تحلیل در مقیاس بزرگ طراحی شده است. این پلتفرم نوت‌بوک‌های اشتراکی، محاسبات مقیاس‌پذیر، ذخیره‌سازی Delta Lake و حاکمیت در سطح سازمانی را فراهم می‌کند.

پایتون چیست؟

پایتون یک زبان برنامه‌نویسی همه منظوره است که به طور گسترده در مهندسی داده برای اتوماسیون، پاکسازی، تبدیل و پردازش داده در مقیاس بزرگ از طریق فریم‌ورک‌هایی مانند PySpark استفاده می‌شود.

آپاچی اسپارک چیست؟

آپاچی اسپارک یک موتور پردازش توزیع‌شده است که برای بارهای کاری داده در مقیاس بزرگ ساخته شده است. این موتور ستون فقرات دیتابریکس است و ETL سریع، استریمینگ و یادگیری ماشین را در مقیاس بزرگ امکان‌پذیر می‌سازد.

چرا باید این دوره را بگذرانید؟

پاسخ ساده است: کیفیت آموزش

آکادمی OAK مستقر در لندن یک شرکت آموزش آنلاین است. آکادمی OAK در زمینه IT، نرم‌افزار، طراحی و توسعه به زبان‌های ترکی، انگلیسی، پرتغالی و بسیاری از زبان‌های دیگر در پلتفرم یودمی آموزش می‌دهد که در آن بیش از 2000 ساعت درس ویدیویی دارد.

هنگامی که در این دوره شرکت می‌کنید، تخصص توسعه‌دهندگان باتجربه آکادمی OAK را احساس خواهید کرد.

کیفیت تولید ویدیو و صدا

تمام محتوای ارائه شده به صورت ویدیو/صدا با کیفیت بالا تولید شده است تا بهترین تجربه یادگیری را برای شما فراهم کند.

شما:

• به وضوح خواهید دید.
• به وضوح خواهید شنید.
• بدون حواس‌پرتی در طول دوره پیش خواهید رفت.

همین حالا به بررسی دوره "پایتون، دیتابریکس و آپاچی اسپارک: مهندسی کامل ETL" بپردازید.

ساخت پایپ‌لاین‌های قدرتمند ETL با استفاده از پایتون، دیتابریکس و آپاچی اسپارک برای تبدیل داده خام به بینش‌های کسب و کار قابل اعتماد

این دوره برای چه کسانی مناسب است؟

• هر کسی که می‌خواهد مهندسی داده را از طریق گردش های کاری واقعی و کامل دیتابریکس یاد بگیرد.
• دانشجویان، تحلیلگران یا متخصصان علاقه‌مند به دیتابریکس، آپاچی اسپارک یا پلتفرم‌های داده مدرن
• کسانی که به دنبال راهنمای عملی برای ساخت پایپ‌لاین‌های ETL با استفاده از معماری لیک‌هوس و مدالیون (برنز-نقره‌ای-طلایی) هستند.
• هر کسی که کنجکاو است بداند سیستم‌های داده مقیاس بزرگ در سازمان‌های واقعی چگونه کار می‌کنند.
• فراگیرانی که می‌خواهند مهارت‌های پایتون و SQL خود را از طریق پروژه‌های مهندسی داده عملی تقویت کنند.
• مهندسان داده مشتاقی که به دنبال کسب تجربه آماده برای صنعت با اسپارک، Unity Catalog و اکوسیستم دیتابریکس هستند.