پروژه کامل Databricks بر روی Google Cloud (GCP)

آنچه یاد خواهید گرفت:

• راه‌اندازی Databricks بر روی Google Cloud (GCP) شامل فضای کاری، Unity Catalog، کلاسترها، و یکپارچه‌سازی با GCS
• پیاده‌سازی معماری Medallion (Bronze ،Silver Gold) با استفاده از PySpark و Databricks Auto Loader برای جریان‌بندی ساختار یافته
• ساخت پایپ لاین های ETL ابتدا تا انتها که داده خام را بارگذاری، تبدیل، و جدول‌های طلایی آماده کسب‌وکار برای تحلیل ایجاد می‌کند.
• اتوماسیون گردش های کاری و سازماندهی پایپ لاین ها در Databricks با وظایف پارامتری‌سازی‌شده و فراخوانی‌گرهای ورود فایل
• یکپارچه‌سازی GitHub با Databricks و مدیریت ارتقای کد در محیط‌های Dev ،UAT و PRD با استفاده از pull requests
• تحلیل داده ترافیک جاده‌ای واقعی برای استخراج بینش‌هایی مانند مناطق شلوغ، روند پذیرش EV، و الگوهای حجم ترافیک سالانه

پیش نیازهای دوره

• دانش اولیه با SQL ،PySpark و مفاهیم داده.
• علاقه‌مندی به یادگیری عملی با پروژه واقعی – تجربه قبلی در Databricks الزامی نیست!

توضیحات دوره

• آیا به دنبال تسلط به Databricks بر روی Google Cloud (GCP) در یک پروژه واقعی و ابتدا تا انتها هستید؟ این دوره برای ارائه تجربه عملی با یکی از پر تقاضای مهارت‌های مهندسی داده طراحی شده است: ساخت پایپ لاین های داده مقیاس‌پذیر با استفاده از Databricks ،PySpark، و معماری Medallion
• در این پروژه، نقش یک آژانس حمل و نقل دولتی را برای تحلیل داده ترافیک جاده‌ای بر عهده می‌گیریم. خواهید آموخت چگونه مجموعه داده زیرساخت جاده را مدیریت کنید، شمارش ترافیک از حسگرها را پردازش کنید، و بینش‌هایی مثل مناطق شلوغ، روند پذیرش EV، و حجم ترافیک سالانه را استخراج کنید.
• ابتدا Databricks را بر روی GCP راه‌اندازی می‌کنیم، باکت‌ها، مکان‌های خارجی و Unity Catalog را ایجاد می‌کنیم و سپس گام به گام از لایه‌های Bronze ،Silver، و Gold با استفاده از Auto Loader و Structured Streaming عبور می‌کنیم. تجربه عملی در پایپ لاین های استخراج، تبدیل و تجمیع داده را کسب خواهید کرد.
• دوره همچنین فراتر از توسعه، به پوشش کاراکان کاری، یکپارچه‌سازی GitHub و شیوه‌های CI/CD می‌پردازد. یاد می‌گیرید چگونه محیط‌های Dev، UAT و Production را راه‌اندازی کنید، کد را با استفاده از برنچ‌های Git مدیریت کنید و پایپ لاین ها را با pull request به بالا برسانید – دقیقا همانند پروژه‌های صنعتی واقعی
• در پایان این دوره، نه تنها یک پروژه آماده برای پورتفوی خود ساخته‌اید، بلکه با دانش عملی و مفاهیم آماده مصاحبه برای موقعیت‌های مهندسی داده‌ای که شامل Databricks و GCP هستند، مجهز خواهید شد.
• چه مبتدی باشید یا حرفه‌ای فعال، این دوره مبتنی بر پروژه تضمین می‌کند که از طریق عمل یاد بگیرید – و با اعتماد به نفس در هر دو مهارت فنی و کاربردهای واقعی به پایان برسید.

این دوره برای چه کسانی مناسب است؟

• مهندسان داده آینده که می‌خواهند برای موفق شدن در مصاحبه‌ها تجربه عملی و کاربردی کسب کنند.
• حرفه‌ای‌های ابر (GCP/Azure/AWS) که به دنبال گسترش توانمندی‌هایشان در زمینه Databricks و معماری Medallion هستند.
• دانشجویان و مبتدیان در مهندسی داده که می‌خواهند پروژه‌ی واقعی و هدایت‌شده‌ای به پورتفوی خود اضافه کنند.