دوره آموزشی
The Great Courses
دوبله زبان فارسی

بوت‌کمپ کامل Databricks و PySpark - صفر تا صد

بوت‌کمپ کامل Databricks و PySpark - صفر تا صد

✅ سرفصل و جزئیات آموزش

آنچه یاد خواهید گرفت:

  • ساخت پایپ‌لاین‌های مهندسی داده end-to-end در Databricks با استفاده از PySpark و SQL
  • درک و پیاده‌سازی معماری مدالیون (لایه‌های برنزی، نقره‌ای، طلایی) برای داده‌ تمیز و قابل اعتماد
  • انجام پاکسازی داده‌، تبدیل‌ها و تجمیع آنها با استفاده از PySpark برای پروژه‌های واقعی
  • ایجاد داشبوردها و KPIs در Databricks SQL و مصورسازی بینش‌ها
  • کسب تجربه عملی با مجموعه‌ داده‌های واقعی و پروژه‌ها برای آمادگی جهت نقش‌های مهندسی داده
  • درج و تبدیل داده‌ با Auto Loader و جداول لایو دلتا (DLT)

پیش‌نیازهای دوره

  • بدون نیاز به تجربه قبلی در Databricks - ما از مبانی شروع می‌کنیم.
  • درک اولیه از SQL مفید است (SELECT و JOIN و GROUP BY)
  • علاقه‌مندی به یادگیری مهندسی داده

توضیحات دوره

به «بوت‌کمپ کامل Databricks و PySpark - صفر تاصد» خوش آمدید.

آیا می‌خواهید به مهندس داده آماده کار تبدیل شده و به یکی از پرطرفدارترین پلتفرم‌ها به خوبی مسلط شوید؟

این دوره شما را از سطح مبتدی تا پیشرفته در Databricks ،PySpark و دریاچه دلتا با ایجاد پروژه‌های مهندسی داده واقعی، گام‌به‌گام پیش می‌برد.

چه‌ در Databricks تازه‌کار باشید یا تجربه‌ای داشته باشید، این بوت‌کمپ مهارت‌های عملی در طراحی، ساخت و بهینه‌سازی پایپ‌لاین‌های ETL در ابر را ارائه می‌دهد.

آنچه در این دوره خواهید آموخت:

  • تسلط به Databricks و معماری مدالیون (لایه‌های برنزی، نقره‌ای و طلایی)
  • ساخت پایپ‌لاین‌های end-to-end ETL با PySpark و SQL
  • کار با دریاچه دلتا برای تراکنش‌های ACID، تکامل اسکیما و time travel
  • جذب و پردازش داده با استفاده از Auto Loader و جداول لایو دلتا (DLT)
  • پاکسازی داده‌ به‌هم‌ ریخته با تبدیل‌های PySpark و اعمال قوانین کیفیت داده
  • تجمیع، تبدیل و بارگذاری داده در جداول‌ Gold برای تحلیل و داشبوردها
  • مصورسازی KPIs کسب‌وکار در داشبوردهای Databricks SQL
  • کسب تجربه عملی با پروژه‌های واقعی (خرده‌فروشی، بانکداری، اینترنت اشیا، منابع انسانی، تجارت الکترونیک، بیمه و غیره)

پروژه‌هایی که خواهید ساخت:

  • تحلیل فروش خرده‌فروشی - ساخت پایپ‌لاین ETL و KPIs (درآمد، AOV و نرخ بازده)
  • و بسیاری پروژه‌های صنعتی واقعی دیگر 

مخاطبان دوره:

  • مهندسان داده مشتاق که می‌خواهند کار خود را با Databricks و PySpark آغاز کنند.
  • توسعه‌دهندگان و تحلیلگران SQL که در حال گذار به مهندسی کلان داده و ابر می‌باشند.
  • توسعه‌دهندگان پایتون که می‌خواهند در پایپ‌لاین‌های ETL و اسپارک گسترش یابند.
  • مهندسان ابر (AWS، آژور و GCP) که می‌خواهند Databricks را در گردش‌کارهای خود یکپارچه کنند.
  • دانشجویان و مبتدیان مهندسی داده که می‌خواهند پروژه‌های آماده پورتفولیو بسازند.

چرا این دوره را انتخاب کنید؟

  • یادگیری با انجام پروژه‌های واقعی - نه فقط تئوری
  • پوشش پایپ‌لاین‌های استریمینگ و دسته‌ای برای مهندسی داده مدرن
  • گنجاندن بهترین شیوه‌ها و بهینه‌سازی‌های مورد استفاده شرکت‌های برتر
  • استفاده از نسخه رایگان کامیونیتی Databricks - نیازی به راه‌اندازی ابر پولی نیست.
  • آماده‌سازی برای مصاحبه‌های مهندس داده و گواهینامه‌های مرتبط

این دوره برای چه کسانی مناسب است؟

  • مهندسان داده مشتاق که می‌خواهند با Databricks ،PySpark و دریاچه دلتا کار خود را شروع کنند.
  • کسی که برای نقش‌های مهندسی داده یا گواهینامه‌های مربوط با Databricks آماده می‌شود.

بوت‌کمپ کامل Databricks و PySpark - صفر تا صد

  • مقدمه 00:47
  • مقدمه دوره 02:28
  • Databricks چیست؟ 08:48
  • مزایای Databricks 05:06
  • ایجاد نسخه رایگان Databricks 02:35
  • بررسی Databricks 08:18
  • Lakehouse Databricks 10:41
  • Unity Catalog در Databricks چیست؟ 12:54
  • ایجاد Unity Catalog در Databricks 03:15
  • ایجاد جداول - جداول مدیریت شده و جداول خارجی 09:47
  • VOLUMES در Databricks 08:04
  • ایجاد VOLUMES و آپلود فایل‌ها در VOLUMES 08:01
  • آشنایی با اسپارک 08:26
  • معماری اسپارک 09:37
  • RDD چیست؟ 08:02
  • ارزیابی DAG و LAZY 04:25
  • راه‌اندازی عملی PySpark 05:57
  • PySpark - دیتافریم 09:40
  • PySpark - ایجاد دیتافریم از جی‌سان و PARQUET 05:58
  • PySpark - بررسی SELECT TRANSFORMATION 04:52
  • PySpark - بررسی withColumn و withColumnRenamed 08:20
  • PySpark - فیلتر 09:13
  • PySpark - بررسی distinct در مقابل dropDuplicates 04:58
  • PySpark - بررسی SORT و ORDERBY 03:57
  • PySpark - بررسی GROUP BY 04:35
  • PySpark - جوین 12:19
  • PySpark - بررسی UNION 03:26
  • PySpark - بررسی HANDLE NULL 06:41
  • PySpark - بررسی COLLECT 00:51
  • PySpark - بررسی STRUCTTYPE و STRUCTFIELD 06:12
  • PySpark - بررسی PIVOT و UNPIVOT 09:00
  • UDF - PySpark 08:56
  • TEMP VIEW - PySpark 07:07
  • PySpark - تابع WINDOWS 15:38
  • PySpark - بررسی partitionBy و Repartition 11:09
  • PySpark - فرمت تاریخ 05:03
  • توابع مختلف DATE 11:28
  • PySpark - بررسی EXPLODE 05:30
  • فایل‌های DATABRICKS 08:14
  • فدراسیون DATABRICKS LAKEHOUSE 05:04
  • کاتالوگ خارجی و جداول‌ خارجی 04:32
  • Databricks SQL چیست؟ 08:47
  • بررسی Databricks SQL 09:56
  • پارامترهای Databricks SQL 08:19
  • اسنیپت‌های Databricks SQL 08:19
  • بازبینی DATABRICKS SQL - جوین، CTE و ROW_NUMBER 10:02
  • زمانبندی کوئری 04:33
  • نظارت بر کوئری 04:48
  • Databricks - کش 02:41
  • Databricks - هشدارها 08:00
  • Databricks - داشبورد و مصورسازی 10:45
  • GENIE - Databricks 08:05
  • DATABRICKS - بررسی LAKEHOUSE JOBS 02:50
  • DATABRICKS - بررسی LAKEHOUSE JOBS - عملی 18:42
  • DATABRICKS - بررسی IF ELSE JOB - عملی 08:02
  • DATABRICKS - بررسی JOB مبتنی بر شرطی FOR EACH - عملی 03:58
  • تریگر زمانبندی شده 03:10
  • DATABRICKS - رایانش JOBS 00:59
  • DATABRICKS - اطلاع‌رسانی JOBS 01:31
  • DATABRICKS - نظارت بر JOBS 03:24
  • استریمینگ اسپارک چیست؟ 06:19
  • چالش‌های استریمینگ اسپارک و معرفی Auto Loader 07:04
  • AUTO LOADER - معماری 10:40
  • AUTO LOADER - مقدمه عملی 02:00
  • AUTO LOADER - راه‌اندازی عملی 04:17
  • AUTO LOADER - اسکریپت عملی 08:26
  • AUTO LOADER - بارگذاری افزایشی 02:19
  • AUTO LOADER - مدیریت اسکیما 01:42
  • COPY INTO - مقدمه 03:33
  • COPY INTO - عملی 07:43
  • DLT چیست؟ (جداول لایو دلتا) 07:13
  • DLT چه مشکلی را حل می‌کند؟ 04:54
  • DLT - مزایا 02:24
  • DLT - یوزکیس 04:14
  • بررسی DLT - عملی 07:41
  • مجموعه داده DLT - (جدول استریمینگ، VIEW و MATERIALIZED VIEW) 04:35
  • DLT عملی - جدول استریمینگ 06:33
  • DLT عملی - MATERIALIZED VIEW 03:09
  • DLT عملی - VIEW 02:07
  • DLT عملی - پایتون 12:53
  • مبانی Spark SQL - بخش 1 28:24
  • مبانی Spark SQL - بخش 2 (LIMIT ،LIKE و DISTINCT) 04:30
  • Spark SQL - جوین‌ها و UNION 24:02
  • Spark SQL پیشرفته - تابع WINDOWS 10:03
  • Spark SQL پیشرفته - Lead و Lag 05:03
  • کش در مقابل Persists 11:15
  • سوالات رکورد داپلیکیت - کدنویسی PySpark 07:11
  • سوالات مشتری و سفارش - کدنویسی PySpark 11:45
  • سوالات کارمند و دپارتمان - کدنویسی PySpark 10:54
  • کدنویسی PySpark مبتنی بر سناریو - بخش 1 07:07
  • سوال کدنویسی - تجزیه جی‌سان 10:57
  • کدنویسی PYSPARK - فروش افزایشی 10:36
  • کدنویسی مصاحبه - عدد گمشده 06:07
  • کدنویسی PySpark مبتنی بر سناریو - بخش 2 07:04
  • مصاحبه PySpark 11:49
  • راه‌اندازی CI/CD در Databricks با گیت‌هاب - تئوری 05:58
  • یکپارچه‌سازی Databricks با گیت‌هاب - عملی 10:20
  • ایجاد برنچ‌های Databricks و پیگیری مراحل در تولید 03:34
  • اجرای Job تولید در Databricks با اشاره به گیت‌هاب 02:50
  • مقدمه پروژه و یوزکیس 12:14
  • راه‌اندازی پروژه و لایه برنزی 10:59
  • لایه نقره‌ای PySpark 17:31
  • ایجاد لایه طلایی و داشبورد 17:14
  • آشنایی با پلی‌لیست پایتون 04:41
  • پایتون چیست و ویژگی‌های آن؟ 07:17
  • تایپ‌های داده و متغیرهای پایتون 03:56
  • تابع ()Input در پایتون 06:26
  • عملگرهای پایتون 05:05
  • دستورات if-else در پایتون 14:59
  • حلقه For در پایتون 10:38
  • حلقه While در پایتون 04:44
  • لیست در پایتون 08:56
  • متد لیست در پایتون 08:25
  • مسئله کدنویسی لیست - بخش 1 (کمینه و بیشینه) 04:22
  • مسئله کدنویسی لیست - بخش 2 (تعویض دو عنصر در لیست) 03:25
  • مسئله کدنویسی لیست - بخش 3 (لیست معکوس) 02:24
  • مسئله کدنویسی لیست - بخش 4 (جمع و میانگین لیست داده‌ شده) 02:46
  • مسئله کدنویسی لیست - بخش 5 (زوج و فرد از لیست) 02:07
  • مسئله کدنویسی لیست - بخش 6 (حذف داپلیکیت از لیست) 01:21
  • List Comprehension 06:21
  • تاپل‌ها در پایتون 10:07
  • مجموعه‌ها در پایتون 08:14
  • دیکشنری در پایتون 10:31
  • رشته در پایتون 08:54
  • سوالات کدنویسی رشته در پایتون 07:04
  • توابع در پایتون 11:35
  • Args و Kwargs در پایتون 05:26
  • لامبدا در پایتون 04:54
  • نقشه، فیلتر و کاهش در پایتون 10:43
  • OOP در پایتون 08:09
  • Constructor و متد در پایتون 08:35
  • وراثت در پایتون 05:52
  • کپسوله‌سازی در پایتون 06:47
  • Iterable در مقابل Iterator 04:32
  • ماژول در پایتون 08:29
  • ماژول OS در پایتون 06:58
  • تاریخ و تاریخ زمان در پایتون 08:21
  • Try - Except در پایتون 06:42

10,069,600 2,517,400 تومان

مشخصات آموزش

بوت‌کمپ کامل Databricks و PySpark - صفر تا صد

  • تاریخ به روز رسانی: 1404/12/10
  • سطح دوره:همه سطوح
  • تعداد درس:138
  • مدت زمان :16:53:44
  • حجم :8.33GB
  • زبان:دوبله زبان فارسی
  • دوره آموزشی:AI Academy

آموزش های مرتبط

The Great Courses
2,260,000 452,000 تومان
  • زمان: 03:02:02
  • تعداد درس: 14
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
795,000 159,000 تومان
  • زمان: 58:00
  • تعداد درس: 12
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
19,403,000 3,880,600 تومان
  • زمان: 26:02:40
  • تعداد درس: 175
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
8,508,000 1,701,600 تومان
  • زمان: 11:25:13
  • تعداد درس: 94
  • سطح دوره:
  • زبان: دوبله فارسی
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
1,833,000 366,600 تومان
  • زمان: 02:27:39
  • تعداد درس: 24
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
6,100,500 1,220,100 تومان
  • زمان: 08:11:21
  • تعداد درس: 28
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
7,256,500 1,451,300 تومان
  • زمان: 09:44:25
  • تعداد درس: 67
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
3,634,500 726,900 تومان
  • زمان: 04:52:43
  • تعداد درس: 38
  • سطح دوره:
  • زبان: دوبله فارسی

آیا سوالی دارید؟

ما به شما کمک خواهیم کرد تا شغل و رشد خود را افزایش دهید.
امروز با ما تماس بگیرید