بوتکمپ کامل Databricks و PySpark - صفر تا صد
✅ سرفصل و جزئیات آموزش
آنچه یاد خواهید گرفت:
- ساخت پایپلاینهای مهندسی داده end-to-end در Databricks با استفاده از PySpark و SQL
- درک و پیادهسازی معماری مدالیون (لایههای برنزی، نقرهای، طلایی) برای داده تمیز و قابل اعتماد
- انجام پاکسازی داده، تبدیلها و تجمیع آنها با استفاده از PySpark برای پروژههای واقعی
- ایجاد داشبوردها و KPIs در Databricks SQL و مصورسازی بینشها
- کسب تجربه عملی با مجموعه دادههای واقعی و پروژهها برای آمادگی جهت نقشهای مهندسی داده
- درج و تبدیل داده با Auto Loader و جداول لایو دلتا (DLT)
پیشنیازهای دوره
- بدون نیاز به تجربه قبلی در Databricks - ما از مبانی شروع میکنیم.
- درک اولیه از SQL مفید است (SELECT و JOIN و GROUP BY)
- علاقهمندی به یادگیری مهندسی داده
توضیحات دوره
به «بوتکمپ کامل Databricks و PySpark - صفر تاصد» خوش آمدید.
آیا میخواهید به مهندس داده آماده کار تبدیل شده و به یکی از پرطرفدارترین پلتفرمها به خوبی مسلط شوید؟
این دوره شما را از سطح مبتدی تا پیشرفته در Databricks ،PySpark و دریاچه دلتا با ایجاد پروژههای مهندسی داده واقعی، گامبهگام پیش میبرد.
چه در Databricks تازهکار باشید یا تجربهای داشته باشید، این بوتکمپ مهارتهای عملی در طراحی، ساخت و بهینهسازی پایپلاینهای ETL در ابر را ارائه میدهد.
آنچه در این دوره خواهید آموخت:
- تسلط به Databricks و معماری مدالیون (لایههای برنزی، نقرهای و طلایی)
- ساخت پایپلاینهای end-to-end ETL با PySpark و SQL
- کار با دریاچه دلتا برای تراکنشهای ACID، تکامل اسکیما و time travel
- جذب و پردازش داده با استفاده از Auto Loader و جداول لایو دلتا (DLT)
- پاکسازی داده بههم ریخته با تبدیلهای PySpark و اعمال قوانین کیفیت داده
- تجمیع، تبدیل و بارگذاری داده در جداول Gold برای تحلیل و داشبوردها
- مصورسازی KPIs کسبوکار در داشبوردهای Databricks SQL
- کسب تجربه عملی با پروژههای واقعی (خردهفروشی، بانکداری، اینترنت اشیا، منابع انسانی، تجارت الکترونیک، بیمه و غیره)
پروژههایی که خواهید ساخت:
- تحلیل فروش خردهفروشی - ساخت پایپلاین ETL و KPIs (درآمد، AOV و نرخ بازده)
- و بسیاری پروژههای صنعتی واقعی دیگر
مخاطبان دوره:
- مهندسان داده مشتاق که میخواهند کار خود را با Databricks و PySpark آغاز کنند.
- توسعهدهندگان و تحلیلگران SQL که در حال گذار به مهندسی کلان داده و ابر میباشند.
- توسعهدهندگان پایتون که میخواهند در پایپلاینهای ETL و اسپارک گسترش یابند.
- مهندسان ابر (AWS، آژور و GCP) که میخواهند Databricks را در گردشکارهای خود یکپارچه کنند.
- دانشجویان و مبتدیان مهندسی داده که میخواهند پروژههای آماده پورتفولیو بسازند.
چرا این دوره را انتخاب کنید؟
- یادگیری با انجام پروژههای واقعی - نه فقط تئوری
- پوشش پایپلاینهای استریمینگ و دستهای برای مهندسی داده مدرن
- گنجاندن بهترین شیوهها و بهینهسازیهای مورد استفاده شرکتهای برتر
- استفاده از نسخه رایگان کامیونیتی Databricks - نیازی به راهاندازی ابر پولی نیست.
- آمادهسازی برای مصاحبههای مهندس داده و گواهینامههای مرتبط
این دوره برای چه کسانی مناسب است؟
- مهندسان داده مشتاق که میخواهند با Databricks ،PySpark و دریاچه دلتا کار خود را شروع کنند.
- کسی که برای نقشهای مهندسی داده یا گواهینامههای مربوط با Databricks آماده میشود.
بوتکمپ کامل Databricks و PySpark - صفر تا صد
-
مقدمه 00:47
-
مقدمه دوره 02:28
-
Databricks چیست؟ 08:48
-
مزایای Databricks 05:06
-
ایجاد نسخه رایگان Databricks 02:35
-
بررسی Databricks 08:18
-
Lakehouse Databricks 10:41
-
Unity Catalog در Databricks چیست؟ 12:54
-
ایجاد Unity Catalog در Databricks 03:15
-
ایجاد جداول - جداول مدیریت شده و جداول خارجی 09:47
-
VOLUMES در Databricks 08:04
-
ایجاد VOLUMES و آپلود فایلها در VOLUMES 08:01
-
آشنایی با اسپارک 08:26
-
معماری اسپارک 09:37
-
RDD چیست؟ 08:02
-
ارزیابی DAG و LAZY 04:25
-
راهاندازی عملی PySpark 05:57
-
PySpark - دیتافریم 09:40
-
PySpark - ایجاد دیتافریم از جیسان و PARQUET 05:58
-
PySpark - بررسی SELECT TRANSFORMATION 04:52
-
PySpark - بررسی withColumn و withColumnRenamed 08:20
-
PySpark - فیلتر 09:13
-
PySpark - بررسی distinct در مقابل dropDuplicates 04:58
-
PySpark - بررسی SORT و ORDERBY 03:57
-
PySpark - بررسی GROUP BY 04:35
-
PySpark - جوین 12:19
-
PySpark - بررسی UNION 03:26
-
PySpark - بررسی HANDLE NULL 06:41
-
PySpark - بررسی COLLECT 00:51
-
PySpark - بررسی STRUCTTYPE و STRUCTFIELD 06:12
-
PySpark - بررسی PIVOT و UNPIVOT 09:00
-
UDF - PySpark 08:56
-
TEMP VIEW - PySpark 07:07
-
PySpark - تابع WINDOWS 15:38
-
PySpark - بررسی partitionBy و Repartition 11:09
-
PySpark - فرمت تاریخ 05:03
-
توابع مختلف DATE 11:28
-
PySpark - بررسی EXPLODE 05:30
-
فایلهای DATABRICKS 08:14
-
فدراسیون DATABRICKS LAKEHOUSE 05:04
-
کاتالوگ خارجی و جداول خارجی 04:32
-
Databricks SQL چیست؟ 08:47
-
بررسی Databricks SQL 09:56
-
پارامترهای Databricks SQL 08:19
-
اسنیپتهای Databricks SQL 08:19
-
بازبینی DATABRICKS SQL - جوین، CTE و ROW_NUMBER 10:02
-
زمانبندی کوئری 04:33
-
نظارت بر کوئری 04:48
-
Databricks - کش 02:41
-
Databricks - هشدارها 08:00
-
Databricks - داشبورد و مصورسازی 10:45
-
GENIE - Databricks 08:05
-
DATABRICKS - بررسی LAKEHOUSE JOBS 02:50
-
DATABRICKS - بررسی LAKEHOUSE JOBS - عملی 18:42
-
DATABRICKS - بررسی IF ELSE JOB - عملی 08:02
-
DATABRICKS - بررسی JOB مبتنی بر شرطی FOR EACH - عملی 03:58
-
تریگر زمانبندی شده 03:10
-
DATABRICKS - رایانش JOBS 00:59
-
DATABRICKS - اطلاعرسانی JOBS 01:31
-
DATABRICKS - نظارت بر JOBS 03:24
-
استریمینگ اسپارک چیست؟ 06:19
-
چالشهای استریمینگ اسپارک و معرفی Auto Loader 07:04
-
AUTO LOADER - معماری 10:40
-
AUTO LOADER - مقدمه عملی 02:00
-
AUTO LOADER - راهاندازی عملی 04:17
-
AUTO LOADER - اسکریپت عملی 08:26
-
AUTO LOADER - بارگذاری افزایشی 02:19
-
AUTO LOADER - مدیریت اسکیما 01:42
-
COPY INTO - مقدمه 03:33
-
COPY INTO - عملی 07:43
-
DLT چیست؟ (جداول لایو دلتا) 07:13
-
DLT چه مشکلی را حل میکند؟ 04:54
-
DLT - مزایا 02:24
-
DLT - یوزکیس 04:14
-
بررسی DLT - عملی 07:41
-
مجموعه داده DLT - (جدول استریمینگ، VIEW و MATERIALIZED VIEW) 04:35
-
DLT عملی - جدول استریمینگ 06:33
-
DLT عملی - MATERIALIZED VIEW 03:09
-
DLT عملی - VIEW 02:07
-
DLT عملی - پایتون 12:53
-
مبانی Spark SQL - بخش 1 28:24
-
مبانی Spark SQL - بخش 2 (LIMIT ،LIKE و DISTINCT) 04:30
-
Spark SQL - جوینها و UNION 24:02
-
Spark SQL پیشرفته - تابع WINDOWS 10:03
-
Spark SQL پیشرفته - Lead و Lag 05:03
-
کش در مقابل Persists 11:15
-
سوالات رکورد داپلیکیت - کدنویسی PySpark 07:11
-
سوالات مشتری و سفارش - کدنویسی PySpark 11:45
-
سوالات کارمند و دپارتمان - کدنویسی PySpark 10:54
-
کدنویسی PySpark مبتنی بر سناریو - بخش 1 07:07
-
سوال کدنویسی - تجزیه جیسان 10:57
-
کدنویسی PYSPARK - فروش افزایشی 10:36
-
کدنویسی مصاحبه - عدد گمشده 06:07
-
کدنویسی PySpark مبتنی بر سناریو - بخش 2 07:04
-
مصاحبه PySpark 11:49
-
راهاندازی CI/CD در Databricks با گیتهاب - تئوری 05:58
-
یکپارچهسازی Databricks با گیتهاب - عملی 10:20
-
ایجاد برنچهای Databricks و پیگیری مراحل در تولید 03:34
-
اجرای Job تولید در Databricks با اشاره به گیتهاب 02:50
-
مقدمه پروژه و یوزکیس 12:14
-
راهاندازی پروژه و لایه برنزی 10:59
-
لایه نقرهای PySpark 17:31
-
ایجاد لایه طلایی و داشبورد 17:14
-
آشنایی با پلیلیست پایتون 04:41
-
پایتون چیست و ویژگیهای آن؟ 07:17
-
تایپهای داده و متغیرهای پایتون 03:56
-
تابع ()Input در پایتون 06:26
-
عملگرهای پایتون 05:05
-
دستورات if-else در پایتون 14:59
-
حلقه For در پایتون 10:38
-
حلقه While در پایتون 04:44
-
لیست در پایتون 08:56
-
متد لیست در پایتون 08:25
-
مسئله کدنویسی لیست - بخش 1 (کمینه و بیشینه) 04:22
-
مسئله کدنویسی لیست - بخش 2 (تعویض دو عنصر در لیست) 03:25
-
مسئله کدنویسی لیست - بخش 3 (لیست معکوس) 02:24
-
مسئله کدنویسی لیست - بخش 4 (جمع و میانگین لیست داده شده) 02:46
-
مسئله کدنویسی لیست - بخش 5 (زوج و فرد از لیست) 02:07
-
مسئله کدنویسی لیست - بخش 6 (حذف داپلیکیت از لیست) 01:21
-
List Comprehension 06:21
-
تاپلها در پایتون 10:07
-
مجموعهها در پایتون 08:14
-
دیکشنری در پایتون 10:31
-
رشته در پایتون 08:54
-
سوالات کدنویسی رشته در پایتون 07:04
-
توابع در پایتون 11:35
-
Args و Kwargs در پایتون 05:26
-
لامبدا در پایتون 04:54
-
نقشه، فیلتر و کاهش در پایتون 10:43
-
OOP در پایتون 08:09
-
Constructor و متد در پایتون 08:35
-
وراثت در پایتون 05:52
-
کپسولهسازی در پایتون 06:47
-
Iterable در مقابل Iterator 04:32
-
ماژول در پایتون 08:29
-
ماژول OS در پایتون 06:58
-
تاریخ و تاریخ زمان در پایتون 08:21
-
Try - Except در پایتون 06:42
مشخصات آموزش
بوتکمپ کامل Databricks و PySpark - صفر تا صد
- تاریخ به روز رسانی: 1404/12/10
- سطح دوره:همه سطوح
- تعداد درس:138
- مدت زمان :16:53:44
- حجم :8.33GB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy