دوره آموزشی
دوبله زبان فارسی
یادگیری آپاچی اسپارک - تسلط به اسپارک برای پردازش کلان داده
✅ سرفصل و جزئیات آموزش
با این دوره سفری جامع برای تسلط به آپاچی اسپارک را از دستکاری داده تا یادگیری ماشین آغاز می کنید.
آنچه یاد خواهید گرفت
- درک اصول معماری اسپارک و قابلیت های رایانش توزیع شده آن
- یادگیری نوشتن و بهینه سازی کوئری های SQL اسپارک برای پردازش کارآمد داده
- تسلط به ایجاد و دستکاری دیتافریم ها، کامپوننت اصلی اسپارک
- یادگیری خواندن داده از فرمت های مختلف فایل مانند CSV و Parquet
- توسعه مهارت ها در فیلترینگ، مرتب سازی و تجمیع داده برای استخراج بینش های معنادار
- یادگیری پردازش و تحلیل داده استریمینگ برای بینش های بلادرنگ
- بررسی قابلیت های MLlib اسپارک برای یادگیری ماشین
- یادگیری ایجاد و تیونینگ دقیق مدل ها با استفاده از پایپ لاین ها و ترنسفرمرها برای تحلیل پیش بینانه
توضیحات دوره
آنچه یاد خواهید گرفت:
- استفاده از دیتافریم PySpark - یادگیری سازماندهی و کار با داده
- ذخیره داده به طور موثر - استفاده از فرمت هایی مانند Parquet برای ذخیره سریع داده
- استفاده از SQL در PySpark - کار با داده با استفاده از SQL، درست مانند دیتافریم ها
- اتصال PySpark با ابزارهای پایتون - بررسی عمیق داده با ابزارهای داده پایتون
- یادگیری ماشین با PySpark's MLlib - کار روی پروژه های بزرگ با استفاده از یادگیری ماشین
- مثال های واقعی - یادگیری با مثال های کاربردی
- مدیریت مجموعه داده های بزرگ - درک نحوه مدیریت آسان کلان داده
- حل مشکلات واقعی - اعمال اسپارک برای چالش های واقعی داده
- ایجاد اعتماد در PySpark - بهتر شدن در پردازش کلان داده
- مدیریت و تحلیل داده - کسب مهارت ها برای پروژه های کاری و شخصی
- آمادگی برای مشاغل داده - کسب مهارت هایی برای مشاغل فنی، مالی و مراقبت های بهداشتی
این دوره برای چه کسانی مناسب است؟
- متخصصان IT علاقه مند به کلان داده و تحلیل
- دانشمندان مشتاق داده
- تحلیلگران مشتاق داده
- مهندسان مشتاق یادگیری ماشین
- تحلیلگران کسب و کار
- مهندسان نرم افزار
- دانشجویان و دانشگاهیان
- محققان
- کسی که به کلان داده علاقه دارد.
یادگیری آپاچی اسپارک - تسلط به اسپارک برای پردازش کلان داده
-
چرا باید آپاچی اسپارک را یاد بگیرید؟ 06:13
-
آنچه دوره آپاچی اسپارک ارائه می دهد؟ 05:37
-
بیایید WordCount را درک کنیم 04:23
-
بیایید نقشه و Reduce را درک کنیم 03:07
-
برنامه نویسی با نقشه و Reduce 03:24
-
بیایید هدوپ را درک کنیم 03:54
-
معماری آپاچی هدوپ 04:44
-
آپاچی هدوپ و آپاچی اسپارک 05:01
-
معماری آپاچی اسپارک 04:06
-
PySpark چیست؟ 03:21
-
نصب JDK جاوا 05:19
-
نصب پایتون 02:50
-
نصب JupyterLab 04:05
-
نصب PySpark 01:57
-
سشن اسپارک با مقداردهی اولیه 03:06
-
اجرای PySpark روی نمونه های AWS EC2 - بخش 1 07:27
-
اجرای PySpark روی نمونه های AWS EC2 - بخش 2 08:02
-
چرا از Databricks Community Edition استفاده کنیم؟ 03:42
-
رجیستر برای Databricks Community Edition 05:25
-
زمان استفاده از Databricks Community Edition 04:36
-
اجرای فرمان های جادویی در Databricks - بخش 1 06:43
-
اجرای فرمان های جادویی در Databricks - بخش 2 01:51
-
دیتافریم آپاچی اسپارک 03:09
-
ایجاد دیتافریم ها از فایل های CSV - بخش 1 06:42
-
ایجاد دیتافریم ها از فایل های CSV - بخش 2 06:00
-
ایجاد دیتافریم ها از فایل های Parquet 04:53
-
استفاده از SELECT 06:29
-
استفاده از FILTER 03:37
-
استفاده ORDER BY 03:12
-
استفاده از GROUP BY 04:11
-
استفاده از توابع تجمیع 05:18
-
استفاده از INNER JOIN 05:25
-
کاتالوگ های Spark SQL 01:48
-
دسترسی به کاتالوگ های Spark SQL 02:48
-
لیست پایگاه داده ها از کاتالوگ ها 01:59
-
لیست جداول از پایگاه داده فعلی 01:57
-
ایجاد Temp View در اسپارک 05:01
-
اجرای کوئری های SQL در Temp Views 04:16
-
دراپ کردن Temp Views 02:25
-
استفاده از یوتیلیتی های Databricks 03:22
-
استفاده از dbfs - فایل سیستم یوتیلیتی Databricks 07:06
-
استفاده از dbfs - ایجاد دایرکتوری 02:33
-
استفاده از dbfs - کپی فایل ها 02:27
-
استفاده از dbfs - حذف فایل ها 01:28
-
آشنایی با Pandas 03:15
-
Pandas API در اسپارک 02:57
-
خواندن و نوشتن داده با Pandas - بخش 1 07:36
-
خواندن و نوشتن داده با Pandas - بخش 2 05:34
-
دستکاری داده با PySpark Pandas 07:13
-
ادغام و جوین کردن در PySpark Pandas 04:57
-
گروه بندی و تجمیع با PySpark Pandas 04:34
-
مصورسازی داده در PySpark Pandas 03:46
-
استریمینگ ساختار آپاچی اسپارک چیست؟ 04:10
-
آپاچی اسپارک چگونه استریمینگ ساختار یافته را مدیریت می کند؟ 03:32
-
مدیریت برنامه ای داده استریمینگ 03:26
-
حالت های برنامه ریزی شده توسط آپاچی اسپارک 07:09
-
دیتافریم ها برای استریمینگ 05:41
-
readStream API 08:48
-
writeStream API 08:20
-
کوئری داده 02:18
-
کوئری استریمینگ - توقف 07:35
-
استریمینگ ساختار یافته با کافکا و اسپارک - بخش 1 04:02
-
استریمینگ ساختار یافته با کافکا و اسپارک - بخش 2 06:55
-
استریمینگ ساختار یافته با کافکا و اسپارک - بخش 3 10:00
-
خاتمه محیط کافکا 02:19
-
مدیریت ورود داده با تاخیر و واتر مارک کردن - بخش 1 08:29
-
مدیریت ورود داده با تاخیر و واتر مارک کردن - بخش 2 08:47
-
درباره این بخش 02:13
-
یادگیری درباره یادگیری ماشین 06:44
-
چگونه مدل یادگیری ماشین بسازیم؟ 03:49
-
بررسی Apache Spark MLLib 04:05
-
یادگیری درباره پایپ لاین های یادگیری ماشین با استفاده از Spark MLlib 03:52
-
منابع داده توسط Spark MLlib برای ساخت مدل های یادگیری ماشین 03:18
-
ایجاد دیتافریم ها از منابع داده 03:06
-
یادگیری درباره ویژگی سازی با استفاده از Spark MLlib 03:12
-
استفاده از MLlibs آپاچی اسپارک - ترنسفرمرهای ویژگی 03:11
-
استفاده از Tokenizer 06:01
-
استفاده از StringIndexer 04:00
-
استفاده از پایپ لاین ها 07:45
-
استفاده از VectorAssembler 04:22
-
استفاده از VectorIndexer 05:34
-
استفاده از برآوردگر MLlib - رگرسیون خطی 08:30
-
استفاده از برآوردگر MLlib - رگرسیون لجستیک 06:29
-
اندازه گیری کارایی یادگیری ماشین با استفاده از برآوردگرهای Spark MLlib 08:43
-
استفاده از یادگیری ماشین برای حل مسائل واقعی 07:18
-
ساخت مدل یادگیری ماشین - بخش 1 - استفاده از میزبان محلی 07:47
-
ساخت مدل یادگیری ماشین - بخش 2 - استفاده از Databricks Community Edition 11:30
-
استفاده از MLFlow آپاچی اسپارک با Databricks Community Edition 03:17
مشخصات آموزش
یادگیری آپاچی اسپارک - تسلط به اسپارک برای پردازش کلان داده
- تاریخ به روز رسانی: 1404/06/14
- سطح دوره:متوسط
- تعداد درس:88
- مدت زمان :07:11:08
- حجم :2.77GB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy