آموزش Spark و Python برای کلان داده با PySpark
✅ سرفصل و جزئیات آموزش
در این دوره، شما یاد خواهید گرفت که چگونه از اسپارک با پایتون استفاده کنید که شامل مواردی از قبیل Spark Streaming، یادگیری ماشین، دیتافریم های Spark 2.0 و موارد دیگر خواهد بود.
آنچه یاد خواهید گرفت:
- از پایتون و اسپارک با هم برای تحلیل کلان داده استفاده کنید.
- یاد بگیرید چگونه از سینتکس جدید DataFrame در Spark 2.0 استفاده کنید.
- روی پروژه های مشاوره ای کار کنید که از شرایط دنیای واقعی تقلید می کنند.
- مشتریان از دست رفته را با رگرسیون لجستیک طبقه بندی کنید.
- از Spark با جنگل های تصادفی برای طبقه بندی استفاده کنید.
- یاد بگیرید چگونه از درختان تقویت شده گرادیان مربوطه به Spark استفاده کنید.
- از MLlib در Spark برای ساخت مدل های قدرتمند یادگیری ماشین استفاده کنید.
- درباره پلتفرم DataBricks اطلاعات کسب کنید.
- آماده سازی برای تحلیل کلان داده بر روی Amazon Web Services EC2
- یاد بگیرید چگونه از سرویس AWS Elastic MapReduce استفاده کنید.
- یاد بگیرید چگونه از قدرت لینوکس در محیط Spark بهره برداری کنید.
- با استفاده از Spark و پردازش زبان طبیعی، فیلتر اسپم بسازید.
- از Spark Streaming برای تحلیل توییت ها به صورت بلادرنگ استفاده کنید.
پیش نیازهای دوره
- مهارت های برنامه نویسی عمومی در هر زبانی (ترجیحاً پایتون)
- 20 گیگابایت فضای خالی در رایانه محلی (یا به عنوان جایگزین، اتصال قوی به اینترنت برای استفاده از AWS)
توضیحات دوره
در این دوره، مبانی همراه با یک دوره فشرده پایتون آموزش داده خواهد شد و سپس به یادگیری نحوه استفاده از Spark DataFrames با آخرین سینتکس Spark 2.0 خواهیم پرداخت. پس از انجام آن، نحوه استفاده از کتابخانه یادگیری ماشین MLlib با سینتکس DataFrame و Spark را بررسی خواهیم کرد. در طول مسیر، شما با تمرینات و پروژه های مشاوره ای شبیه سازی شده مواجه خواهید شد که شما را مستقیماً در موقعیت های واقعی قرار می دهد که در آن برای حل یک مشکل واقعی نیاز به استفاده از مهارت های جدید خود خواهید داشت.
ما همچنین به جدیدترین تکنولوژی های Spark مانند Spark Streaming،Spark SQL و مدل های پیشرفته ای مانند درختان تقویت شده گرادیان می پردازیم. پس از اتمام این دوره، شما احساس راحتی خواهید کرد که Spark و PySpark را در رزومه خود قرار دهید. این دوره همچنین دارای ضمانت بازگشت وجه 30 روزه کامل و همراه با گواهینامه اتمام لینکدین می باشد.
این دوره برای چه کسانی مناسب است؟
- فردی که با پایتون آشناست و مایل به یادگیری نحوه استفاده از آن برای کلان داده می باشد.
- کسی که با زبان برنامه نویسی دیگری بسیار آشناست و نیاز به یادگیری Spark دارد.
آموزش Spark و Python برای کلان داده با PySpark
-
مقدمه 03:08
-
بررسی دوره 07:54
-
اسپارک چیست؟ چرا پایتون؟ 18:57
-
بررسی راه اندازی 05:58
-
راه اندازی Databricks 11:41
-
نصب محلی VirtualBox - قسمت 1 11:25
-
نصب محلی VirtualBox - قسمت 2 13:59
-
راه اندازی PySpark 05:45
-
راهنمای راه اندازی AWS EC2 02:46
-
ایجاد نمونه EC2 16:18
-
SSH با مک یا لینوکس 04:49
-
نصب ها بر روی EC2 15:05
-
راه اندازی AWS EMR 17:16
-
آشنایی با دوره فشرده پایتون 01:33
-
بررسی Jupyter Notebook 06:49
-
دوره فشرده پایتون - قسمت 1 16:07
-
دوره فشرده پایتون - قسمت 2 12:07
-
دوره فشرده پایتون - قسمت 3 11:19
-
تمرینات دوره فشرده پایتون 01:29
-
راه حل های تمرینات دوره فشرده پایتون 09:26
-
آشنایی با Spark DataFrames 02:26
-
مبانی Spark DataFrames 10:51
-
مبانی Spark DataFrames - قسمت 2 09:54
-
عملیات پایه Spark DataFrames 10:15
-
عملیات Groupby و Aggregate 12:27
-
داده گمشده 08:55
-
تاریخ ها و Timestamps 10:04
-
تمرین پروژه دیتافریم 03:13
-
راه حل های تمرینات پروژه دیتافریم 16:53
-
آشنایی با یادگیری ماشین و ISLR 10:21
-
یادگیری ماشین با اسپارک و پایتون با استفاده از MLlib 09:04
-
نظریه و مطالعه رگرسیون خطی 05:03
-
مثال مستندات رگرسیون خطی 14:19
-
ارزیابی رگرسیون 06:45
-
مثالی از کد همراه مربوط به رگرسیون خطی 15:13
-
پروژه مشاوره رگرسیون خطی 03:11
-
راهکارهای مشاوره رگرسیون خطی 15:32
-
نظریه و مطالعه رگرسیون لجستیک 11:22
-
مثالی از کد همراه رگرسیون لجستیک 15:38
-
کد همراه رگرسیون لجستیک 18:36
-
پروژه مشاوره رگرسیون لجستیک 03:13
-
راه حل های مشاوره رگرسیون لجستیک 11:13
-
نظریه و مطالعه روش های درختی 07:59
-
مثال های مستندات روش های درختی 13:18
-
مثال های عملی کد همراه برای درخت تصمیم و جنگل تصادفی 20:36
-
جنگل تصادفی - پروژه مشاوره طبقه بندی 02:33
-
راه حل های پروژه مشاوره طبقه بندی جنگل تصادفی 08:00
-
نظریه و مطالعه خوشه بندی K-means 06:54
-
مثال مستندات خوشه بندی K-Means 09:51
-
مثال کدنویسی خوشه بندی 12:45
-
پروژه مشاوره کلاسترینگ 03:08
-
راه حل های پروژه مشاوره کلاسترینگ 08:42
-
آشنایی با سیستم های توصیه گر 06:32
-
سیستم توصیه گر - پروژه کد همراه 12:07
-
آشنایی با پردازش زبان طبیعی 08:02
-
ابزارهای NLP - قسمت 1 16:12
-
بزارهای NLP - قسمت 2 08:05
-
پروژه کد همراه پردازش زبان طبیعی 14:07
-
آشنایی با Streaming با Spark 10:19
-
مثال مستندات Spark Streaming 11:47
-
پروژه توییتر با Spark Streaming - قسمت 1 04:29
-
پروژه توییتر با Spark Streaming - قسمت 2 13:08
-
پروژه توییتر با Spark Streaming - قسمت 3 17:35
مشخصات آموزش
آموزش Spark و Python برای کلان داده با PySpark
- تاریخ به روز رسانی: 1404/06/14
- سطح دوره:متوسط
- تعداد درس:63
- مدت زمان :10:35:14
- حجم :5.29GB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy