دوره آموزشی
آموزش های یودمی
دوبله زبان فارسی

یادگیری آپاچی اسپارک - تسلط به اسپارک برای پردازش کلان‌ داده‌

یادگیری آپاچی اسپارک - تسلط به اسپارک برای پردازش کلان‌ داده‌

✅ سرفصل و جزئیات آموزش

با این دوره سفری جامع برای تسلط به آپاچی اسپارک را از دستکاری داده تا یادگیری ماشین آغاز می کنید.

آنچه یاد خواهید گرفت

  • درک اصول معماری اسپارک و قابلیت های رایانش توزیع شده آن 
  • یادگیری نوشتن و بهینه سازی کوئری های SQL اسپارک برای پردازش کارآمد داده 
  • تسلط به ایجاد و دستکاری دیتافریم ها، کامپوننت اصلی اسپارک
  • یادگیری خواندن داده از فرمت های مختلف فایل مانند CSV و Parquet
  • توسعه مهارت ها در فیلترینگ، مرتب‌ سازی و تجمیع داده‌ برای استخراج بینش های معنادار
  • یادگیری پردازش و تحلیل داده استریمینگ برای بینش های بلادرنگ 
  • بررسی قابلیت‌ های MLlib اسپارک برای یادگیری ماشین 
  • یادگیری ایجاد و تیونینگ دقیق مدل ها با استفاده از پایپ لاین ها و ترنسفرمرها برای تحلیل پیش بینانه 

توضیحات دوره

آنچه یاد خواهید گرفت:

  • استفاده از دیتافریم PySpark - یادگیری سازماندهی و کار با داده 
  • ذخیره داده به طور موثر - استفاده از فرمت هایی مانند Parquet برای ذخیره سریع داده 
  • استفاده از SQL در PySpark - کار با داده با استفاده از SQL، درست مانند دیتافریم ها
  • اتصال PySpark با ابزارهای پایتون - بررسی عمیق داده با ابزارهای داده پایتون
  • یادگیری ماشین با PySpark's MLlib - کار روی پروژه های بزرگ با استفاده از یادگیری ماشین
  • مثال های واقعی - یادگیری با مثال های کاربردی
  • مدیریت مجموعه داده های بزرگ - درک نحوه مدیریت آسان کلان داده 
  • حل مشکلات واقعی - اعمال اسپارک برای چالش های واقعی داده
  • ایجاد اعتماد در PySpark - بهتر شدن در پردازش کلان داده
  • مدیریت و تحلیل داده - کسب مهارت ها برای پروژه های کاری و شخصی
  • آمادگی برای مشاغل داده‌ - کسب مهارت‌ هایی برای مشاغل فنی، مالی و مراقبت‌ های بهداشتی

این دوره برای چه کسانی مناسب است؟

  • متخصصان IT علاقه مند به کلان داده و تحلیل
  • دانشمندان مشتاق داده
  • تحلیلگران مشتاق داده
  • مهندسان مشتاق یادگیری ماشین
  • تحلیلگران کسب و کار
  • مهندسان نرم افزار
  • دانشجویان و دانشگاهیان
  • محققان
  •  کسی که به کلان داده علاقه دارد.

یادگیری آپاچی اسپارک - تسلط به اسپارک برای پردازش کلان‌ داده‌

  • چرا باید آپاچی اسپارک را یاد بگیرید؟ 06:13
  • آنچه دوره آپاچی اسپارک ارائه می دهد؟ 05:37
  • بیایید WordCount را درک کنیم 04:23
  • بیایید نقشه و Reduce را درک کنیم 03:07
  • برنامه نویسی با نقشه و Reduce 03:24
  • بیایید هدوپ را درک کنیم 03:54
  • معماری آپاچی هدوپ 04:44
  • آپاچی هدوپ و آپاچی اسپارک 05:01
  • معماری آپاچی اسپارک 04:06
  • PySpark چیست؟ 03:21
  • نصب JDK جاوا 05:19
  • نصب پایتون 02:50
  • نصب JupyterLab 04:05
  • نصب PySpark 01:57
  • سشن اسپارک با مقداردهی اولیه 03:06
  • اجرای PySpark روی نمونه های AWS EC2 - بخش 1 07:27
  • اجرای PySpark روی نمونه های AWS EC2 - بخش 2 08:02
  • چرا از Databricks Community Edition استفاده کنیم؟ 03:42
  • رجیستر برای Databricks Community Edition 05:25
  • زمان استفاده از Databricks Community Edition 04:36
  • اجرای فرمان های جادویی در Databricks - بخش 1 06:43
  • اجرای فرمان های جادویی در Databricks - بخش 2 01:51
  • دیتافریم آپاچی اسپارک 03:09
  • ایجاد دیتافریم ها از فایل های CSV - بخش 1 06:42
  • ایجاد دیتافریم ها از فایل های CSV - بخش 2 06:00
  • ایجاد دیتافریم ها از فایل های Parquet 04:53
  • استفاده از SELECT 06:29
  • استفاده از FILTER 03:37
  • استفاده ORDER BY 03:12
  • استفاده از GROUP BY 04:11
  • استفاده از توابع تجمیع 05:18
  • استفاده از INNER JOIN 05:25
  • کاتالوگ های Spark SQL 01:48
  • دسترسی به کاتالوگ های Spark SQL 02:48
  • لیست پایگاه داده ها از کاتالوگ ها 01:59
  • لیست جداول از پایگاه داده فعلی 01:57
  • ایجاد Temp View در اسپارک 05:01
  • اجرای کوئری های SQL در Temp Views 04:16
  • دراپ کردن Temp Views 02:25
  • استفاده از یوتیلیتی های Databricks 03:22
  • استفاده از dbfs - فایل سیستم یوتیلیتی Databricks 07:06
  • استفاده از dbfs - ایجاد دایرکتوری 02:33
  • استفاده از dbfs - کپی فایل ها 02:27
  • استفاده از dbfs - حذف فایل ها 01:28
  • آشنایی با Pandas 03:15
  • Pandas API در اسپارک 02:57
  • خواندن و نوشتن داده با Pandas - بخش 1 07:36
  • خواندن و نوشتن داده با Pandas - بخش 2 05:34
  • دستکاری داده با PySpark Pandas 07:13
  • ادغام و جوین کردن در PySpark Pandas 04:57
  • گروه بندی و تجمیع با PySpark Pandas 04:34
  • مصورسازی داده در PySpark Pandas 03:46
  • استریمینگ ساختار آپاچی اسپارک چیست؟ 04:10
  • آپاچی اسپارک چگونه استریمینگ ساختار یافته را مدیریت می کند؟ 03:32
  • مدیریت برنامه ای داده استریمینگ 03:26
  • حالت های برنامه ریزی شده توسط آپاچی اسپارک 07:09
  • دیتافریم ها برای استریمینگ 05:41
  • readStream API 08:48
  • writeStream API 08:20
  • کوئری داده 02:18
  • کوئری استریمینگ - توقف 07:35
  • استریمینگ ساختار یافته با کافکا و اسپارک - بخش 1 04:02
  • استریمینگ ساختار یافته با کافکا و اسپارک - بخش 2 06:55
  • استریمینگ ساختار یافته با کافکا و اسپارک - بخش 3 10:00
  • خاتمه محیط کافکا 02:19
  • مدیریت ورود داده با تاخیر و واتر مارک کردن - بخش 1 08:29
  • مدیریت ورود داده با تاخیر و واتر مارک کردن - بخش 2 08:47
  • درباره این بخش 02:13
  • یادگیری درباره یادگیری ماشین 06:44
  • چگونه مدل یادگیری ماشین بسازیم؟ 03:49
  • بررسی Apache Spark MLLib 04:05
  • یادگیری درباره پایپ لاین های یادگیری ماشین با استفاده از Spark MLlib 03:52
  • منابع داده توسط Spark MLlib برای ساخت مدل های یادگیری ماشین 03:18
  • ایجاد دیتافریم ها از منابع داده 03:06
  • یادگیری درباره ویژگی سازی با استفاده از Spark MLlib 03:12
  • استفاده از MLlibs آپاچی اسپارک - ترنسفرمرهای ویژگی 03:11
  • استفاده از Tokenizer 06:01
  • استفاده از StringIndexer 04:00
  • استفاده از پایپ لاین ها 07:45
  • استفاده از VectorAssembler 04:22
  • استفاده از VectorIndexer 05:34
  • استفاده از برآوردگر MLlib - رگرسیون خطی 08:30
  • استفاده از برآوردگر MLlib - رگرسیون لجستیک 06:29
  • اندازه گیری کارایی یادگیری ماشین با استفاده از برآوردگرهای Spark MLlib 08:43
  • استفاده از یادگیری ماشین برای حل مسائل واقعی 07:18
  • ساخت مدل یادگیری ماشین - بخش 1 - استفاده از میزبان محلی 07:47
  • ساخت مدل یادگیری ماشین - بخش 2 - استفاده از Databricks Community Edition 11:30
  • استفاده از MLFlow آپاچی اسپارک با Databricks Community Edition 03:17

2,837,000 567,400 تومان

مشخصات آموزش

یادگیری آپاچی اسپارک - تسلط به اسپارک برای پردازش کلان‌ داده‌

  • تاریخ به روز رسانی: 1404/06/14
  • سطح دوره:متوسط
  • تعداد درس:88
  • مدت زمان :07:11:08
  • حجم :2.77GB
  • زبان:دوبله زبان فارسی
  • دوره آموزشی:AI Academy

آموزش های مرتبط

The Great Courses
2,067,000 413,400 تومان
  • زمان: 05:14:59
  • تعداد درس: 30
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
1,428,500 285,700 تومان
  • زمان: 03:37:21
  • تعداد درس: 57
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
2,165,500 433,100 تومان
  • زمان: 05:29:46
  • تعداد درس: 50
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
1,362,500 272,500 تومان
  • زمان: 03:27:39
  • تعداد درس: 60
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
490,000 98,000 تومان
  • زمان: 45:15
  • تعداد درس: 18
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
7,577,000 1,515,400 تومان
  • زمان: 19:11:34
  • تعداد درس: 203
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
490,000 98,000 تومان
  • زمان: 50:18
  • تعداد درس: 18
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
796,500 159,300 تومان
  • زمان: 02:01:30
  • تعداد درس: 32
  • سطح دوره:
  • زبان: دوبله فارسی
The Great Courses
7,261,000 1,452,200 تومان
  • زمان: 18:23:18
  • تعداد درس: 103
  • سطح دوره:
  • زبان: دوبله فارسی

آیا سوالی دارید؟

ما به شما کمک خواهیم کرد تا شغل و رشد خود را افزایش دهید.
امروز با ما تماس بگیرید