آموزش ضروری آپاچی اسپارک - مهندسی کلان داده
✅ سرفصل و جزئیات آموزش
این دوره بر ساخت راه حل های کامل تمرکز دارد که آپاچی اسپارک را با سایر ابزارهای کلان داده ترکیب می کند تا پایپ لاین های داده end-to-end ایجاد کند.
مهندسی داده، پایه و اساس ساخت اپلیکیشن های تحلیل داده و علم داده در دنیای جدید کلان داده است. مهندسی داده مستلزم ترکیب چندین فناوری کلان داده برای ساخت پایپ لاین ها و شبکه های داده برای استریمینگ، پردازش و ذخیره داده است. این دوره بر ساخت راه حل های کامل تمرکز دارد که آپاچی اسپارک را با سایر ابزارهای کلان داده ترکیب می کند تا پایپ لاین های داده end-to-end ایجاد کند. مدرس کوماران پونامبالام، با تعریف مهندسی داده، عملکردها و مفاهیم آن شروع می کند.
در مرحله بعد، او به نحوه کارکرد قابلیت های اسپارک مانند پردازش موازی، برنامه های اجرایی، گزینه های مدیریت state و یادگیری ماشین با استخراج، تبدیل و بارگذاری (ETL) می پردازد. او شما را با یوزکیس ها و فرآیندهای پردازش دسته ای و همچنین پایپ لاین های پردازش بلادرنگ آشنا می کند. پس از اینکه با چندین شیوه عالی و مفید آشنا شدید، دوره را با یک پروژه تمرینی end-to-end به پایان می رساند.
آموزش ضروری آپاچی اسپارک - مهندسی کلان داده
-
هدایت مهندسی کلان داده با آپاچی اسپارک 0:00:48
-
پیش نیازهای دوره 0:01:18
-
راه اندازی فایل های تمرینی 0:06:02
-
مهندسی داده چیست؟ 0:01:34
-
مهندسی داده در مقابل تحلیل داده در مقابل علم داده 0:01:19
-
توابع مهندسی داده 0:03:09
-
پردازش دسته ای در مقابل پردازش بلادرنگ 0:02:15
-
مهندسی داده با اسپارک 0:01:07
-
بررسی معماری اسپارک 0:02:10
-
پردازش موازی با اسپارک 0:03:09
-
برنامه اجرایی اسپارک 0:01:11
-
پردازش استریم Stateful 0:02:18
-
تحلیل اسپارک و یادگیری ماشین 0:01:58
-
یوزکیس پردازش دسته ای - بیان مسئله 0:01:43
-
یوزکیس پردازش دسته ای - طراحی 0:01:44
-
راه اندازی پایگاه داده محلی 0:01:53
-
آپلود سهام در فروشگاه مرکزی 0:03:51
-
تجمیع سهام در انبارها 0:02:46
-
یوزکیس بلادرنگ - مسئله 0:01:50
-
یوزکیس بلادرنگ - طراحی 0:01:41
-
ایجاد استریم داده بازدیدها 0:01:48
-
ساخت job تحلیل وب سایت 0:02:50
-
اجرای پایپ لاین بلادرنگ 0:02:18
-
گزینه های بچ در مقابل گزینه های بلادرنگ 0:02:18
-
مقیاس بندی عملیات های استخراج و بارگذاری 0:02:18
-
مقیاس بندی عملیات های پردازش 0:01:01
-
ایجاد تاب آوری 0:01:19
-
الزامات پروژه تمرینی 0:01:56
-
طراحی راه حل 0:00:56
-
استخراج اکشن های طولانی مدت 0:01:40
-
ساختن کارت امتیازی 0:01:40
-
اطلاعات بیشتر درباره آپاچی اسپارک 0:00:43
مشخصات آموزش
آموزش ضروری آپاچی اسپارک - مهندسی کلان داده
- تاریخ به روز رسانی: 1404/06/14
- سطح دوره:متوسط
- تعداد درس:32
- مدت زمان :1:04:33
- حجم :146.0MB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy