دوره آموزشی
دوبله زبان فارسی
مسترکورس مهندسی داده - اسپارک، هدوپ، کافک و MongoDB
✅ سرفصل و جزئیات آموزش
آنچه یاد خواهید گرفت:
- اکوسیستم هدوپ، Sqoop و Flume و Hive
- تخصص در نوشتن کد با آپاچی اسپارک
- یادگیری اصول کافکا و استفاده از کانکتورهای کافکا
- یادگیری نوشتن کوئریها و کلاینت در MongoDB
- یادگیری فناوریهای مهندسی داده
پیشنیازهای دوره
- بدون الزامات
توضیحات دوره
در این دوره، ابتدا با فایل سیستم توزیع شده هدوپ و رایجترین فرمانهای هدوپ برای کار با فایل سیستم هدوپ آشنا میشوید.
فرمان ایمپورت Sqoop
- درک چرخه عمر فرمان Sqoop
- استفاده از فرمان ایمپورت sqoop برای مهاجرت داده از Mysql به HDFS
- استفاده از فرمان ایمپورت sqoop برای مهاجرت داده از Mysql به Hive
- استفاده از فرمتهای فایل مختلف، فشردهسازی، جداکننده فایل، شرط where و کوئریها در حین ایمپورت داده
- درک کوئریهای split-by و boundary
- استفاده از حالت افزایشی برای مهاجرت داده از Mysql به HDFS
فرمان اکسپورت Sqoop
- Sqoop Export چیست؟
- استفاده از sqoop export برای مهاجرت داده از HDFS به Mysql
- استفاده از sqoop export برای مهاجرت داده از Hive به Mysql
Apache Flume
- درک معماری Flume
- استفاده از flume، جذب داده از توئیتر و ذخیره در HDFS
- استفاده از flume، جذب داده از netcat و ذخیره در HDFS
- استفاده از flume، جذب داده از exec و نمایش در کنسول
- توصیف رهگیرهای Flume و مشاهده مثالهای استفاده از آنها
- Flume چندایجنتی
- تحکیم Flume
Apache Hive
- مقدمه Hive
- جداول خارجی و مدیریت شده
- کار با فایلهای مختلف – Parquet و Avro
- فشردهسازیها
- تحلیل Hive
- توابع رشته Hive
- توابع تاریخ Hive
- پارتیشنبندی
- Bucketing
آپاچی کافکا
- مقدمه اسپارک
- بررسی خوشه
- RDD
- DAG ،Stages و تسکها
- اکشنها و تبدیلها
- مثالهای اکشنها و تبدیلها
- دیتافریمهای اسپارک
- دیتافریمهای اسپارک - کار با فرمتهای فایل مختلف و فشردهسازی
- APIs دیتافریمها
- Spark SQL
- مثالهای دیتافریم
- یکپارچهسازی اسپارک با Cassandra
- اجرای اسپارک در Intellij IDE
- اجرای اسپارک در EMR
آپاچی اسپارک
- معماری کافکا
- پارتیشنها و افستها
- Producers و Consumers در کافکا
- SerDEs کافکا
- پیامهای کافکا
- کانکتور کافکا
- جذب داده با استفاده از کانکتور کافکا
MongoDB
- یوزکیسها MongoDB
- عملیاتهای CRUD
- عملگرهای MongoDB
- کار با آرایهها
- MongoDB با اسپارک
آمادگی برای مصاحبه مهندسی داده
- سوالات مصاحبه Sqoop
- سوالات مصاحبه Hive
- سوالات مصاحبه اسپارک
- سوالات رایج مهندسی داده
- سوالات پروژه واقعی مهندسی داده
این دوره برای چه کسانی مناسب است؟
- کسانی که میخواهند فناوریهای کلان داده را یاد بگیرند.
- کسانی که میخواهند مهندس داده شوند.
مسترکورس مهندسی داده - اسپارک، هدوپ، کافک و MongoDB
-
معرفی مدرس 01:22
-
مقدمه دوره 02:47
-
مقدمه کلان داده 05:24
-
درک اکوسیستم کلان داده 10:27
-
راهاندازی حساب Google Cloud 02:06
-
راهاندازی خوشه DataProc - بخش 2 05:11
-
آپلود فایلها در Google Cloud 03:56
-
راهاندازی Sqoop 05:31
-
بروزرسانی محیط 00:42
-
HDFS و فرمانهای هدوپ 09:16
-
بررسی خوشه Yarn 07:41
-
مقدمه Sqoop 15:48
-
مدیریت دایرکتوریهای هدف 07:26
-
کار با فشردهسازیهای مختلف 10:08
-
ایمپورتهای شرطی 04:26
-
Split-by و کوئریهای Boundary 08:27
-
جداکنندههای فیلد 03:18
-
افزودنهای افزایشی 11:38
-
دسترسی به Hive در Google Cloud 00:50
-
فرمان ایمپورت در Sqoop Hive 03:31
-
لیست جدول و پایگاه داده Sqoop 04:13
-
تکلیف Sqoop 1 None
-
تکلیف Sqoop 2 None
-
فرمان ایمپورت Sqoop - تمرین 1 04:57
-
فرمان ایمپورت Sqoop - تمرین 2 03:32
-
اکسپورت از Hdfs به Mysql 03:39
-
اکسپورت از Hive به Mysql 02:30
-
اکسپورت Avro فشرده به Mysql 07:30
-
دوره جایزه - Sqoop با Airflow 02:57
-
راهاندازی Flume 01:44
-
مقدمه و معماری Flume 10:07
-
منبع Exec و سینک لاگر 03:41
-
انتقال داده از توئيتر به HDFS 09:25
-
انتقال داده از NetCat به HDFS 04:39
-
رهگیرهای Flume 01:56
-
مثال رهگیر Flume 04:53
-
جریان چندایجنتی Flume 06:49
-
تحکیم Flume 06:11
-
دسترسی به شل Hive در Google Cloud 00:50
-
مقدمه Hive 03:41
-
پایگاه داده Hive 08:29
-
جداول مدیریت شده Hive 06:23
-
جداول خارجی Hive 02:26
-
درجهای Hive 05:30
-
تحلیل Hive 04:21
-
کار با Parquet 03:29
-
فشردهسازی Parquet 04:27
-
کار با فرمت فایل ثابت 03:04
-
فرمان ALTER 06:12
-
توابع رشته Hive 06:21
-
توابع تاریخ Hive 05:39
-
پارتیشنبندی Hive 07:16
-
Bucket کردن Hive 03:44
-
آپاچی اسپارک چیست؟ 02:47
-
درک Cluster Manager (Yarn) 04:25
-
درک ذخیرهسازی توزیع شده (HDFS) 03:38
-
اجرای اسپارک در Yarn و HDFS 08:31
-
درک حالتهای استقرار 01:23
-
اسپارک در خوشه GCS 01:48
-
آپلود فایلهای داده برای اسپارک 01:49
-
درایورها و Executors 02:12
-
RDDs و دیتافریمها 04:28
-
تبدیلها و اکشنها 06:11
-
تبدیلهای باریک و گسترده 05:22
-
درک برنامه اجرایی 04:57
-
برنامههای مختلف توسط درایور 02:30
-
تبدیلهای نقشه و FlatMap 04:28
-
فیلتر و تقاطع 04:00
-
تبدیل Union و Distinct 02:23
-
GroupByKey - گروهبندی افراد بر اساس ماه تولد 05:53
-
ReduceByKey - کل تعداد دانشجویان در هر موضوع 06:44
-
SortByKey - مرتبسازی دانشجویان بر اساس شماره کلاس 06:03
-
MapPartition و MapPartitionWithIndex 06:20
-
تغییر تعداد پارتیشنها 03:34
-
جوین کردن - جوین کردن آدرس ایمیل بر اساس نام مشتری 03:06
-
اکشنهای اسپارک 06:05
-
تاپلهای اسکالا 03:05
-
فیلتر لاگهای خطا 10:22
-
تعداد دفعات کلمه در فایل متنی 08:35
-
جمعیت هر شهر 03:53
-
سفارشهای ثبت شده توسط مشتریان 09:20
-
رتبه متوسط فیلم 07:04
-
مقدمه دیتافریم 02:16
-
دیتافریم از فایلهای جیسان 08:42
-
دیتافریم از فایلهای Parquet 07:26
-
دیتافریم از فایلهای CSV 05:14
-
دیتافریم از فایل Avro 07:13
-
کار با XML 03:22
-
کار با ستونها 05:23
-
کار با رشتهها 04:05
-
کار با تاریخها 03:47
-
API فیلتر دیتافریم 02:50
-
API دیتافریم - بخش 1 04:51
-
API دیتافریم - بخش 2 06:25
-
SQL اسپارک 01:41
-
کار با جداول Hive در اسپارک 02:34
-
مجموعه دادهها در مقابل دیتافریم 03:28
-
توابع تعریف شده توسط کاربر (UDFS) 03:38
-
راهاندازی Intellij 02:24
-
راهاندازی پروژه 03:43
-
نوشتن اولین برنامه اسپارک در IDE 07:55
-
درک پیکربندی اسپارک 07:00
-
افزودن اکشنها و تبدیلها 07:55
-
درک برنامه اجرایی 07:43
-
بررسی خوشه EMR 02:02
-
راهاندازی خوشه 07:56
-
تنظیم کد اسپارک برای EMR 06:31
-
استفاده از Spark-submit 05:42
-
اجرای اسپارک در خوشه EMR 04:54
-
ایجاد RDD اسپارک از جدول Cassandra 09:13
-
پردازش داده Cassandra در اسپارک 08:18
-
سطرهای Cassandra در کلاس موردی 02:33
-
ذخیره RDD اسپارک در Cassandra 02:58
-
مقدمه بخش کافکا 01:24
-
راهاندازی خوشه Confluent 05:49
-
معماری کافکا 03:21
-
پارتیشنها و افستها 03:20
-
Consumer و Producers در کافکا 04:47
-
پیام کافکا 06:54
-
سریالسازی و سریالزدایی در کافکا 01:17
-
اولین Producer پایتون شما 11:11
-
اولین Consumer پایتون شما 04:17
-
کانکتور چیست؟ 01:53
-
کانکتور کافکا - AWS S3 به کافکا 12:08
-
مقدمه استریمینگ اسپارک 01:42
-
مقدمه MongoDB 04:18
-
یوزکیسها و محدودیتهای MongoDB 04:18
-
نصب MongoDB 08:03
-
یافتن 03:37
-
یافتن با فیلتر 02:09
-
درج 04:20
-
بروزرسانی 05:55
-
بروزرسانی مداوم 05:30
-
پروجکشنها 02:29
-
حذف 04:14
-
عملگرهای in و not in 02:39
-
عملگرهای gte و/ lte 02:16
-
عملگرهای and و or 03:03
-
عملگر regex 02:47
-
کار با رابط کاربری گرافیکی (GUI) 04:51
-
اعتبارسنجی و اسکیما 03:41
-
کار با ایندکسها 05:18
مشخصات آموزش
مسترکورس مهندسی داده - اسپارک، هدوپ، کافک و MongoDB
- تاریخ به روز رسانی: 1404/09/07
- سطح دوره:همه سطوح
- تعداد درس:142
- مدت زمان :12:12:06
- حجم :5.64GB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy
آموزش های مرتبط
The Great Courses
2,067,000
413,400 تومان
- زمان: 05:14:59
- تعداد درس: 30
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
1,428,500
285,700 تومان
- زمان: 03:37:21
- تعداد درس: 57
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
2,165,500
433,100 تومان
- زمان: 05:29:46
- تعداد درس: 50
-
سطح دوره:
-
زبان: دوبله فارسی
![آموزش AWS DynamoDB - یک بررسی جامع [جدید]](/media/courses/images/aws-dynamodb.jpg)
The Great Courses
1,362,500
272,500 تومان
- زمان: 03:27:39
- تعداد درس: 60
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
490,000
98,000 تومان
- زمان: 45:15
- تعداد درس: 18
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
7,577,000
1,515,400 تومان
- زمان: 19:11:34
- تعداد درس: 203
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
490,000
98,000 تومان
- زمان: 50:18
- تعداد درس: 18
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
796,500
159,300 تومان
- زمان: 02:01:30
- تعداد درس: 32
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
7,261,000
1,452,200 تومان
- زمان: 18:23:18
- تعداد درس: 103
-
سطح دوره:
-
زبان: دوبله فارسی