بوتکمپ مهندسی کلان داده با GCP و آژور کلود
✅ سرفصل و جزئیات آموزش
آنچه یاد خواهید گرفت:
- هدوپ، اسپارک و کافکا را از ابتدا یاد بگیرید، 3 تا V (حجم، سرعت و تنوع) و کاربردهای واقعی آنها را درک کنید.
- به گردشکارهای ETL، هضم، تبدیل و ذخیرهسازی داده با آپاچی اسپارک، Airflow، کافکا و سیستمهای توزیع شده مسلط شوید.
- راهحلهای کلان داده را در آژور و GCP مستقر و مدیریت کنید.
- روی پروژههای واقعی کلان داده کار کنید، معماریهای مقیاسپذیر، پایپلاینهای داده و تحلیل را با ابزارهای صنعتی پیادهسازی کنید.
پیشنیازهای دوره
- دانش اولیه کامپیوتر - نیازی به تجربه قبلی در کلان داده نیست، اما آشنایی با کامپیوتر و نرمافزارهای اولیه مفید است.
- دانش اولیه پایتون یا اس کیوال (اختیاری) - در حالی که الزامی نیست، داشتن درک اولیه از پایتون یا اس کیوال میتواند یادگیری پردازش داده را آسانتر کند.
- تمایل به یادگیری - انگیزه قوی برای بررسی فناوریهای کلان داده و کار با راهحلهای داده مقیاس بزرگ ضروری است.
- یک لپتاپ با دسترسی به اینترنت - هر سیستمی (ویندوز، مک یا لینوکس) با حداقل 8GB RAM برای اجرای ابزارهای کلان داده بهصورت محلی یا در ابر
توضیحات دوره
در دنیای دادهمحور امروزی، سازمانها با مقادیر عظیمی از داده تولید شده در هر ثانیه مواجه هستند. فناوریهای کلان داده برای پردازش، ذخیره کردن و تحلیل کارآمد این داده به منظور درک بینشهای تجاری ضروری شدهاند. چه مبتدی یا تازهکار، چه متخصص باتجربهای باشید و بخواهید وارد دنیای مهندسی کلان داده شوید، این دوره طراحی شده است تا شما را با پروژههای واقعی و end-to-end از یک مبتدی به سطح تخصصی برساند.
این بوتکمپ جامع کلان داده به شما کمک میکند تا به فناوریهای مورد تقاضا مانند هدوپ، آپاچی اسپارک، کافکا، Flink و پلتفرمهای ابری مانند AWS، آژور و GCP مسلط شوید. شما یاد میگیرید چگونه پایپلاینهای داده مقیاسپذیر بسازید، پردازش داده دستهای و بلادرنگ انجام دهید و با فریمورکهای رایانش توزیعشده کار کنید.
ما از مبانی شروع خواهیم کرد، مفاهیم اساسی کلان داده و اکوسیستم آن را توضیح خواهیم داد و به تدریج به سمت مباحث پیشرفته پیش خواهیم رفت و اطمینان حاصل خواهیم کرد که شما تجربه عملی از طریق پروژههای عملی کسب میکنید.
شما چه چیزی خواهید آموخت؟
- اصول کلان داده - درک 3 تا V (حجم، سرعت و تنوع) و اینکه چگونه فناوریهای کلان داده مشکلات واقعی را حل میکنند.
- مهندسی داده و پایپلاینهای - چگونگی طراحی گردشکارهای ETL، هضم داده از چند منبع، تبدیل آن و ذخیره کردن آن به صورت کارآمد را یاد بگیرید.
- پردازش کلان داده - تخصص در پردازش دستهای با آپاچی اسپارک و استریمینگ بلادرنگ با کافکا و Flink کسب کنید.
- راهحلهای کلان داده مبتنی بر ابر - راهحلهای کلان داده را در آژور و GCP با سرویسها مستقر و مدیریت کنید.
- پروژههای End-to-End - روی پروژههای مرتبط با صنعت کار کنید، معماریهای مقیاسپذیر، پایپلاینهای داده و تحلیل را پیادهسازی کنید.
- بهینهسازی عملکرد - بهترین شیوهها برای بهینهسازی گردشکارهای کلان داده برای کارایی و مقیاسپذیری را درک کنید.
تا پایان این دوره، شما برای کار آماده بوده، به مهارتهای کاربردی مجهز بوده و در کار با فناوریهای کلان داده مورد استفاده شرکتهای بزرگ در سطح جهانی اعتماد به نفس خواهید داشت.
اکنون در این دوره شرکت کنید و با کلان داده شغل خود را ارتقا دهید.
این دوره برای چه کسانی مناسب است؟
- مبتدیان و تازهکاران - هرکسی که در زمینه کلان داده تازهکار است و میخواهد شغل خود را در مهندسی داده، علم داده یا رایانش ابری آغاز کند.
- توسعهدهندگان نرمافزار - توسعهدهندگانی که به دنبال گسترش مهارتهای خود در زمینه فریمورکهای کلان داده مانند هدوپ، اسپارک و کافکا برای اپلیکیشنهای مقیاسپذیر هستند.
- تحلیلگران داده و دانشمندان داده - متخصصانی که میخواهند با مجموعه دادههای بزرگ، پایپلاینهای ETL و پردازش بلادرنگ در محیطهای کلان داده کار کنند.
- مهندسان ابر و DevOps - مهندسانی که میخواهند بیاموزند چگونه راهحلهای کلان داده را در آژور و GCP مستقر و مدیریت کنند.
- متخصصان با تجربه - متخصصان فناوری اطلاعات که به دنبال انتقال به مهندسی کلان داده و کار روی پروژههای واقعی با ابزارهای پیشرفته هستند.
بوتکمپ مهندسی کلان داده با GCP و آژور کلود
-
بررسی دوره، اینکه مهندس کلان داده چه کار میکند و نقشه راه 25:13
-
نصب آناکوندا و ویژوال استودیو کد برای پایتون 11:34
-
شروع کار با ویژوال استودیو کد و محیط 10:36
-
مبانی پایتون - سینتکس و سمانتیک 20:17
-
متغیرها در پایتون 18:55
-
انواع داده اولیه 09:52
-
عملگرها در پایتون 16:17
-
دستورات شرطی در پایتون 21:03
-
حلقه ها در پایتون 28:03
-
لیست در پایتون 37:07
-
مثالهای کاربردی از لیست 09:50
-
مجموعهها در پایتون 21:05
-
تاپل ها در پایتون 22:34
-
دیکشنریها در پایتون 38:19
-
توابع در پایتون 24:21
-
مثالهای تابع پایتون 28:03
-
توابع لامبدا در پایتون 09:44
-
توابع نقشه در پایتون 11:08
-
تابع فیلتر در پایتون 09:00
-
ایمپورت ماژولها و پکیجها در پایتون 17:06
-
بررسی کتابخانه استاندارد 17:44
-
عملیات فایل در پایتون 17:07
-
کار با مسیرهای فایل 08:43
-
مدیریت استثنا در پایتون 25:00
-
برنامه نویسی شیءگرا در پایتون 22:55
-
وراثت در پایتون - بخش 1 19:00
-
پلی مورفیسم در پایتون 19:08
-
کپسوله سازی در پایتون 22:12
-
انتزاع در پایتون 09:09
-
متدهای جادویی در پایتون 08:03
-
استثنای سفارشی در پایتون 07:05
-
OverLoading عملگر در پایتون 08:32
-
Iteratorها در پایتون 06:25
-
ژنراتورها در پایتون 11:06
-
دکوراتورها در پایتون 21:15
-
کار با Numpy در پایتون 28:16
-
دیتافریم و سریهای پانداس 29:09
-
دستکاری و تحلیل داده 24:38
-
خواندن منبع داده 15:04
-
پایتون با SQLite 16:56
-
لاگ کردن در پایتون 14:37
-
لاگ کردن با چندین لاگر 04:40
-
لاگ کردن در مثالهای واقعی 07:43
-
کلان داده چیست؟ - یک مثال عملی 18:22
-
5 تا V در کلان داده 22:23
-
کلان داده و سیستمهای توزیع شده 17:53
-
طراحی یک سیستم کلان داده خوب 11:01
-
زیرساخت سنتی در مقابل راهحلهای ابری 20:21
-
دریاچه داده در مقابل انبار داده در مقابل دریاچه داده 29:15
-
ETL در مقابل ELT 21:47
-
یک مهندس داده چه کار میکند و کلان داده در کجا استفاده میشود؟ 18:12
-
آشنایی با هدوپ 05:55
-
ویژگیهای هدوپ 09:33
-
اکوسیستم هدوپ - کامپوننتهای اصلی 09:08
-
اکوسیستم هدوپ - کامپوننتها 29:00
-
آشنایی با HDFS و اصطلاحات رایج 22:55
-
چرا HDFS 04:24
-
معماری HDFS 15:41
-
بلوکها در HDFS 12:03
-
عامل رپلیکیشن در HDFS 09:30
-
آگاهی از Rack در HDFS 07:46
-
شکست گره داده - موقت 11:44
-
شکست گره داده - دائم 14:16
-
گره نام ثانویه 17:16
-
گره نام پشتیبان 10:54
-
معماری HA هدوپ 20:25
-
نوشتن داده در HDFS 22:44
-
خواندن درخواست در HDFS 10:41
-
ایجاد خوشه GCP Hadoop 29:27
-
بررسی خوشه هدوپ 24:15
-
فرمانهای لینوکس - بخش 1 32:03
-
فرمانهای لینوکس - بخش 2 27:44
-
فرمانهای HDFS 30:09
-
آشنایی با پردازش توزیعشده 11:30
-
آشنایی با Map Reduce 17:05
-
Map Reduce و خوشه 12:28
-
Map Reduce (عملی) - قسمت 1 17:14
-
مثال MR - قسمت 2 22:20
-
MR با یک reducer (عملی) 39:41
-
MR با 2 reducer (عملی) 29:27
-
Combiner در MR 13:25
-
Map Reduce بدون Reducer 15:56
-
MR روی فایل لاگ بزرگ 20:40
-
تقسیم ورودی در MR 07:06
-
آشنایی با YARN 05:48
-
کامپوننتهای YARN 22:17
-
قیاس YARN 05:43
-
فرآیند گامبهگام YARN 28:04
-
توابع Higher Order 27:03
-
توابع لامبدا 12:21
-
Filter ،Map و Reduce 16:51
-
آشنایی با اسپارک 10:34
-
سوالات متداول در مورد اسپارک 29:24
-
محدودیتهای MR 08:04
-
اسپارک چیست؟ و ویژگیهای آن 16:10
-
اکوسیستم اسپارک 09:50
-
اجرای کد در اسپارک 29:16
-
برنامه شمارش کلمات در اسپارک 16:00
-
روشهای اجرای اسپارک 29:23
-
تبدیل در مقابل عمل 16:49
-
چرا اسپارک Lazy است 16:21
-
Spark RDD چیست؟ 11:40
-
اسپارک چگونه داده را میخواند؟ 16:44
-
خواندن داده و پارتیشنبندی اسپارک 19:09
-
تولید داده و گامهای پروژه 17:51
-
عملیاتهای Spark RDD - قسمت 1 25:12
-
عملیاتهای Spark RDD - قسمت 2 15:52
-
تبدیل - باریک در مقابل عریض 25:26
-
مراحل Jobها و تسک در رابط کاربری اسپارک 21:55
-
GroupByKey در مقابل ReduceByKey - قسمت 1 23:19
-
ReduceByKey در مقابل GroupByKey - قسمت 2 15:40
-
افزایش یا کاهش تعداد پارتیشنها 11:46
-
پارتیشنبندی مجدد در مقابل Coalesce 16:19
-
API های سطح بالاتر - دیتافریم 12:31
-
API های سطح بالاتر اسپارک - جداول اسپارک 09:34
-
دیتافریمها در اسپارک 08:46
-
دیتافریم - خواندن از HDFS 20:27
-
خواندن اسپارک - تبدیل یا اکشن 19:01
-
اجرای اسکیما در اسپارک 20:41
-
حالتهای خواندن در اسپارک 16:07
-
نوشتن در اسپارک 11:30
-
عملیاتها اسپارک 27:58
-
مدیریت انواع داده در PySpark 21:43
-
مدیریت نوع تاریخ 24:44
-
جداول اسپارک 06:20
-
جدول اسپارک - موقت 09:57
-
جدول اسپارک - موقت گلوبال 10:01
-
جداول اسپارک - جدول دائمی 14:42
-
اسپارک اس کیوال 16:22
-
اسپارک - جدول مدیریت شده در مقابل جدول خارجی 27:54
-
ایجاد دیتافریم در اسپارک 12:30
-
آشنایی با Persist و کشینگ 09:30
-
تفاوت بین Persist و کشینگ 08:38
-
برخی سوالات متداول در مورد کشینگ 16:42
-
کشینگ RDD - فایل کوچک 19:36
-
کشینگ Spark RDD - فایل بزرگ 15:49
-
کشینگ DF در اسپارک 16:01
-
کشینگ DF - فایل بزرگ 1 25:53
-
کشینگ Spark DF - قسمت 2 10:19
-
کشینگ جدول اسپارک 26:52
-
معماری اسپارک - حالت اجرا 06:56
-
طبیعت توزیع شده اسپارک و محاسبه در حافظه 05:36
-
معماری و کامپوننتهای اسپارک 24:35
-
اسپارک روی خوشه Standalone 19:21
-
YARN (بازبینی) - کامپوننت YARN 22:17
-
YARN (بازبینی) - فرآیند گامبهگام 28:04
-
Yarn در معماری اسپارک و رابط کاربری 34:22
-
تفاوت بین Standalone و روی Yarn 07:15
-
حالتهای استقرار در اسپارک 19:33
-
خواندن داده 12:06
-
پردازش داده مشتری 32:25
-
بینشهای قابل اجرا از مجموعه داده مشتری و سفارش 35:53
-
پروژه اسپارک - قسمت 1 03:30:56
-
پروژه اسپارک - قسمت 2 02:24:31
-
آشنایی با Hive 07:14
-
Hive چگونه پردازش کلان داده را آسانتر میکند؟ 08:40
-
برخی سوالات و تصورات غلط متداول در مورد Hive 21:52
-
Hive (عملی) - اتصال به Hive از طریق ترمینال و Beeline 20:58
-
Hive (عملی) - ایجاد و کوئری کردن جدول 24:21
-
دسترسی به متادیتا در Hive 17:02
-
معماری و کامپوننتهای Hive 21:08
-
جریان کوئری Hive 10:03
-
پایگاه داده Derby در Hive 09:42
-
آشنایی با آپاچی کافکا 09:04
-
چرا کافکا؟ و موارد استفاده آن 13:48
-
معماری کافکا 27:24
-
روشهای اجرای کافکا 09:44
-
ایجاد یک خوشه confluent Kafka (بدون نیاز به CC) 21:54
-
تولید پیام در خوشه کافکا 31:22
-
ارسال چندین پیام توسط Producerهای کافکا 17:11
-
Callback کردن Poll و Flush 03:34
-
Consume کردن پیام از کافکا 24:07
-
confluent Kafka روی رابط خط فرمان 34:53
-
آشنایی با سریهای داکر 00:59
-
داکرها و کانتینرها چه هستند؟ 12:20
-
ایمیجهای داکر در مقابل کانتینرها 05:44
-
داکرها در مقابل ماشینهای مجازی 07:46
-
نصب داکر 11:58
-
ایجاد یک ایمیج داکر 14:19
-
فرمانهای اولیه داکر 19:02
-
Push کردن ایمیج داکر به داکر هاب 08:30
-
Docker Compose 17:55
-
آشنایی با Apache Airflow 11:32
-
کامپوننتهای کلیدی Apache Airflow 07:42
-
چرا AirFlow برای کلان داده و MLOPS؟ 07:29
-
راهاندازی Airflow با Astro 14:49
-
اولین DAG خود را با Airflow بسازید 13:56
-
طراحی DAG محاسبات ریاضی با Airflow 20:49
-
شروع کار با TaskFlow API با Apache Airflow 10:24
-
آشنایی با پایپلاین ETL 09:24
-
شرح مشکل ETL و راهاندازی ساختار پروژه 12:40
-
تعریف ETL DAG با گامهای پیادهسازی 10:02
-
گام 1 - راهاندازی Postgres و ایجاد تسک جدول در Postgres 09:30
-
گام 2 - یکپارچهسازی NASA API با پایپلاین استخراج 10:14
-
گام 3 - ساخت پایپلاین تبدیل و بارگذاری 05:39
-
پیادهسازی نهایی پایپلاین ETL با راهاندازی اتصال AirFlow 14:22
-
پیادهسازی پایپلاین ETL در Astro Cloud و AWS 22:42
-
Databricks چیست؟ 04:34
-
چرا Databricks؟ 10:28
-
ایجاد حساب انجمن Databricks 12:09
-
بررسی رابط کاربری Databricks 23:00
-
درک معماری Databricks 13:45
-
سیستم فایل Databricks 21:22
-
خواندن داده در Databricks 12:06
-
پردازش داده در Databricks - داده مشتری 32:25
-
پردازش مشتری با سفارشات - بینشهای قابل اجرا 35:53
-
ایجاد یک حساب کاربری Azure 07:05
-
بررسی آژور کلود 07:42
-
پیشنیازها 06:03
-
معماری پروژه 11:29
-
ساخت حساب آژور 07:05
-
بررسی آژور کلود 07:42
-
بررسی مجموعه داده: مجموعه داده Olist 07:23
-
پایگاه داده اس کیوال و هضم داده 24:35
-
منابع و گروه منابع در آژور 01:05
-
Azure Data Factory 18:41
-
حساب ذخیرهسازی ADLS Gen 2 10:05
-
بررسی معماری مدالیون 05:28
-
هضم با Azure Data Factory 14:24
-
هضم بلادرنگ با Azure Data Factory 26:03
-
هضم پارامتری با ADF 15:14
-
ایجاد حساب Azure Databricks 01:23
-
بررسی Azure Databricks 08:20
-
بررسی رابط کاربری Azure Databricks 06:38
-
ایجاد رایانش و نوتبوک 01:50
-
هضم MongoDB در Databricks 08:12
-
بررسی گردش کار Azure Databricks 04:02
-
اتصال دریاچه داده ADLS Gen2 به Databricks 13:02
-
دسترسی به داده ADLS Gen2 04:52
-
بازبینی سریع 02:51
-
غنیسازی داده 02:14
-
دسترسی به داده در Databricks 05:38
-
خواندن داده در Databricks 06:02
-
تبدیل اسپارک 02:05
-
داده MongoDB برای غنیسازی 08:37
-
پاکسازی داده 08:07
-
استخراج بینشها از داده 05:04
-
اسپارک - تبدیل در مقابل اکشن 03:20
-
جوین کردن داده 10:02
-
غنیسازی داده از طریق MongoDB 05:12
-
مصورسازی داده در Databricks 06:30
-
اکسپورت داده به لایه نقرهای 11:00
-
بررسی Azure Synapse و ایجاد حساب 11:48
-
بررسی رابط کاربری Synapse 12:37
-
دسترسی Synapse به دریاچه 06:44
-
پول اس کیوال - اختصاصی در مقابل بدون سرور 03:02
-
دسترسی به داده دریاچه 08:06
-
ایجاد اسکیما و ویوی طلایی 01:36
-
گردش کار Azure Synapse 03:05
-
درک CETAS 11:20
-
ایجاد جدول ارائه خارجی طلایی 03:57
-
لایه ارائه تکمیل شد 01:10
-
جریان مصورسازی 02:47
-
تشکر و تبریک بابت پایان یک پروژه صنعتی 02:31
مشخصات آموزش
بوتکمپ مهندسی کلان داده با GCP و آژور کلود
- تاریخ به روز رسانی: 1404/06/14
- سطح دوره:همه سطوح
- تعداد درس:254
- مدت زمان :71:36:43
- حجم :41.41GB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy