دوره آموزشی
دوبله زبان فارسی
تسلط به مهندسی داده آژور - ساخت راهحلهای مقیاسپذیر
✅ سرفصل و جزئیات آموزش
آنچه یاد خواهید گرفت:
- اصول پایه مهندسی داده - درک مفاهیم کلیدی، نقشها و مسئولیتها در مهندسی داده، از جمله مدیریت چرخه عمر داده
- تسلط به SQL - تسلط به هر دو تکنیک اولیه و پیشرفته SQL برای کوئری، مدلسازی داده و بهینهسازی عملکرد پایگاه داده
- برنامهنویسی پایتون - کسب تجربه عملی در پایتون با تمرکز بر مفاهیم اولیه برنامهنویسی، دستکاری داده و مدیریت فایلها
- مهارتهای Databricks و PySpark - یادگیری استفاده از Databricks برای پردازش و تبدیل داده با PySpark، از جمله ساخت پایپلاینهای ETL کارآمد
- تخصص در سرویسهای آژور - بررسی سرویسهای مختلف آژور از جمله Azure Data Factory و Azure Synapse و Azure Storage برای یکپارچهسازی و تحلیل داده
- مصورسازی داده با پاور بی آی - ایجاد داشبورها و گزارشهای تعاملی با پاور بی آی، یکپارچهسازی داده از منابع مختلف و بهرهگیری از ابزارهای هوش مصنوعی
- تجربه پروژههای واقعی - اعمال مهارتهای آموخته شده در پروژههای عملی که سناریوهای صنعتی را شبیهسازی کرده و حل مسئله و مدیریت پروژه را تقویت میکند.
پیشنیازهای دوره
- درک اولیه از مفاهیم داده - آشنایی با مفاهیم و اصطلاحات اساسی داده
- دانش اولیه SQL - آگاهی مقدماتی از SQL مفید است اما اجباری نیست.
- آشنایی با برنامهنویسی - تجربه اولیه در هر زبان برنامهنویسی، ترجیحاً پایتون
- علاقه به مهندسی داده - علاقهمند به مهندسی داده و فناوریهای ابری
- کامپیوتر با دسترسی به اینترنت - کامپیوتر قابل اعتماد و اتصال اینترنتی برای دسترسی به مباحث دوره و شرکت در لابراتوارهای عملی
- آمادگی برای یادگیری - نگرش فعالانه به یادگیری و درگیر شدن با فناوریهای جدید
توضیحات دوره
به دوره جامع تسلط به مهندسی داده آژور 2025 بپیوندید تا سفری تحولآفرین در مهندسی داده آغاز کنید. این برنامه مهارتهای ضروری برای طراحی، پیادهسازی و مدیریت راهحلهای داده مقیاسپذیر با استفاده از فناوریهای مایکروسافت آژور را در اختیار شما میگذارد.
ویژگیهای برنامه درسی:
- آشنایی با مهندسی داده - درک مفاهیم اساسی، چرخه عمر داده و تفاوتهای بین پایگاه دادهها، پایپلاینها و پلتفرمهای ابری - بررسی نقشهای بنیادین مهندسی داده و اهمیت فرآیندهای ETL
- هسته اسپارک - کسب دانش عمیق درباره Apache Spark، معماری آن و کارکردهای اصلی و آشنایی با RDDs، تبدیلات، اکشنها و اجرای اپلیکیشنهای اسپارک
- Spark SQL - بررسی قابلیتهای Spark SQL، ویژگیها و یوزکیسهای آن - تسلط به دستکاری داده با استفاده از دیتافریمها و بررسی یکپارچهسازی با Hive و سایر منابع داده
- استریمینگ اسپارک - کشف پردازش داده بلادرنگ با استریمینگ اسپارک - آشنایی با میکرو-بچینگ، استریمینگ ساختاریافته و نحوه ساخت اپلیکیشنهایی که استریمهای داده لایو را مدیریت میکنند.
- پایتون برای مهندسی داده - کسب پایهای قوی در پایتون با تمرکز بر ساختارهای داده، توابع و کتابخانههایی مانند NumPy و Pandas و یادگیری نحوه مصورسازی داده با Matplotlib و Seaborn
- SQL پایه و پیشرفته - تسلط به SQL از نصب تا تکنیکهای پیشرفته کوئری، از جمله جوینها، توابع window و رویههای ذخیرهشده - یادگیری نحوه اتصال SQL با پایتون برای دستکاری داده پیشرفته
- اصول Azure Cloud - بررسی سرویسهای ابری آژور، از جمله راهحلهای ذخیرهسازی، یکپارچهسازی داده با Azure Data Factory و پردازش داده با Databricks و درک امنیت و نظارت بر محیط ابری
- Databricks کامل با PySpark - دریافت تجربه عملی با Databricks به و کسب درک درستی از جذب داده، ارکستراسیون و بهینهسازی عملکرد و شرکت در لابراتوارهای عملی و پروژهها برای تثبیت درک خود
- پروژههای Capstone - اعمال یادگیری خود در سناریوهای واقعی از طریق پروژههای جامع از جمله پایپلاینهای ADF، پیادهسازیهای Databricks و فرایندهای CI/CD
به ما بپیوندید تا مهارت گستردهای در مهندسی داده بسازید و برای فرصتهای هیجانانگیز در زمینه تحلیل داده و رایانش ابری آماده شوید. چه مبتدی باشید و چه بخواهید تخصص خود را عمیقتر کنید، این دوره ابزارها و دانش لازم را برای درخشش در اختیارتان میگذارد.
این دوره برای چه کسانی مناسب است؟
- مهندسان داده آینده - افرادی که میخواهند به دنبال شغلی در زمینه مهندسی داده و تحلیل داده باشند.
- حرفهایهای IT - حرفهایهای فعلی IT که به دنبال ارتقای مهارت و تغییر نقش به مهندس داده هستند.
- تحلیلگران داده - تحلیلگران داده که میخواهند مهارتهای فنی خود را عمیقتر کرده و دانش مهندسی داده را گسترش دهند.
- دانشجویان در زمینههای مرتبط - دانشجویان دانشگاه در رشته علوم کامپیوتر یا فناوری اطلاعات یا علم داده
- تحلیلگران کسبوکار - حرفهایهایی که به دنبال استفاده از مهندسی داده برای بهبود بینشهای کسبوکار و تصمیمگیری هستند.
- تغییردهندگان شغل - افرادی با پیشینه غیرفنی که انگیزه دارند وارد حوزه مهندسی داده شوند.
- کسی که به راهحلهای آژور علاقه دارد - کسانی که میخواهند آژور را به عنوان ارائهدهنده سرویس ابری برای راهحلهای داده بفهمند و استفاده کنند.
تسلط به مهندسی داده آژور - ساخت راهحلهای مقیاسپذیر
-
آشنایی با این ماژول 04:48
-
مهندسی داده چیست؟ 10:36
-
چرخه عمر داده 09:53
-
پایگاه دادهها، پایپلاینها و پلتفرمهای ابری 07:08
-
داده دستهای در مقابل داده استریمینگ 04:23
-
مقدمه 00:39
-
ETL چیست؟ 07:48
-
ابزارهای ETL 05:55
-
انبار داده چیست؟ 03:13
-
مزایای انبار داده 01:29
-
ساختار انبار داده 03:06
-
چرا به staging نیاز داریم؟ 06:36
-
بازارهای داده چه هستند؟ 02:56
-
دریاچه داده 02:32
-
دریاچه داده در مقابل انبار داده 03:44
-
عناصر دریاچه داده 01:50
-
مقدمه 03:14
-
مخاطبان هدف 02:22
-
مقدمه اسپارک 04:47
-
ادامه مقدمه اسپارک 03:15
-
چرا آپاچی اسپارک؟ 04:38
-
ویژگیهای اسپارک 06:58
-
معرفی کلان داده 01:36
-
ادامه کلان داده 03:13
-
5V کلان داده 03:45
-
قابلیتهای کلان داده 02:12
-
ذخیرهسازی کلان داده 02:40
-
مشکلات کلان داده 01:58
-
راهحلهای کلان داده برای مسائل 09:28
-
مثال آمازون درباره کلان داده 07:59
-
مثال آمازون درباره کلان داده - ادامه 07:14
-
پایپلاین ETL 07:02
-
ETL و جایگاه اسپارک در آن 05:34
-
در دسترس بودن آپاچی اسپارک 07:53
-
مستندات رسمی اسپارک 06:53
-
استک هدوپ 06:09
-
مقایسه ابزارها 07:36
-
معماری اسپارک 07:09
-
تفاوت MR اسپارک 04:10
-
هسته اسپارک 06:58
-
هسته اسپارک - DAG 07:37
-
کد اسپارک - متغیرهای مشترک 08:35
-
کد اسپارک - متغیرهای مشترک (ادامه) 08:35
-
RDD - آبجکتهای داده اسپارک 08:25
-
تبدیل و اکشن - RDD 07:59
-
گراف جهتدار چرخهای 07:25
-
گراف جهتدار چرخهای - ادامه 07:28
-
اجرای اپلیکیشن اسپارک 09:19
-
ادامه اجرای اپلیکیشن اسپارک 07:42
-
پیکربندیهای اسپارک 07:55
-
پیکربندیهای اسپارک - عملیاتها 08:22
-
پیکربندیهای اسپارک - کانتکس و سشنهای اسپارک 04:11
-
پیکربندیهای اسپارک - نسخههای اسپارک 04:51
-
Google Colab - تمرین 08:09
-
مثالهای اسپارک -Notebook در Google Colab 05:55
-
مثالهای پیکربندی اسپارک 07:44
-
مثالهای RDD - روش موازیسازی 08:39
-
مثالهای RDD - تبدیلات اسپارک 08:24
-
مثالهای RDD - تبدیلات اسپارک - Union 08:22
-
راهاندازی سریع ماشین مجازی - تمرین Cloudera 05:07
-
راهاندازی خوشه 06:46
-
راهاندازی خوشه - ذخیرهسازی 07:17
-
منابع خوشه 08:35
-
خوشه - حالتهای اجرای اپلیکیشن 09:20
-
معماری خوشه 06:57
-
راهاندازی سریع ماشین مجازی - فروشندگان 07:22
-
شل اسپارک 06:58
-
نصب و پیکربندیهای اسپارک 08:48
-
Spark shell Scala، ابزارها 08:42
-
مثال شمارش کلمات در اسپارک 07:39
-
جریان مثال شمارش کلمات 10:12
-
اجرای مثال شمارش کلمات 07:26
-
خروجی - اپلیکیشن اسپارک 07:22
-
تحلیل خروجی 06:24
-
رابط کاربری اسپارک 07:14
-
Persist و Unpersist 08:35
-
متغیرهای مشترک - Broadcast 05:15
-
متغیرهای مشترک - Accumulator 04:49
-
Closure هسته اسپارک 01:31
-
مقدمه 02:05
-
ویژگیهای Spark SQL 07:08
-
یوزکیسهای Spark SQL 04:42
-
Catalyst در Spark SQL 06:01
-
Catalyst در Spark SQL - ادامه 02:33
-
Spark SQL و Hive 06:22
-
Spark SQL و دیتافریمهای Pandas 04:31
-
کد Spark SQL 04:02
-
مستندات رسمی Spark SQL 06:40
-
مجموعه داده در Spark SQL 07:59
-
سشن اسپارک در Spark SQL 04:54
-
ایجاد دیتافریم در Spark SQL 03:45
-
عملیاتهای دیتافریم در Spark SQL 07:37
-
ادامه عملیاتهای Spark SQL 04:36
-
مثال ساده SQL در Spark SQL 06:13
-
ادامه مثال Spark SQL - بخش 1 07:01
-
ادامه مثال Spark SQL - بخش 2 08:46
-
ادامه مثال Spark SQL - بخش 3 07:49
-
جدول موقت در Spark SQL 05:54
-
Spark SQL روی خوشه 10:14
-
Spark SQL Hive - بخش 1 09:36
-
Spark SQL Hive - بخش 2 06:48
-
Spark SQL - داده فیلمها 07:54
-
Spark SQL - بارگذاری داده رتبهبندی 05:55
-
Spark SQL - محبوبترین فیلمها 07:23
-
Spark SQL - فیلمهای دارای رتبه بالا 08:00
-
Spark SQL - فیلمهای Marmite 06:03
-
Spark SQL - عملیاتهای SQL 06:41
-
راهاندازی پروژه Spark SQL 08:20
-
راهاندازی خوشه Spark SQL 10:57
-
Closure در Spark SQL 01:47
-
مقدمه 06:19
-
استریمینگ اسپارک - درک داده بلادرنگ 04:50
-
استریمینگ اسپارک - میکرو دستهها 05:44
-
معماری استریمینگ اسپارک 07:30
-
اجزای داخلی استریمینگ اسپارک 05:38
-
مثال منابع Netcat در استریمینگ اسپارک 07:02
-
اپلیکیشن استریمینگ اسپارک 07:39
-
استریمینگ اسپارک ساختاریافته 05:12
-
معماری کد ساختارمند استریمینگ اسپارک 05:08
-
معرفی Databricks در استریمینگ اسپارک 07:21
-
مثال استریمینگ اسپارک ساختاریافته - بخش 1 07:14
-
مثال استریمینگ اسپارک ساختاریافته - بخش 2 09:05
-
مثال استریمینگ اسپارک ساختاریافته - بخش 3 06:18
-
استریمینگ اسپارک - مثال خوشه - بخش 1 06:18
-
استریمینگ اسپارک - مثال خوشه - بخش 2 08:09
-
Closure در استریمینگ اسپارک 02:10
-
آشنایی با پایتون 04:57
-
متغیرها و کلیدواژهها 19:54
-
تایپهای داده و عملگرها 21:49
-
ساختار داده - لیستها 27:51
-
ساختار داده - تاپلها 24:57
-
ساختار داده - دیکشنری 17:39
-
ساختار داده - مجموعه 12:45
-
توابع در پایتون 23:31
-
نقشه، Reduce و فیلتر 30:15
-
حلقهها و تکرارها 19:16
-
مدیریت فایل در پایتون 19:19
-
ساختارهای کنترل 09:39
-
مفهوم OOPs در پایتون 20:42
-
کتابخانه NumPy 28:33
-
کتابخانه Pandas 34:13
-
مصورسازی داده 06:12
-
کتابخانه Matplotlib 26:37
-
کتابخانه Seaborn 19:10
-
مقدمه 01:59
-
نصب MySQL Workbench 03:25
-
معماری داده - سرور فایل در برابر سرور کلاینت 07:25
-
آشنایی با زبان کوئری ساختاریافته (SQL) 09:47
-
Constraints در SQL 16:16
-
مبانی جدول - DDLs 22:52
-
مبانی جدول - DQLs 17:10
-
مبانی جدول - DMLs 28:20
-
جوینها در SQL 25:59
-
ایمپورت و اکسپورت داده 31:47
-
توابع تجمیع 12:01
-
توابع رشته 16:47
-
توابع تاریخ و زمان 13:34
-
عبارات منظم 09:18
-
کوئریهای تودرتو 14:57
-
Views در SQL 12:43
-
رویههای ذخیره شده 25:33
-
تابع Windows 22:12
-
اتصالپذیری پایتون و SQL 20:08
-
مقدمه 43:33
-
اصول مهندسی داده 42:29
-
ETL در مقابل ELT 31:10
-
سیستمهای کلان داده 41:25
-
ذخیرهسازی و پردازش داده 33:03
-
اکوسیستمهای کلان داده 30:58
-
فرمتهای فایل و گیت 46:03
-
CI/CD 11:09
-
مقدمه 06:10
-
پیشنیازها 06:35
-
رایانش ابری 22:41
-
Sub و RG و ARM در آژور 21:25
-
سرویسهای Azure Storage 35:25
-
یکپارچهسازی داده با استفاده از Azure Data Factory 36:58
-
پردازش داده با اسپارک و Databricks 38:37
-
پردازش دستهای در مقابل پردازش بلادرنگ 37:22
-
امنیت 48:04
-
نظارت 14:41
-
مقدمه 03:54
-
Hive و تکامل آن 11:12
-
معماری Hive 21:57
-
متادیتا و جداول Hive 32:00
-
تایپهای داده و ابزارهای Hive 28:59
-
مقدمه 02:06
-
پیشنیازها 04:04
-
Databricks چیست؟ 22:14
-
مهندسی داده با آپاچی اسپارک 16:23
-
دریاچه دلتا و Data Lakehouse 28:15
-
جذب داده 30:26
-
ارکستراسیون داده 17:10
-
پرفورمنس تیونینگ و بهینهسازی عملکرد 27:55
-
امنیت و حاکمیت 19:04
-
تمرینهای Databricks 53:33
-
لابراتوار Databricks - دفترچه یادداشت 1 01:03:13
-
لابراتوار Databricks - دفترچه یادداشت 2 09:58
-
لابراتوار پایپلاینها 52:10
-
لابراتوار SQL 16:40
-
مخازن و لابراتوار استریمینگ 40:20
-
راهاندازی ابر آژور 59:01
-
بررسی ADF 58:29
-
بررسی Azure Databricks - بخش 1 30:49
-
بررسی Azure Databricks - بخش 2 29:34
-
یکپارچهسازی داده - Azure Data Factory (ADF) 01:14:33
-
پردازش داده - Azure Databricks 01:01:26
-
مقدمه 24:53
-
پایپلاین Azure Data Factory (ADF) 45:07
-
پروژه Databricks 41:24
-
پروژه CI/CD شماره 1 48:51
-
پروژه CI/CD شماره 2 41:04
مشخصات آموزش
تسلط به مهندسی داده آژور - ساخت راهحلهای مقیاسپذیر
- تاریخ به روز رسانی: 1404/09/07
- سطح دوره:همه سطوح
- تعداد درس:212
- مدت زمان :50:34:22
- حجم :27.41GB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy