مهندسی داده در AWS (بخش 1) - OLAP و انبار داده

معرفی
سرفصل

✅ سرفصل و جزئیات آموزش

آنچه یاد خواهید گرفت:

درک مهندسی داده (بخش 1) در AWS با S3 ،Redshift ،Athena و Hive
آشنایی کامل با Redshift ،S3 و Athena تا سطح 350+ با تمرین عملی
پروژه‌های سطح تولید و تمرین‌های عملی برای کمک به داوطلبان برای ارائه آموزش حین کار
دسترسی به مجموعه‌داده‌هایی با اندازه 100 گیگ و 200 گیگ و تمرین با همان
یادگیری پایتون برای مهندسی داده با تمرین عملی (توابع، آرگومان‌ها، برنامه‌نویسی شی‌گرا (کلاس، شیء و self)، ماژول‌ها، پکیج‌ها، Multithreading، مدیریت فایل و غیره)
یادگیری اس کیوال برای مهندسی داده با تمرین عملی (اشیاء پایگاه‌داده، CASE، توابع پنجره، Materialized View ،CTE ،CTAS ،MERGE و غیره)

پیش‌نیازهای دوره

آشنایی با AWS و اس کیوال مفید است.

توضیحات دوره

این دوره بخش 1 مهندسی داده در AWS است. این دوره توضیحات دقیقی در مورد سرویس‌های مهندسی داده‌ AWS مانند Redshift ،Athena ،Hive ،Glue Data Catalog ،Lake Formation و S3 (Simple Storage Service) ارائه می‌دهد. این دوره به لایه انبار داده یا لایه مصرف و ذخیره‌سازی پایپ‌لاین داده مهندسی می‌پردازد. در بخش 2، سرویس‌های پردازش داده (دسته‌ای و استریمینگ) را معرفی خواهیم کرد.

شما فرصت‌هایی برای انجام تمرین عملی با مجموعه‌داده‌های بزرگ (100 گیگ تا 300 گیگ یا داده بیشتر) را خواهید داشت. علاوه بر این، این دوره تمرین‌های عملی را ارائه می‌دهد که با سناریوهای واقعی مانند تیونینگ عملکرد کوئری Redshift، هضم استریمینگ، توابع پنجره، تراکنش‌های ACID، فرمان COPY، کلید توزیع و کلید مرتب‌سازی، WLM، امنیت سطح ردیف و سطح ستون، پارتیشن‌بندی Athena WLM ،Athena و غیره مطابقت دارد.

برخی دیگر از نکات برجسته:

آموزش مدل‌سازی داده - نرمال‌سازی و نمودار ER برای سیستم‌های OLTP و مدل‌سازی ابعادی برای سیستم‌های OLAP و DWH
تمرین عملی مدل‌سازی داده
فناوری‌های دیگر تحت پوشش - EC2 ،EBS ،VPC و IAM

این دوره برای چه کسانی مناسب است؟

مهندسان داده، دانشمندان داده و تحلیل‌گران داده
توسعه‌دهندگان پایتون، توسعه‌دهندگان اپلیکیشن و توسعه‌دهندگان کلان داده
مدیران پایگاه‌داده (DBA) و مدیران کلان داده
معماران راه‌حل، معماران ابر و معماران کلان داده
مدیران فنی، مدیران مهندسی و مدیران پروژه

مهندسی داده در AWS (بخش 1) - OLAP و انبار داده

فصل 1: مقدمه - مهندسی داده (بخش 1) در AWS

مقدمه دوره و منابع 24:28
مقدمه دوره و محتوای دوره 12:11
جزئیات دوره - پروژه‌ها و درباره مدرس 06:20

فصل 2: (اختیاری) پیش‌نیازهای AWS - بررسی EC2 و EBS

آشنایی با AWS Cloud و EC2 10:15
کنسول EC2 و کار عملی 13:43
نظریه EBS 11:29
بخش عملی EBS 08:34

فصل 3: (اختیاری) پیش‌نیازهای AWS - بررسی VPC

آشنایی با VPC و کامپوننت‌ها 18:36
کامپوننت‌های VPC - بخش عملی 23:03
میزبان Bastion 03:22
گروه‌های امنیتی 12:27
NAT Gateway و اندپوینت VPC 16:30
همتاسازی VPC 02:33

فصل 4: (اختیاری) پیش‌نیازهای AWS - بررسی IAM

آشنایی با IAM و بخش عملی 15:18
نقش‌های سرویس IAM 12:02

فصل 5: (اختیاری) پیش‌نیازهای غیر AWS - مبانی اس کیوال

آشنایی با اس کیوال 14:04
راه‌اندازی کلاینت و سرور اس کیوال 12:17
نظریه اشیاء پایگاه داده اس کیوال 17:18
اشیاء پایگاه داده - بخش عملی 29:19
عملیات‌های CRUD 14:43
عملگرهای SELECT 16:56
توابع CASE و COALESCE 09:28
توابع DATE 05:45
CTAS ،Cast و Concat 14:10
بروزرسانی، حذف و Truncate 10:06
عبارت HAVING 07:42
Right Join ،Left Join ،Inner Join و Outer Join 19:27
Union Intersect View 12:58
Materialized View 08:18
عبارت جدول مشترک (CTE) 10:48
توابع پنجره اس کیوال 22:40
دستور MERGE و خلاصه 10:52

فصل 6: (اختیاری) پیش‌نیازهای غیر AWS - مبانی پایتون

آشنایی با پایتون - معماری، PyCharm و محیط مجازی 26:28
بررسی رابط خط فرمان و PyCharm 08:51
کامپایل شده در مقابل تفسیرشده 07:41
هر چیزی در پایتون شیء است 07:38
نوع داده رشته 06:58
نوع داده عدد 02:57
نوع داده لیست 09:43
نوع داده تاپل 05:11
نوع داده مجموعه و دیکشنری و تبدیل نوع 12:31
عملگرهای پایتون 03:20
راه‌اندازی مفسر پایتون در PyCharm 08:31
توابع چاپ و ورودی 11:20
عبارت IF 05:41
حلقه‌های For و While 10:33
آشنایی با توابع 09:53
اسکوپ کردن توابع 08:21
بازگشت توابع 07:53
آرگومان‌های تابع 04:58
اصلاح آرگومان‌ها 07:09
آرگومان‌های موقعیتی و کلمه کلیدی 05:37
args و kwargs 10:59
شیء، کلاس و Self 27:43
متغیرهای کلاس و شیء و __init__ 14:55
تمرین شیء و کلاس - قسمت 1 14:48
تمرین شیء و کلاس - قسمت 2 13:47
وراثت 04:36
مدیریت حافظه در پایتون 08:05
ماژول‌ها و پکیج‌ها 23:14
تمرین عملی 01:31
پیش‌کامپایل ماژول 03:27
فضاهای نام و __name__ 07:55
مدیریت خطا در پایتون 11:32
مدیریت فایل 13:39
ماژول CSV و JSON 10:56
مفهوم Multi-threading با پایتون 17:37
Multi-threading - بخش عملی و تمرین 22:01
اشکال‌زدایی و پروفایلینگ 18:26

فصل 7: آشنایی با مهندسی داده

آشنایی با مهندسی داده، OLTP و OLAP 33:09
بازار داده و مش داده 05:31
Data Lakehouse ،Data Lake و DWH 22:04

فصل 8: ذخیره‌سازی توزیع‌شده AWS - بررسی S3 (Simple Storage Service) برای مهندسان داده

مقدمه S3 - قسمت 1 14:38
مقدمه S3 - قسمت 2 22:49
مبانی S3 05:43
مبانی S3 - بخش عملی 18:53
نسخه‌بندی S3 13:06
رمزگذاری S3 05:51
کلاس ذخیره‌سازی 20:18
آپلود چند قسمتی S3 12:51
سیاست‌های چرخه عمر 15:03
رپلیکیشن بین‌منطقه‌ای 10:12
S3 Mountpoint 09:21
امنیت - سیاست مبتنی بر هویت S3 19:02
امنیت - سیاست S3 Bucket 08:29
سیاست Bucket با VPC، آدرس IP و VPCE 03:49
S3 Access Point 16:26
S3 Object Lambda 18:54
URL با از پیش امضا شده 04:33
ملاحظات عملکرد S3 05:31
قیمت‌گذاری S3 13:00
الگوهای معماری با S3 07:24

فصل 9: مدل‌سازی داده - نرمال‌سازی، نمودار ER و مدل‌سازی ابعادی

آشنایی با مدل‌سازی داده 17:14
فرم‌های نرمال 2NF ،1NF و 3NF 28:00
روابط: یک به یک، یک به چند، چند به یک و چند به چند 08:50
مدل‌سازی ابعادی - Factها، ابعادها و Grainها 24:39
تمرین Grainها 09:18
تکنیک مدل‌سازی ابعادی 14:59
انواع جداول Fact و ابعاد 10:09

فصل 10: انبار داده در AWS - بررسی Redshift Infra

Redshift Infra 19:36
Redshift Infra - بخش عملی 21:41
معماری Redshift - بررسی نقشه Zone و ذخیره‌سازی ستونی 15:02
تغییر اندازه خوشه - الاستیک و کلاسیک 08:31
تغییر اندازه خوشه - بخش عملی 05:03
مکث و تغییر نام خوشه 04:30
اسنپ‌شات و پشتیبان‌گیری 07:42
نتیجه‌گیری Redsfhit Infra 03:04

فصل 11: اشیاء Redshift

کوئری‌نویسی، اتصال، RSQL و QEV2 16:10
راه‌اندازی ویرایشگر کوئری و RSQL 17:54
سلسله‌مراتب اشیاء، جداول - بخش عملی 19:13
انواع داده - بخش عملی 14:19
عملیات‌های جدول - بخش عملی 12:27
Redshift ACID، قفل‌ها و سطح ایزوله‌سازی 12:04
پیاده‌سازی تراکنش‌ها 10:00
AccessShareLock و ShareRowExclusiveLock - بخش عملی 08:50
نوع داده Redshift SUPER 14:28
خلاصه بخش 05:01

فصل 12: بررسی عمیق Redshift

کلید توزیع و استایل و کلید مرتب‌سازی 29:35
فشرده‌سازی ستون 06:42
اصلاح کلید مرتب‌سازی، توزیع و فشرده‌سازی - بخش عملی 19:17
فرمان COPY - نظریه 06:33
فرمان COPY - بخش عملی 13:36
فرمان UNLOAD 07:15
AWS DMS - انتقال از OLTP به DWH 08:09
DMS - راه‌اندازی منبع OLTP و اپلیکیشن پایتون 19:13
راه‌اندازی نمونه، اندپوینت و تسک DMS 15:27
تسک DMS - بررسی OLTP به DWH 28:44
نگهداری جدول - VACUUM و ANALYZE 09:46
Vacuum و تحلیل - بخش عملی 11:24

فصل 13: ویژگی‌های Redshift

Materialized View (MV) 10:27
MV - بخش عملی 13:58
Query Federation 11:19
Redshift Spectrum 14:18
هضم استریمینگ 24:04
موارد استفاده ویژگی Redshift 28:36

فصل 14: تیونینگ کوئری Redshift

اجراي کوئری 22:32
نقشه EXPLAIN و جوین‌های سیستم 23:31
جوین‌های سیستمی - بخش عملی 05:28
توزیع مجدد داده 09:00
EXPLAIN و توزیع مجدد - بخش عملی 16:18
تمرین تیونینگ کوئری - قسمت 1 31:16
تمرین تیونینگ کوئری - قسمت 2 24:46
تمرین تیونینگ کوئری - قسمت 3 24:27

فصل 15: مدیریت حجم کاری Redshift (WLM)

آشنایی با WLM و صف کوئری 09:01
مقیاس‌بندی همزمان و تسریع کوئری‌های کوتاه 07:18
پیکربندی WLM - بخش عملی 16:43
ایجاد صف کوئری - بخش عملی 15:49
صف کوئری در عمل 07:10
مقیاس‌بندی همزمان در عمل 15:32

فصل 16: امنیت Redshift - بررسی CLS ،RLS، کنترل دسترسی مبتنی بر نقش و ماسک کردن داده پویا (DDM)

کاربران، نقش‌ها و کنترل دسترسی مبتنی بر نقش 11:29
کاربران، نقش‌ها و کنترل دسترسی مبتنی بر نقش - بخش عملی 12:13
امنیت سطح ردیف و ستون (RLS و CLS) 11:24
چندین سیاست RLS - بخش عملی 13:01
CLS - بخش عملی 04:59
ترکیب RLS و CLS - بخش عملی 04:44
ماسک کردن داده پویا 07:00
ردیابی کاربران، نقش‌ها، CLS و RLS 10:48
لاگ کردن حسابرسی 11:31

فصل 17: نظارت بر Redshift

نظارت بر Redshift با کنسول 18:00
Viewهای سیستم برای نظارت بر کوئری‌ها، اشیاء Redshift و پارامترهای پیکربندی 20:50

فصل 18: Redshift بدون سرور

آشنایی با Redshift بدون سرور 12:11
ایجاد و حذف منابع بدون سرور Redshift 06:39
COPY و UNLOAD در حالت بدون سرور 10:16
راه‌اندازی یکپارچه‌سازی ZeroETL 24:11
ZeroETL در عمل 12:58
شباهت‌های تیونینگ کوئری 04:28
مهاجرت از منابع Provision شده به بدون سرور 03:55

فصل 19: قیمت‌گذاری دقیق Redshift

کامپوننت‌های قیمت‌گذاری Redshift 11:14
مثال قیمت‌گذاری - منابع Provision شده، بدون سرور، مقیاس‌بندی همزمان و Spectrum 11:15
ماشین حساب قیمت‌گذاری AWS 05:16