دوره آموزشی
دوبله زبان فارسی
پروژه Azure Databricks end to end با Unity Catalog و CICD
✅ سرفصل و جزئیات آموزش
به Azure Databricks مسلط شوید. پروژه عملی را با پیاده سازی CICD ،Delta lake ،Unity Catalog و معماری Medallion بررسی کنید.
آنچه یاد خواهید گرفت:
- درک و پیاده سازی Unity Catalog
- پیاده سازی پروژه با بارگذاری افزایشی
- درک استریمینگ ساختار یافته اسپارک
- پیاده سازی یکپارچه سازی مداوم و استقرار مداوم در پروژه
- تجربه پروژه عملی بلادرنگ
- پیاده سازی Delta Lake و کار با آن
- درک ویژگی های Delta Lake
- معماری Medallion را در پروژه خود پیاده سازی کنید.
- تکامل Delta lake از Datalake
- درک گردش کارها در Azure Databricks
- شبیه سازی محیط بلادرنگ با Unity Catalog
- پیاده سازی ایجاد و مدیریت خوشه رایانش
- استریمینگ ساختار یافته اسپارک چگونه کار می کند؟
- پیاده سازی استریمینگ ساختار یافته در Azure databricks
- درک بارگذاری افزایشی با Autoloader
- کدی که در هر محیطی اجرا می شود.
- درک و پیاده سازی Unity Catalog Object Model
- ساخت یک پایپ لاین end to end CICD
- درک پیاده سازی جداول لایو Delta
- آزمون های تمرینی برای محک زدن دانش شما
توضیحات دوره
خودتان را در پروژه های واقعی غوطه ور کنید که در آن ها از قابلیت های Delta Lake ،Unity Catalog و متدولوژی های CICD استفاده خواهید کرد و در عین حال معماری پیشرفته Medallion را پیاده سازی خواهید کرد. این برنامه آموزشی به عنوان دروازه شما به سوی یکپارچه سازی و پردازش یکنواخت داده در ابر عمل می کند، بینش های ارزشمند در مورد جدیدترین شیوه ها در مهندسی داده ارائه می دهد.
در طول این دوره، پیچیدگی های Delta Lake را بررسی کرده، مهارت های خود در Unity Catalog را بهبود داده و در هنر یکپارچه سازی مداوم و استقرار مداوم متخصص خواهید شد. چه متخصص داده با تجربه باشید و بخواهید مجموعه مهارت های خود را بهبود دهید، چه یک تازه کار علاقه مند باشید و بخواهید دنیای مهندسی داده را بررسی کنید، این دوره ابزارها و دانش لازم را برای ارتقای تخصص شما در زمینه Azure Databricks را فراهم می کند.
این دوره برای چه کسانی مناسب است؟
- مهندسان داده که می خواهند تجربه بلادرنگ استفاده از Azure Databricks را بدست آورند.
- متخصصان داده که می خواهند یک پروژه end to end در Azure Databricks بسازند.
- مهندسانی که می خواهند Azure Databricks و پیاده سازی آن را یاد بگیرند.
پروژه Azure Databricks end to end با Unity Catalog و CICD
-
مقدمه دوره 01:13
-
معماری و مفاهیم پروژه 06:17
-
پیش نیازها و مزایای این دوره 02:53
-
مقدمه بخش 00:35
-
ایجاد یک بودجه برای پروژه 04:22
-
ایجاد یک فضای کاری Azure Databricks 03:24
-
ایجاد Azure Datalake Storage Gen2 01:49
-
بررسی databricks Workspace UI 04:03
-
مقدمه بخش 00:56
-
آشنایی با پردازش داده توزیع شده 13:39
-
Azure Databricks چیست؟ 05:36
-
معماری Azure Databricks 08:14
-
پیکربندی و انواع خوشه 24:21
-
پشت صحنه هنگام ایجاد خوشه 06:39
-
ثبت نام برای Databricks Community Edition 05:18
-
درک مبانی Markdown و نوت بوک 11:21
-
نوت بوک - فرمان های جادویی 08:09
-
DBUitls - یوتیلیتی های سیستم فایل 18:56
-
DBUitls - یوتیلیتی های ویجت 13:49
-
DBUitls - یوتیلیتی های نوت بوک 13:00
-
دانش اولیه در مورد Azure Databricks None
-
مقدمه بخش 00:50
-
معایب Azure Datalake 04:06
-
Delta lake چیست؟ 01:33
-
درک معماری Lakehouse 06:19
-
ایجاد فضای کاری Databricks و ADLS برای Delta lake 03:19
-
دسترسی به ذخیره سازی Datalake با Service Principal 11:00
-
معایب ADLS (عملی) 10:52
-
ایجاد Delta lake 04:28
-
درک فرمت Delta 05:15
-
درک لاگ تراکنش 12:40
-
ایجاد جداول Delta با فرمان SQL 19:39
-
ایجاد جدول Delta با کد PySpark 06:02
-
آپلود فایل ها برای درس های بعدی 00:32
-
تقویت اسکیما 11:16
-
تکامل اسکیما 05:18
-
Time Travel و نسخه بندی 19:21
-
فرمان Vacuum 10:05
-
تبدیل به Delta 04:36
-
درک فرمان Optimize (دمو) 05:24
-
فرمان Optimize (عملی) 14:27
-
UPSERT با MERGE 08:49
-
دانش Deltalake خود را محک بزنید None
-
مقدمه بخش 00:42
-
Unity Catalog چیست؟ 06:13
-
ایجاد کانکتور دسترسی برای Databricks 04:57
-
ایجاد Metastore در Unity Catalog 11:10
-
Unity Catalog Object Model 06:41
-
نقش ها در Unity Catalog 02:30
-
ایجاد کاربران در Azure Entra ID 03:44
-
مدیریت کاربران و گروه ها (عملی) 12:08
-
سیاست های خوشه 12:18
-
pools خوشه چه هستند؟ 03:39
-
ایجاد pool خوشه 09:41
-
ایجاد یک Dev Catalog 06:12
-
امتیازهای Unity Catalog 14:42
-
درک Unity Catalog 06:04
-
ایجاد و دسترسی به اعتبارنامه های ذخیره سازی و لوکیشن خارجی 14:05
-
جداول خارجی و مدیریت شده در Unity Catalog 10:42
-
دانش خود را در زمینه Unity Catalog محک بزنید None
-
مقدمه بخش 01:26
-
استریمینگ ساختار یافته اسپارک - مبانی 02:29
-
درک micro batches و کوئری پس زمینه 15:39
-
منابع و Sinks تحت پشتیبانی 02:33
-
WriteStream و checkpoints 11:17
-
Drop کردن پایگاه داده ها در Community Edition 06:44
-
درک outputModes 19:08
-
درک تریگرها 20:58
-
Autoloader - مقدمه 04:16
-
Autoloader - رابط اسکیما 11:59
-
تکامل اسکیما (دمو) 05:08
-
تکامل اسکیما (عملی) 13:14
-
دانش خود را در زمینه استریمینگ محک بزنید None
-
مقدمه بخش 00:47
-
معماری معمول Medallion 05:47
-
معماری پروژه 03:13
-
درک مجموعه داده 04:51
-
مقدمه بخش 00:51
-
راه اندازی مورد انتظار 03:05
-
ایجاد کانتینرها و لوکیشن های خارجی 07:08
-
ایجاد همه اسکیماها به صورت پویا 19:36
-
ایجاد جداول برنز به صورت پویا 07:28
-
مقدمه بخش 00:49
-
هضم داده به لایه برنز (دمو) 04:29
-
هضم داده خام ترافیک به جدول برنز 14:42
-
هضم داده خام مسیرها به جدول برنز 08:32
-
برای اثبات اینکه autoloader بارگذاری افزایشی را مدیریت می کند 05:36
-
مقدمه بخش 00:50
-
تبدیل داده ترافیک نقره ای 29:46
-
برای اثبات اینکه فقط رکوردهای افزایشی تبدیل شده اند 05:28
-
ایجاد یک نوت بوک مشترک 02:32
-
اجرای یک نوت بوک از یک نوت بوک دیگر 04:36
-
تبدیل داده مسیرهای نقره ای 13:18
-
مقدمه بخش 00:34
-
دریافت داده در لایه طلایی 01:22
-
تبدیلات و بارگذاری لایه طلایی 09:33
-
مقدمه بخش 00:44
-
افزودن اجرا برای نوت بوک مشترک در همه نوت بوک ها 00:59
-
ایجاد Jobs و اجرای جریان end to end 10:42
-
پیوست تریگر به گردش کارها 08:37
-
نصب Power BI Desktop 01:55
-
گزارش دهی داده به Power BI 06:50
-
مقدمه بخش 01:21
-
راه اندازی مورد انتظار 01:30
-
درک یکپارچه سازی مداوم 06:28
-
درک استقرار مداوم 02:50
-
ایجاد منابع لازم برای UAT 08:00
-
پیکربندی کانتینرهای ذخیره سازی و لوکیشن های خارجی برای UAT 05:36
-
لاگین و ایجاد مخزن در Azure Devops 05:46
-
یکپارچه سازی Azure Devops با Databricks 04:40
-
ایجاد برنچ ویژگی و درخواست pull به برنچ اصلی 10:17
-
ایجاد درخواست pull به عنوان کاربر جدید 10:37
-
آپلود و درک فایل های YAML برای CICD 07:30
-
ایجاد پایپ لاین CI برای داشتن فولدر لایو 19:01
-
مجوزها برای مشاهده فولدر لایو 02:39
-
ایجاد پایپ لاین استقرار و استقرار 13:48
-
پایپ لاین CICD تست End to end 04:15
-
اجرای نوت بوک ها در UAT 05:47
-
مقدمه بخش 00:51
-
پیدایش جداول لایو Delta 02:44
-
ملاحظات در معماری Lakehouse 02:10
-
درک Declarative ETL 06:28
-
محدودیت های جداول لایو Delta 02:09
-
تعیرف جداول از مجموعه داده ها 07:05
-
ایجاد پایپ لاین DLT 08:54
-
پایپ لاین End to end DLT 13:08
-
حذف خوشه با پایپ لاین DLT 01:16
-
تکمیل دوره 00:49
مشخصات آموزش
پروژه Azure Databricks end to end با Unity Catalog و CICD
- تاریخ به روز رسانی: 1404/06/14
- سطح دوره:همه سطوح
- تعداد درس:128
- مدت زمان :15:05:23
- حجم :5.59GB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy
آموزش های مرتبط
The Great Courses
770,000
154,000 تومان
- زمان: 01:57:58
- تعداد درس: 29
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
4,351,500
870,300 تومان
- زمان: 11:01:32
- تعداد درس: 53
-
سطح دوره:
-
زبان: دوبله فارسی
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
1,356,000
271,200 تومان
- زمان: 03:26:02
- تعداد درس: 29
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
3,930,000
786,000 تومان
- زمان: 09:57:30
- تعداد درس: 74
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
4,094,500
818,900 تومان
- زمان: 10:22:00
- تعداد درس: 53
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
1,902,500
380,500 تومان
- زمان: 04:49:47
- تعداد درس: 39
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
4,654,000
930,800 تومان
- زمان: 11:47:11
- تعداد درس: 71
-
سطح دوره:
-
زبان: دوبله فارسی
The Great Courses
2,113,000
422,600 تومان
- زمان: 05:21:45
- تعداد درس: 49
-
سطح دوره:
-
زبان: دوبله فارسی