گواهینامه Databricks Certified Data Engineer Associate - بوتکمپ
✅ سرفصل و جزئیات آموزش
آنچه یاد خواهید گرفت:
- همه مباحث مهم برای قبولی در آزمون گواهینامه - همراه با تمرینات عملی عمیق
- درک مفاهیم کلیدی مانند Lakehouse Federation و Lakeflow Connect و معماری Medallion
- تمرینهای قدرتمند با Unity Catalog و Volumes و Metastore و Catalog UDFs و utils
- دوره فشرده کلان داده PySpark - از مبانی تا یوزکیسهای واقعی
- تسلط به استریمینگ ساختاریافته اسپارک با استفاده از Auto Loader برای جذب داده بلادرنگ به صورت افزایشی
- درک معماری کامل دریاچه دلتا، مزایا و نحوه پیادهسازی و تیونینگ آن برای عملکرد بهتر
- استقرار و مدیریت انبارهای SQL در Databricks با کوئریهای پارامتری، هشدارها و کش کردن کوئریها
- ساخت پایپلاینهای استریمینگ با استفاده از جداول استریمینگ، Materialized Views و پایپلاینهای اعلامی Lakeflow
- پیادهسازی SCDs (تغییر آهسته ابعاد) و افزودن کنترلهای کیفیت داده با جداول لایو دلتا
- تسلط به Lakeflow Jobs برای ارکستراسیون حرفهای پایپلاینهای ETL
- درک و اعمال امنیت سطح سطر، ماسک کردن داده و اشتراکگذاری دلتا برای دسترسی ایمن به داده
- یادگیری نسخهسازی داده، Time Travel و ZORDERING، کلونسازی و خوشهبندی Liquid
پیشنیازهای دوره
- آشنایی اولیه با SQL الزامی است.
- آشنایی اولیه با برنامهنویسی پایتون الزامی است.
- هیچ آشنایی قبلی با DATABRICKS نیاز نیست - همه مطالب از ابتدا آموزش داده میشود.
توضیحات دوره
آیا آمادهاید که تبدیل به مهندس داده در DATABRICKS شوید؟
چه شما مبتدی باشید یا یک حرفهای فعال که میخواهد سطح مهارتهای خود را ارتقا دهد، این دوره با رویکردی عملی، کاربردی و جذاب شما را گامبهگام راهنمایی میکند.
با تمرکز روی بخشهای زیر مهارتهای عملی قوی کسب میکنید:
- معماری Lakehouse و Lakehouse Federation و Lakeflow Connect - درک نحوه مدیریت داده ساختاریافته و غیرساختاریافته در Databricks و نحوه برقراری ارتباط بیوقفه با منابع خارجی از طریق Lakehouse Federation
- Unity Catalog و Metastore و Volumes و UDFs - یادگیری نحوه مدیریت داده، مجوزها و کاتالوگها به صورت کارآمد با استفاده از ویژگیهای داخلی حاکمیت Databricks
- PySpark برای کلان داده - تسلط به PySpark با یوزکیسهای واقعی، تبدیلها، اکشنها، جوینها و موارد دیگر، از دیدگاه مهندس داده
- استریمینگ ساختاریافته + Autoloader - ساخت پایپلاینهای بلادرنگ با استفاده از استریمینگ اسپارک و یادگیری نحوه عملکرد Autoloader در مدیریت فایلها در ذخیرهسازی ابری
- معماری دریاچه دلتا - بررسی عمیق ویژگیهای دلتا مانند تراکنشهای ACID، مفهوم time travel، تکامل اسکیما و پرفورمنس تیونینگ
- انبارهای SQL در Databricks - یادگیری نحوه نوشتن کوئریهای پارامتری، زمانبندی داشبوردها و تنظیم هشدارها با استفاده از انبارهای SQL
- پایپلاینهای اعلامی LakeFlow - کار با جداول استریمینگ، Materialized Views و ساخت پایپلاینهای کم کد داده
- جداول لایو دلتا (DLT) - ساخت پایپلاینهای مقاوم با پیادهسازی SCD، کنترل کیفیت داده، انتظارات و نظارت
- مدیریت ETL با LakeFlow Jobs - زمانبندی، نظارت و مدیریت کامل پایپلاینها با LakeFlow Jobs
- امنیت و اشتراکگذاری - اعمال امنیت سطح سطر، ماسک کردن داده و بررسی اشتراکگذاری دلتا برای همکاری ایمن و مقیاسپذیر
آنچه این دوره را متمایز میکند؟
- دروس جذاب - شما جلسات خستهکننده و نظری نخواهید داشت. ما هر مفهوم را به زبان ساده و مناسب برای مبتدیان، با مثالهای عملی و ویژوالها توضیح میدهیم.
- ما صرفا سطحی شرح نمیدهیم، بلکه دلیل و نحوه هر ویژگی را توضیح میدهیم.
- تمرکز عملی قوی - از مرحله ساخت پایپلاینها تا نوتبوکها و انبار داده، راهحلهای واقعی را گامبهگام میسازید، همانطور که مهندس داده در Databricks انجام میدهد.
سلب مسئولیت - این دوره به صورت مستقل ساخته شده و توسط شرکت Databricks تایید نمیشود. تمام محتوا، شامل توضیحات و مباحث تمرین، اصلی و صرفاً برای آموزش است و سوالات آزمون گواهینامه واقعی در آن قرار ندارد. منابع بر اساس مستندات عمومی، سناریوهای واقعی و تجربیات شخصی تهیه شده است.
این دوره برای چه کسانی مناسب است؟
- کسی که میخواهد به مهندس داده در Databricks تبدیل شود.
گواهینامه Databricks Certified Data Engineer Associate - بوتکمپ
-
مقدمه 02:03
-
سلب مسئولیت 00:52
-
Lakehouse چیست؟ 09:46
-
دریاچه دلتا - ستون فقرات Lakehouse 08:47
-
Databricks چیست و چرا باید از آن استفاده کنیم؟ 10:37
-
معماری Databricks 08:05
-
معماری Medallion چیست؟ 07:21
-
نسخه رایگان Databricks - جدیدا اعلام شده 04:55
-
بررسی Databricks 10:42
-
ارجاع به منابع درون Databricks 04:32
-
رایانش در Databricks - انواع مختلف 12:42
-
Unity Catalog چیست؟ 08:50
-
تکامل با Unity Catalog 09:49
-
جداول مدیریت شده در مقابل جداول خارجی 07:15
-
Volumes در Unity Catalog 10:05
-
Volumes مدیریت شده و خارجی 23:54
-
DBUTILS - ماژول سیستم عامل Databricks 20:39
-
تبدیلات PySpark - لایه نقرهای 01:01:12
-
کوئریهای ساختارمند با SparkSQL 09:58
-
UDF در PySpark برای توابع سفارشی 04:28
-
کار با فایلهای Databricks 13:12
-
فدراسیون Lakehouse در Databricks 05:20
-
Catalogs خارجی و جداول خارجی 05:05
-
استریمینگ اسپارک چیست؟ 04:09
-
Autoloader چیست؟ 03:04
-
معماری کامل Autoloader 11:58
-
قدرت Autoloader 14:02
-
Idempotency با Autoloader 03:02
-
تکامل اسکیما با Autoloader - بازیابی داده 05:39
-
تکامل اسکیما با Autoloader - افزودن ستونهای جدید 06:32
-
بارگذاری تدریجی با COPY INTO 03:08
-
قدرت COPY INTO 15:06
-
SQL در Databricks - نگاه اجمالی 03:44
-
انبار SQL در Databricks چیست؟ 07:00
-
ویرایشگر SQL در Databricks 10:52
-
کوئریهای پارامتری در SQL در Databricks 10:42
-
اسنیپتهای کوئری SQL - بازیابی کد 08:51
-
عبارت رایج جدول (CTEs) 13:34
-
زمانبندی کوئری 03:33
-
پروفایل کوئری برای نظارت 06:07
-
کش کوئری - بهبود کارایی کوئری 04:28
-
هشدارهای SQL - تریگرها 16:49
-
Databricks Genie 07:08
-
داشبوردهای SQL در Databricks 10:06
-
Lakeflow Jobs چیست؟ 03:19
-
ساخت اولین Lakeflow Job 21:09
-
شرطیها در Jobs 06:51
-
کنترل جریان با استفاده از تسک ForEach 06:27
-
مرجع مقدار پویا و مقادیر تسکها 05:17
-
خطای عبور از محدودیت سهمیه 02:14
-
تنظیم و دریافت مقادیر در Jobs 16:58
-
سطرهای SQL به عنوان خروجی 08:35
-
اولین سطر SQL به عنوان خروجی 08:01
-
ForEach با سطرهای SQL 08:53
-
انتقال آرایه بزرگ با نوتبوک 22:33
-
آرایه بزرگ با جدول SQL 15:15
-
زمانبندیها و تریگرها 03:04
-
رایانش برای Jobs 00:37
-
نظارت بر Jobs 03:26
-
نوتیفیکیشن Jobs 02:34
-
جداول لایو دلتا (DLT) چیست؟ 12:52
-
ویرایشگر کد DLT - محیط جدید 22:56
-
ایجاد جدول استریمینگ 07:35
-
ایجاد Materialized View 03:56
-
ایجاد Views استریمینگ 03:53
-
ساخت اولین پایپلاین DLT 19:11
-
جدول لایو دلتا با Autoloader 11:01
-
DLT Append Flow API 14:23
-
DLT Auto CDC Flow API 05:11
-
تغییر آهسته ابعاد نوع 1 14:18
-
تغییر آهسته ابعاد نوع 2 17:36
-
کیفیت داده با انتظارات DLT 05:47
-
فیلترینگ داده خراب 07:18
-
پارامترسازی پایپلاینهای DLT 04:57
-
پروژه DLT End-To-End 01:05:32
-
حالتهای پایپلاین DLT 04:46
-
ارکستراسیون پایپلاینهای DLT 05:40
-
نظارت بر پایپلاینهای DLT خود 09:03
-
توابع Unity Catalog چیست؟ 02:44
-
توابع اسکالر چه هستند؟ 01:37
-
توابع اسکالر با SQL 06:23
-
توابع اسکالر با پایتون 08:22
-
توابع جدول تعریف شده توسط کاربر (UDTFs) 02:11
-
ایجاد UDTFs سفارشی 05:20
-
چرا به حاکمیت داده نیاز داریم؟ 02:54
-
قابلیت کشف داده 07:01
-
ردیابی کیفیت داده 02:08
-
اشتراکگذاری داده خود با اشتراکگذاری دلتا 05:06
-
کنترل دسترسی به داده - غیرقابل مذاکره 02:10
-
ماسک کردن داده پویا 12:14
-
امنیت سطح سطر (RLS) 22:25
-
اپلیکیشن Databricks چیست؟ 02:57
-
شروع کار با اولین اپلیکیشن Databricks 03:00
-
بیایید در این باره صحبت کنیم 01:57
-
فرمان OPTIMIZE - همجوشی پارتیشنها 10:21
-
ZORDERING - الحاق داده خود 03:46
-
خوشهبندی Liquid - خداحافظی با پارتیشنها 07:50
-
نسخهسازی داده با دریاچه دلتا 05:01
-
Time Traveling با دریاچه دلتا - UNDO 04:49
-
فرمان VACUUM - پاکسازی MESS 07:05
-
CTAS - کپی جدول به عنوان انتخاب 03:18
-
کلون عمیق داده خود 04:09
-
کلون سطحی هم خوب است 03:30
-
همه چیز بهترین است 02:56
مشخصات آموزش
گواهینامه Databricks Certified Data Engineer Associate - بوتکمپ
- تاریخ به روز رسانی: 1404/06/21
- سطح دوره:همه سطوح
- تعداد درس:104
- مدت زمان :15:42:32
- حجم :9.73GB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy