مهندسی داده - راهنمای مبتدیان
✅ سرفصل و جزئیات آموزش
آنچه یاد خواهید گرفت:
- کسب درک شهودی از مهندسی داده
- درک مهمترین مفاهیم در مهندسی داده
- یادگیری اجزای پایپلاین داده end-to-end و عمکرد هر قسمت
- تقویت درک خود با معماریهای پایپلاین داده end-to-end برای پرکاربردترین یوزکیسها
پیشنیازهای دوره
- نیازی به دانش قبلی از مهندسی داده نیست. شما هر آنچه را که باید بدانید، یاد خواهید گرفت.
- هیچ تجربه قبلی در برنامهنویسی نیاز نیست.
توضیحات دوره
تسلط به اصول مهندسی داده مدرن
آیا به مهندسی داده علاقه دارید اما نمیدانید از کجا شروع کنید؟
آیا شما مهندس نرمافزار، دانشمند داده یا تحلیلگر داده هستید که میخواهید بیشتر درباره مهندسی داده مدرن یاد بگیرید؟
دوره مقدماتی ما به شما کمک میکند تا پیچیدگیهای این حوزه را درک کنید و پایهای قوی در مهندسی داده مدرن ایجاد نمایید.
این دوره به طور خاص برای کسانی طراحی شده که به این حوزه تازه وارد شدهاند و مقدمهای روشن و مختصر درباره مفاهیم و ابزارهای ضروری مورد استفاده در مهندسی داده مدرن امروزی فراهم میکند.
آنچه خواهید آموخت:
- مهندسی داده دقیقاً چیست؟ درک مفهوم اصلی پایپلاین داده و نقش مهندسی داده در یک تیم داده گستردهتر
- پایپلاین داده End-to-end - هر قسمت از پایپلاین داده End-to-end از تولید داده، ذخیرهسازی، جذب داده، تبدیل داده و ارائه داده را بررسی میکنید و یاد میگیرید که داده از ایجاد تا مصرف چگونه جریان مییابد.
- مفاهیم حیاتی مهندسی داده - مهمترین مفاهیم در مهندسی داده، مانند انبار داده در مقابل دریاچه داده، دیتااستورها بر اساس سطر در مقابل دیتااستورها بر اساس ستون، ELT در مقابل ETL و غیره را یاد میگیرید.
- آشنایی با ابزارهای مهندسی داده مدرن - درک میکنید چگونه ابزارهای مدرن داده مانند Dagster و Trino و DBT و Apache Iceberg برای ساخت پایپلاینهای داده end-to-end استفاده میشوند.
- مثالهایی از معماری استک داده مدرن - مقدمهای دقیق درباره ابزارها و فناوریهایی که مهندسان داده برای معماری پایپلاینهای داده مدرن end-to-end برای چهار یوزکیس رایج استفاده میکنند: 1) تحلیل کسبوکار، 2) استریمینگ، 3) یادگیری ماشین و 4) یادگیری عمیق
به این سفر هیجانانگیز برای کشف اصول مهندسی داده بپیوندید. چه شما در حال برنامهریزی یک تغییر شغلی باشید یا فقط به دنبال گسترش افقهای تکنولوژیکی خود باشید، این دوره به شما دانش و ابزارهایی را ارائه میدهد که برای موفقیت نیاز دارید.
آیا آمادهاید که نحوه دیدن داده را تغییر دهید؟ به دوره ما بپیوندید تا شروع به کار کنیم!
این دوره برای چه کسانی مناسب است؟
- مبتدیان کنجکاو درباره ساخت یک حرفه در مهندسی داده
- حرفهایهای داده مانند دانشمندان داده یا تحلیلگران داده که به دنبال درک اصول مهندسی داده مدرن هستند.
- کسی که میخواهد بداند مهندسی داده چه نقشی در کسبوکارهای داده محور ایفا میکند.
مهندسی داده - راهنمای مبتدیان
-
مقدمه 05:05
-
مهندسی داده چیست و چرا مهم است؟ 07:35
-
معماری کلی پایپلاین داده end-to-end 04:22
-
بخش 1 - آزمون 1 None
-
کمی درباره کانتکس تاریخی 05:40
-
بلوغ داده 02:51
-
جایگاه مهندس داده در یک تیم داده 04:37
-
بخش 1 - آزمون 2 None
-
تولید (سیستمهای منبع) - مقدمه 02:27
-
تولید (سیستمهای منبع) - انواع پایگاه دادهها 05:06
-
بخش 2 - آزمون 1 None
-
تولید (سیستمهای منبع) - سیستمهای شخص ثالث و استریمهای رویداد 06:41
-
ذخیرهسازی - مقدمه 04:03
-
ذخیرهسازی - سریالسازی (فرمتهای فایل ذخیرهسازی)، فشردهسازی و کش کردن 03:27
-
ذخیرهسازی - ذخیرهسازی توزیع شده 06:03
-
ذخیرهسازی - انواع سیستمهای ذخیرهسازی 04:34
-
ذخیرهسازی - ذخیرهسازی بر اساس سطر در مقابل ذخیرهسازی بر اساس ستون (یا OLTP در مقابل OLAP) 05:36
-
ذخیرهسازی - انبار داده، دریاچه داده و data lakehouse 07:26
-
بخش 2 - آزمون 2 None
-
جذب - جذب دستهای و میکرو-دستهای و استریمینگ و ETL در مقابل ELT 04:10
-
جذب - جذب به صورت استریمینگ 03:03
-
جذب - مقیاسپذیری و تغییرات اسکیمای upstream 02:02
-
جذب - روشهای مختلف برای جذب داده 05:24
-
تبدیل - کوئریها 07:25
-
تبدیل - مدلسازی داده 10:53
-
تبدیل - کوئریها و تبدیلات 03:53
-
تبدیل - رویدادها در مقابل states و دستهای در مقابل استریمینگ 02:21
-
ارائه 08:47
-
بخش 2 - آزمون 3 None
-
DataOps 03:59
-
ارکستراسیون 06:15
-
امنیت، حریم خصوصی، کیفیت داده 06:40
-
گردشکار توسعه 03:33
-
بخش 3 - آزمون 1 None
-
معماری خوب داده چیست؟ 06:01
-
چه عواملی را باید هنگام طراحی معماری داده خود در نظر بگیرید؟ 03:39
-
استک BI (انبار داده) - ذخیرهسازی 06:42
-
استک BI (انبار داده) - DuckDB 01:36
-
استک BI (انبار داده) - ارکستراتور 02:21
-
استک BI (انبار داده) - جذب 02:51
-
استک BI (انبار داده) - تبدیل و مصورسازی 02:14
-
استک BI (data lakehouse) - ذخیرهسازی - Apache Iceberg 04:27
-
استک BI (data lakehouse) - موتور رایانش - Trino 02:43
-
بخش 4 - آزمون 1 None
-
استک استریمینگ - جذب رویداد 03:30
-
استک استریمینگ - پردازش رویداد 03:48
-
استک یادگیری ماشین - مبانی یادگیری ماشین و هوش مصنوعی 08:20
-
استک یادگیری ماشین - فروشگاه ویژگی 02:47
-
استک یادگیری ماشین - آموزش مدل 03:43
-
استک یادگیری ماشین - ارائه مدل (معروف به استنتاج مدل) 04:26
-
استک یادگیری عمیق - مقدمه 02:19
-
استک یادگیری عمیق - برچسبگذاری، آموزش و استنتاج 04:55
-
سایر ملاحظات در ساخت پایپلاین داده 05:11
-
بخش 4 - آزمون 2 None
-
آینده مهندسی داده؟ نظر ما 08:01
-
گام بعدی چیست؟ 03:36
مشخصات آموزش
مهندسی داده - راهنمای مبتدیان
- تاریخ به روز رسانی: 1404/06/14
- سطح دوره:مقدماتی
- تعداد درس:56
- مدت زمان :03:47:08
- حجم :1.43GB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy