یکپارچه‌سازی Kafka DBT Databricks AI (LLM) - شش پروژه لایو

آنچه یاد خواهید گرفت:

• ساخت پایپ‌لاین‌های داده‌ بلادرنگ با کافکا
• تبدیل داده‌ تحلیلی با DBT
• پردازش داده‌ استریمینگ و داده دسته‌ای با Databricks
• یکپارچه‌سازی هوش مصنوعی با چت‌بات‌های مجهز به LLM

پیش‌نیازهای دوره

• سطح اولیه از تجربه‌ برنامه‌نویسی پایتون همراه با SQL نیاز است.

توضیحات دوره

ما از تجربه‌ها و چالش‌های خود هنگام یادگیری از ویدئوهای آنلاین استفاده کردیم. در وب پروژه‌های ساده‌ زیادی وجود دارد، اما در محیط واقعی کار، شما به عمق و تجربه‌ یکپارچه‌سازی در کار با چندین ابزار DATA نیاز دارید.

به همین دلیل فکر کردیم ساخت پروژه‌هایی با بهبودهای تدریجی، بهترین راه برای حذف شلوغی‌ها و تبدیل شدن به کارشناس واقعی یکپارچه‌سازی Databricks است. کسی که فقط در Databricks متخصص نیست، بلکه می‌داند چگونه پیام‌ها را با کافکا یکپارچه کند، SQL ماژولار را با پایگاه داده بسازد، از rest API داده دریافت کند و قابلیت‌های هوش مصنوعی (LLM) را هم ارائه دهد.

خلاصه

کدنویسی لایو از مهندسی داده End-to-End (نه فقط ابزارها)

آموزش اصلی دوره این است که داده چگونه از منبع به بینش می‌رسد و موارد زیر را پوشش می‌دهد:

• جذب داده رویداد محور با آپاچی کافکا 
• تبدیل‌های تحلیلی با dbt Labs
• پردازش یکپارچه‌ داده دسته‌ای و استریمینگ با استفاده از Databricks

یادگیرندگان درک می‌کنند که هر کامپوننت چرا وجود دارد، نه فقط اینکه چگونه روی دکمه‌ها کلیک کنند.

این دوره اول مهندسی است، نه مجموعه‌ای از اسلاید

مهندسی داده تقویت‌ شده با هوش مصنوعی و LLMs

یکی از تفاوت‌های مهم دوره آموزش موارد زیر است:

• چگونه یک چت‌بات مجهز به LLM متصل به پایپ‌لاین‌ها بسازید؟
• استفاده از هوش مصنوعی برای توضیح تبدیل‌ها، شناسایی مشکلات داده و کمک به اشکال‌زدایی
• اعمال LLMs برای تحلیل خود سرویس و قابلیت مشاهده پلتفرم

در این دوره، هوش مصنوعی به‌ عنوان یک شتاب‌دهنده‌ عملی آموزش داده می‌شود، نه یک نظریه‌ انتزاعی

لیست پروژه‌هایی که در طول ویدئوها و به‌ صورت لایو کدنویسی می‌کنیم:

• پروژه 1 - با یک پروژه‌ ساده شروع می‌کنیم. پیش‌بینی مسکن نسخه 1 از scikitlearn استفاده می‌کند.
• پروژه 2 - پروژه 1 را ارتقا می‌دهیم. پیش‌بینی مسکن نسخه 2 از چندین مدل یادگیری ماشین و حدود 40 ویژگی استفاده می‌کند.
• پروژه 3 - با افزودن چت‌بات مبتنی بر LLM و کوئری‌های ساختاریافته، پروژه را بیشتر ارتقا می‌دهیم.
• پروژه 4 - پروژه 2 را حتی بیشتر ارتقا می‌دهیم تا آماده برای سازمان شود. در اینجا چت‌بات را با استفاده از LLM و کوئری‌های بدون ساختار (متن آزاد مانند واتساپ) با کمک LLM و OpenAI اضافه می‌کنیم.
• پروژه 5 - در اینجا روی مهارت‌های یکپارچه‌سازی و یکپارچه‌سازی پیام‌های استریمینگ با Databricks تمرکز می‌کنیم.
• پروژه 6 - در اینجا روی مهارت‌های یکپارچه‌سازی و یکپارچه‌سازی پیام‌های استریمینگ با DBT و Databricks همراه با بهبودها تمرکز می‌کنیم.

با انجام پروژه‌های یکپارچه‌سازی داده، خیلی سریع به متخصص یکپارچه‌سازی DATABRICKS (نه فقط کاربر ابزار databricks) تبدیل می‌شوید.

این دوره برای چه کسانی مناسب است؟

• مهندسان داده (جوان به ارشد) - متخصصانی که با تمرکز قوی بر کدنویسی لایو و الگوهای واقعی، می‌خواهند تجربه‌ عملی و شبیه محیط تولید در ساخت پایپ‌لاین‌های داده‌ بلادرنگ و دسته‌ای با استفاده از آپاچی کافکا و dbt Labs و Databricks داشته باشند.
• مهندسان تحلیل و توسعه‌دهندگان BI - افرادی که مسئول تبدیل داده‌ خام به مدل‌های آماده‌ تحلیل هستند و می‌خواهند فراتر از SQL استاتیک بروند، بهترین شیوه‌ها در dbt را یاد بگیرند و درک کنند که داده‌ استریمینگ چگونه وارد لایه‌های تحلیلی می‌شود.
• دانشجویان پیشرفته و تغییردهندگان شغل - یادگیرندگانی که از قبل SQL و پایتون اولیه را می‌دانند به دنبال تجربه‌ عملی و در سطح صنعت هستند و برای نقش‌های واقعی مهندسی داده آماده می‌شوند.
• مهندسان هوش مصنوعی و یادگیری ماشین و دانشمندان داده (تمرکز کاربردی) - یادگیرندگانی که به یکپارچه‌سازی چت‌بات‌های مجهز به LLM با پلتفرم‌های داده علاقه دارند تا پایپ‌لاین‌ها را با زبان طبیعی کوئری کنند، تبدیل‌ها و مشکلات کیفیت داده را توضیح دهند و گردش‌کارهای مهندسی داده با کمک هوش مصنوعی بسازند.
• برای مبتدیان مطلق بدون پیش‌زمینه‌ SQL یا برنامه‌نویسی مناسب نیست. یادگیرندگانی که فقط به دنبال تئوری یا حفظ‌ کردن مطالب برای گواهینامه هستند.