ریاضیات پشت مدل‌های زبانی بزرگ و ترنسفرمرها

آنچه یاد خواهید گرفت:

• ریاضیات پشت مدل‌های زبانی بزرگ
• انکودینگ پوزیشنال
• توجه Multi Head
• ماتریس‌های کوئری، مقدار و کلید
• ماسک‌های توجه
• مدل‌سازی زبان ماسک‌ شده
• ضرب نقطه‌ای و ترازبندی برداری
• ماهیت توابع سینوس و کسینوس در انکودینگ پوزیشنال
• مدل‌هایی مانند چت‌جی‌پی‌تی چگونه در under the hood کار می‌کنند؟
• مدل‌های دوطرفه
• نمایش‌های کلمات با در نظر گرفتن کانتکس
• تعبیه کلمات
• ضرب داخلی چگونه کار می‌کنند؟
• ضرب ماتریسی
• ایجاد توکن‌ها به صورت برنامه‌‌ای

پیش‌نیازهای دوره

• ریاضیات پایه دبیرستان (جبر خطی)

توضیحات دوره

به دوره ریاضیات ترنسفرمرها خوش آمدید. این دوره به‌طور عمیق برای افرادی طراحی شده که مایل‌ هستند اصول ریاضیاتی مدل‌های زبانی بزرگ مانند جی پی‌تی، BERT و فراتر از آن را درک کنند. این دوره به بررسی الگوریتم‌های ریاضی پیچیده می‌پردازد که به این مدل‌های پیشرفته اجازه می‌دهد متن‌ها را پردازش کرده، درک کنند و متن‌هایی شبیه به انسان تولید کنند.

با شروع از توکن‌سازی، دانشجویان یاد خواهند گرفت که چگونه متن خام از طریق تکنیک‌هایی مانند الگوریتم WordPiece به فرمتی قابل درک برای مدل‌ها تبدیل می‌شود. ما به بررسی کامپوننت‌های اصلی معماری‌های ترنسفرمر، شامل ماتریس‌های کلید، ماتریس‌های کوئری و ماتریس‌های مقدار و نقش های آنها در انکودینگ اطلاعات خواهیم پرداخت. توجه ویژه‌ای به مکانیک‌های مکانیزم توجه، از جمله مطالعات دقیقی از توجه multi-head و ماسک‌های توجه خواهیم داشت. این مفاهیم در توانمندسازی مدل‌ها برای تمرکز بر بخش‌های مرتبط داده‌ ورودی بسیار مهم هستند و توانایی آنها در درک کانتکس و لحن را افزایش می‌دهند.

همچنین انکودینگ پوزیشنال که برای حفظ توالی کلمات در ورودی‌ها ضروری هستند، مورد بررسی قرار خواهند گرفت و از توابع سینوس و کسینوس برای تعبیه اطلاعات پوزیشن به‌طور ریاضی استفاده می‌شود. علاوه بر این، این دوره شامل بینش‌های جامع درباره مدل‌های دوطرفه و مدل‌های زبان ماسک‌ شده، بردارها، ضرب داخلی و تعبیه چندبعدی کلمات خواهد بود که برای ایجاد نمایش‌های متراکم از کلمات حیاتی هستند.

در پایان دوره، شرکت‌کنندگان نه تنها اصول نظری ترنسفرمرها را به طور کامل یاد خواهند گرفت بلکه بینش‌های عملی در مورد قابلیت و کاربرد آنها خواهند داشت. این دانش شما را آماده می‌کند تا در زمینه یادگیری ماشین نوآوری کرده و در صفوف بالای مهندسان و پژوهشگران هوش مصنوعی قرار بگیرید.

این دوره برای چه کسانی مناسب است؟

• برای یادگیرندگان بلندپرواز که می‌خواهند به قله دنیای برنامه‌نویسی برسند.
• این محتوا برای کسانی طراحی شده که آرزو دارند در بین 1% برتر دانشمندان داده و مهندسان یادگیری ماشین باشند.
• این دوره به طور ویژه برای افرادی که تمایل دارند درک عمیقی از ترنسفرمرها، فناوری پیشرفته پشت مدل‌های زبانی بزرگ، به دست آورند، مناسب است.
• این دوره شما را با دانش بنیادی و مهارت‌های فنی لازم برای برتری در توسعه و پیاده‌سازی اپلیکیشن‌های پیشرفته هوش مصنوعی مجهز می‌کند.