هوش مصنوعی پیشرفته: توضیح LLMها با ریاضیات (Transformers، مکانیزم‌های توجه و موارد بیشتر)

آنچه یاد خواهید گرفت:

• چگونه توکن‌سازی متن را به داده‌های قابل خواندن توسط مدل تبدیل می‌کند؟
• عملکرد داخلی مکانیزم‌های توجه در ترانسفورمرها.
• چگونه کدگذاری‌های موقعیتی داده‌های توالی را در مدل‌های هوش مصنوعی حفظ می‌کنند؟
• نقش ماتریس‌ها در کدگذاری و پردازش زبان.
• ساخت نمایش‌های کلمات چگال با استفاده از تعبیه‌های چندبعدی
• تفاوت‌های بین مدل‌های زبانی دوطرفه و ماسک‌شده
• کاربردهای عملی ضرب داخلی و ریاضیات برداری در هوش مصنوعی
• چگونه ترانسفورمرها متنی شبیه انسان را پردازش، درک و تولید می‌کنند؟

ترانسفورمرها چه هستند؟

چندین هزار سال پیش اتوبات‌ها و دسپتیکون‌ها بر سر سایبرترون جنگیدند.

اوه صبر کنید، ببخشید. ترانسفورمرهای اشتباهی بود.

معماری ترانسفورمر یک مدل بنیادی در هوش مصنوعی مدرن، به ویژه در پردازش زبان طبیعی (NLP) است. این مدل که در مقاله اصلی "Attention Is All You Need" توسط واسوانی و همکاران در سال 2017 معرفی شد، یکی از مهم‌ترین پیشرفت‌های تکنولوژیکی است که منجر به پیدایش مدل‌های زبانی بزرگ (LLM) امروزی مانند ChatGPT و Claude شد که می‌شناسید.

آنچه ترانسفورمرها را خاص می‌کند این است که به جای خواندن کلمه به کلمه مانند سیستم‌های قدیمی (که مدل‌های بازگشتی نامیده می‌شوند)، ترانسفورمر به کل جمله به یکباره نگاه می‌کند. این مدل از چیزی به نام "توجه" استفاده می‌کند تا بفهمد کدام کلمات برای هر تسک مهم هستند و باید روی آن‌ها تمرکز کرد. برای مثال، اگر در حال ترجمه جمله "She opened the box because it was her birthday" باشید، کلمه "it" ممکن است نیاز به توجه ویژه‌ای داشته باشد تا درک شود که به "the box" اشاره دارد.

چرا معماری ترانسفورمر را بیاموزیم؟

1. آنها اپلیکیشن‌های مدرن هوش مصنوعی را قدرت می‌بخشند: ترانسفورمرها ستون فقرات بسیاری از سیستم‌های هوش مصنوعی امروزی هستند. مدل‌هایی مانند GPT، BERT (که در موتورهای جستجو مانند گوگل استفاده می‌شود) و DALL·E (تولید تصویر) همگی مبتنی بر ترانسفورمرها هستند. اگر به این فناوری‌ها علاقه‌مند هستید، درک ترانسفورمرها به شما بینشی درباره چگونگی کار آن‌ها می‌دهد.

2. آنها نماینده لبه تکنولوژی هوش مصنوعی هستند: ترانسفورمرها هوش مصنوعی را متحول کردند و از متدهای قدیمی‌تر مانند RNNها (شبکه‌های عصبی بازگشتی) به روش کاملاً جدیدی برای پردازش اطلاعات تغییر مسیر دادند. یادگیری آن‌ها به شما کمک می‌کند بفهمید چرا این تغییر اتفاق افتاد و چگونه سطح جدیدی از قابلیت‌های هوش مصنوعی را باز کرد.

3. آنها به طور گسترده در تحقیقات و صنعت استفاده می‌شوند: چه بخواهید در محیط آکادمیک کار کنید، محصولات هوش مصنوعی بسازید یا قابلیت تفسیر مکانیکی (که به آن علاقه نشان داده‌اید) را بررسی کنید، ترانسفورمرها اغلب تکنولوژی اصلی هستند. درک آن‌ها می‌تواند درهایی را به روی پروژه‌ها و مشاغل هیجان‌انگیز باز کند.

6. آنها سرگرم‌کننده و از نظر فکری چالش‌برانگیز هستند: مفهوم خود-توجهی و چگونگی مدیریت زمینه توسط ترانسفورمرها ظریف و قدرتمند است. یادگیری درباره آن‌ها می‌تواند مانند حل یک پازل جذاب باشد. دیدن اینکه چگونه آن‌ها "فکر می‌کنند" و درک اینکه چرا اینقدر مؤثر هستند، پاداش‌دهنده است.

چرا این دوره ترانسفورمرها؟

خب، به این دلیل که مطالب پیشرفته و سنگین را به روشی روشن و لذت‌بخش آموزش می‌دهد - که کار آسانی نیست!

اما البته مدرس ممکن است کمی جانبدارانه قضاوت کند. بنابراین در اینجا تفکیکی از مطالب پوشش داده شده در این دوره هوش مصنوعی پیشرفته آورده شده است تا بتوانید خودتان تصمیم بگیرید:

مقدمه‌ای بر توکن‌سازی

• بیاموزید که چگونه ترانسفورمرها متن خام را با استفاده از تکنیک‌هایی مانند الگوریتم WordPiece به فرمتی قابل پردازش تبدیل می‌کنند. اهمیت توکن‌سازی را در فعال‌سازی درک زبان کشف کنید.

اصول معماری‌های ترانسفورمر

• نقش ماتریس‌های Key ،Query و Value را در کدگذاری اطلاعات و تسهیل جریان داده‌ها از طریق یک مدل درک کنید.

مکانیک مکانیزم‌های توجه

• در توجه چند‌سر، ماسک‌های توجه و اینکه چگونه به مدل‌ها اجازه می‌دهند برای درک بهتر زمینه روی داده‌های مرتبط تمرکز کنند، عمیق شوید.

کدگذاری‌های موقعیتی

• بررسی کنید که چگونه مدل‌ها توالی کلمات را در ورودی‌ها با استفاده از توابع کسینوس و سینوس برای تعبیه داده‌های موقعیتی حفظ می‌کنند.

مدل‌های زبانی دوطرفه و ماسک‌شده

• تمایزات و کاربردهای ترانسفورمرهای دوطرفه و مدل‌های ماسک‌شده را در تسک های زبانی مطالعه کنید.

ریاضیات برداری و Embeddings

• به بردارها، ضرب داخلی و Embeddings چندبعدی تسلط پیدا کنید تا نمایش‌های کلمات چگالی ایجاد کنید که برای تسک های هوش مصنوعی حیاتی هستند.

کاربردهای توجه و کدگذاری

• بیاموزید که چگونه مکانیزم‌های توجه و کدگذاری موقعیتی برای پردازش و تولید متن منسجم گرد هم می‌آیند.

دانش نهایی برای نوآوری در هوش مصنوعی

• درک خود را از الگوریتم‌های ترانسفورمر تثبیت کنید تا با ابزارهای پیشرفته هوش مصنوعی توسعه دهید و نوآوری کنید.

چه چیز دیگری باید بدانم؟

با عضویت در ZTM، شما نه تنها به تمام دوره‌های بوت‌کمپ، بایت‌ها و پروژه‌ها دسترسی خواهید داشت.

بلکه همچنین می‌توانید به کلاس درس آنلاین و اختصاصی جامعه بپیوندید تا در کنار هزاران دانشجو، فارغ‌التحصیل، منتور، دستیار آموزشی و مدرس یاد بگیرید.

مهم‌تر از همه، شما از یک متخصص صنعت (Patrik) که تجربه واقعی به عنوان مهندس هوش مصنوعی و یادگیری ماشین دارد، خواهید آموخت. او استراتژی‌ها و تکنیک‌های دقیقی را که در نقش خود استفاده می‌کند، به شما آموزش می‌دهد.

در نهایت، مانند تمام دوره‌های ZTM، این دوره یک موجود زنده است. به طور مداوم با تغییر چشم‌انداز بروزرسانی می‌شود تا بتوانید از آن به عنوان راهنمای همیشگی خود برای استفاده از Amazon SageMaker اکنون و در طول حرفه خود استفاده کنید.

به هزاران فارغ‌التحصیل Zero To Mastery بپیوندید که استخدام شده‌اند و اکنون در شرکت‌هایی مانند Google ،Tesla ،Amazon ،Apple ،IBM ،JP Morgan ،Facebook ،Shopify و سایر شرکت‌های برتر فناوری کار می‌کنند.

آن‌ها از پیشینه‌ها، سنین و تجربیات مختلفی می‌آیند. بسیاری حتی به عنوان مبتدی کامل شروع کردند.

بنابراین هیچ دلیلی وجود ندارد که شما نتوانید یکی از آن‌ها باشید.