ساخت LLMs مانند ChatGPT از ابتدا و استقرار در ابر

آنچه یاد خواهید گرفت:

• تحلیل معماری ترنسفورمر
• درک مفاهیم اصلی NLP
• پیاده‌سازی یک مدل GPT کامل (Mistral)
• ساخت API مقاوم برای مدل خود
• استقرار در پلتفرم‌های ابری
• درک و پیاده‌سازی KV caching
• درک و پیاده‌سازی Group Query Attention
• درک و پیاده‌سازی Rotary Positional Encoding

پیش نیازهای دوره

• پایتون اولیه

توضیحات دوره

مدل‌های بزرگ زبان مانند GPT-4 ،Llama و Mistral دیگر تخیل علمی نیستند؛ آن‌ها مرز جدید فناوری را تشکیل می‌دهند، قدرت‌بخش همه چیز از چت‌بات‌های پیشرفته تا کشف‌های علمی انقلابی می باشند. اما برای اکثر افراد، همچنان مانند یک «جعبه سیاه» باقی می‌مانند. در حالی که بسیاری می‌توانند از یک API استفاده کنند، اندکی از آنها مهارت نادر و ارزشمندی دارند که درک کنند چگونه این مدل‌های شگفت‌انگیز از درون به بیرون کار می‌کنند.

اگر بتوانید از این موضوع پرده بردارید؟ اگر بتوانید یک مدل بزرگ زبان قدرتمند و مدرن بسازید، نه فقط با تغییر چند خط کد، بلکه با نوشتن آن از پایه، خط به خط چه خواهد شد؟

این دوره دیگر خلاصه‌ای سطح بالا نیست. این یک سفر مهندسی عمیق و عملی برای کدنویسی یک LLM کامل - به‌ویژه معماری بسیار کارآمد و قدرتمند Mistral 7B - از ابتدا در PyTorch است. ما فاصله بین نظریه انتزاعی و کد عملی و سطح تولید را پر می‌کنیم. شما فقط یاد نمی‌گیرید که Grouped-Query Attention چیست؛ بلکه آن را پیاده‌سازی می‌کنید. شما فقط درباره KV Cache نمی‌خوانید؛ بلکه آن را برای تسریع تست مدل خود می‌سازید.

ما معتقدیم بهترین راه برای دستیابی به مهارت واقعی، ساختن است. با شروع از مفاهیم بنیادین که منجر به انقلاب ترنسفورمر شد، ما شما را مرحله به مرحله از هر بخش حیاتی راهنمایی می‌کنیم. در نهایت، مدل سفارشی خود را می‌گیرید و یاد می‌گیرید آن را برای استفاده در دنیای واقعی با موتور پیش‌بینی vLLM، استاندارد صنعتی و عملکرد بالا، بر روی Runpod استقرار دهید.

پس از اتمام این دوره، شما از یک کاربر LLM به یک معمار LLM تبدیل می‌شوید. شما دانش اصولی را که متخصصان را از جمع جدا می‌کند و شما را قادر می‌سازد تا در حاشیه برتر هوش مصنوعی ساخت، اشکال‌زدایی و نوآوری کنید، در اختیار دارید.

شما یاد خواهید گرفت که چگونه بسازید و درک کنید:

• پیشینه LLMها: تحول از RNNها تا مکانیسم توجه که همه چیز را آغاز کرد.
• ترنسفورمر، رمزگشایی شده: بررسی عمیق دلیل کارکرد معماری ترنسفورمر و تفاوت‌های حیاتی بین آموزش و تست.
• بلوپرینت Mistral 7B: چگونه معماری یک مدل بزرگ زبان کامل را طراحی کنید، با تکرار ساختار کلی یک مدل پیشرفته.

مکانیک‌های اصلی از ابتدا:

• توکن‌سازی: تبدیل متن خام به فرمت قابل درک توسط مدل شما
• Rotary Positional Encoding (RoPE): پیاده‌سازی تکنیک مدرن برای تزریق آگاهی موقعیتی
• Grouped-Query Attention (GQA): کدنویسی نوآوری که مدل‌هایی مثل Mistral را به‌طور چشمگیر کارآمد می‌کند.
• Sliding Window Attention (SWA): پیاده‌سازی نسخه توجهی که امکان پردازش توالی‌های بسیار طولانی‌تر را می‌دهد.
• KV Cache: ساختن مؤلفه اساسی برای تولید متن بسیار سریع در هنگام تست
• ساختن مدل از ابتدا تا انتها: ترکیب تمام قطعات - از سرهای توجه جداگانه تا بلوک‌های کامل ترنسفورمر - به‌عنوان یک LLM عملی در PyTorch
• زندگی‌بخشی مدل شما: پیاده‌سازی منطق تولید متن برای دیدن مدل شما زبان منسجم ایجاد کند.
• استقرار سطح تولید: راهنمای عملی برای استقرار مدل سفارشی خود با استفاده از موتور بسیار سریع vLLM بر روی پلتفرم ابری Runpod

اگر توسعه‌دهنده، مهندس ML یا پژوهشی هستید که آماده‌ی فراتر رفتن از API و درک واقعی فناوری تغییر دهنده جهان هستید، این دوره برای شما طراحی شده است. ما مشتاقیم شما را در مسیر تبدیل شدن به یک متخصص واقعی LLM هدایت کنیم.

این دوره برای چه کسانی مناسب است؟

• توسعه‌دهندگان پایتون که کنجکاو درباره یادگیری عمیق برای NLP هستند.
• متخصصان یادگیری عمیق که می‌خواهند مهارت درک چگونگی عملکرد پشت پرده را کسب کنند.
• هرکسی که می‌خواهد به اصول ترنسفورمر و چگونگی پیاده‌سازی آن تسلط یابد.
• ممارسان پردازش زبان طبیعی که می‌خواهند یاد بگیرند چگونه مدل‌های NLP پیشرفته ساخته می‌شوند.
• هرکسی که می‌خواهد مدل‌های شبیه GPT را استقرار دهد.