آموزش مدل‌های زبانی بزرگ OpenSource از صفر تا صد

آنچه یاد خواهید گرفت:

• مدل زبانی چیست و پایپ‌لاین آموزشی چگونه آن به نظر می‌رسد؟
• فاین تیونینگ LLMs با فاین تیونینگ نظارت شده (LoRA و QLoRA و DoRA)
• همسویی LLMs با ترجیحات انسانی با استفاده از DPO و KTO و ORPO
• تسریع آموزش LLM با استفاده از آموزش چندین GPU و کتابخانه Unsloth

پیش‌نیازهای دوره

• هیچ دانش قبلی لازم نیست.

توضیحات دوره

شما پتانسیل کامل مدل‌های زبانی بزرگ (LLMs) را با این دوره جامع که برای توسعه‌دهندگان و دانشمندان داده طراحی شده است، کشف می‌کنید. این دوره به شما کمک می‌کند تا به تکنیک‌های پیشرفته آموزش و بهینه‌سازی تسلط یابید.

ما همه‌ موارد را از صفر تا صد پوشش می‌دهیم، به توسعه‌دهندگان کمک می‌کنیم بفهمند LLMs چگونه کار می‌کنند و به دانشمندان داده یاد می‌دهیم که تکنیک‌های آموزش ساده و پیشرفته را بیاموزند.

شما از اصول مدل‌های زبانی و قدرت تحول‌آفرین معماری ترنسفرمر شروع می‌کنید و محیط توسعه خود را راه‌اندازی کرده و نخستین مدل خود را از ابتدا آموزش خواهید داد.

شما با متدهای پیشرفته فاین تیونینگ مانند LoRA و QLoRA و DoRA به عمق مسائل می‌پردازید تا عملکرد مدل را به طور موثری افزایش دهید. شما یاد می‌گیرید چگونه با استفاده از تکنیک‌هایی مانند Flash Attention و NEFTune، به بهبود پایداری LLM در برابر داده‌ نویزدار بپردازید و تجربه عملی از طریق جلسات کدنویسی به دست آورید.

این دوره همچنین به همسویی LLMs با ترجیحات انسانی با استفاده از متدهای پیشرفته مانند بهینه‌سازی مستقیم ترجیحات (DPO) و KTO و ORPO می‌پردازد. شما این تکنیک‌ها را پیاده‌ خواهید کرد تا اطمینان حاصل کنید مدل‌های شما نه تنها به خوبی عمل می‌کنند، بلکه با انتظارات کاربران و استانداردهای اخلاقی نیز همخوانی دارند.

در نهایت، آموزش LLM خود را با راه‌اندازی‌های چندین GPU، موازی‌سازی مدل‌ها، آموزش داده موازی کاملا مشترک (FSDP) و فریمورک Unsloth سرعت می‌بخشید تا سرعت را افزایش دهید و مصرف VRAM را کاهش دهید. در پایان دوره، شما درک خوبی از روش‌های آموزش، فاین تیونینگ و بهینه‌سازی LLMs متن‌باز خواهید داشت.

این دوره برای چه کسانی مناسب است؟

• توسعه‌دهندگان، دانشمندان داده و علاقه‌مندان به هوش مصنوعی