فاین‌تیونینگ با Llama 3

فاین‌تیونینگ مدل Llama

این دوره راهنمایی جامع برای آماده‌سازی و کار با مدل‌های Llama ارائه می‌دهد. از طریق مثال‌های عملی و تمرین‌های کاربردی، هنرجو چگونگی پیکربندی وظایف مختلف فاین‌تیونینگ Llama را می‌آموزد.

آماده‌سازی دیتاست‌ها برای فاین‌تیونینگ

در این بخش، هنرجو با تکنیک‌های آماده‌سازی داده آشنا می‌شود؛ از جمله بارگذاری، تقسیم‌بندی و ذخیره‌سازی دیتاست‌ها با استفاده از کتابخانه Hugging Face Datasets تا داده باکیفیت برای پروژه‌های Llama فراهم شود.

کار با فریم‌ورک‌های فاین‌تیونینگ

هنرجو گردش‌کارهای فاین‌تیونینگ را با استفاده از کتابخانه‌های پیشرفته‌ای مانند TorchTune و ابزار SFTTrainer از Hugging Face بررسی می‌کند. همچنین چگونگی پیکربندی recipeهای فاین‌تیونینگ، تنظیم آرگومان‌های آموزش و استفاده از تکنیک‌های بهینه‌سازی مانند LoRA (Low-Rank Adaptation) و Quantization با BitsAndBytes برای بهینه‌سازی مصرف منابع را می‌آموزد. با ترکیب تکنیک‌های ارائه‌شده در طول دوره، هنرجو قادر خواهد بود مدل‌های Llama را به‌صورت بهینه و متناسب با نیاز پروژه‌های خود سفارشی‌سازی کند.