بازیابی تقویت‌شده با تولید (RAG) با LangChain

ساخت سیستم‌های RAG با LangChain

Retrieval Augmented Generation (RAG) روشی است که برای رفع یکی از محدودیت‌های اصلی مدل‌های زبانی بزرگ (LLMها)، یعنی محدود بودن دانش آن‌ها، استفاده می‌شود. سیستم‌های RAG داده خارجی را از منابع مختلف با LLMها یکپارچه می‌کنند. اتصال چندین سیستم متفاوت معمولاً فرآیندی زمان‌بر و پیچیده است، اما LangChain این کار را بسیار ساده‌تر می‌کند!

یادگیری متدهای پیشرفته تقسیم‌بندی و بازیابی

معماری RAG خود را ارتقا دهید! یاد می‌گیرید چگونه فایل‌های کد، از جمله فایل‌های Python و Markdown را بارگذاری و تقسیم‌بندی کنید به‌گونه‌ای که تقسیم‌بندی با ساختار نحوی کد سازگار باشد. همچنین اسناد را به‌جای کاراکتر بر اساس توکن تقسیم می‌کنید تا اسناد بازیابی‌شده در محدوده context window مدل باقی بمانند. در ادامه می‌آموزید تقسیم‌بندی معنایی چگونه با تشخیص تغییر موضوع در متن، به حفظ بهتر زمینه کمک می‌کند. در نهایت نیز با استفاده از LangSmith و Ragas معماری RAG خود را به‌صورت دقیق ارزیابی می‌کنید.

کشف معماری Graph RAG

در این بخش با رویکردی متفاوت به معماری RAG آشنا می‌شوید و بررسی می‌کنید چگونه سیستم‌های RAG مبتنی بر گراف، در مقایسه با سیستم‌های مبتنی بر بردار، درک بهتری از موجودیت‌ها و روابط موجود در اسناد ارائه می‌دهند. همچنین می‌آموزید چگونه با استفاده از LLMها داده متنی بدون ساختار را به گراف تبدیل کنید. سپس این اسناد گرافی را در پایگاه داده گرافی Neo4j ذخیره کرده و آن را در یک سیستم RAG بزرگ‌تر یکپارچه می‌کنید تا اپلیکیشن نهایی تکمیل شود.