ارزیابی و اتوماسیون تست RAG-LLM برای مبتدیان

آنچه یاد خواهید گرفت:

• چگونه مدل‌های زبانی بزرگ (LLM) سفارشی با استفاده از معماری بازیابی نسل افزوده (RAG) طراحی می‌شوند؟
• متریک‌ها و بنچ‌مارک‌های رایج مورد استفاده در ارزیابی LLMs مبتنی بر RAG
• آشنایی با فریمورک ارزیابی RAGAS برای ارزیابی و تست LLMs
• تولید اسکریپت‌های کاربردی برای اتوماسیون و تأیید امتیاز متریک‌های LLMs
• اتوماسیون سناریوهایی مانند تعاملات یک‌باره و تعاملات چندباره با LLMs با استفاده از فریمورک RAGAS
• تولید داده‌ تست برای ارزیابی متریک‌های LLM با استفاده از فریمورک RAGAS
• ایجاد فریمورک ارزیابی RAGAS Pytest برای تأیید متریک‌های RAG (سفارشی) LLMs

پیش‌نیازهای دوره

• مبانی پایتون و PyTest الزامی است. اما صبر کنید! ما 2 بخش اختصاصی در انتهای این دوره داریم که دانش لازم درباره پایتون و Pytest را برای پیگیری دوره ارائه می‌دهد.
• دانش اولیه درباره تست API

توضیحات دوره

مدل‌های زبانی بزرگ (LLMs) در همه جا وجود دارند. هر کسب‌وکاری در حال ساخت LLMs سفارشی مبتنی بر هوش مصنوعی خود برای بهبود خدمات مشتری است. اما مهندسان چگونه آنها را تست می‌کنند؟ بر خلاف تست سنتی نرم‌افزار، سیستم‌های مبتنی بر هوش مصنوعی نیاز به متدولوژی خاصی برای ارزیابی دارند.

این دوره از ابتدا شروع می‌شود و معماری نحوه کارکرد سیستم‌های هوش مصنوعی (LLMs) در پس‌زمینه را توضیح می‌دهد. سپس به‌طور عمیق به متریک‌های ارزیابی LLM می‌پردازد.

این دوره به شما نشان می‌دهد که چگونه به‌طور موثر از کتابخانه فریمورک RAGAS برای ارزیابی متریک‌های LLM از طریق مثال‌های اسکریپت شده استفاده کنید. این کار به شما اجازه می‌دهد تا از Pytest assertions برای چک کردن امتیازات بنچ‌مارک متریک و طراحی فریمورک قدرتمند اتوماسیون تست و ارزیابی LLM استفاده کنید.

از دوره چه مواردی یاد خواهید گرفت؟

• بررسی سطح بالاروی مدل‌های زبانی بزرگ (LLM)
• درک نحوه ساخت LLMs سفارشی با استفاده از معماری بازیابی نسل افزوده (RAG)
• متریک‌ها و بنچ‌مارک‌های رایج مورد استفاده در ارزیابی LLMs مبتنی بر RAG
• آشنایی با فریمورک ارزیابی RAGAS برای ارزیابی و تست LLMs
• تولید اسکریپت‌های کاربردی برای اتوماسیون و تأیید امتیاز متریک‌های LLMs
• اتوماسیون سناریوهایی مانند تعاملات یک‌باره و تعاملات چندباره با LLMs با استفاده از فریمورک RAGAS
• تولید داده‌ تست برای ارزیابی متریک‌های LLM با استفاده از فریمورک RAGAS

در پایان دوره، قادر خواهید بود تا فریمورک ارزیابی RAGAS Pytest را برای تأیید متریک‌های RAG (سفارشی) LLMs ایجاد کنید.

نکته مهم:

این دوره به بررسی 7 متریک برتر می‌پردازد که معمولاً برای ارزیابی و تست LLMs استفاده می‌شود. همین منطق می‌تواند برای سایر ارزیابی‌های متریک نیز به کار رود.

تجربه عملی:

این دوره LLM عملی RAG را برای شما فراهم می‌کند، اما در مرحله اسکریپت‌نویسی، شما به یک اشتراک اولیه در Open AI نیاز دارید تا به APIs آنها دسترسی پیدا کنید.

این دوره برای چه کسانی مناسب است؟

• مهندسان نرم‌افزار
• مهندسان تضمین کیفیت
• متخصصان تست نرم‌افزار