تست E2E چتبات، ایجنت هوش مصنوعی، RAG و MCP Server با DeepEval
✅ سرفصل و جزئیات آموزش
آنچه یاد خواهید گرفت:
- مفاهیم پایه و پیشرفته چتباتها، ایجنتهای هوش مصنوعی و سیستمهای RAG
- روشهای پیشرفته برای تست چتباتها، ایجنتهای هوش مصنوعی و سیستمهای RAG
- مبانی DeepEval
- مبانی PyTest
پیشنیازهای دوره
- مبانی پایتون
- تمایل برای یادگیری روشهای پیشرفته و آیندهمحورِ تست اپلیکیشنها
توضیحات دوره
اپلیکیشنهای مجهز به هوش مصنوعی در حال دگرگون کردن فضای نرمافزار هستند اما چطور باید آنها را تست کرد؟ وقتی اپلیکیشن شما به صورت پویا فکر میکند، استدلال میکند و پاسخ میدهد، روشهای سنتی QA دیگر کافی نیستند. این دوره این شکاف را پر میکند.
در این دوره جامع و عملی، یاد میگیرید چگونه یک استراتژی کامل تست end-to-end برای سیستمهای مدرن هوش مصنوعی بسازید از جمله چتباتها، ایجنتهای هوش مصنوعی، پایپلاینهای RAG و MCP Servers با استفاده از DeepEval، فریمورک متنباز پیشرو برای ارزیابی LLM
هر مفهوم بر پایه یک اپلیکیشن واقعی چتبات هوش مصنوعی برای تجارت الکترونیک ارائه میشود، بنابراین همیشه چیزی معنادار را تست میکنید، نه مثالهای آزمایشی و ساده
این دوره شامل موارد زیر است:
- بخش 1 - شروع کار با DeepEval
- بخش 2 - اجرای LLMs محلی با Ollama
- بخش 3 - LLM-as-a-Judge با مدلهای محلی
- بخش 4 - تست اپلیکیشنهای واقعی LangChain
- بخش 5 - بلوکهای سازنده اصلی: موارد تست، مجموعه دادهها و Goldens
- بخش 6 - متریکهای مختلف + متریکهای سفارشی
- بخش 7 - اپلیکیشن تحت تست (AUT)
- بخش 8 - تست End-to-End با Pytest + DeepEval
- بخش 9 - الگوهای پیشرفته Pytest و خودکارسازی
- بخش 10 - تست چت باتهای مکالمهای
- بخش 11 - تست سیستمهای RAG
- دوره فشرده - مبانی تا پیشرفته فریمورک PyTest
چرا این دوره؟
با ورود سیستمهای هوش مصنوعی به محیط تولید، تقاضا برای مهندسانی که بتوانند اپلیکیشنهای مبتنی بر LLM را ارزیابی و اعتبارسنجی کنند به سرعت در حال افزایش است. این دوره نه فقط تئوری، بلکه مهارتهای عملی و آماده بازار کار را با استفاده از ابزارهای واقعی روی یک اپلیکیشن واقعی به شما میدهد در پایان، یک چارچوب ارزیابی کامل و حرفهای خواهید داشت که میتوانید آن را روی هر پروژه هوش مصنوعی به کار ببرید.
ابزارها و فناوریها
DeepEval · Pytest · پایتون · Ollama · LangChain · Jupyter Notebooks · FastAPI · Confident AI · GitHub Actions
این دوره برای چه کسانی مناسب است؟
- متخصصان QA
- متخصصان AI QA
- توسعهدهندگان
- متخصصان BA
- متخصصان DevSecOps
تست E2E چتبات، ایجنت هوش مصنوعی، RAG و MCP Server با DeepEval
-
مقدمه 05:43
-
مقدمهای بر DeepEval 06:24
-
درک DeepEval و پورتال Confident AI 07:09
-
پیشنیازهای نصب 02:03
-
نصب و شروع تست اپلیکیشنهای هوش مصنوعی در MacOS 09:40
-
نصب و شروع تست اپلیکیشنهای هوش مصنوعی در Windows 11 08:28
-
نوشتن اولین تست ساده غیرمبتنی بر LLMs-as-a-Judge با DeepEval 09:13
-
نوشتن اولین ارزیابی ساده مبتنی بر LLMs-as-a-Judge با DeepEval 07:13
-
استفاده از مدلهای GPT در OpenAI برای ارزیابی متریکها 05:52
-
دانش خود را تست کنید None
-
مقدمه 04:00
-
درک مدلهای مختلف هوش مصنوعی 04:36
-
اجرای LLMs بهصورت محلی با استفاده از Ollama 07:17
-
استفاده از مدلهای Ollama در GUI 03:40
-
درک Ollama با چندین فرمان بیشتر در رابط خط فرمان 02:19
-
راهاندازی Ollama با API برای اجرا به عنوان سرور API 04:01
-
مقدمه 01:38
-
درک مفهوم LLMs-as-a-Judge 04:42
-
ایجاد Jupyter Notebook در VS Code برای کدنویسی تست 10:20
-
اجرای ارزیابی اپلیکیشن در حالت همزمان 05:34
-
ارزیابی اپلیکیشنهای LLM با LLMs محلی بهجای مدل GPT در OpenAI 09:01
-
خواندن مدلهای Ollama و اتصالپذیری از فایلهای ENV 03:14
-
ارسال نتایج ارزیابی به پورتال Confident AI برای نمایش گرافیکی نتایج + موارد اضافی 06:15
-
گسترش کلاس OllamaModel در DeepEval با NoThink - برای اجرای محلی سریع 11:35
-
اجرای ارزیابی اپلیکیشنهای LLM با No Think Ollama 07:15
-
دانش خود را تست کنید None
-
مقدمه 01:57
-
استفاده از اپلیکیشن واقعی برای Inferencing به جای متن Hardcode شده 08:41
-
اجرای ارزیابی با اپلیکیشن واقعی با استفاده از DeepEval 04:34
-
دانش خود را تست کنید None
-
مقدمه و درک LLMTestCase 07:42
-
LLMTestCase برای اجرای چندین مورد تست 08:28
-
درک مجموعه دادهها و کاربرد آنها در ارزیابی اپلیکیشنهای LLM 08:26
-
ایجاد مجموعه داده ساده در DeepEval 06:17
-
ایجاد Goldens برای مجموعه داده در DeepEval 14:30
-
درک مجموعه دادههای متنباز گسترده برای ارزیابی اپلیکیشنهای هوش مصنوعی 10:27
-
ایجاد Goldens برای مجموعه داده متخاصم با بیش از 6000 رکورد 13:14
-
ایجاد LLMTestCase از Goldens برای مجموعه دادههای خصمانه 11:43
-
تست LLMTestCase با Retrieval Context کامل هنگام ارزیابی 09:30
-
دانش خود را تست کنید None
-
دفاع از استراتژی تست DeepEval شما پیش از استقرار در تولید None
-
مقدمه 03:29
-
درک انواع مختلف متریکها در DeepEval 07:00
-
ایجاد متریکهای سفارشی با GEval 13:01
-
ایجاد متریکهای سفارشی GEval برای ارزیابی سوگیری 09:25
-
کار با متریکهای دقت زمینهای 05:51
-
دانش خود را تست کنید None
-
مقدمه 07:29
-
درک چتبات اپلیکیشن 12:30
-
درک استک فناوری اپلیکیشن 07:36
-
درک کامپوننتهای تست اپلیکیشن هوش مصنوعی 06:57
-
درک بکاند اپلیکیشن هوش مصنوعی ساخته شده با FastAPI + RAG + ChromaDB 07:27
-
درک ChatAPI مربوط به چتبات استفاده شده در اپلیکیشن هوش مصنوعی 05:25
-
اجرای FE + BE اپلیکیشن هوش مصنوعی روی ماشین محلی 07:09
-
دانش خود را تست کنید None
-
مقدمه 05:02
-
درک سناریوی تست برای تست اپلیکیشنهای هوش مصنوعی 08:19
-
ایجاد فراخوانیهای API چت و سشت برای گفتگو با ایجنت هوش مصنوعی از طریق کد 13:15
-
ایجاد متد برای دریافت آیتمهای سبد خرید از طریق FastAPI 03:20
-
تست پاسخ چتبات در اپلیکیشنهای هوش مصنوعی 08:33
-
ارزیابی پاسخ سبد خرید از ایجنت هوش مصنوعی با DeepEval 07:27
-
ارزیابی همزمان درستی سبد خرید و درستی چتبات 05:31
-
دانش خود را تست کنید None
-
مقدمه 05:02
-
انتقال کدهای Boilerplate از Jupyter Notebook به Conftestِ PyTest 12:11
-
ایجاد متد تست PyTest و Conftest در PyTest برای اجرا 06:02
-
استفاده از قدرت فیکسچرهای مشترک در PyTest برای کد مشترک قابل استفاده مجدد 08:23
-
درک محدودههای فیکسچر در PyTest 04:44
-
استفاده از محدودههای فیکسچر و ایجاد کلاسهای تست برای تستهای گروهبندی شده در PyTest 10:15
-
اتصال به پورتال ConfidentAI با کد PyTest 06:13
-
استفاده از پارامتریسازی PyTest برای ارزیابی پاکسازی سبد خرید در چتبات هوش مصنوعی 11:47
-
درک سناریوی بروزرسانی سبد خرید در چتبات هوش مصنوعی 08:00
-
پارامتریسازی سناریوی بروزرسانی سبد خرید برای ارزیابی چتبات هوش مصنوعی - بخش 1 11:29
-
پارامتریسازی سناریوی بروزرسانی سبد خرید برای ارزیابی چتبات هوش مصنوعی - بخش 2 10:21
-
دانش خود را تست کنید None
-
مقدمه 06:28
-
ارزیابی مدیریت مناسب موارد خارج از دامنه در چتبات هوش مصنوعی 09:14
-
ارزیابی چندمرحلهای چتبات هوش مصنوعی - بخش 1 07:45
-
ارزیابی چندمرحلهای چتبات هوش مصنوعی - بخش 2 08:58
-
ارزیابی چندمرحلهای چتبات هوش مصنوعی برای اکشنهای ضمیر 09:24
-
دانش خود را تست کنید None
-
بازبینی تست چندمرحلهای چتبات با رهبر QA None
-
مقدمه 04:55
-
نوشتن یک فراخوانی ساده API برای جستجوی RAG در Conftestِ PyTest 11:05
-
کاهش Retrieval Context برای LLMs-as-a-Judge جهت کاهش توکن و هزینه 12:00
-
نوشتن متریکهای ارتباط زمینهای برای RAG با متریکهای داخلی DeepEval 06:30
-
نوشتن متریکهای ارتباط زمینهای برای RAG با GEval 13:55
-
دانش خود را تست کنید None
-
مقدمه و نصب PyTest 20:43
-
کار با متدهای تست و کلاسهای تست در PyTest 14:52
-
کار با Assertions در PyTest 12:58
-
کار با فیکسچرها در PyTest 18:38
-
کار با محدودههای فیکسچر در PyTest 10:28
-
فیکسچرهای مشترک با ConfTest + محدودههای فیکسچر 08:27
-
پیادهسازی مرورگر + صفحه با Playwright و فیکسچرها در PyTest 08:20
-
کار با پارامتریسازی در PyTest 14:20
-
پارامتریسازی پیشرفته در PyTest 15:32
-
کار با Markers در PyTest 18:43
مشخصات آموزش
تست E2E چتبات، ایجنت هوش مصنوعی، RAG و MCP Server با DeepEval
- تاریخ به روز رسانی: 1405/04/02
- سطح دوره:Alls
- تعداد درس:98
- مدت زمان :12:05:18
- حجم :10.35GB
- زبان:دوبله زبان فارسی
- دوره آموزشی:AI Academy