استقرار LLM در تولید - vLLM ،FastAPI، مودال و چت‌بات هوش مصنوعی

آنچه یاد خواهید گرفت:

• تسلط به نگاشت Volumes برای مدیریت کارآمد ذخیره‌سازی مدل، کاهش بازیابی افزونگی داده، بهینه‌سازی ذخیره‌سازی وزن و افزایش سرعت دسترسی با استفاده از ذخیره‌سازی محلی
• تسلط به استقرار مدل‌های هوش مصنوعی با vLLM، مدیریت هزاران درخواست و طراحی معماری‌های ماژولار برای دانلود و استنتاج کارآمد مدل‌ها
• ایجاد چت‌بات هوش مصنوعی مکالمه‌ای با استفاده از پایتون و یکپارچه‌سازی OpenAI API برای چت‌های بلادرنگ و بی‌نقص با مدل‌های زبانی مستقر شده
• استفاده از FastAPI و vLLM برای ساخت APIs کارآمد و سازگار با OpenAI - استقرار اندپوینت‌های REST API در کانتینرها برای تعاملات بی‌نقص با مدل‌های هوش مصنوعی در اپلیکیشن‌های خارجی
• استفاده از همزمانی و همزمان‌سازی برای مدیریت مدل، اطمینان از high availability. بهینه‌سازی استفاده از GPU برای مدیریت کارآمد تعداد زیادی از درخواست‌های استنتاج موازی
• طراحی سیستم‌های مقیاس‌پذیر با مقیاس‌بندی موثر از طریق وزن‌ها و ذخیره‌سازی مدل محلی - ایمن‌سازی اپلیکیشن‌ها با استفاده از احراز هویت پیشرفته و کنترل دسترسی مبتنی بر توکن
• اجرای توابع پرمصرف GPU یا CPU از اپلیکیشن محلی خود روی زیرساخت راه دور و قدرتمند مودال
• استقرار مدل‌های هوش مصنوعی با یک فرمان برای اجرا روی زیرساخت از پیش تعریف شده در کد اپلیکیشن خود
• پیاده‌سازی Web APIs - تبدیل توابع پایتون به وب سرویس‌ها با استفاده از FastAPI در مودال و یکپارچه‌سازی موثر با اپلیکیشن‌های چندزبانه

پیش‌نیازهای دوره

• مهارت‌های اولیه پایتون - آشنایی با برنامه‌نویسی پایتون، زیرا دوره شامل اسکریپت‌نویسی و استفاده از ابزارهای مبتنی بر پایتون است.
• درک مفاهیم یادگیری ماشین - درک پایه‌ای از اصول و گردش‌کارهای یادگیری ماشین به شما در کاربرد استراتژی‌های استقرار کمک خواهد کرد.
• تجربه با رابط‌های خط فرمان - تسلط به استفاده از ابزارهای خط فرمان برای نصب پکیج‌ها و اجرای اسکریپت‌ها مفید است.
• دسترسی به رایانه با اینترنت - یک سیستم رایانه‌ای قابل اعتماد با دسترسی به اینترنت برای دنبال کردن تمرینات و استقرارهای مبتنی بر ابر لازم است.

توضیحات دوره

این دوره ترکیبی از درک نظری و کاربرد عملی با درس‌های عملی زیاد را ارائه می‌دهد که یادگیرنده‌ها را از اصول اولیه به استراتژی‌های پیشرفته استقرار منتقل می‌کند. شما نه تنها یاد می‌گیرید که مدل‌های هوش مصنوعی را به چندین روش استقرار کنید، بلکه همچنین یک چت‌بات دارای حافظه می‌سازید که با اندپوینت استنتاج با کیفیت تولید، تعامل کند که قادر خواهد بود از هزاران درخواست پشتیبانی کند. شما با اطمینان و کارایی، مهارت‌های لازم برای استقرار اپلیکیشن‌های هوش مصنوعی مقیاس‌پذیر و تعاملی را به دست آورید. چه اپلیکیشن‌هایی برای کسب‌وکار، تعامل با مشتری یا پروژه‌های شخصی بسازید، این دوره دروازه‌ای برای تسلط به استقرار مدل‌های هوش مصنوعی شماست. این دوره شما را با دانش و مهارت‌های لازم برای طراحی سرویس‌های استنتاج قوی با استفاده از ابزارهای پیشرفته‌ مانند فریمورک vLLM و FastAPI و مودال تجهیز می‌کند.

آنچه یاد خواهید گرفت:

• نگاشت استراتژیک volume برای مدیریت موثر مدل - شما درک می‌کنید که چگونه volumes را به دقت نگاشت و مدیریت کنید تا بازیابی افزونگی داده‌ را کاهش دهید و بهینه‌سازی ذخیره‌سازی وزن‌های مدل را انجام دهید. شما بینش‌هایی درباره استفاده از volumes محلی برای دسترسی سریعتر به داده و ذخیره‌سازی پایدار به دست می‌آورید و از دانلودهای غیرضروری از مخازن خارجی مانند Hugging Face اجتناب می‌کنید.
• استقرار مدل‌های هوش مصنوعی با کارایی بالا - تسلط به استقرار مدل‌های یادگیری ماشین با استفاده از فریمورک vLLM، که از هزاران درخواست استنتاج موازی برای اپلیکیشن‌های تولید پشتیبانی می‌کند. شما یاد می‌گیرید که چگونه معماری ماژولار با سرویس‌های مجزا برای دانلود مدل و تسک‌های استنتاج طراحی کنید که بازتاب‌دهنده‌ شیوه‌های طراحی نرم‌افزار مدرن باشد.
• توسعه‌ اپلیکیشن چت هوش مصنوعی مکالمه‌ای - شما دانش نظری را به یک محصول محسوس تبدیل می‌کنید و یک اسکریپت ساده پایتون برای مدیریت تعاملات چت با مدل‌های زبانی مستقر شده توسعه می‌دهید. شما با استفاده از کلاینت OpenAI API یکپارچه‌سازی و احراز هویت می‌کنید تا اجرای دیالوگ چت بلادرنگ و بی‌نقص را تجربه کنید.
• ساخت APIs قوی با FastAPI و vLLM - شما با استفاده از FastAPI و vLLM، می‌توانید APIs را ایجاد و یکپارچه کنید تا مدل‌های هوش مصنوعی را به طور موثر ارائه دهید و تعاملات غیرمستقیم OpenAI را در یک زیرساخت کانتینری تضمین کنید. شما اندپوینت‌های REST API را برای سرویس‌های استنتاج پیاده‌ می‌کنید تا تعاملات با اپلیکیشن‌های خارجی از طریق رابط‌های استاندارد تسهیل شود.
• مدیریت موثر منابع و مدل - شما از تکنیک‌های همزمانی و همزمان‌سازی برای مدیریت داده‌ مدل بین سرویس‌ها استفاده کرده و اطمینان حاصل می‌کنید که بدون ترافیک شبکه زیاد، در دسترس باشند. بهینه‌سازی استفاده از GPUs و سایر منابع سخت‌افزاری برای مدیریت تعداد بالای درخواست‌های استنتاج موازی لازم است.
• طراحی سرویس مقیاس‌پذیر و ایمن - شما سیستم‌های مقیاس‌پذیری طراحی می‌کنید که امکان راه‌اندازی سریع و مقیاس‌بندی موثر را از طریق استفاده استراتژیک از وزن‌های مدل و ذخیره‌سازی محلی فراهم کنند. شما اپلیکیشن خود را با استفاده از پروتکل‌های احراز هویت پیشرفته ایمن می‌کنید که شامل کنترل دسترسی مبتنی بر توکن برای محدود کردن استفاده از اندپوینت API به کاربران مجاز است.

این دوره همچنین یک بررسی عملی از استقرار و مقیاس‌بندی مدل‌های یادگیری ماشین با تنها چند خط از دکوراتورهای پایتون را ارائه می‌دهد که از زیرساخت به عنوان کد در پلتفرم بدون سرور مودال و APIs یکپارچه‌سازی استفاده می‌کند.

• آشنایی با مودال - شما با یک بررسی از مدیریت زیرساخت نوآورانه مودال شروع می‌کنید که با اتوماسیون فرآیندهایی که به‌ طور سنتی توسط پلتفرم‌هایی مانند AWS انجام می‌شود، مقیاس‌بندی و استقرار را ساده می‌کند. شما از مزایای معماری بدون سرور و استراتژی‌های بهینه‌سازی هزینه آگاه شوید.
• راه‌اندازی محیط و اجرای اسکریپت - شما یاد می‌گیرید که چگونه محیط محلی خود را به مودال متصل کنید، وابستگی‌ها را مدیریت کنید و اسکریپت‌های پایتون را در تنظیمات محلی و از راه دور اجرا کنید. شما با رویکرد منحصربه‌فرد مودال در استقرار توابع بدون سرور و تفاوت‌های بین اجرای محلی و از راه دور آشنا می‌شوید.
• اپلیکیشن‌های موقتی و مستقر شده - شما از اجرای اپلیکیشن‌های موقتی به‌ طور محلی به استقرار آنها برای اجرای از راه دور منتقل می‌شوید. شما چرخه‌ عمر اپلیکیشن‌های مودال، مقداردهی اولیه lazy و مدیریت کانتینر را بررسی کرده و روی استراتژی‌های استقرار مقرون به صرفه برای حجم‌های کاری با عملکرد بالا تمرکز می‌کنید.
• تعریف زیرساخت و یکپارچه‌سازی API - شما به پیکربندی زیرساخت با استفاده از دکوراتورهای مودال پرداخته، عملیات‌های مشابه داکر را مدیریت کرده و با استفاده از FastAPI یکپارچه مودال، توابع پایتون را به وب سرویس‌های قابل دسترسی تبدیل می‌کنید. شما یاد می‌گیرید که چگونه مدیریت کانتینر و ملاحظات عملکرد را برای ران‌تایم بهینه ناوبری کنید.
• تکنیک‌های پیشرفته استقرار - شما از کلاس‌ها و هوک‌های چرخه عمر برای مدیریت موثر منابع استفاده می‌کنید، state اپلیکیشن را در طول درخواست‌ها حفظ کرده و عمر کانتینر را افزایش می‌دهید. شما از استقرار مدل‌های یادگیری ماشین از Hugging Face و یکپارچه‌سازی مدل‌های زبانی بزرگ به اپلیکیشن‌های خود بینش‌هایی را به دست می‌آورید.
• احراز هویت و پیکربندی محیط - شما به فرآیند مدیریت secrets برای احراز هویت، پیکربندی منابع GPU و راه‌اندازی محیط‌های کانتینر مسلط می‌شوید. شما اهمیت آماده نگه‌داشتن کانتینرها و مدل‌ها برای درخواست‌های سریع استنتاج را درک می‌کنید.
• گردش‌کار کامل استقرار - شما یک گردش‌کار کامل برای استقرار مدل یادگیری ماشین به‌ عنوان یک وب سرویس را تجربه می‌کنید. از راه‌اندازی تا اطمینان از در دسترس بودن سرویس با استفاده از cron jobs، بهترین شیوه‌ها در مدیریت چرخه عمر کانتینر و اتوماسیون دواپس را مشاهده می‌کنید.

این دوره برای چه کسانی مناسب است؟

• این دوره برای توسعه‌دهندگان نرم‌افزار و متخصصان IT طراحی شده که به دنبال ارتقای مهارت‌های خود در استقرار و مقیاس‌بندی مدل‌های یادگیری ماشین در محیط ابر هستند.
• کسانی که می‌خواهند فراتر از چالش‌های زیرساخت سنتی مانند مقیاس‌بندی دستی و راه‌اندازی سرورهای پیچیده بروند و به دنبال استفاده از معماری بدون سرور برای عملیات‌های ساده شده هستند.
• یادگیرندگان که رویکرد عملی به یادگیری را ارج می‌نهند و بر پیاده‌سازی راه‌حل‌های واقعی شامل یکپارچه‌سازی API، مدیریت کانتینر و استراتژی‌های استقرار مقرون‌به‌صرفه تمرکز دارند.
• افرادی که می‌خواهند درک خود از فناوری‌های مبتنی بر ابر، به ویژه در زمینه بهینه‌سازی گردش‌کارهای یادگیری ماشین با استفاده از پلتفرم‌هایی مانند مودال را عمیق‌تر کنند.