جستجوی هوش مصنوعی و یادگیری ماشین با اوپن‌سرچ (الاستیک‌سرچ + AI/ML)

آنچه یاد خواهید گرفت:

• جستجوی سنتی، جستجوی عصبی و جستجوی ترکیبی را با استفاده از اوپن‌سرچ آمازون، که یک پلتفرم متن‌باز با مجوز آپاچی است، درک و پیاده‌سازی کنید.
• جستجوی معنایی و تولید افزوده با بازیابی (RAG) را با استفاده از مدل‌های میزبانی‌شده محلی یا ارائه‌دهندگان LLM خارجی مانند OpenAI، پیاده‌سازی کنید.
• پروژه‌های واقعی را به طور کامل روی یک ماشین محلی یا یک ماشین مجازی ابری با استفاده از VS Code، اسکریپت‌های شل، پایتون و تمپلیت‌های yaml، پیاده‌سازی کنید.
• گزارش‌گیری، هشداردهی، داشبوردها و الگوهای لاگ برای قابلیت مشاهده را ضمن درک نقاط یکپارچه‌سازی با سرویس‌های ابری، پیاده‌سازی کنید.
• چندین مطالعه موردی، از جمله مهاجرت داده‌ پروداکشن از الاستیک‌سرچ به اوپن‌سرچ را، تکمیل کنید.
• گردش‌کارهای عاملی را که شامل معماری‌های RAG بر روی LLMهای محلی و خارجی هستند، درک و پیاده‌سازی کنید.

پیش‌نیازهای دوره

• آشنایی با مبانی اجرای کانتینر داکر، اصول اولیه برنامه‌نویسی پایتون و اشتیاق برای درک و تحلیل چگونگی کارکرد جستجو
• لپ‌تاپ شخصی با حداقل 4 گیگابایت رم (ترجیحاً 8 گیگابایت) و 2 هسته پردازنده (ترجیحاً 4 هسته). آمادگی برای صرف هزینه‌ای حدود 5 دلار یا کمتر برای استفاده از یک سرویس LLM عمومی مانند Open AI

توضیحات دوره

الاستیک‌سرچ یک پلتفرم جستجوی شناخته‌شده است که توسط شرکت‌ها، کسب‌وکارهای کوچک و متوسط و استارتاپ‌ها استفاده می‌شود. الاستیک‌سرچ در موارد استفاده از جستجوی واژگانی با استفاده از الگوریتم BM25 که بر پایه Lucene ساخته شده، عملکرد فوق‌العاده‌ای دارد. با این حال، با ظهور هوش مصنوعی و مدل‌های زبان بزرگ (LLM)، مفاهیمی مانند جستجوی معنایی، جستجوی ترکیبی، جستجوی عصبی و جستجوی چندوجهی دیگر مفاهیمی نادر نیستند و به یک استاندارد تبدیل شده‌اند.

اوپن‌سرچ (که در اصل یک فورک از الاستیک‌سرچ است و در سال 2021 شروع به کار کرد) با مجوز متن‌باز آپاچی و به عنوان یک پروژه بنیاد لینوکس، محبوبیت و پذیرش گسترده‌ای در جوامع متن‌باز و سازمانی به دست آورده است. اوپن‌سرچ ضمن حفظ تمام قابلیت‌های جستجوی واژگانی الاستیک‌سرچ، با مدل‌های LLM (مانند sentence transformers) و ارائه‌دهندگانی چون OpenAI ،Cohere و Anthropic یکپارچه می‌شود و گردش‌کارهای عاملی را تعریف می‌کند. به عنوان یک موفقیت بزرگ، شرکت اوراکل برای قابلیت‌های جستجوی PeopleSoft خود به اوپن‌سرچ روی آورد. همچنین AWS سرویس مدیریت‌شده اوپن‌سرچ را بر روی پلتفرم ابری خود ارائه می‌دهد که خود گویای آمادگی این پلتفرم برای محیط پروداکشن است.

دوره «جستجوی مبتنی بر هوش مصنوعی و یادگیری ماشین با اوپن‌سرچ» یک آموزش کامل در زمینه نصب، پیکربندی و درک اوپن‌سرچ ارائه می‌دهد و همزمان موارد استفاده واقعی مانند تولید افزوده با بازیابی (RAG)، گردش‌کارهای عاملی و مهاجرت از الاستیک‌سرچ به اوپن‌سرچ را پیاده‌سازی می‌کند. تمرکز اصلی بیشتر روی کاربردهای هوش مصنوعی و یادگیری ماشین است تا مفاهیم سنتی و واژگانی، هرچند که این مفاهیم سنتی هم برای حفظ پیشینه تاریخی بررسی شده‌اند.

برای مقایسه الاستیک‌سرچ (ELK stack) و اوپن‌سرچ، می‌توان تقریباً معادل‌های زیر را در نظر گرفت:

• Elasticsearch ~ OpenSearch
• Logstash ~ Data Prepper
• Kibana ~ OpenSearch Dashboards

اوپن‌سرچ از نظر نسخه‌ها و ویژگی‌ها یک پلتفرم در حال رشد سریع است. ما از نسخه 2.17 که تا سپتامبر 2024 نسخه‌ای آماده برای محیط پروداکشن است، استفاده خواهیم کرد. در این دوره به طور گسترده از داکر استفاده شده تا از تکرارپذیری اجرای تمام کدهای دوره اطمینان حاصل شود.

این دوره برای چه کسانی مناسب است؟

• دانشجویان کارشناسی بدون تجربه پروژه در دنیای واقعی
• متخصصان با تجربه کاری در حوزه‌های غیر از جستجو (یا حتی حوزه جستجو)
• توسعه‌دهنده نرم‌افزار
• مهندس DevOps / مدیر SysOps / مهندس قابلیت اطمینان سایت (SRE)
• دانشمند داده / تحلیلگر داده / مهندس داده
• مهندسانی که قصد تغییر مسیر شغلی خود را دارند. (به سمت جستجو و هوش مصنوعی/یادگیری ماشین)
• مهندسان پلی‌گلات (مسلط به چند زبان) که مشتاق کاهش هزینه‌ها و بهبود عملکرد پلتفرم‌های جستجوی موجود هستند.