امنیت پیشرفته RAG و امنیت LLM سال 2026

آنچه یاد خواهید گرفت:

• تکنیک‌های پیشرفته تیم قرمز هوش مصنوعی را برای اکسپلویت از پایگاه‌های داده برداری، بای پس فیلترهای معنایی و کشف تزریق‌های پنهان پرامپت در پایپ لاین های RAG اجرا کنید.
• یک معماری دفاعی 4-دروازه‌ای با zero-trust را برای پاک‌سازی دریافت داده، اعمال sandboxing پرامپت XML و جلوگیری از نشت داده cross-tenant طراحی و پیاده‌سازی کنید.
• آسیب‌پذیری‌های حیاتی Agentic RAG را کاهش دهید، از جمله جعل درخواست سمت سرور، دستکاری غیرمجاز پایگاه داده و سوءاستفاده از ابزارها با الگوی «معاون سردرگم».
• guardrails خروجی قطعی و ارزیاب‌های LLM-به‌عنوان-داور را بسازید تا پایبندی دقیق به واقعیت را اعمال کنید، از توهمات هوش مصنوعی جلوگیری کنید و خروج اطلاعات شناسایی شخصی را مسدود کنید.
• تست امنیتی مداوم LLM را خودکار کنید و اسکن آسیب‌پذیری CI/CD را با استفاده از چارچوب‌های استاندارد صنعتی مانند Promptfoo ،NVIDIA Garak و Microsoft یکپارچه کنید.

پیش‌نیازهای دوره

• درک اولیه از مدل‌های زبانی بزرگ (LLMs): باید بدانید LLM چیست و پرامپت نویسی اولیه چگونه کار می‌کند. (نیازی به پیش‌زمینه پیچیده در ریاضی، علم داده یا یادگیری ماشین نیست!)
• مهارت‌های اساسی Python: باید بتوانید کدهای ساده Python را بخوانید و بنویسید تا بتوانید اسکریپت‌های دفاعی سفارشی و یکپارچه‌سازی‌های API را دنبال کنید.
• فرمان اولیه خط فرمان: ما از ترمینال برای اجرای فرمان های ساده cURL، راه‌اندازی پایگاه‌های داده برداری با Docker و اجرای ابزارهای خودکار تیم قرمز استفاده خواهیم کرد.
• یک رایانه با دسترسی مدیر: به یک سیستم Windows، Mac یا Linux نیاز دارید که امکان نصب نرم‌افزارهای رایگان استاندارد را داشته باشد (Python ،Docker و Node.js).
• نیازی به تجربه قبلی هک نیست: لازم نیست تست‌کننده نفوذ یا متخصص امنیت سایبری باشید. مدرس ذهنیت تهاجمی هوش مصنوعی را قدم‌به‌قدم و از پایه به شما آموزش می‌دهد.

توضیحات دوره

به خط مقدم امنیت هوش مصنوعی خوش آمدید.

دورانی که فقط یک LLM را روی یک پایگاه داده «سوار» می‌کردیم، به پایان رسیده است. Retrieval-Augmented Generation (RAG) مشکل توهمات هوش مصنوعی را حل کرد، اما در عوض سطح حمله‌ای بسیار بزرگ و پیچیده ایجاد کرد. وقتی به یک LLM دسترسی به اسناد داخلی شرکت، پایگاه‌های داده برداری و ابزارهای API می‌دهید (Agentic RAG)، در عمل داده‌های غیرفعال را به کد قابل‌اجرا تبدیل می‌کنید.

بدون دفاع مناسب، تنها یک PDF آلوده یا یک تزریق پرامپت پنهان می‌تواند به خروج داده، جعل درخواست سمت سرور (SSRF) یا حتی به خطر افتادن کامل سیستم منجر شود.

در این مسترکلاس فشرده، بدون حاشیه و 90 دقیقه‌ای، پژوهشگر امنیت هوش مصنوعی، Armaan Sidana، شما را به عمق میدان امنیت تهاجمی هوش مصنوعی می‌برد. شما فقط تئوری سطح‌بالا یاد نمی‌گیرید؛ بلکه به‌صورت عملی پایگاه‌های داده برداری را هک می‌کنید، ربایش زمینه را اجرا می‌کنید و عامل‌های هوش مصنوعی را دستکاری می‌کنید. سپس یاد می‌گیرید چگونه معماری دفاعی نهایی 4-دروازه‌ای را بسازید تا پایپ لاین های خود را برای تولید قفل کنید.

آنچه یاد خواهید گرفت:

• اکسپلویتیشن از پایگاه داده برداری: کشف کنید چرا پایگاه‌های داده برداری پیش‌فرض، نقطه‌ضعف اصلی هوش مصنوعی هستند. یک سرقت زنده روی یک نمونه آسیب‌پذیر Qdrant اجرا کنید و خطرات وارونگی تعبیه را درک کنید (برگرداندن ریاضیات به اطلاعات شناسایی شخصی خام).
• آلوده‌سازی پیشرفته داده: پایپ لاین دریافت را هک کنید. یاد بگیرید مهاجمان چگونه از متن نامرئی (اندازه قلم 0)، پنهان‌نگاری مبتنی بر یونیکد و تزریق فراداده برای آلوده کردن سیستم‌های RAG استفاده می‌کنند.
• ربایش زمینه و Overflow: سازوکار «توجه U-شکل» در LLM را اکسپلویت کنید و حملات انباشت زمینه را اجرا کنید که دستورالعمل های ایمنی را به‌طور کامل از پنجره حافظه بیرون می‌رانند.
• Agentic RAG و SSRF: ببینید وقتی پایپ لاین های RAG دست پیدا می‌کنند چه اتفاقی می‌افتد. عامل‌های هوش مصنوعی را فریب دهید تا به‌عنوان یک «معاون سردرگم» عمل کنند و اعتبارنامه‌های ابری را افشا کنند یا از APIهای داخلی سوءاستفاده کنند.
• معماری دفاعی 4-دروازه‌ای: یک سیستم نفوذناپذیر بسازید. اعتبارسنجی بایت جادویی، قطعه‌بندی معنایی، محافظ پرامپت متا، XML Sandboxing و ارزیاب‌های پایبندی سخت‌گیرانه (LLM-به‌عنوان-داور) را پیاده‌سازی کنید.
• تیم قرمز خودکار: از تست نفوذ دستی دست بکشید. یاد بگیرید چگونه Promptfoo را در پایپ لاین های CI/CD مستقر کنید، از NVIDIA Garak برای ابهام‌سازی عمیق استفاده کنید و با Microsoft PyRIT حملات وضعیتی را orchestrate کنید.

مطالعات موردی واقعی و CTF

از اشتباهات پرهزینه دیگران درس بگیرید. ما شکست‌های مهم دنیای واقعی را کالبدشکافی می‌کنیم، از جمله دعوای حقوقی Air Canada بر سر سیاست توهم‌زده، نشت پرامپت Bing با نام «سیدنی» و آسیب‌پذیری اجرای کد از راه دور در GitHub Copilot.

در نهایت، مهارت‌های خود را در پروژه نهایی CTF (Capture The Flag) به آزمون می‌گذارید؛ جایی که از ترجمه بین‌زبانی و دستکاری زمینه برای خروج از یک عامل محدود RAG و سرقت رمز عبور مدیر استفاده خواهید کرد.

این دوره برای چه کسانی است؟

• مهندسان و توسعه‌دهندگان هوش مصنوعی/یادگیری ماشین که در حال ساخت اپلیکیشن های سازمانی RAG یا Agentic AI هستند.
• متخصصان امنیت سایبری و تست‌کنندگان نفوذ که می‌خواهند به حوزه پرتقاضای تیم قرمز هوش مصنوعی وارد شوند.
• مهندسان AppSec که تسک ممیزی سیستم‌های GenAI و اطمینان از انطباق با OWASP LLM Top 10 را بر عهده دارند.

پیش‌نیازها:

• درک اولیه از مدل‌های زبانی بزرگ (LLMs) و چگونگی کار پرامپت نویسی
• آشنایی با Python (برای دنبال کردن اسکریپت‌های دفاعی).
• تجربه اولیه در خط فرمان (Docker/cURL) اگر بخواهید در آزمایشگاه‌های محلی هک پایگاه داده برداری شرکت کنید.

مهاجم فقط کافی است یک بار از یک دروازه عبور کند. مدافع باید هر دروازه را، هر بار، ایمن نگه دارد.

امروز در این دوره شرکت کنید و یاد بگیرید چگونه ورودی را پاک‌سازی کنید، حافظه را محدود کنید و آینده اپلیکیشن های هوش مصنوعی خود را ایمن سازید.

این دوره برای چه کسانی مناسب است؟

• مهندسان هوش مصنوعی و یادگیری ماشین: شما در حال ساخت اپلیکیشن های مدل زبانی بزرگ (LLM)، پایپ لاین های Retrieval-Augmented Generation (RAG) یا عامل‌های خودکار هوش مصنوعی هستید و می‌خواهید پیش از استقرار در تولید مطمئن شوید معماری شما در برابر آلوده‌سازی داده و تزریق پرامپت ایمن است.
• متخصصان امنیت سایبری و اعضای تیم قرمز: شما تست‌کننده نفوذ، تحلیل‌گر امنیت یا هکر اخلاقی هستید و می‌خواهید سریعاً مهارت خود را در حوزه پرتقاضای امنیت تهاجمی هوش مصنوعی ارتقا دهید. می‌خواهید یاد بگیرید چگونه به‌صورت فعال از پایگاه‌های داده برداری اکسپلویت کنید و فیلترهای معنایی LLM را بای پس کنید.
• مهندسان AppSec و DevSecOps: شما مسئول ایمن‌سازی اپلیکیشن های سازمانی هستید و باید بدانید چگونه قابلیت‌های هوش مصنوعی را با OWASP LLM Top 10 همسو کنید، و همچنین چگونه اسکنرهای خودکار آسیب‌پذیری هوش مصنوعی (مانند Promptfoo) را در پایپ لاین های CI/CD خود یکپارچه کنید.
• معماران نرم‌افزار و رهبران فنی: شما در حال طراحی سیستم‌های درجه‌سازمانی هستید و باید ریسک‌های ساختاری، مرزهای اعتماد و مسائل مسئولیت‌پذیری مرتبط با دادن دسترسی هوش مصنوعی به داده و APIs داخلی سازمان را عمیقاً درک کنید.