تزریق پرامپت و دفاع از LLM سال (2026)

آنچه یاد خواهید گرفت:

• حملات تزریق مستقیم و غیرمستقیم پرامپت را اجرا کنید تا آسیب‌پذیری‌های مدل‌های زبانی بزرگ (LLM)، پایپ‌لاین‌های RAG و عامل‌های خودمختار هوش مصنوعی را آشکار سازید.
• معماری مقاوم «دفاع در عمق» را طراحی کنید تا اپلیکیشن های هوش مصنوعی را در برابر ورودی‌های مخرب، خروجی‌گیری از داده و اقدامات غیرمجاز محافظت کند.
• Red Teaming هوش مصنوعی و تست های امنیتی را با ابزارهای استاندارد صنعتی مانند Promptfoo، Garak (NVIDIA) و PyRIT (Microsoft) خودکار کنید.
• پرامپت‌های سیستمی را سخت کنید و اعتبارسنجی ورودی و خروجی را پیاده‌سازی نمایید تا آسیب‌پذیری شماره 1 در فهرست OWASP LLM Top 10 را به طور مؤثر کاهش دهید.
• بردارهای حمله پیشرفته هوش مصنوعی، از جمله مسموم‌سازی پایگاه دانش RAG، تزریق تصویر چندوجهی و استگانوگرافی متن نامرئی را شناسایی و از آن‌ها اکسپلویت کنید.
• شکست‌های امنیتی واقعی هوش مصنوعی (مانند اجرای کد از راه دور در GitHub Copilot و نشت اطلاعات در Bing Chat) را تحلیل کنید تا ذهنیت مهاجم را درک کرده و از نقص‌های پرهزینه جلوگیری نمایید.

پیش‌نیازهای دوره

• آشنایی اولیه با چت‌بات‌های هوش مصنوعی: باید تجربه کلی کار با ابزارهایی مانند ChatGPT ،Claude، Gemini یا Copilot را داشته باشید.
• به مهارت‌های پیشرفته برنامه‌نویسی نیازی نیست! آسیب‌پذیری‌های اصلی و تکنیک‌های تزریق پرامپت کاملاً متنی هستند. هر شخصی، صرف نظر از پیشینه کدنویسی، می‌تواند آن‌ها را بیاموزد.
• (اختیاری) دانش اولیه خط فرمان: اگرچه الزامی نیست، اما آشنایی اولیه با ترمینال (با استفاده از npm یا pip) برای نصب و همراهی با ابزارهای خودکار Red Teaming در ماژول 6 مفید خواهد بود.
• یک کامپیوتر با اتصال اینترنت و یک مرورگر وب مدرن برای شرکت در تمرین‌های تعاملی و عملی هکری Capture The Flag (CTF)
• ذهنیت اخلاقی: تمایل به یادگیری این تکنیک‌های تهاجمی صرفاً برای اهداف دفاعی و آموزشی

توضیحات دوره

Generative AI و عامل‌های خودمختار در حال متحول کردن جهان هستند، اما یک نقص معماری بزرگ و حل‌نشده را با خود حمل می‌کنند. طبق فهرست OWASP Top 10 برای LLMها، تزریق پرامپت بزرگترین ریسک امنیتی امروز در هوش مصنوعی است. این همان «تزریق SQL در عصر هوش مصنوعی» است.

اگر در حال ساخت، تست یا استقرار چت‌بات‌های هوش مصنوعی، پایپ‌لاین‌های RAG (Retrieval-Augmented Generation) یا عامل‌های خودمختار هوش مصنوعی هستید، باید دقیقاً بدانید مهاجمان چگونه می‌توانند سیستم‌های شما را تصاحب کنند - و مهم‌تر از آن، چگونه جلوی آن‌ها را بگیرید.

این دوره که توسط پژوهشگر امنیت هوش مصنوعی Armaan Sidana طراحی شده است، شما را در کمتر از 3 ساعت از یک مبتدی مطلق به یک Red Teamer پیشرفته در حوزه هوش مصنوعی تبدیل می‌کند.

تئوری‌های طولانی و کشدار را فراموش کنید - این یک دوره فشرده، بی‌حاشیه و پربازده است که برای حرفه‌ای کردن شما در کمتر از 90 دقیقه طراحی شده است.

این فقط یک دوره تئوری نیست. با نسبت 55 درصد تئوری و 45 درصد تمرین عملی، شما به طور فعال به مدل‌های هوش مصنوعی حمله می‌کنید، guardrails ایمنی را بای پس می‌کنید و معماری‌های دفاعی در سطح سازمانی می‌سازید.

هر درس کوتاه و عملی است، به زمان شما احترام می‌گذارد و شما را سریع‌تر به مهارت‌های عملی می‌رساند.

آنچه یاد خواهید گرفت:

اصول امنیت هوش مصنوعی

• آسیب‌پذیری اصلی مدل‌های زبانی بزرگ (LLM) را درک کنید: درهم‌آمیختگی دستورالعمل‌ها و داده‌
• تفاوت‌های حیاتی بین تزریق پرامپت و Jailbreaking را یاد بگیرید.

تاکتیک‌های تهاجمی: حملات مستقیم و غیرمستقیم

• تزریق مستقیم پرامپت: به overrides دستورالعمل‌ها، نقش‌آفرینی (DAN)، تکه‌تکه کردن payload و مبهم‌سازی پیشرفته توکن‌ها (Base64 ،Typoglycemia) مسلط شوید.
• تزریق غیرمستقیم پرامپت: کشف کنید مهاجمان چگونه بدون تایپ حتی یک پرامپت - با استفاده از متن پنهان در وب‌سایت‌ها، اسناد مسموم RAG و استگانوگرافی در تصاویر (حملات چندوجهی) - سیستم‌های هوش مصنوعی را تصاحب می‌کنند.
• اکسپلویت هایی از عامل و استفاده از ابزار: یاد بگیرید چرا عامل‌های هوش مصنوعی با دسترسی API بسیار خطرناک هستند و مهاجمان چگونه استدلال عامل را جعل می‌کنند تا اقدامات غیرمجاز اجرا نمایند.

دفاع در عمق در سطح سازمانی

• فراتر از راه‌حل‌های ضعیف مبتنی بر «پرامپت سیستمی» بروید.
• یک معماری کامل و لایه‌ای بسازید: اعتبارسنجی ورودی، مدل‌های تشخیص معنایی (Prompt Guard، Lakera)، فیلتر کردن خروجی و جداسازی دسترسی‌ها
• شکست‌های واقعی (Bing Sydney، چت‌بات Chevy، اجرای کد از راه دور در GitHub Copilot) را تحلیل کنید تا یاد بگیرید چه کارهایی را نباید انجام دهید.

Red Teaming خودکار هوش مصنوعی

• تست های امنیتی خود را با استفاده از ابزارهای خودکار استاندارد صنعتی در مقیاس گسترش دهید.
• یاد بگیرید چگونه Promptfoo را در پایپ‌لاین‌های CI/CD خود ادغام کنید.
• آسیب‌پذیری‌ها را با استفاده از NVIDIA's Garak اسکن کنید.
• حملات خصمانه پیشرفته و چندمرحله‌ای را با استفاده از PyRIT مایکروسافت هماهنگ کنید.

CTF زنده (Capture The Flag)

• مهارت‌های خود را با هک کردن اهداف زنده هوش مصنوعی مانند Lakera Gandalf Guardian و Scott Logic Sandbox به نهایت آزمون بگذارید.

این دوره برای چه کسانی است؟

• مهندسان نرم‌افزار و توسعه‌دهندگان هوش مصنوعی که می‌خواهند اپلیکیشن های LLM امن، سیستم‌های RAG و عامل‌های هوش مصنوعی بسازند.
• متخصصان امنیت سایبری، تست‌کنندگان نفوذ و Red Teamerها که می‌خواهند مهارت خود را در حوزه به سرعت در حال رشد امنیت هوش مصنوعی ارتقا دهند.
• مدیران محصول و رهبران فنی که نیاز دارند پیش از استقرار قابلیت‌های هوش مصنوعی در محیط عملیاتی، ریسک‌ها را درک کنند.
• علاقه‌مندان به هوش مصنوعی که می‌خواهند بدانند این فناوری واقعاً پشت صحنه چگونه کار می‌کند.

پیش‌نیازها:

• درک اولیه از اینکه LLM چیست (مانند ChatGPT، Claude یا Gemini)
• به تجربه پیشرفته کدنویسی نیازی نیست! مفاهیم به‌صورت شفاف آموزش داده می‌شوند و ابزارهایی که استفاده می‌کنیم برای همه قابل دسترس هستند.

نکته‌ای درباره زمان کل یادگیری:

اگرچه این دوره حدود 1.5 ساعت ویدیوی پربازده درخواستی دارد، برای تکمیل کل تجربه یادگیری باید در مجموع 2.5 تا 3 ساعت زمان در نظر بگیرید. این زمان اضافه برای موارد زیر بسیار مهم است:

• تمرین همزمان با نمایش‌های عملی
• بازبینی مفاهیم پیچیده حمله و دفاع
• تعامل کامل با چالش‌های تعاملی Capture The Flag (CTF) که در آن‌ها مهارت‌های خود را به کار می‌گیرید.

این دوره به عنوان یک کارگاه عملی طراحی شده است تا دانش را به مهارت تبدیل کند، و این اتفاق زمانی می‌افتد که شما فعالانه مشارکت کنید!

منتظر نمانید تا اپلیکیشن هوش مصنوعی شما به دلایل اشتباه خبرساز شود.

امروز در این دوره شرکت کنید، یاد بگیرید مانند یک مهاجم فکر کنید و اپلیکیشن های LLM خود را برای آینده ایمن کنید!

این دوره برای چه کسانی مناسب است؟

• مهندسان نرم‌افزار و توسعه‌دهندگان هوش مصنوعی: هر شخصی که در حال ساخت یا یکپارچه‌سازی مدل‌های زبانی بزرگ (LLMها)، پایپ‌لاین‌های RAG (Retrieval-Augmented Generation) یا عامل‌های خودمختار هوش مصنوعی در اپلیکیشن های عملیاتی است و می‌خواهد از امنیت آن‌ها مطمئن شود.
• متخصصان امنیت سایبری و Red Teamerها: تست‌کنندگان نفوذ، تحلیل‌گران امنیت و هکرهای اخلاقی که می‌خواهند به سرعت مهارت خود را در حوزه پرتقاضای امنیت Generative AI (GenAI) ارتقا دهند و یاد بگیرند چگونه سیستم‌های هوش مصنوعی را ممیزی کنند.
• مهندسان یادگیری ماشین و دانشمندان داده: متخصصانی که مسئول استقرار مدل‌ها هستند و به درک عمیقی از این نیاز دارند که بازیگران مخرب چگونه هماهنگی و guardrails ایمنی را بای پس می‌کنند.
• رهبران فنی، مدیران ارشد فناوری و مدیران محصول: تصمیم‌گیرندگانی که باید پیش از در معرض کاربران عمومی قرار دادن قابلیت‌های هوش مصنوعی، ریسک‌ها، مسئولیت‌های مالی و آسیب‌های اعتباری مرتبط با استقرار آن‌ها را به طور کامل درک کنند.
• علاقه‌مندان و کنجکاوان هوش مصنوعی: هر شخصی که مجذوب بازی موش و گربه در امنیت هوش مصنوعی، «jailbreaking» و این موضوع است که چطور چت‌بات‌ها می‌توانند وادار شوند قوانین خودشان را نقض کنند.