دوره عملی Red Teaming برای هوش مصنوعی (LLM)

آنچه یاد خواهید گرفت:

• اصول مدل‌های زبان بزرگ (LLM)
• Jailbreaking LLMs
• ده ریسک برتر OWASP برای LLM و GenAI
• Red Teaming عملی LLM با استفاده از ابزارها
• نوشتن پرامپت‌های مخرب (مهندسی پرامپت خصمانه)

پیش‌نیازهای دوره

• مبانی برنامه‌نویسی پایتون
• مبانی امنیت سایبری

توضیحات دوره

هدف

این دوره، آموزش عملی در زمینه امنیت هوش مصنوعی با تمرکز بر Red Teaming برای مدل‌های زبان بزرگ (LLM) ارائه می‌دهد. این دوره برای محققان امنیت سایبری تهاجمی، متخصصان هوش مصنوعی و مدیران تیم‌های امنیت سایبری طراحی شده است. هدف از این آموزش، مجهز کردن شرکت‌کنندگان به مهارت‌های زیر است:

• شناسایی و اکسپلویت از آسیب‌پذیری‌ها در سیستم‌های هوش مصنوعی برای اهداف اخلاقی
• دفاع از سیستم‌های هوش مصنوعی در برابر حملات
• پیاده‌سازی حاکمیت هوش مصنوعی و اقدامات ایمنی در سازمان‌ها

اهداف یادگیری

• درک ریسک‌ها و آسیب‌پذیری‌های GenAI
• بررسی چارچوب‌های نظارتی مانند قانون هوش مصنوعی اتحادیه اروپا و استانداردهای ایمنی نوظهور هوش مصنوعی
• کسب مهارت‌های عملی در تست و ایمن‌سازی سیستم‌های LLM

ساختار دوره

مقدمه‌ای بر Red Teaming هوش مصنوعی:

• معماری LLMها
• طبقه‌بندی ریسک‌های LLM
• بررسی استراتژی‌ها و ابزارهای Red Teaming

شکستن محدودیت‌های LLMها:

• تکنیک‌های jailbreaking LLMs
• تمرینات عملی برای تست آسیب‌پذیری

تزریق پرامپت:

• مبانی تزریق پرامپت و تفاوت‌های آن با jailbreaking
• تکنیک‌های انجام و جلوگیری از تزریق پرامپت
• تمرینات عملی با معماری‌های RAG (تولید مبتنی بر بازیابی اطلاعات) و عامل 

ده ریسک برتر OWASP برای LLMها:

• درک ریسک‌های رایج
• دموهای آموزشی برای تقویت مفاهیم
• تمرینات هدایت‌شده Red Teaming برای تست و کاهش این ریسک‌ها

ابزارها و منابع پیاده‌سازی:

• نوت‌بوک‌های جوپیتر، قالب‌ها و ابزارها برای Red Teaming
• طبقه‌بندی ابزارهای امنیتی برای پیاده‌سازی حفاظ‌ها و راه‌حل‌های نظارتی

دستاوردهای کلیدی

• بهبود دانش: کسب تخصص در اصطلاحات، چارچوب‌ها و تاکتیک‌های امنیت هوش مصنوعی
• مهارت‌های عملی: تجربه عملی در Red Teaming مدل‌های LLM و کاهش ریسک‌ها
• توسعه چارچوب: ساخت مدل‌های بلوغ حاکمیت و امنیت هوش مصنوعی برای سازمان خود

مخاطبان دوره

این دوره برای افراد زیر ایده‌آل است:

• محققان امنیت سایبری تهاجمی
• متخصصان هوش مصنوعی متمرکز بر دفاع و ایمنی
• مدیرانی که به دنبال ساخت و هدایت تیم‌های امنیت هوش مصنوعی هستند.

این دوره برای چه کسانی مناسب است؟

• متخصصان امنیت سایبری که می‌خواهند LLMها و عامل‌های هوش مصنوعی را ایمن‌سازی کنند.