مدل‌سازی زبان Generative AI با ترنسفرمرها

آنچه یاد خواهید گرفت:

• توضیح مفهوم مکانیزم‌های توجه در ترنسفرمرها، از جمله نقش آنها در ضبط اطلاعات متنی
• توضیح مدل‌سازی زبان با GPT مبتنی بر رمزگشا و BERT مبتنی بر رمزگذار
• پیاده‌سازی اینکودینگ موقعیتی، ماسک‌کردن، مکانیزم توجه، طبقه‌بندی مستندات و ایجاد LLMs مانند GPT و BERT
• استفاده از مدل‌های مبتنی بر ترنسفرمر و توابع PyTorch برای طبقه‌بندی متن، ترجمه زبان و مدل‌سازی 

توضیحات دوره

این دوره به شما یک بررسی از نحوه استفاده از مدل‌های مبتنی بر ترنسفرمر برای پردازش زبان طبیعی (NLP) ارائه می‌دهد.

در این دوره یاد می‌گیرید که چگونه مدل‌های مبتنی بر ترنسفرمر را برای طبقه‌بندی متن، با تمرکز روی کامپوننت رمزگذار، به کار ببرید.

شما با انکودینگ موقعیتی، تعبیه کلمات و مکانیزم‌های توجه در ترنسفرمرهای زبانی و نقش آنها در ضبط اطلاعات و وابستگی‌های متنی آشنا خواهید شد.

علاوه بر این، شما با توجه چندگانه آشنا می‌شوید و بینش‌هایی درباره مدل‌سازی زبان مبتنی بر رمزگشا با ترنسفرمرهای از پیش‌آموزش‌دیده مولد (GPT) برای ترجمه زبان، آموزش مدل‌ها و پیاده‌سازی آنها در PyTorch کسب خواهید کرد.

همچنین، شما مدل‌های مبتنی بر رمزگذار با نمایش‌های رمزگذار دوجهته از ترنسفرمرها (BERT) را مطالعه کرده و با استفاده از مدل‌سازی زبان ماسک‌ شده (MLM) و پیش‌بینی جمله بعدی (NSP) آموزش خواهید داد.

در نهایت، شما با کسب بینش از معماری ترنسفرمر و پیاده‌سازی آن در PyTorch، از ترنسفرمرها برای ترجمه استفاده خواهید کرد.

این دوره تجربیات عملی را با فعالیت‌های تعاملی ارائه می‌دهد که به شما امکان می‌دهد که دانش خود را در سناریوهای واقعی اعمال کنید.

این دوره بخشی از برنامه‌ای تخصصی است که برای افرادی که به مهندسی Generative AI علاقه دارند، طراحی شده است.

این دوره به یک دانش عملی از پایتون، PyTorch و یادگیری ماشین نیاز دارد.