مدل‌های ترنسفورمر با PyTorch

عمیق شدن در معماری ترنسفورمر

مدل‌های ترنسفورمر با توانمندسازی مدل‌های زبانی بزرگ (LLMs) امروزی، مدل‌سازی متن را متحول کرده و جرقه رونق هوش مصنوعی مولد را زده‌اند. در این دوره، شما به اجزای کلیدی در این معماری، از جمله positional encoding، مکانیزم‌های attention و زیرلایه‌های feed-forward نگاه خواهید کرد. شما این اجزا را به صورت ماژولار کدنویسی خواهید کرد تا ترنسفورمر خود را مرحله به مرحله بسازید.

پیاده‌سازی مکانیزم‌های Attention با PyTorch

مکانیزم attention یک پیشرفت کلیدی است که به رسمی شدن معماری ترنسفورمر کمک کرد. Self-attention به ترنسفورمرها اجازه می‌دهد تا روابط بین توکن‌ها را بهتر شناسایی کنند که کیفیت متن تولید شده را بهبود می‌بخشد. یاد بگیرید که چگونه یک کلاس مکانیزم multi-head attention ایجاد کنید که یک بلوک ساختمانی کلیدی در مدل‌های ترنسفورمر شما خواهد بود.

ساخت مدل‌های ترنسفورمر خودتان

یاد بگیرید که مدل‌های ترنسفورمر encoder-only ،decoder-only و encoder-decoder را بسازید. بیاموزید که چگونه این معماری‌های مختلف ترنسفورمر را برای وظایف زبانی مختلف، از جمله طبقه‌بندی متن و تحلیل احساسات، تولید و تکمیل متن، و ترجمه sequence-to-sequence انتخاب کرده و کدنویسی کنید.