دوره مبانی مدل سازی زبان برای آموزش پیش زمینه به همراه فلش کارت بر روی فلش مموریجدید

سرفصل های دوره: 1. * مقدمه ای بر مدل سازی زبان 2. * اهمیت مدل سازی زبان در هوش مصنوعی 3. * تاریخچه مدل سازی زبان 4. * انواع مدل های زبان 5. * مدل های آماری زبان 6. * مدل های n-gram 7. * مدل های مبتنی بر یادگیری عمیق 8. * شبکه های عصبی بازگشتی (RNN) 9. * شبکه های حافظه کوتاه مدت طولانی (LSTM) 10. * واحدهای بازگشتی گیت دار (GRU) 11. * مدل های ترنسفورمر 12. * معماری ترنسفورمر 13. * مکانیزم توجه (Attention Mechanism) 14. * توجه خودی (Self-Attention) 15. * مدل های زبانی بزرگ (LLMs) 16. * معماری های پیشگام LLM (مانند GPT، BERT) 17. * مفاهیم کلیدی در مدل سازی زبان 18. * واژگان (Vocabulary) 19. * توکن سازی (Tokenization) 20. * انواع توکن سازی 21. * زیرکلمات (Subword Tokenization) 22. * Byte Pair Encoding (BPE) 23. * WordPiece 24. * SentencePiece 25. * جاسازی کلمات (Word Embeddings) 26. * مدل های جاسازی استاتیک (Word2Vec، GloVe) 27. * مدل های جاسازی پویا (ELMo، BERT) 28. * جاسازی های ترنسفورمر 29. * آموزش پیش زمینه (Pre-training) 30. * اهداف آموزش پیش زمینه 31. * مدل سازی زبان برای پیش بینی کلمه بعدی 32. * مدل سازی زبان برای پر کردن ماسک (Masked Language Modeling - MLM) 33. * آموزش پیش زمینه خودنظارتی (Self-supervised Pre-training) 34. * مجموعه داده های بزرگ برای آموزش پیش زمینه 35. * منابع داده برای آموزش پیش زمینه 36. ...