سرفصل های دوره:
1. مقدمه ای بر مدل های زبانی آماری
2. مفاهیم پایه احتمال و آمار در مدل سازی زبان
3. فرآیندهای تصادفی در زبان
4. مدل های زبانی مبتنی بر شمارش (N-gram)
5. مزایا و معایب مدل های N-gram
6. کاربرد مدل های N-gram در تولید متن
7. مقدمه ای بر مدل های زبانی عصبی
8. شبکه های عصبی بازگشتی (RNN)
9. شبکه های حافظه طولانی کوتاه مدت (LSTM)
10. شبکه های واحد بازگشتی دروازه دار (GRU)
11. معماری های پیشرفته RNN برای تولید متن
12. مدل های زبانی مبتنی بر توجه (Attention Mechanisms)
13. مکانیزم توجه در مدل های زبانی
14. ترانسفورمرها (Transformers)
15. معماری ترانسفورمر برای تولید متن
16. مدل های زبانی بزرگ (Large Language Models - LLMs)
17. معماری های LLM های پیشرفته
18. روش های آموزش LLMs
19. آموزش از قبل (Pre-training)
20. تنظیم دقیق (Fine-tuning)
21. یادگیری تقویتی از بازخورد انسانی (RLHF)
22. کاربرد LLMs در تولید متن
23. تولید متن خلاقانه
24. تولید متن خبری
25. تولید متن تبلیغاتی
26. تولید متن ادبی
27. تولید متن با سبک مشخص
28. تولید متن با لحن مشخص
29. تولید متن با هدف مشخص
30. تولید متن در حوزه های تخصصی
31. مقدمه ای بر تولید متن علمی و فنی
32. چالش های تولید متن علمی و فنی
33. نیاز به دقت و صحت اطلاعات
34. نیاز به اصطلاحات تخصصی
35. نیاز به ساختار منطقی و استدلال
36. نیاز به ارجاع دهی و استناد
37. ...