Разработка LLM с нуля. Новые модели
Крупное обновление в моем курсе Разработка LLM с нуля.Модельный ряд разрабатываемых LLM пополнился новыми моделями: GPT-2, Llama, Mistral, Mixtral, Gemma. В процессе их разработки мы реализуем новые архитектурные фишки: Pre-norm, RMSNorm, GELU, SiLU, SwiGLU, GeGLU, KV-cache, SWA, RoPE, GQA, MQA, MoE.Курс платный. Следующие две недели по промокоду TRIO предоставляется скидка 30%. Читать далее
admin
0
25
Крупное обновление в моем курсе Разработка LLM с нуля.
Модельный ряд разрабатываемых LLM пополнился новыми моделями: GPT-2, Llama, Mistral, Mixtral, Gemma. В процессе их разработки мы реализуем новые архитектурные фишки: Pre-norm, RMSNorm, GELU, SiLU, SwiGLU, GeGLU, KV-cache, SWA, RoPE, GQA, MQA, MoE.
Курс платный. Следующие две недели по промокоду TRIO предоставляется скидка 30%.
Читать далее
