Sparse MoE

Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 2 - Large Language Models

Stanford Online

نوع من خليط الخبراء يختار فقط أفضل K من الخبراء لتفعيلهم، مما يوفر في الحوسبة.