Routing Collapse

Concept

مشكلة تحدث عند تدريب نماذج MoE حيث يميل النموذج للاعتماد بشكل مفرط على مجموعة صغيرة من الخبراء.

Mentioned in 1 video

Videos Mentioning Routing Collapse

Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 2 - Large Language Models

Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 2 - Large Language Models

Stanford Online

مشكلة تحدث عند تدريب نماذج MoE حيث يميل النموذج للاعتماد بشكل مفرط على مجموعة صغيرة من الخبراء.