Research·Europe
Forscher trainieren KI-Modell, das mit 12,5 Prozent seiner Experten fast volle Leistung bringt
Global AI Watch · Editorial Team··4 min read
Redaktionelle Einschätzung
Reducing expert usage by 75%, EMO's efficiency makes Mixture-of-Experts viable for resource-limited applications.
Kernpunkte
- 1Forscher des Allen Institute for AI und der UC Berkeley haben mit EMO ein Mixture-of-Experts-Modell entwickelt, dessen Experten sich auf inhaltliche Domänen statt auf Wortarten spezialisieren.
- 2Das erlaubt es, drei Viertel der Experten zu entfernen, bei nur rund einem Prozentpunkt Leistungsverlust.
- 3Das könnte MoE-Modelle erstmals praxistauglich für speicherbeschränkte Umgebungen machen.
- 4Der Artikel Forscher trainieren KI-Modell, das mit 12,5 Prozent seiner Experten fast volle Leistung bringt erschien zuerst auf The Decoder.
Forscher des Allen Institute for AI und der UC Berkeley haben mit EMO ein Mixture-of-Experts-Modell entwickelt, dessen Experten sich auf inhaltliche Domänen statt auf Wortarten spezialisieren. Das erlaubt es, drei Viertel der Experten zu entfernen, bei nur rund einem Prozentpunkt Leistungsverlust. Das könnte MoE-Modelle erstmals praxistauglich für speicherbeschränkte Umgebungen machen. Der Artikel Forscher trainieren KI-Modell, das mit 12,5 Prozent seiner Experten fast volle Leistung bringt erschien zuerst auf The Decoder.
Free Daily Briefing
Top AI intelligence stories delivered each morning.