Künstliche Intelligenz: Benchmarks für generative Sprachmodelle im Überblick (2024)

Zwar verfügen große Sprachmodelle (Large Language Models, LLMs) über nützliche Fähigkeiten, das Einbinden in die alltägliche Arbeit gestaltet sich jedoch schwierig: Oft fehlen verlässliche Informationen zur Qualität der Modelle und der für das Training verwendeten Daten, es gibt eine stetig wachsende Zahl von Benchmarks und Metriken zur Beurteilung der Modelle und schließlich entstehen weltweit umfangreiche gesetzliche Regelwerke für den Einsatz von KI, die verstanden und eingehalten werden müssen. Für Anwender wird es deshalb immer wichtiger, generative KI-Modelle sinnvoll zu bewerten.

Große Foundation-Modelle, zu denen die LLMs gehören, können zwar immer öfter auch mit multimodalen Daten wie Text, Bild oder Audio umgehen. Dieser Artikel konzentriert sich jedoch auf aktuelle Bewertungsmethoden für große generative Sprachmodelle, also Metriken und Benchmarks für die Verarbeitung von Sprachdaten (Natural Language Processing).

Andreas Christian

Andreas Christian ist Senior Information Architecture und Technical Sales Specialist bei IBM DACH.

Kush R. Varshney

Kush R. Varshney ist IBM Fellow für AI Governance bei IBM Research.

Trotz des weitreichenden Einsatzes großer Sprachmodelle fehlt es derzeit an einem klaren Verständnis dafür, wie sie funktionieren, wozu sie grundsätzlich fähig sind und wann sie versagen könnten. Weiterhin decken die aktuell verfügbaren Bewertungsansätze für LLMs nicht alle Risikobereiche ab. Es gibt also viele gute Gründe, sich vor dem Einsatz von LLMs mit deren Risiken vertraut zu machen.