Les capacités émergentes des grands modèles linguistiques sont un mirage

Die entstehenden Fähigkeiten fortgeschrittener Sprachmodelle: eine Illusion

In der geschäftigen Arena der künstlichen Intelligenz (KI) überrascht der Wettlauf um die Entwicklung immer effizienterer Sprachmodelle immer wieder. Ein ehrgeiziges Projekt namens Beyond the Imitation Game benchmark (BIG-bench) konzentrierte sich auf dieses Rennen und beteiligte 450 Forscher an der Entwicklung von 204 Aufgaben, die darauf abzielten, die Grenzen großer Sprachmodelle zu erweitern. Diese Modelle, die Chatbots wie ChatGPT zum Leben erwecken, haben eine unterschiedliche Leistung gezeigt, die zwischen vorhersehbaren Verbesserungen und plötzlichen Sprüngen nach vorne schwankt. Ein Phänomen, das Forscher als „revolutionäres“ Verhalten beschrieben haben und das an in der Physik beobachtete Phasenübergänge erinnert.

**Große Sprachmodelle (LLM)**, wie das berühmte GPT-2, GPT-3.5 und das ganz neue GPT-4, haben gezeigt, dass sie in der Lage sind, enorme Textmengen zu verarbeiten und zu verstehen, indem sie Verbindungen zwischen Wörtern herstellen. Die Fähigkeit dieser Modelle, komplexe, sogar unerwartete Aufgaben zu erfüllen, liegt in ihrer Anzahl an Parametern, im Wesentlichen in den verschiedenen Arten, wie Wörter miteinander verbunden werden können. GPT-3.5 verwendet beispielsweise 350 Milliarden Parameter, während der Neuzugang GPT-4 satte 1,75 Billionen Parameter hat.

Die Leistungssteigerung mit der Modellgröße scheint logisch, aber einige Verhaltensweisen übertrafen die Erwartungen. Wir beobachteten eine Zeit lang fast null Leistungsniveaus, gefolgt von einer spektakulären Verbesserung, ein Phänomen, das die wissenschaftliche Gemeinschaft faszinierte. Einige Forscher haben in diesen „Kapazitätssprüngen“ Zeichen der Emergenz gesehen, dieser kollektiven Verhaltensweisen, die in einem System entstehen, das ein hohes Maß an Komplexität erreicht.

Ein Team der Stanford University bietet jedoch eine andere Sicht auf diese Phänomene. Ihrer Meinung nach ist die scheinbare Unvorhersehbarkeit dieser Kapazitätssprünge weniger eine Frage des plötzlichen Auftretens als vielmehr der Art und Weise, wie Leistung gemessen wird. Sanmi Koyejo, Hauptautorin einer Studie zu diesem Thema, argumentiert, dass sogenannte „Phasenübergänge“ bei LLM-Fähigkeiten viel vorhersehbarer sein könnten, als viele glauben, und führt die Verwirrung eher auf die Messmethodik als auf die wahren Fähigkeiten der Modelle zurück.

A lire également  Ende der Ära der Mega-Subventionen im TikTok Shop

Diese Vision steht im Gegensatz zur Vorstellung eines fließenden, linearen Fortschritts in der KI. Dies deutet darauf hin, dass unser Verständnis qualitativer Sprünge in LLM-Fähigkeiten stark davon abhängt, wie wir sie bewerten und verstehen. Während die großen Sprachmodelle weiterhin Fortschritte machen und beeindruckende Effizienz- und Leistungsverbesserungen bieten, bleibt die Interpretation dieser Fortschritte umstritten. Die Ergebnisse des Stanford-Teams stellen die Vorstellung von Emergenz als Fata Morgana in Frage und bieten eine revolutionäre Perspektive darauf, wie wir Fortschritte im sich ständig weiterentwickelnden Bereich der KI wahrnehmen.