Transformerarchitektur bezeichnet ein neuronales Netzwerkdesign, das 2017 von Google-Forscher:innen vorgestellt wurde und seitdem die KI-Entwicklung revolutioniert hat. Der zentrale Mechanismus – die sogenannte „Attention“ – ermöglicht es dem Modell, Beziehungen zwischen Wörtern in einem Text zu gewichten, unabhängig von ihrer Reihenfolge. Dadurch können Transformermodelle sehr lange Textsequenzen effizient verarbeiten und komplexe sprachliche Zusammenhänge erfassen. Nahezu alle modernen Sprachmodelle, darunter GPT und Claude, basieren auf dieser Architektur. Beispiel: Dank der Transformerarchitektur kann ein KI-System den Bezug zwischen dem ersten und letzten Satz eines langen Dokuments herstellen – eine Fähigkeit, die ältere Netzwerktypen kaum beherrschten.
« Zurück zum Lexikonindex
Das kritische und unabhängige Medien-Magazin