Kolloquiumsvortrag: Fixed Points of the Scaled Softmax Function and of Modern Continuous Hopfield Networks

Kurzfassung:
Die Softmax-Funktion ist ein grundlegender Baustein moderner KI-Modelle.
In diesem Vortrag werden zunächst die Dynamik und die Lage stabiler und instabiler Fixpunkte dieser Funktion analysiert. Anschließend wird anhand eines allgemeinen Existenzresultats gezeigt, dass moderne Hopfield-Netzwerke, die auf der Softmax-Funktion basieren, in ähnlicher Weise stabile und instabile Fixpunkte ausbilden.
Diese Ergebnisse vertiefen das allgemeine Verständnis dieser Funktionen und sind zum Beispiel relevant für Fragestellungen zur Stabilität von Klassifikationen und Attention-Mechanismen.