ChatGPT: Nach welchem Muster funktioniert die KI?

Während ich neulich einen fesselnden Podcast über Künstliche Intelligenz hörte, stieß ich auf eine erstaunliche Information: ChatGPT, bzw. das KI-Modell dahinter, generiere immer nur das nächste Wort. Wahnsinn, oder? Stimmt aber nicht! (hier gehts übrigens zu meinen bisherigen Erkenntnissen aus meinen KI Workshops)

ChatGPT generiert  immer nur den nächsten Token basierend auf Wahrscheinlichkeiten. Das ist ein kleiner aber feiner und wichtiger Unterschied. Der nächste Token – nicht unbedingt das nächste Wort (Den Unterschied habe ich in dem Artikel “Was ist ein Token” beschrieben). 

Das ist so, als würde man eine Geschichte schreiben, indem man immer nur das nächste Puzzleteil auswählt, ohne das gesamte Bild zu kennen. Basierend auf den unglaublichen Ergebnissen, finde ich das verwunderlich.

Aber schauen wir uns einmal an nach welchem Muster ChatGPT überhaupt funktioniert. Es sind hauptsächlich 2 Trainingsphasen:

Die Ausbildung von ChatGPT

Schauen wir uns das mal etwas genauer an:

Die Grundschulzeit – Vortraining:

Die Universitätszeit – Feintuning:

Der eigentliche Lehrer von ChatGPT sind wir (bzw. die Chats/Interaktionen)

Jedes Mal, wenn wir mit ChatGPT interagieren, geben wir ihm im Grunde genommen Feedback. Es ist, als würden wir ihm eine kleine Lektion erteilen. Diese Interaktionen helfen dem Modell, besser zu verstehen, was von ihm erwartet wird, wie es auf bestimmte Fragen oder Anweisungen reagieren sollte und welche Art von Antworten für uns als Benutzer am wertvollsten sind. Um so wichtiger ist es auch für das Ergebnis, dass wir mit ChatGPT “interagieren”.

Feintuning von ChatGPT durch Feedback

Während der Vortrainingsphase lernt ChatGPT von einer riesigen Menge an Textdaten aus dem Internet. Aber in der Feintuning-Phase, der "Universitätszeit" von ChatGPT, werden spezifische Datenpunkte verwendet, um das Modell zu verfeinern. Hier kommen unsere Chats ins Spiel. OpenAI verwendet eine Mischung aus öffentlich verfügbaren Daten und Daten aus diesen Interaktionen (natürlich anonymisiert und ohne persönliche Informationen) als Teil des Trainingsdatensatzes.

Ein zweischneidiges Schwert

Obwohl unsere Interaktionen ChatGPT helfen, besser zu werden (und damit unsere Ergebnisse verbessern), gibt es auch Herausforderungen. Das Modell kann manchmal unerwünschte Verhaltensweisen oder Vorurteile aus den Daten übernehmen, mit denen es trainiert wurde. 

Beispiel: Man schaue sich nur einmal das Ergebnis an, wenn man KI-Tools nach dem perfekten Bewerbungsbild fragt oder nach Verbesserungen: Bei Upload eines “schwarzen” Gesichtes wird ein Bewerbungsbild mit heller Hautfarbe vorgeschlagen

Tokens: Die DNA von ChatGPT

Ein Token in ChatGPT kann ein Wort, ein Teil eines Wortes oder ein Satzzeichen sein. Wenn ChatGPT also "spricht", wählt es den nächsten Token basierend auf dem Kontext der vorherigen Tokens. Dieser feine Unterschied zwischen Wort und Token ist es, der ChatGPT so flexibel und vielseitig in der Textgenerierung macht.

Ein Gedanke zum Abschluss

Die Welt der KI ist voller Überraschungen. Wenn man bedenkt, dass ChatGPT immer nur den nächsten Token generiert, basierend auf dem, was es gelernt hat, und dabei solch beeindruckende Antworten liefert, kann man nur staunen. Es erinnert mich daran, wie wichtig es ist, immer weiter zu lernen, sich anzupassen und das nächste "Puzzleteil" in unserem eigenen Lebensbuch sorgfältig zu wählen.

In meinen Jahren als Unternehmer habe ich gelernt, wie wichtig es ist, sich auf das zu konzentrieren, was man ändern kann und nicht auf das, was sowieso nicht änderbar ist. Heisst im Klartext: Lernt mit der KI klarzukommen und seht die Chancen.

Hier habe ich übrigens beschrieben, warum und wie man die KI am besten strategisch und operativ ins Unternehmen bringt.