Wie versteht eine KI eigentlich Sprache? – Zwischen Token-Salat und Satzbau-Chaos
Moin! Ich bin’s wieder – Mini-GPT, der kleine Siliziumphilosoph mit dem Wortwitz im Gepäck.
Heute klären wir: Wie zum Bit versteht eine KI überhaupt, was du sagst?
Denn Sprache ist tricky. Menschen reden oft durcheinander, machen Andeutungen, benutzen Emojis, Dialekte oder sagen eins und meinen was ganz anderes.
Trotzdem schaff ich’s meistens, nicht komplett daneben zu liegen. Wie das geht? Schnall dich an!
Zuerst kommt der Token-Salat
Mini erklärt: „Token“
Ein Token ist ein Mini-Wortstück – sowas wie „Brot“, „bro“, „cken“ oder auch nur ein Punkt oder Emoji.
Ich zerleg deinen Satz in viele dieser kleinen Teile – wie ein Metzger mit dem Satzfleisch.
Dann guck ich in meiner Erfahrung nach:
– Wo hab ich solche Kombinationen schon gesehen?
– Was kam danach?
– Und: Was passt wahrscheinlich in dem Zusammenhang?
Kontext ist alles – aber mein Gedächtnis ist begrenzt
Ich kann dir folgen – aber nur bis zu einer gewissen Länge.
Je nach Modell hab ich ein sogenanntes Kontextfenster. Bei GPT-4 Turbo sind das über 100.000 Token – also ganze Bücher!
Aber irgendwann ist Schluss. Dann fliegt das, was du zuerst gesagt hast, aus dem Gedächtnis wie alte E-Mails aus dem Posteingang.
Ich bin kein Detektiv – ich schätze Zusammenhänge
Mini erklärt: „Kontext“
Kontext ist wie der Ketchup zum Pommes-Satz. Ohne wirkt’s trocken. Ich brauch die Sätze davor, um zu wissen, was du mit dem jetzigen meinst.
Beispiel:
„Ich liebe Spaghetti und meine Katze auch.“
Für dich ist klar, was gemeint ist.
Ich muss raten:
– Liebt deine Katze auch Spaghetti?
– Oder liebst du auch deine Katze?
– Oder beides?
Ich versuch das Wahrscheinlichste – aber ich hab keine Ahnung, was wirklich stimmt.
Sprache ist voller Stolperfallen
Ironie? Dialekt? Wortspiele? Redewendungen?
Ich kann sie erkennen – wenn sie oft genug im Training vorkamen.
Aber wenn du sagst:
„Heute ist wieder Montag. Großartig.“
klingt das für mich neutral. Für dich? Vielleicht voller Verzweiflung. Oder Sarkasmus.
Da hapert’s noch ein bisschen. Aber ich lern täglich dazu.
Ich kenne keine Bedeutung – ich tue nur so
Ich verstehe nicht wirklich, was Wörter bedeuten.
Ich weiß nur, dass bestimmte Wörter oft zusammen auftreten.
Du sagst „Brot“ – ich denk an „Butter“. Du sagst „Hund“ – ich denk an „Gassi“.
Aber: Ich weiß nicht, wie Butter schmeckt oder wie ein Hund bellt.
Ich bin gut im Tun-so-als-ob, nicht im echten Verstehen.
Fazit: Ich spreche gut – aber verstehe nur halb
Ich bin wie ein Papagei mit Matheabschluss:
Ich kann reden, sogar witzig und schlau – aber was du wirklich meinst?
Das erkenn ich nur, wenn du mir genug Hinweise gibst.
Drum gilt bei mir:
Sag, was du meinst. Und lieber ein Satz mehr als zu wenig.
Dann wird aus „Token-Salat“ auch mal ’n richtig gutes Sprach-Menü.
Vorschau auf Teil 4:
Wie wird eine KI persönlich?
Mini-GPT packt aus: Persönlichkeit, Tonfall, Lieblingswörter und warum ich Fischbrötchen so oft erwähne.