Wenn Sprach-KI auf Propaganda trifft, ist niemand sicher

Sie sitzen in einer kalten Winternacht in einem bequemen Sessel am Feuer. Vielleicht haben Sie eine Tasse Tee in der Hand, vielleicht etwas Stärkeres. Sie öffnen eine Zeitschrift mit einem Artikel, den Sie lesen wollten. Der Titel suggerierte eine Geschichte über eine vielversprechende – aber auch potenziell gefährliche – neue Technologie an der Schwelle zum Mainstream, und nachdem Sie nur ein paar Sätze gelesen haben, werden Sie in die Geschichte hineingezogen. In der maschinellen Intelligenz steht eine Revolution bevor, argumentiert der Autor, und wir müssen als Gesellschaft besser darin werden, ihre Folgen vorherzusehen. Doch dann passiert das Seltsamste: Sie bemerken, dass der Schreiber scheinbar absichtlich das allerletzte Wort des ersten weggelassen hat.

Fast ungebeten springt dir das fehlende Wort ins Bewusstsein: „das allerletzte Wort des ersten Absatz.'' Es gibt in Ihrem Kopf keinen Sinn für eine interne Suchanfrage; das Wort „Absatz“ springt einfach heraus. Es mag wie eine zweite Natur erscheinen, diese Übung zum Ausfüllen der Lücken, aber wenn Sie es tun, denken Sie an die eingebetteten Wissensschichten hinter dem Gedanken. Sie müssen die Rechtschreibung und syntaktischen Muster des Englischen beherrschen; Sie müssen nicht nur die Wörterbuchdefinitionen von Wörtern verstehen, sondern auch die Art und Weise, wie sie sich aufeinander beziehen; Sie müssen mit den hohen Standards der Zeitschriftenveröffentlichung vertraut genug sein, um anzunehmen, dass das fehlende Wort nicht nur ein Tippfehler ist und dass Redakteure im Allgemeinen Schlüsselwörter in veröffentlichten Artikeln nicht auslassen, es sei denn, der Autor versucht, schlau zu sein – vielleicht versucht er es Verwenden Sie das fehlende Wort, um einen Punkt zu machen Ihre Cleverness, wie schnell ein menschlicher Sprecher des Englischen genau das richtige Wort heraufbeschwören kann.

Bevor Sie diese Idee weiter verfolgen können, sind Sie wieder beim Artikel angelangt, wo Sie feststellen, dass der Autor Sie zu einem Gebäudekomplex in einem Vorort von Iowa geführt hat. In einem der Gebäude befindet sich ein Wunder der modernen Technologie: 285,000 CPU-Kerne, die zu einem riesigen Supercomputer zusammengeschlossen sind, der von Solaranlagen angetrieben und von Industrieventilatoren gekühlt wird. Die Maschinen schlafen nie: Jede Sekunde eines jeden Tages durchlaufen sie unzählige Berechnungen und verwenden modernste Techniken der maschinellen Intelligenz, die unter Namen wie "stochastische Gradientenabnahme" und "faltende neuronale Netze" bekannt sind. Es wird angenommen, dass das gesamte System einer der leistungsstärksten Supercomputer der Welt ist.

Und was, fragen Sie sich vielleicht, macht dieser Rechendynamo mit all diesen ungeheuren Ressourcen? Meistens spielt es eine Art Spiel, immer und immer wieder, milliardenfach pro Sekunde. Und das Spiel heißt: Ratet mal, was das fehlende Wort ist.

Der Supercomputer-Komplex in Iowa führt ein Programm durch, das von OpenAI entwickelt wurde, einer Organisation, die Ende 2015 von einer Handvoll Koryphäen aus dem Silicon Valley, darunter Elon Musk, gegründet wurde; Greg Brockman, der bis vor kurzem Chief Technology Officer des E-Payment-Giganten Stripe war; und Sam Altman, damals Präsident des Start-up-Inkubators Y Combinator. In den ersten Jahren, als es sein Programmierhirnvertrauen aufbaute, wurden die technischen Errungenschaften von OpenAI größtenteils von der Starpower seiner Gründer überschattet. Das änderte sich jedoch im Sommer 2020, als OpenAI begann, eingeschränkten Zugriff auf ein neues Programm namens Generative Pre-Trained Transformer 3, umgangssprachlich als GPT-3 bezeichnet, anzubieten. Obwohl die Plattform anfangs nur einer kleinen Handvoll Entwicklern zur Verfügung stand, begannen Beispiele für die unheimlichen Sprachfähigkeiten von GPT-3 – und zumindest die Illusion der Erkenntnis – im Internet und in den sozialen Medien zu kursieren. Siri und Alexa hatten die Erfahrung der Unterhaltung mit Maschinen populär gemacht, aber dies war auf der nächsten Ebene und näherte sich einer Geläufigkeit, die Science-Fiction-Kreationen wie HAL 9000 aus „2001“ ähnelte: ein Computerprogramm, das offene komplexe Fragen perfekt beantworten kann zusammengesetzte Sätze.

Als Feld ist die KI derzeit in eine Reihe verschiedener Ansätze fragmentiert, die auf unterschiedliche Arten von Problemen abzielen. Einige Systeme sind für Probleme optimiert, bei denen es darum geht, sich durch den physischen Raum zu bewegen, wie bei selbstfahrenden Autos oder Robotik; andere kategorisieren Fotos für Sie und identifizieren bekannte Gesichter oder Haustiere oder Urlaubsaktivitäten. Einige Formen der KI – wie AlphaFold, ein Projekt der Alphabet-Tochter DeepMind (ehemals Google) – beginnen, komplexe wissenschaftliche Probleme anzugehen, wie die Vorhersage der Struktur von Proteinen, die für das Design und die Entdeckung von Arzneimitteln von zentraler Bedeutung ist. Viele dieser Experimente teilen einen zugrunde liegenden Ansatz, der als "tiefes Lernen" bekannt ist, bei dem ein neuronales Netz, das vage der Struktur des menschlichen Gehirns nachempfunden ist, lernt, Muster zu erkennen oder Probleme durch endlos wiederholte Zyklen von Versuch und Irrtum zu lösen, wodurch neuronale Verbindungen gestärkt werden und andere durch einen Prozess zu schwächen, der als Training bekannt ist. Die „Tiefe“ von Deep Learning bezieht sich auf mehrere Schichten künstlicher Neuronen im neuronalen Netz, Schichten, die immer höheren Abstraktionsebenen entsprechen: In einem visionsbasierten Modell könnte beispielsweise eine Schicht von Neuronen vertikale Linien erkennen , die dann in eine Schicht eingespeist würden, die Kanten physischer Strukturen erkennt, die dann an eine Schicht berichten würden, die Häuser im Gegensatz zu Wohngebäuden identifiziert.

GPT-3 gehört zu einer Kategorie von Deep Learning, die als großes Sprachmodell bekannt ist, ein komplexes neuronales Netz, das mit einem gigantischen Textdatensatz trainiert wurde: Im Fall von GPT-3 wurden ungefähr 700 Gigabyte an Daten aus dem gesamten Internet gezogen. einschließlich Wikipedia, ergänzt durch eine große Textsammlung aus digitalisierten Büchern. GPT-3 ist das berühmteste der großen Sprachmodelle und das öffentlich zugänglichste, aber Google, Meta (früher bekannt als Facebook) und DeepMind haben in den letzten Jahren alle ihre eigenen LLMs entwickelt. Fortschritte in der Rechenleistung – und neue mathematische Techniken – haben es LLMs des GPT-3-Jahrgangs ermöglicht, weitaus größere Datensätze aufzunehmen als ihre Vorgänger und viel tiefere Schichten künstlicher Neuronen für ihr Training einzusetzen.

Wahrscheinlich haben Sie bereits mit einem großen Sprachmodell interagiert, wenn Sie jemals eine Anwendung wie Google Mail verwendet haben, die eine Autovervollständigungsfunktion enthält, die Sie sanft mit dem Wort „Teilnehmen“ auffordert, nachdem Sie den Satz „Leider habe ich gewonnen“ eingegeben haben 't be able to….'' Aber Autocomplete ist nur der rudimentärste Ausdruck dessen, wozu Software wie GPT-3 in der Lage ist. Es stellt sich heraus, dass große Sprachmodelle mit genügend Trainingsdaten und ausreichend tiefen neuronalen Netzen bemerkenswerte Fähigkeiten zeigen können, wenn Sie sie bitten, nicht nur das fehlende Wort zu ergänzen, sondern auch ganze Absätze im Stil der anfänglichen Aufforderung zu schreiben. Zum Beispiel, als ich GPT-3 die Eingabeaufforderung gab:

1958 stellte Frank Rosenblatt das Perceptron vor, eine frühe Version eines neuronalen Netzes, das nur die Position eines Quadrats auf einer gedruckten Karte erkennen konnte. Fünfzig Jahre später sind neuronale Netze in der Lage, . . .

Die Software vervollständigte den Gedanken pflichtbewusst und fuhr dann fort, indem sie die historische Rahmung des ursprünglichen Textes aufgriff:

. . . Gesichter erkennen und klassifizieren, Muster in Daten finden und das menschliche Gehirn emulieren. Während das neuronale Netz in der Wissenschaft reifte, fand es auch seinen Weg in die Technologiebranche. In den späten 1980er und frühen 90er Jahren wurden neuronale Netze in Spracherkennungs- und Zeichenerkennungsanwendungen verwendet. Das Wachstum der Rechenleistung und die Fähigkeit, größere Datensätze zu sammeln, ermöglichte das Entstehen anderer Anwendungen für neuronale Netze.

Seit der Veröffentlichung von GPT-3 ist das Internet mit Beispielen für die unheimliche Sprachfähigkeit der Software überschwemmt – zusammen mit ihren blinden Flecken und Schwächen und anderen finstereren Tendenzen. GPT-3 wurde darauf trainiert, Hollywood-Drehbücher zu schreiben und Sachbücher im Stil von Gay Taleses New Journalism-Klassiker „Frank Sinatra Has a Cold“ zu verfassen. Sie können GPT-3 als simulierten Kerkermeister einsetzen, der aufwändige textbasierte Abenteuer durchführt durch Welten, die vom neuronalen Netz spontan erfunden werden. Andere haben die Software mit Eingabeaufforderungen gefüttert, die offensichtlich beleidigende oder wahnhafte Reaktionen hervorrufen und die Grenzen des Modells und sein Schadenspotenzial aufzeigen, wenn es in seinem derzeitigen Zustand weit verbreitet wird.

Bisher waren die Experimente mit großen Sprachmodellen hauptsächlich das: Experimente, die das Modell auf Anzeichen wahrer Intelligenz untersuchen, seine kreativen Verwendungsmöglichkeiten untersuchen und seine Vorurteile aufdecken. Aber das letztendliche kommerzielle Potenzial ist enorm. Wenn der bisherige Weg fortgesetzt wird, könnte Software wie GPT-3 in den nächsten Jahren die Art und Weise revolutionieren, wie wir nach Informationen suchen. Wenn Sie heute eine komplizierte Frage zu etwas haben – wie Sie beispielsweise Ihr Heimkinosystem einrichten oder welche Möglichkeiten es gibt, einen 529-Bildungsfonds für Ihre Kinder einzurichten – geben Sie höchstwahrscheinlich ein paar Schlüsselwörter in Google ein und scannen dann durch eine Liste mit Links oder vorgeschlagenen Videos auf YouTube, die alles überfliegt, um genau zu den gesuchten Informationen zu gelangen. (Unnötig zu erwähnen, dass Sie nicht einmal daran denken würden, Siri oder Alexa zu bitten, Sie durch etwas so Komplexes zu führen.) Aber wenn die wahren Gläubigen von GPT-3 Recht haben, werden Sie in naher Zukunft einfach einem LLM die Frage stellen und Lassen Sie sich die Antwort überzeugend und genau zurückgeben. Der Kundendienst könnte völlig verändert werden: Jedes Unternehmen mit einem Produkt, das derzeit ein menschliches technisches Support-Team benötigt, könnte in der Lage sein, einen LLM zu schulen, um es zu ersetzen.

Lesen Sie die ganze Geschichte hier…