Wissenschaftler verwenden KI, um Gedanken in Bilder umzuwandeln, 80 % Genauigkeit

Künstliche Intelligenz kann Bilder basierend auf Texteingabeaufforderungen erstellen, aber Wissenschaftler enthüllten eine Galerie von Bildern, die die Technologie durch Lesen der Gehirnaktivität erzeugt.

Der neue KI-gestützte Algorithmus rekonstruierte aus diesen Gehirnscans mit 1,000-prozentiger Genauigkeit rund 80 Bilder, darunter einen Teddybären und ein Flugzeug.

Forscher der Universität Osaka verwendeten das beliebte Stable Diffusion-Modell, in DALL-E 2 von OpenAI enthalten, das beliebige Bilder basierend auf Texteingaben erstellen kann.

Das Team zeigte den Teilnehmern einzelne Bildersätze und sammelte fMRI-Scans (funktionelle Magnetresonanztomographie), die die AI dann entschlüsselt.

Wir zeigen, dass unsere Methode hochauflösende Bilder mit hoher semantischer Genauigkeit aus der menschlichen Gehirnaktivität rekonstruieren kann“, teilte das Team in der in veröffentlichten Studie mit bioRxiv.

"Im Gegensatz zu früheren Studien zur Bildrekonstruktion erfordert unsere Methode kein Training oder Feinabstimmung komplexer Deep-Learning-Modelle."

Laut Yu Takagi, der die Forschung leitete, bezieht der Algorithmus Informationen aus Teilen des Gehirns, die an der Bildwahrnehmung beteiligt sind, wie dem Hinterhaupts- und dem Schläfenlappen.

Das Team verwendete fMRI, weil es Änderungen des Blutflusses in aktiven Gehirnbereichen aufnimmt. Wissenschaft.org Berichten.

FMRI kann Sauerstoffmoleküle erkennen, sodass die Scanner sehen können, wo im Gehirn unsere Neuronen – Nervenzellen des Gehirns – am härtesten arbeiten (und den meisten Sauerstoff aufnehmen), während wir Gedanken oder Emotionen haben.

In dieser Studie wurden insgesamt vier Teilnehmer eingesetzt, die jeweils einen Satz von 10,000 Bildern betrachteten.

Die KI beginnt mit der Generierung der Bilder als Rauschen ähnlich dem statischen Fernsehrauschen, das dann durch unterscheidbare Merkmale ersetzt wird, die der Algorithmus in der Aktivität sieht, indem er sich auf die Bilder bezieht, auf denen er trainiert wurde, und eine Übereinstimmung findet.

"Wir demonstrieren, dass unser einfacher Rahmen hochaufgelöste (512 x 512) Bilder aus Gehirnaktivitäten mit hoher semantischer Genauigkeit rekonstruieren kann", heißt es in der Studie.

„Wir interpretieren jede Komponente eines LDM quantitativ aus neurowissenschaftlicher Sicht, indem wir bestimmte Komponenten bestimmten Gehirnregionen zuordnen.

Wir präsentieren eine objektive Interpretation dessen, wie der Text-zu-Bild-Konvertierungsprozess, der durch ein LDM [ein latentes Diffusionsmodell] implementiert wird, die durch den bedingten Text ausgedrückten semantischen Informationen enthält, während gleichzeitig das Erscheinungsbild des ursprünglichen Bildes beibehalten wird.'

Lesen Sie die ganze Geschichte hier…