Vi kan snart se hvad du drømmer og fantaserer om - tyder ny forskning på

På bagsiden af Politikens økonomitillæg den 21. december var der en notits under blogindlægget "Lund på nettet". Rubrikken var "Tanker på film".

   En amerikansk forskergrupper har udviklet en teknik til at filmisk at rekonstruere filmklip som hjernen tidligere har set og indkodet. Altså i princippet en teknik til at "aflæse" - afkode - hvad hjernen har set ved en tidligere lejlighed.

   Gruppen består af: Shinji Nishimoto, An T. Vu, Thomas Naselaris, Yuval Benjamini, Bin Yu & Jack L. Gallant. Gallant er lederen, og gruppen har tidligere publiceret forskning om muligheden for at rekonstruere visuelle indtryk som de afspejler sig i hjernens neurale aktivitet.

   Her er en video hvor input-filmen vises til venstre og den rekonstruerede output-film ud fra hjernens aktivitet vises til højre:

Den særlige snedige teknik man bruger kan du læse om her: http://gallantlab.org/

I princippet laver man et leksikon af i tusindvis af YouTube-klip som korresponderer med de billeder af hjernens neuronaktiviteter i den visuelle cortex man opnår ved sådkaldte fMRI-skanninger; den visuelle cortex er den del af hjerne som bearbejder de signaler som modtages gennem øjenene.

   Så afspiller man en filmstump som ikke indgår i dette leksikon, og laver billeder hjernens aktivitet under oplevelsen af filmen. Disse billeder bruger man så til at afsøge leksikonnet og får dermed en ny film frem, som altså er en rekonstruktion af den film hjernen tidligere har set og bearbejdet.

Sådan forklarer forskerne selv teknikken som dokumenteres med videoen ovenfor:

The left clip is a segment of a Hollywood movie trailed that the subject viewed while in the magnet. The right clip shows the reconstruction of this segment from brain activity measured using fMRI. The procedure is as follows:

[1] Record brain activity while the subject watches several hours of movie trailers.

[2] Build dictionaries (regression model; see below) to translate between the shapes, edges and motion in the movies and measured brain activity. A separate dictionary is constructed for each of several thousand points in the brain at which brain activity was measured.

(For experts: our success here in building a movie-to-brain activity encoding model that can predicts brain activity to arbitrary novel movie inputs was one of the keys of this study)

[3] Record brain activity to a new set of movie trailers that will be used to test the quality of the dictionaries and reconstructions.

[4] Build a random library of ~18,000,000 seconds of video downloaded at random from YouTube (that have no overlap with the movies subjects saw in the magnet). Put each of these clips through the dictionaries to generate predictions of brain activity. Select the 100 clips whose predicted activity is most similar to the observed brain activity. Average those clips together. This is the reconstruction.

Der er to fascinerende forhold ved disse her forskningsresultater:

Det ene er at de komplementerer det man har fundet ud af i forbindelse med spejlneuroner: øjnene ser en anden person udføre en målrettet handling, og den del af hjernen - premortorcortex - som overordnet styrer motorikken i ens egne handlinger, aktiveres på samme måde hvis man selv foretog den handling man ser en anden gøre.

   En metafor på det kunne være at et afspillet musikstykke når man hører det, "indskriver" noderne til musikstykket i hjernen, hvor "noderne" altså er de neuroner der aktiveres i præmotorcortex

   Her går vi så den anden vej. Vi registrerer "noderne" i hjernen og bruger dem til at afspille musikken igen.

   I spejlneuron-forskningen handler det om "encoding", mens det i de her nye eksperiemnter handler om "decoding".

 

Det andet er at man altså her kan ane de første skridt mod muligheden for også at kunne "aflæse" hvad folk fantaserer og drømmer når de gør det i billeder. Altså rent faktisk aflæse hvad de ser på den indre skærm med det indre øje når de forestiller sig noget.

   Vi har allerede tidligere set at spejlneuroner også aktiveres når man forestiller sig selv at udføre en handling - uden faktisk at gøre det. Så på et eller andet tidspunkt må det være muligt at koble disse to forsøgsrækker sammen. Og dermed få en dokumentation for at når vi ser en film eller læser en fortælling, så oplever vi den rent faktisk som om det var os selv der producerede filmen/fortællinge for vores "indre skærm" eller "indre øre".

Og endelig er der jo en klar analogi i eksperimentet til hvad der må ske når vi genkalder os oplevelser som har sat sig spor i den autobiografiske hukommelse. Oplevelserne som jo er en indprægning af sanseindtryk på et bestemt tidspunkt og på en bestemt lokalitet, rekonstrueres i en form så de derefter kan omsætte i en sproglig fortælling - men også fx males på et lærred.