NWG

Al moment sono alla conferenza della società tedesca di neuroscienze.

Matematica, ovviamente, ce n'è poca, ma sto studiando il metodo delle curve caratteristiche: potrebbe essermi d'aiuto per alcune questioni relative ai processi puntuali.

Per essere brevi: è un metodo che permette di ridurre equazioni alle derivate parziali del prim'ordine ad un sistema di equazioni alle derivate ordinarie, sfruttando il fatto che la soluzione dell'equazione forma una superficie di cui è noto lo spazio tangenziale.

Di più su Wikipedia...

MCCN0809 - I

Da oggi comincerò ad aggiornare il compendio di matematica per il corso di Neuroscienze Computazionali di cui curo le esercitazioni.

L'esercizio più divertente di oggi riguarda il fatto che sistemi dinamici discreti lineari possono essere "sensibili" ad alcuni sottospazi.

Soluzioni lineari a problemi non lineari

Fissiamo una retta R e un vettore v di C^n. C'è una maniera algoritmica, iterativa che permetta di calcolare il vettore u su R che sia più vicino a v?

Ecco la soluzione "dinamica": si costruisca una matrice M che abbia come autospazio per l'autovalore 1 esattamente la retta R e tale che tutti gli altri autovalori siano in valore assoluto minori di 1. Allora non è difficile far vedere che le potenze M^n applicate a v convergono esattamente ad u.

Ovviamente il problema sta nel trovare una M con le proprietà richieste. Altrettanto ovviamente, risolvere questo problema è, purtroppo, esattamente equivalente al problema di trovare u direttamente...

Time rescaling

Leggendo un articolo su Neural Computation mi sono accorto che gli autori utilizzano un trucco molto interessante.

Supponiamo di avere un sistema S che ad ogni input i associa un output S(i).
Supponiamo ulteriormente che i che si evolva a causa della legge di/dt= F(i(t)).

Sarebbe interessante scrivere S direttamente in funzione del tempo, cioè passare dalla variabile i(t) ad una variabile u che abbia la stessa dimensione del tempo reale, in maniera da poter scrivere S(u) come se u fosse la variabile indipendente temporale.

Detto in altre parole, quello che voglio fare è trovare una trasformazione T dell'input, tale che u=T(i(t)) e du/dt=1. A quel punto, se scrivo formalmente S(u) posso trattare u direttamente come un parametro temporale, dato che la derivata temporale di u è costantemente uguale a 1.

È difficile da fare? Beh no... basta osservare che da una parte

du/dt = T'(i(t)) di/dt = T'(i(t)) F(i(t))

ma dall'altra

du/dt=1

per cui

T'(i(t))= 1/F(i(t))

Cioè la trasformazione T è semplicemente un integrale indefinito di 1/F!

Enigma

Cominciamo con la base dell'induzione:



Tramite il passo induttivo



si ottiene la relazione



Enigma

Cosa c'entra la relazione di cui sopra con le catene di Markov?

Se non doveste venirne a capo, vi basta aspettare qualche giorno: al massimo sabato.

Cavalieri casuali

Ieri sono andato a vedere il nuovo Batman. Splendido e visionario. Per inciso: si insedia nella mia personale classifica dei migliori film dell'anno al secondo posto, dopo "Into the Wild" e prima di "Die Welle".

Un tema che torna del film è quello di decisioni lasciate al caso tramite il lancio di una moneta. E nel film è anche affermato che tale decisioni sono casuali. Da un punto di vista tecnico, non sono casuali. Il volo di una moneta, che è un corpo piuttosto semplice, è deterministico - e nemmeno troppo difficile da prevedere. E dato che la mano che lancia la moneta è guidata da un cervello, che certo non è un generatore di numeri casuali, è difficile affermare che la sequenza dei lanci di una moneta sia i.i.d..

La verità è che tali decisioni, pur essendo ben determinate, non sono prevedibili dal lanciatore, in quanto egli non può accedere alla parte necessaria della sua memoria procedurale. È simile alla differenza che c'è in fisica matematica fra un sistema dinamico ergodico e uno discontinuo.

Stazionarietà e processi stocastici

Uno dei concetti più interessanti in matematica è quello di sistema dinamico. Per spiegarla in maniera molto coincisa, si fissi uno spazio degli stati, diciamo R, e uno spazio dei tempi, diciamo [0,oo). Allora un sistema dinamico è una applicazione dallo spazio dei tempi allo spazio degli stati. In altre parole, un sistema dinamico su R è una funzione che ad ogni tempo t>=0 mi dice in che punto di R mi trovo.

Questo concetto ha un interessante corrispettivo probabilistico: il processo stocastico. In questo caso, il nostro spazio degli stati consiste di variabili casuali, cioè, la posizione al tempo t è un numero casuale invece di essere precisamente determinato.

Faccio un esempio banale per far vedere quante possibilità in più danno i processi stocastici. Un processo stocastico è detto debolmente stazionario se E(X(t)X(s)) è una funzione di t-s. Qui e altrove E denota il valore atteso.

Faccio notare che molti importanti processi stocastici; ad esempio il moto browniano sono stazionari. Questo per dire che la classe dei processi debolmente stazionari è ampia e importante.

Supponiamo adesso che il processo stocastico stazionario sia in realtà deterministico, cioè che per ogni ogni variabile casuale X(t) esista un numero f(t) tale che X(t)=f(t) quasi sicuramente. Allora un tale processo stocastico è quasi sicuramente un sistema dinamico.

Ora voglio far vedere che già in una dimensione i processi stocastici hanno una ricchezza molto maggiore dei sistemi dinamici.

Domanda

Quali sono i sistemi dinamici stazionari?

Cominciamo col notare che, dato che X(t) è quasi sicuramente uguale ad f(t), allora il valore atteso soddisfa E(X(t))=f(t). Quindi la condizione di stazionarietà si riduce all'equazione funzionale

f(t)f(s) = F(t-s)

per una funzione arbitraria F. Si scelga t=s. Risolvendo l'equazione funzionale si ottiene

f(t)²= F(0).

Dato che questa relazione vale per ogni t>0, si ottiene che f(t)=f(s) per ogni t ed s.

Risposta

Com'era da aspettarsi, gli unici processi stazionari deterministici sono quelli costanti...

sinapsi, catene di markov multiple e limiti secondo cesaro

i have never done anything 'useful'. no discovery of mine has made, or is likely to make, directly or indirectly, for good or ill, the least difference to the amenity of the world

g. h. hardy

in questi giorni discutevo con un ragazzo di friburgo, che sta studiando un modello di sinapsi per il riconoscimento locale di correlazioni. fra gli altri problemi che deve risolvere, me ne ha presentato uno, per lui statistico, per me di analisi funzionale, che vi presento in una forma lievemente modificata.

il nostro scenario è il seguente: ci sono una certa quantità di particelle che si muovono in uno spazio-tempo discreto. ad ogni step temporale si muovono dallo stato i allo stato j con probabilità a_{ij}. con questi a_{ij} si può formare una matrice, detta matrice di transizione. la nostra situazione è però un po' più complicata. ad ogni step temporale, si sceglie la matrice di transizione da un insieme di M matrici transizione, secondo un certo vettore di probabilità p=(p_k). per comodità diamo un nome a queste matrici di transizione



la domanda che ci poniamo: esiste, ed in che senso, una distribuzione limite delle particelle? più precisamente ci si chiede se il limite



esista ed a che condizioni.

se avessimo a che fare con una singola matrice di transizione, assumendo che essa sia primitiva, cioè che le sue potenze convergano ad una proiezione unidimensionale, cioè che l'unico autovalore sul cerchio unitario sia 1 e che abbia dimensione dell'autospazio relativo pari a 1, allora si dimostra facilmente che la probabilità che una particella x si trovi nello stato j converge verso



qui v è uno qualsiasi degli autovettori nell'autospazio relativo all'autovalore 1. si potrebbe dunque pensare che nel caso di M matrici di transizione il tutto si comporti come se la matrice di transizione fosse



qui p è il vettore di probabilità le cui componenti p_k sono le probabilità con cui A_k viene scelta in uno step temporale.

simulando al computer (per un numero alto ma fisso di particelle e di iterazioni) questo sistema dinamico discreto abbiamo subito notato che non erà così, ma che lo era solo se si faceva la media di varie simulazioni. mentro ero in bicicletta ho capito perchè: facendo la media su varie simulazioni non facevamo altro che passare dal limite della distribuzione di probabilità, che evidentemente non esiste a a causa delle oscillazioni dovute al passare da una catena di markov all'altra, al limite secondo cesaro che, altrettanto ovviamente, esiste.

la cosa più divertente è che quando ho tentato di spiegare al mio collega, fisico, che stavamo tentando di calcolare un limite che non esiste, lui non riusciva a capacitarsi di questo fenomeno...

reti di attrattori

stavo leggendo alcuni articoli su anelli continui di neuroni. si usano tali cose bizzare per simulare, dicono questi scienziati, la memoria a breve termine di pattern visivi. c´e´ qualcosa pero´ che mi disturba. loro dicono che il riconoscimento di un pattern corrisponde alla convergenza di una certa equazione di evoluzione verso un equilibrio inomogeneo. ovvero che la soluzione di tale equazione di evoluzione, che chiamero´ u(t,x) converge per t --> oo verso una funzione v(x) che non e´ costante rispetto a x.

ora, per giove, decidetevi! volete una memoria a breve termine, o volete una memoria a lungo termine? se la memoria e´ a breve termine, si suppone che per t-->oo i vari pattern vengano, per cosi´ dire, azzerati. ovvero che u(t,x) converga verso una funzione v(x)=c, cioe´ costante nello spazio.

quello che io tenderei ad affermare, insomma, e´ che la memoria a breve termine corrisponde ad un transiente nell´equazione di evoluzione. la memoria a lungo termine, ovvero il fatto che ci siano dei pattern registrati nell´anello, corrisponde invece all´esistenza di soluzioni asintotiche. d´altra parte, leggendo codesti articoli, ho anche capito il motivo storico per cui si e´ originato questo equivoco. ma questa e´ un´altra storia.