Oggi il nostro responsabile per le relazioni esterne ha messo in rete la versione italiana di What are computational neuroscience?
(Tradotta e detta dal sottoscritto)
Visualizzazione post con etichetta neurone. Mostra tutti i post
Visualizzazione post con etichetta neurone. Mostra tutti i post
martedì, settembre 13, 2011
giovedì, marzo 10, 2011
Il mondo come rappresentazione
, e quanto alla volontà un giorno magari ci arriviamo.
Ho deciso che riprendo a scrivere sul blog di cose meno matematiche, dato che la quantità di matematica nella mia vita di scienziato sta, purtroppo, decrescendo.
Oggi abbiamo avuto un articolo molto interessante di un gruppo di scienziati della Brandeis University.
Allora, hanno preso dei furetti neonati e li hanno impiantati con degli elettrodi per misurare l'attività neurale. Quindi li hanno sottoposti per vari mesi a tipi diversi di stimoli visuali: immagini naturali, barre in movimento e rumore bianco. (Il rumore bianco lo potete ammirare qui sotto in tutto il suo splendore).
Insomma, cosa hanno scoperto?
Hanno scoperto che man mano che il furetto cresceva, le statistiche dell'attività spontanea diventavano sempre più simili a quelle dell'attività neurale stimolata con le immagini naturali, cosicchè, dopo 5 mesi, la distribuzione di attività spontanea era identica alla distribuzione stimolata con immagini naturali.
Questo sembrerebbe banale, se non fosse che le immagini "naturali" di naturale avevano soltanto, per così dire, la statistica. Infatti hanno utilizzato il trailer del primo film di Matrix, come sample di immagini naturali, immagino appunto per far si che solo le statistiche generali dell'immagine combaciassero con quelle dell'ambiente del povero furetto.
Questo vuol dire, in parole povere, che la statistica dell'attività spontanea del cervello si evolve durante la prima fase della vita (almeno nel furetto) verso una distribuzione in cui un'immagine attesa non ha alcuna rappresentazione particolare dal punto di vista delle statistiche globali della rete neurale!
Ho deciso che riprendo a scrivere sul blog di cose meno matematiche, dato che la quantità di matematica nella mia vita di scienziato sta, purtroppo, decrescendo.
Oggi abbiamo avuto un articolo molto interessante di un gruppo di scienziati della Brandeis University.
Allora, hanno preso dei furetti neonati e li hanno impiantati con degli elettrodi per misurare l'attività neurale. Quindi li hanno sottoposti per vari mesi a tipi diversi di stimoli visuali: immagini naturali, barre in movimento e rumore bianco. (Il rumore bianco lo potete ammirare qui sotto in tutto il suo splendore).
Hanno scoperto che man mano che il furetto cresceva, le statistiche dell'attività spontanea diventavano sempre più simili a quelle dell'attività neurale stimolata con le immagini naturali, cosicchè, dopo 5 mesi, la distribuzione di attività spontanea era identica alla distribuzione stimolata con immagini naturali.
Questo sembrerebbe banale, se non fosse che le immagini "naturali" di naturale avevano soltanto, per così dire, la statistica. Infatti hanno utilizzato il trailer del primo film di Matrix, come sample di immagini naturali, immagino appunto per far si che solo le statistiche generali dell'immagine combaciassero con quelle dell'ambiente del povero furetto.
Questo vuol dire, in parole povere, che la statistica dell'attività spontanea del cervello si evolve durante la prima fase della vita (almeno nel furetto) verso una distribuzione in cui un'immagine attesa non ha alcuna rappresentazione particolare dal punto di vista delle statistiche globali della rete neurale!
lunedì, aprile 20, 2009
PP09 (I)
Tomorrow the lecture "One-dimensional point processes" will start.
I will introduce the theory of point processes on the real line in a rather mathematically informal way. The main goal is to provide the students with some tools for modeling neural networks on the basis of point processes and to give them a feeling for what could be done with spike data, once you have collected them.
The first topic will be very basic: the time-representation of renewal processes. We will see how far we can go by describing renewal processes as sum of an i.i.d. sequence.
I will post the lectures here and will try to give some additional material here on the blog.
I will introduce the theory of point processes on the real line in a rather mathematically informal way. The main goal is to provide the students with some tools for modeling neural networks on the basis of point processes and to give them a feeling for what could be done with spike data, once you have collected them.
The first topic will be very basic: the time-representation of renewal processes. We will see how far we can go by describing renewal processes as sum of an i.i.d. sequence.
I will post the lectures here and will try to give some additional material here on the blog.
martedì, marzo 31, 2009
Curve caratteristiche e curve di risposta
Cosa c'entra il metodo delle curve caratteristiche con le neuroscienze, mi chiedeva oggi un collega per telefono?
Se descriviamo un neurone tramite un processo puntuale caratterizzato da una certa frequenza condizionale h, allora avremo che l'evoluzione della distribuzione d'età sarà governata per tempi brevi t dall'equazione
dotata di una condizione iniziale. Questa è una equazione alle derivate parziali libera (cioè priva di condizioni al bordo), e la risposta in termini di frequenza di potenziali d'azione è data da
Ma tale PDE può essere risolta analiticamente tramite il metodo delle caratteristiche: ecco che c'entra!
Se descriviamo un neurone tramite un processo puntuale caratterizzato da una certa frequenza condizionale h, allora avremo che l'evoluzione della distribuzione d'età sarà governata per tempi brevi t dall'equazione
\partial_t u = -\partial_\tau u - h u
dotata di una condizione iniziale. Questa è una equazione alle derivate parziali libera (cioè priva di condizioni al bordo), e la risposta in termini di frequenza di potenziali d'azione è data da
\int uh dx
Ma tale PDE può essere risolta analiticamente tramite il metodo delle caratteristiche: ecco che c'entra!
lunedì, gennaio 12, 2009
MCCN IX
Giovedì ci siamo occupati di equazioni differenziali ritardate. Quest'ultime sono equazioni della forma
Il loro carattere distintivo è che la derivata ad un certo tempo dipende dallo stato ad un tempo passato. Questo è importante in alcune questioni di modellazione; nelle neuroscienze, ad esempio, può servire includere in un modello i ritardi nella trasmissione dell'attività dovuti al tragitto che i potenziali d'azione devono percorrere lungo l'assone, o dovuti all'integrazione sinaptica.
Le equazioni con ritardo sono uno degli esemplici più classici di equazioni che possono essere risolte con l'aiuto di spazi di dimensione infinita. Questo lo si può vedere scrivendo l'equazione di cui sopra in forma infinitesimale
Se n è un numero finito, allora t+(n-1)e-1 è minore di t, e dato che questo vale per ogni n finito, allora se ne deduce (overspill!) che è necessario conoscere i valori assunti dalla funzione in tutto un intervallo (t-1,t) che precede t, per poterne costruire i valori nell'intervallo (t,t+1).
Questo vuol dire che è necessario specificare una intera funzione come valore iniziale, e quindi lo spazio degli stati è uno spazio di funzioni!
Il loro carattere distintivo è che la derivata ad un certo tempo dipende dallo stato ad un tempo passato. Questo è importante in alcune questioni di modellazione; nelle neuroscienze, ad esempio, può servire includere in un modello i ritardi nella trasmissione dell'attività dovuti al tragitto che i potenziali d'azione devono percorrere lungo l'assone, o dovuti all'integrazione sinaptica.
Le equazioni con ritardo sono uno degli esemplici più classici di equazioni che possono essere risolte con l'aiuto di spazi di dimensione infinita. Questo lo si può vedere scrivendo l'equazione di cui sopra in forma infinitesimale
Se n è un numero finito, allora t+(n-1)e-1 è minore di t, e dato che questo vale per ogni n finito, allora se ne deduce (overspill!) che è necessario conoscere i valori assunti dalla funzione in tutto un intervallo (t-1,t) che precede t, per poterne costruire i valori nell'intervallo (t,t+1).
Questo vuol dire che è necessario specificare una intera funzione come valore iniziale, e quindi lo spazio degli stati è uno spazio di funzioni!
mercoledì, ottobre 15, 2008
Time rescaling
Leggendo un articolo su Neural Computation mi sono accorto che gli autori utilizzano un trucco molto interessante.
Supponiamo di avere un sistema S che ad ogni input i associa un output S(i).
Supponiamo ulteriormente che i che si evolva a causa della legge di/dt= F(i(t)).
Sarebbe interessante scrivere S direttamente in funzione del tempo, cioè passare dalla variabile i(t) ad una variabile u che abbia la stessa dimensione del tempo reale, in maniera da poter scrivere S(u) come se u fosse la variabile indipendente temporale.
Detto in altre parole, quello che voglio fare è trovare una trasformazione T dell'input, tale che u=T(i(t)) e du/dt=1. A quel punto, se scrivo formalmente S(u) posso trattare u direttamente come un parametro temporale, dato che la derivata temporale di u è costantemente uguale a 1.
È difficile da fare? Beh no... basta osservare che da una parte
du/dt = T'(i(t)) di/dt = T'(i(t)) F(i(t))
ma dall'altra
du/dt=1
per cui
T'(i(t))= 1/F(i(t))
Cioè la trasformazione T è semplicemente un integrale indefinito di 1/F!
Supponiamo di avere un sistema S che ad ogni input i associa un output S(i).
Supponiamo ulteriormente che i che si evolva a causa della legge di/dt= F(i(t)).
Sarebbe interessante scrivere S direttamente in funzione del tempo, cioè passare dalla variabile i(t) ad una variabile u che abbia la stessa dimensione del tempo reale, in maniera da poter scrivere S(u) come se u fosse la variabile indipendente temporale.
Detto in altre parole, quello che voglio fare è trovare una trasformazione T dell'input, tale che u=T(i(t)) e du/dt=1. A quel punto, se scrivo formalmente S(u) posso trattare u direttamente come un parametro temporale, dato che la derivata temporale di u è costantemente uguale a 1.
È difficile da fare? Beh no... basta osservare che da una parte
du/dt = T'(i(t)) di/dt = T'(i(t)) F(i(t))
ma dall'altra
du/dt=1
per cui
T'(i(t))= 1/F(i(t))
Cioè la trasformazione T è semplicemente un integrale indefinito di 1/F!
mercoledì, luglio 02, 2008
Una derivazione
In neuroscienze esistono una quantià senza fine di modelli neurali. Il più semplice, tuttavia, è probabilmente il neurone di tipo integrate and fire
In cosa consiste? L'idea è antica, qui Abbott ne racconta brevemente la storia.
L'idea è di trattare un neurone come un semplice condensatore; allora il voltaggio V è proporzionale alla carica Q caricata nel condensatore. L'inverso della costante di proporzionalità è detta capacità, in simboli C. Per cui
Supponiamo adesso che il neurone A riceva un potenziale d'azione dal neurone B. Questo provoca un rilascio di neurotrasmettitori nelle sinapsi. Questo porta all´appertura di alcuni canali ionici nella membrana, cosicchè alcuni ioni fluiscono dall'interno all'esterno del neurone.
Dato che gli ioni sono cariche elettriche, quello a cui viene sottoposto il neurone è una corrente I(t) dipendente dal tempo, che ovviamente porterà ad un cambiamento del voltaggio. Derivando rispetto al tempo la relazione precedente si ottiene
che è l'equazione dei neuroni di tipo integrate and fire.
In cosa consiste? L'idea è antica, qui Abbott ne racconta brevemente la storia.
L'idea è di trattare un neurone come un semplice condensatore; allora il voltaggio V è proporzionale alla carica Q caricata nel condensatore. L'inverso della costante di proporzionalità è detta capacità, in simboli C. Per cui
Supponiamo adesso che il neurone A riceva un potenziale d'azione dal neurone B. Questo provoca un rilascio di neurotrasmettitori nelle sinapsi. Questo porta all´appertura di alcuni canali ionici nella membrana, cosicchè alcuni ioni fluiscono dall'interno all'esterno del neurone.
Dato che gli ioni sono cariche elettriche, quello a cui viene sottoposto il neurone è una corrente I(t) dipendente dal tempo, che ovviamente porterà ad un cambiamento del voltaggio. Derivando rispetto al tempo la relazione precedente si ottiene
che è l'equazione dei neuroni di tipo integrate and fire.
sabato, giugno 21, 2008
Processi (!?) Puntuali
Nomina sunt consequentia rerum
Giustiniano
Ieri, discutendo con una mia collega, ho realizzato che il termine processo puntuale è uno dei termini scelti peggio della storia della matematica.
(Per gli appassionati di neuroscienze, dove i processi di rinnovamento, caso speciale di quelli puntuali, sono molto usati: e qui una breve spiegazione di come il concetto viene usato in questa disciplina. Per gli appassionati di matematica: qui una breve storia del concetto nella comunità matematica.)
Cos'è un processo puntuale? In breve: è un insieme di punti casuali in uno spazio euclideo. Se lo spazio euclideo è R, allora è possibile pensare questo insieme di punti casuali come una sequenza di potenziali d'azione.
Cosa voglio dire con "un insieme di punti casuali"? Voglio dire che una realizzazione di un processo puntuale è un insieme di punti. Se rappresentiamo questo insieme di punti come la somma delle delta di dirac in detti punti, si ottiene che le realizzazione di un processo casuale sono misure su un certo spazio euclideo. Più precisamente sono misure di conteggio.
Ripeto: le realizzazioni di un processo puntuale sono misure di conteggio. Cioè: un processo puntuale è una funzione misurabile da uno spazio di probabilità allo spazio delle misure di conteggio. Cioè è una variabile casuale a valori nello spazio delle misure di conteggio.
Ma allora, se un processo puntuale è una variabile casuale, allora non è un processo stocastico.
E quindi: perchè chiamarlo processo puntuale?
Giustiniano
Ieri, discutendo con una mia collega, ho realizzato che il termine processo puntuale è uno dei termini scelti peggio della storia della matematica.
(Per gli appassionati di neuroscienze, dove i processi di rinnovamento, caso speciale di quelli puntuali, sono molto usati: e qui una breve spiegazione di come il concetto viene usato in questa disciplina. Per gli appassionati di matematica: qui una breve storia del concetto nella comunità matematica.)
Cos'è un processo puntuale? In breve: è un insieme di punti casuali in uno spazio euclideo. Se lo spazio euclideo è R, allora è possibile pensare questo insieme di punti casuali come una sequenza di potenziali d'azione.
Cosa voglio dire con "un insieme di punti casuali"? Voglio dire che una realizzazione di un processo puntuale è un insieme di punti. Se rappresentiamo questo insieme di punti come la somma delle delta di dirac in detti punti, si ottiene che le realizzazione di un processo casuale sono misure su un certo spazio euclideo. Più precisamente sono misure di conteggio.
Ripeto: le realizzazioni di un processo puntuale sono misure di conteggio. Cioè: un processo puntuale è una funzione misurabile da uno spazio di probabilità allo spazio delle misure di conteggio. Cioè è una variabile casuale a valori nello spazio delle misure di conteggio.
Ma allora, se un processo puntuale è una variabile casuale, allora non è un processo stocastico.
E quindi: perchè chiamarlo processo puntuale?
martedì, maggio 13, 2008
Misure di conteggio
Sto incominciando a studiare sistematicamente la teoria dei processi puntuali, sperando di arrivare un giorno alla comprensione che mi serve per il mio progetto qui a Friburgo. Mi sono imbattuto in una proposizione interessante.
Teorema
Sia M una misura di Borel su R a valori interi e tale M(A) sia finita per ogni insieme limitato. Allora esistono numeri interi k(i) e un insieme al massimo numerabile di reali X={x(i): i in I} tale che M è la combinazione lineare infinita di delta di dirac centrate in x(i) con coefficiente k(i).
Per capire l'interesse che può avere questo teorema nelle neuroscienze computazionali, supponete che la misura M sia una variabile casuale e immaginatevi X come una sequenza di potenziali d'azione: avrete il vostro primo modello di neuroni che scaricano in tempi casuali...
Teorema
Sia M una misura di Borel su R a valori interi e tale M(A) sia finita per ogni insieme limitato. Allora esistono numeri interi k(i) e un insieme al massimo numerabile di reali X={x(i): i in I} tale che M è la combinazione lineare infinita di delta di dirac centrate in x(i) con coefficiente k(i).
Per capire l'interesse che può avere questo teorema nelle neuroscienze computazionali, supponete che la misura M sia una variabile casuale e immaginatevi X come una sequenza di potenziali d'azione: avrete il vostro primo modello di neuroni che scaricano in tempi casuali...
giovedì, ottobre 25, 2007
random neurons (I)
gott würfelt nicht
albert einstein
martedì ho tenuto il seminario conclusivo del mio soggiorno a freiburgo. mi è piaciuto molto questo periodo qui e cerco quindi di spiegare cosa ho imparato. così spiego anche cosa intendevo in questo post.
l'ipotesi zero è che i neuroni scarichino potenziali d'azione in maniera casuale. l'obbiettivo finale è di scoprire tramite registrazioni di serie di potenziali d'azione provenienti contemporaneamente da diversi neuroni quali sono le carrateristiche statistiche dei neuroni singoli.
il modello matematico che scegliamo per un singolo neurone è quello di un processo di rinnovamento: ogni neurone singolo viene identificato con una successione di variabili aleatorie (X_i)_{i \in N} che rapprestano i tempi intercorrenti fra potenziali d'azioni successivi. si suppone che tali variabili siano indipendenti e identicamente distribuite.
ciò che si osserva nelle immagini che ho linkato sopra è allora nient'altro che una realizzazione della successione (S_n)_{n \in N} di variabili casuali che definisco tramite
si noti che abbiamo implicitamente posto l'origine del riferimento temporale coincidente col primo potenziale d'azione: quindi, S_n non è altro che il tempo a cui si registra l'n+1esimo potenziale d'azione.
una grandezza fondamentale per tale successione è la funzione di rinnovamento H che è definita ponendo H(t) uguale al valore atteso del numero dei potenziali d'azione registrati fino a t. indicando con N_t il numero di potenziali d'azione registrati nella nostra particolare realizzazione, si scrive in formule
si noti che N_t è essa stessa, per ogni t, una variabile aleatoria, e quindi se ne possono prendere K diverse copie indipendenti, ognuna che possiamo identificare con un singolo neurone di quelli che fanno parte della popolazione che abbiamo registrato. volendo possiamo assegnare ad ogni neurone un'etichetta, diciamo k, per distinguerli l'uno dall'altro. per cui le variabili aleatorie in questione diventano N^k_t.
in uno dei prossimi post mi propongo di dimostrare l'utile e facile formula
di interpretarla e di trarne qualche interessante conseguenza.
albert einstein
martedì ho tenuto il seminario conclusivo del mio soggiorno a freiburgo. mi è piaciuto molto questo periodo qui e cerco quindi di spiegare cosa ho imparato. così spiego anche cosa intendevo in questo post.
l'ipotesi zero è che i neuroni scarichino potenziali d'azione in maniera casuale. l'obbiettivo finale è di scoprire tramite registrazioni di serie di potenziali d'azione provenienti contemporaneamente da diversi neuroni quali sono le carrateristiche statistiche dei neuroni singoli.
il modello matematico che scegliamo per un singolo neurone è quello di un processo di rinnovamento: ogni neurone singolo viene identificato con una successione di variabili aleatorie (X_i)_{i \in N} che rapprestano i tempi intercorrenti fra potenziali d'azioni successivi. si suppone che tali variabili siano indipendenti e identicamente distribuite.
ciò che si osserva nelle immagini che ho linkato sopra è allora nient'altro che una realizzazione della successione (S_n)_{n \in N} di variabili casuali che definisco tramite
si noti che abbiamo implicitamente posto l'origine del riferimento temporale coincidente col primo potenziale d'azione: quindi, S_n non è altro che il tempo a cui si registra l'n+1esimo potenziale d'azione.
una grandezza fondamentale per tale successione è la funzione di rinnovamento H che è definita ponendo H(t) uguale al valore atteso del numero dei potenziali d'azione registrati fino a t. indicando con N_t il numero di potenziali d'azione registrati nella nostra particolare realizzazione, si scrive in formule
si noti che N_t è essa stessa, per ogni t, una variabile aleatoria, e quindi se ne possono prendere K diverse copie indipendenti, ognuna che possiamo identificare con un singolo neurone di quelli che fanno parte della popolazione che abbiamo registrato. volendo possiamo assegnare ad ogni neurone un'etichetta, diciamo k, per distinguerli l'uno dall'altro. per cui le variabili aleatorie in questione diventano N^k_t.
in uno dei prossimi post mi propongo di dimostrare l'utile e facile formula
di interpretarla e di trarne qualche interessante conseguenza.
martedì, ottobre 16, 2007
sinapsi, catene di markov multiple e limiti secondo cesaro
i have never done anything 'useful'. no discovery of mine has made, or is likely to make, directly or indirectly, for good or ill, the least difference to the amenity of the world
g. h. hardy
in questi giorni discutevo con un ragazzo di friburgo, che sta studiando un modello di sinapsi per il riconoscimento locale di correlazioni. fra gli altri problemi che deve risolvere, me ne ha presentato uno, per lui statistico, per me di analisi funzionale, che vi presento in una forma lievemente modificata.
il nostro scenario è il seguente: ci sono una certa quantità di particelle che si muovono in uno spazio-tempo discreto. ad ogni step temporale si muovono dallo stato i allo stato j con probabilità a_{ij}. con questi a_{ij} si può formare una matrice, detta matrice di transizione. la nostra situazione è però un po' più complicata. ad ogni step temporale, si sceglie la matrice di transizione da un insieme di M matrici transizione, secondo un certo vettore di probabilità p=(p_k). per comodità diamo un nome a queste matrici di transizione
la domanda che ci poniamo: esiste, ed in che senso, una distribuzione limite delle particelle? più precisamente ci si chiede se il limite
esista ed a che condizioni.
se avessimo a che fare con una singola matrice di transizione, assumendo che essa sia primitiva, cioè che le sue potenze convergano ad una proiezione unidimensionale, cioè che l'unico autovalore sul cerchio unitario sia 1 e che abbia dimensione dell'autospazio relativo pari a 1, allora si dimostra facilmente che la probabilità che una particella x si trovi nello stato j converge verso
qui v è uno qualsiasi degli autovettori nell'autospazio relativo all'autovalore 1. si potrebbe dunque pensare che nel caso di M matrici di transizione il tutto si comporti come se la matrice di transizione fosse
qui p è il vettore di probabilità le cui componenti p_k sono le probabilità con cui A_k viene scelta in uno step temporale.
simulando al computer (per un numero alto ma fisso di particelle e di iterazioni) questo sistema dinamico discreto abbiamo subito notato che non erà così, ma che lo era solo se si faceva la media di varie simulazioni. mentro ero in bicicletta ho capito perchè: facendo la media su varie simulazioni non facevamo altro che passare dal limite della distribuzione di probabilità, che evidentemente non esiste a a causa delle oscillazioni dovute al passare da una catena di markov all'altra, al limite secondo cesaro che, altrettanto ovviamente, esiste.
la cosa più divertente è che quando ho tentato di spiegare al mio collega, fisico, che stavamo tentando di calcolare un limite che non esiste, lui non riusciva a capacitarsi di questo fenomeno...
g. h. hardy
in questi giorni discutevo con un ragazzo di friburgo, che sta studiando un modello di sinapsi per il riconoscimento locale di correlazioni. fra gli altri problemi che deve risolvere, me ne ha presentato uno, per lui statistico, per me di analisi funzionale, che vi presento in una forma lievemente modificata.
il nostro scenario è il seguente: ci sono una certa quantità di particelle che si muovono in uno spazio-tempo discreto. ad ogni step temporale si muovono dallo stato i allo stato j con probabilità a_{ij}. con questi a_{ij} si può formare una matrice, detta matrice di transizione. la nostra situazione è però un po' più complicata. ad ogni step temporale, si sceglie la matrice di transizione da un insieme di M matrici transizione, secondo un certo vettore di probabilità p=(p_k). per comodità diamo un nome a queste matrici di transizione
la domanda che ci poniamo: esiste, ed in che senso, una distribuzione limite delle particelle? più precisamente ci si chiede se il limite
esista ed a che condizioni.
se avessimo a che fare con una singola matrice di transizione, assumendo che essa sia primitiva, cioè che le sue potenze convergano ad una proiezione unidimensionale, cioè che l'unico autovalore sul cerchio unitario sia 1 e che abbia dimensione dell'autospazio relativo pari a 1, allora si dimostra facilmente che la probabilità che una particella x si trovi nello stato j converge verso
qui v è uno qualsiasi degli autovettori nell'autospazio relativo all'autovalore 1. si potrebbe dunque pensare che nel caso di M matrici di transizione il tutto si comporti come se la matrice di transizione fosse
qui p è il vettore di probabilità le cui componenti p_k sono le probabilità con cui A_k viene scelta in uno step temporale.
simulando al computer (per un numero alto ma fisso di particelle e di iterazioni) questo sistema dinamico discreto abbiamo subito notato che non erà così, ma che lo era solo se si faceva la media di varie simulazioni. mentro ero in bicicletta ho capito perchè: facendo la media su varie simulazioni non facevamo altro che passare dal limite della distribuzione di probabilità, che evidentemente non esiste a a causa delle oscillazioni dovute al passare da una catena di markov all'altra, al limite secondo cesaro che, altrettanto ovviamente, esiste.
la cosa più divertente è che quando ho tentato di spiegare al mio collega, fisico, che stavamo tentando di calcolare un limite che non esiste, lui non riusciva a capacitarsi di questo fenomeno...
venerdì, ottobre 12, 2007
vuoto temporale
dove andiamo noi, non c'è bisogno di strade
e. l. "doc" brown
al momento sto studiando la teoria dei processi di rinnovamento, cioè la teoria che si occupa di modellare il ricorrere di eventi quando il tempo che intercorre fra un evento e l'altro è determinato da una variabile aleatoria.
ciò che ci fanno i neuroscienziati è
1) approssimare la serie dei potenziali di azione di un neurone tramite un processo di rinnovamento,
2) sovrappore le serie provenienti da vari neuroni dopo averli resi statisticamente dipendenti, e
3) tentare di sviluppare metodi statistici per districare le dipendenze osservando il processo sovrapposto.
tutto ciò viene fatto in via teorica, con l'idea di applicarlo, appena il metodo funzionerà, come metodo per verificare quanto i neuroni si discostino dall'ipotesi zero di un banale generatore casuale di potenziali d'azione.
questa settimana non ho fatto altro che tentare di orientarmi nella giungla di pubblicazioni, e ho scoperto una cosa veramente divertente; si comincia nel 1948, quando willi k. feller pubblica un articolo dal titolo "fluctuation theory of recurrent events" che tratta il caso di un tempo discretizzato.
dopodicchè tutto il mondo sembra voler estendere ad ogni caso possibile la teoria di feller (che, a proposito, doveva essere uno mica male). fino a quando, nel 1976, un matematico russo, b. a. sevastyanov, pubblica un survey.
poi per dieci anni, sembra non accadere nulla, fino a quando tutto il campo non si rianima in un contesto completamente diverso.
o io non ho capito niente, com'è probabile dato che sono nuovo del campo, oppure è molto divertente...
ps: solo ora mi accorgo che qui avevo già citato cox e miller (1965), il quale cox, a sua volta, è l'idolo dei neuroscienziati locali.
e. l. "doc" brown
al momento sto studiando la teoria dei processi di rinnovamento, cioè la teoria che si occupa di modellare il ricorrere di eventi quando il tempo che intercorre fra un evento e l'altro è determinato da una variabile aleatoria.
ciò che ci fanno i neuroscienziati è
1) approssimare la serie dei potenziali di azione di un neurone tramite un processo di rinnovamento,
2) sovrappore le serie provenienti da vari neuroni dopo averli resi statisticamente dipendenti, e
3) tentare di sviluppare metodi statistici per districare le dipendenze osservando il processo sovrapposto.
tutto ciò viene fatto in via teorica, con l'idea di applicarlo, appena il metodo funzionerà, come metodo per verificare quanto i neuroni si discostino dall'ipotesi zero di un banale generatore casuale di potenziali d'azione.
questa settimana non ho fatto altro che tentare di orientarmi nella giungla di pubblicazioni, e ho scoperto una cosa veramente divertente; si comincia nel 1948, quando willi k. feller pubblica un articolo dal titolo "fluctuation theory of recurrent events" che tratta il caso di un tempo discretizzato.
dopodicchè tutto il mondo sembra voler estendere ad ogni caso possibile la teoria di feller (che, a proposito, doveva essere uno mica male). fino a quando, nel 1976, un matematico russo, b. a. sevastyanov, pubblica un survey.
poi per dieci anni, sembra non accadere nulla, fino a quando tutto il campo non si rianima in un contesto completamente diverso.
o io non ho capito niente, com'è probabile dato che sono nuovo del campo, oppure è molto divertente...
ps: solo ora mi accorgo che qui avevo già citato cox e miller (1965), il quale cox, a sua volta, è l'idolo dei neuroscienziati locali.
domenica, ottobre 07, 2007
dall´analogico al digitale all´analogico (II)
nec procul afuerunt telluris margine summae:
hic, ne deficeret, metuens avidusque videndi
flexit amans oculos, et protinus illa relapsa est.
publio ovidio nasone
qui a friburgo sono nuovamente affascinato dalle neuroscienze; torno allora su un tema che ho già trattato in passato.
uno dei miei argomenti preferiti per giustificare il passaggio dello studio delle reti neurali come sistemi dinamici continui alle reti di spiking neurons si basa sulle equazioni di fitzhugh-nagumo, d'ora in poi fn. sono una semplificazione fenomenologica delle equazioni di hodgkin-huxley, che descrivono con ammirevole precisione il comportamento elettrico delle membrane dei neuroni. il modello fn è particolarmente istruttivo, perchè, se si tralascia l'accoppiamento del voltaggio con la variabile di recupero, che gli conferisce un carattere "periodico", permettono di capire esattamente il significato del concetto di soglia in un sistema dinamico.
le fn, private dell'accoppiamento con la variabile di recupero, hanno la forma
qui T denota la soglia e A l'ampiezza per motivi che spiego immediatamente: sostituendo a y_0 i valori 0,T,A, si vede che essi sono punti stazionari. d'altra parte y' è minore di 0 per valori maggiori di A, oppure fra 0 e T, maggiore di 0 per valori fra T e A oppure per valori minori di 0. dato che le soluzioni di un sistema dinamico non possono incrociarsi per il teorema di picard-lindelöf, ne consegue che la soluzione converge ad A (l'ampiezza!) per dati iniziali maggiori di T (la soglia!) e converge a 0 per valori iniziali minori di T.
detto in altre parole, il sistema dinamico associato all'equazione di cui sopra non è altro che un dispositio che trasforma un segnale analogico (il dato iniziale scelto in R) in un segnale digitale (il valore a cui converge la soluzione scelto in {0,A}). è possibile, inoltre, accelerare o rallentare questo dispositivo aggiungendo un fattore V, rispettivamente maggiore o minore di 1, davanti al lato destro dell'equazione. questa è un'ottima giustificazione, a mio parere, per considerare le reti neurali di spiking neurons una buona approssimazione di quellie rappresentate da sistemi dinamici continui. inoltre è anche un buon esempio di come ottenere buona positura globale per un'equazione differenziale ordinaria che abbia un lato destro non globalmente lipschitziano.
qualche considerazione, adesso, sul concetto astratto di soglia; per esprimersi con precisione, bisognerebbe dire che A è un punto fisso dell'equazione, con bacino di attrazione (T,\infty). da qui si può generalizzare il concetto di soglia, definendo la soglia di un punto fisso di un sistema dinamico come il bordo del suo bacino di attrazione.
questa erkenntnis sicuramente non è nuova, come la maggior parte delle mie illuminazioni. tuttavia mi riservo di tornare sull'argomento, magari con qualche riflessione sui cicli limite e onde viaggianti...
hic, ne deficeret, metuens avidusque videndi
flexit amans oculos, et protinus illa relapsa est.
publio ovidio nasone
qui a friburgo sono nuovamente affascinato dalle neuroscienze; torno allora su un tema che ho già trattato in passato.
uno dei miei argomenti preferiti per giustificare il passaggio dello studio delle reti neurali come sistemi dinamici continui alle reti di spiking neurons si basa sulle equazioni di fitzhugh-nagumo, d'ora in poi fn. sono una semplificazione fenomenologica delle equazioni di hodgkin-huxley, che descrivono con ammirevole precisione il comportamento elettrico delle membrane dei neuroni. il modello fn è particolarmente istruttivo, perchè, se si tralascia l'accoppiamento del voltaggio con la variabile di recupero, che gli conferisce un carattere "periodico", permettono di capire esattamente il significato del concetto di soglia in un sistema dinamico.
le fn, private dell'accoppiamento con la variabile di recupero, hanno la forma
qui T denota la soglia e A l'ampiezza per motivi che spiego immediatamente: sostituendo a y_0 i valori 0,T,A, si vede che essi sono punti stazionari. d'altra parte y' è minore di 0 per valori maggiori di A, oppure fra 0 e T, maggiore di 0 per valori fra T e A oppure per valori minori di 0. dato che le soluzioni di un sistema dinamico non possono incrociarsi per il teorema di picard-lindelöf, ne consegue che la soluzione converge ad A (l'ampiezza!) per dati iniziali maggiori di T (la soglia!) e converge a 0 per valori iniziali minori di T.
detto in altre parole, il sistema dinamico associato all'equazione di cui sopra non è altro che un dispositio che trasforma un segnale analogico (il dato iniziale scelto in R) in un segnale digitale (il valore a cui converge la soluzione scelto in {0,A}). è possibile, inoltre, accelerare o rallentare questo dispositivo aggiungendo un fattore V, rispettivamente maggiore o minore di 1, davanti al lato destro dell'equazione. questa è un'ottima giustificazione, a mio parere, per considerare le reti neurali di spiking neurons una buona approssimazione di quellie rappresentate da sistemi dinamici continui. inoltre è anche un buon esempio di come ottenere buona positura globale per un'equazione differenziale ordinaria che abbia un lato destro non globalmente lipschitziano.
qualche considerazione, adesso, sul concetto astratto di soglia; per esprimersi con precisione, bisognerebbe dire che A è un punto fisso dell'equazione, con bacino di attrazione (T,\infty). da qui si può generalizzare il concetto di soglia, definendo la soglia di un punto fisso di un sistema dinamico come il bordo del suo bacino di attrazione.
questa erkenntnis sicuramente non è nuova, come la maggior parte delle mie illuminazioni. tuttavia mi riservo di tornare sull'argomento, magari con qualche riflessione sui cicli limite e onde viaggianti...
lunedì, ottobre 01, 2007
fantasia al potere
musa, quell'uom di multiforme ingegno dimmi
i. pindemonte
solo per lodare un ragazzo di nome frank endler che, annoiato dal materiale scadente che riceveva per i suoi esperimenti di elettrofisiologia, ha deciso di scrivere un software che gli permette di usare delle schede sonore commerciali al posto dei carissimi, quanto inefficienti, apparecchi ricevuti.
i. pindemonte
solo per lodare un ragazzo di nome frank endler che, annoiato dal materiale scadente che riceveva per i suoi esperimenti di elettrofisiologia, ha deciso di scrivere un software che gli permette di usare delle schede sonore commerciali al posto dei carissimi, quanto inefficienti, apparecchi ricevuti.
sabato, giugno 30, 2007
ornstein-uhlenbeck
vincer potero dentro a me l'ardore
ch'i' ebbi a divenir del mondo esperto
e de li vizi umani e del valore
dante alighieri
mondi diversi hanno spesso strutture molto simili; qua potete provare a leggere un po' di filosofia delle reti. mi viene in mente oggi perchè qualche giorno fa mi sono imbattuto in questa frase di h.c. tuckwell presa da "introduction to theoretical neurobiology, vol. 2":
«This leads to the Ornstein-Uhlenbeck (1930) process (OUP), which is discussed in many texts on probability and stochastic processes [see, for example Cox and Miller (1965) and Breiman (1968)]. This process has arisen in several fields. In fact, in such areas as astrophysics (Chandrasekhar 1943) and electrical engineering (Stumpers, 1950), the same kinds of problems have arisen as as confront us in the determination of firing times of neurons. The OUP seems to have been first mentioned in the present context by Calvin and Stevens (1965).».
la cosa che mi ha stupefatto è che anche io, nel mio piccolo orticello matematico, ho dovuto assistere a numerosi talks su operatori di ornstein-uhlenbeck. mai avevo pensato, fino ad ora per lo meno, che fosse un argomento di qualche rilevanza oltre la comunità matematica. d'altra parte, nessuno dei matematici che ho sentito discutere animatamente di tali argomenti astrusi ha mai accennato, seppur vagamente, a un qualche tipo di applicazione.
di più: gli OUP appaiono sia nell'astrofisica che nelle dimaniche neurali, esattamente come alcuni fenomeni simili a dinamiche su e di reti (o grafi), come spiegato nel post citato precedentemente da neuroevolution. quindi mi sembrerebbe naturale studiare operatori di OU su grafi. e il bello è che qualche mese fa abbiamo messo in cantiere un progetto simile con un matematico ungro-germanico, per motivi completamente diversi.
oddio, non completamente diversi, ma comunque non provenienti dalla stocastica, ma dall'analisi.
PS: purtroppo non ho trovato riferimenti in internet per gli altri due articoli...
ch'i' ebbi a divenir del mondo esperto
e de li vizi umani e del valore
dante alighieri
mondi diversi hanno spesso strutture molto simili; qua potete provare a leggere un po' di filosofia delle reti. mi viene in mente oggi perchè qualche giorno fa mi sono imbattuto in questa frase di h.c. tuckwell presa da "introduction to theoretical neurobiology, vol. 2":
«This leads to the Ornstein-Uhlenbeck (1930) process (OUP), which is discussed in many texts on probability and stochastic processes [see, for example Cox and Miller (1965) and Breiman (1968)]. This process has arisen in several fields. In fact, in such areas as astrophysics (Chandrasekhar 1943) and electrical engineering (Stumpers, 1950), the same kinds of problems have arisen as as confront us in the determination of firing times of neurons. The OUP seems to have been first mentioned in the present context by Calvin and Stevens (1965).».
la cosa che mi ha stupefatto è che anche io, nel mio piccolo orticello matematico, ho dovuto assistere a numerosi talks su operatori di ornstein-uhlenbeck. mai avevo pensato, fino ad ora per lo meno, che fosse un argomento di qualche rilevanza oltre la comunità matematica. d'altra parte, nessuno dei matematici che ho sentito discutere animatamente di tali argomenti astrusi ha mai accennato, seppur vagamente, a un qualche tipo di applicazione.
di più: gli OUP appaiono sia nell'astrofisica che nelle dimaniche neurali, esattamente come alcuni fenomeni simili a dinamiche su e di reti (o grafi), come spiegato nel post citato precedentemente da neuroevolution. quindi mi sembrerebbe naturale studiare operatori di OU su grafi. e il bello è che qualche mese fa abbiamo messo in cantiere un progetto simile con un matematico ungro-germanico, per motivi completamente diversi.
oddio, non completamente diversi, ma comunque non provenienti dalla stocastica, ma dall'analisi.
PS: purtroppo non ho trovato riferimenti in internet per gli altri due articoli...
venerdì, aprile 13, 2007
misurazioni frattali
un mio caro amico sta scrivendo la sua tesi di laurea. quello che fa, se ho capito bene, sapete, lui e´ biologo e io matematico, e´ confrontare diversi sistemi di misurazione per i crani di ominidi.successivamente dovrebbe testarne uno nuovo ad alta risoluzione.
mi ponevo un problema squisitamente teorico: supponiamo di avere a disposizione uno strumento capace di misurare con una risoluzione precisa a piacere. si noti che, dato che questo mio amico vuole effettuare delle misurazioni tramite metodi laser, questa assunzione non e´ cosi´ peregrina. fatta questa osservazione, mi sorge spontanea una domanda: si vuole misurare la superficie o il volume? nel primo caso e´ necessario scegliere un´unita´ di risoluzione appropriata, per evitare che la misura dia un valore tendente a infinito a cause della probabile natura frattale dell´oggetto da misurare. d´altra parte non vedo una maniera coerente di misurare direttamente il volume che rinunci ad una scelta a prioristica di un livello di risoluzione.
stamattina in autobus, quindi, mi domandavo come si risolve questo dilemma. effettivamente, mi sembra che l´unica soluzione pratica e utile sia quella di scegliere come livello di risoluzione la scala intrinseca del cervello, cioe´ la grandezza dei neuroni, o il diametro di un assone, o qualsiasi cosa in qualche maniera relazionabile ad esse.
ps: a proposito, qui c´e´ una recensione del libro di mandelbrot "the fractal geometry of nature" scritta da wheeler, quello dei buchi neri.
mi ponevo un problema squisitamente teorico: supponiamo di avere a disposizione uno strumento capace di misurare con una risoluzione precisa a piacere. si noti che, dato che questo mio amico vuole effettuare delle misurazioni tramite metodi laser, questa assunzione non e´ cosi´ peregrina. fatta questa osservazione, mi sorge spontanea una domanda: si vuole misurare la superficie o il volume? nel primo caso e´ necessario scegliere un´unita´ di risoluzione appropriata, per evitare che la misura dia un valore tendente a infinito a cause della probabile natura frattale dell´oggetto da misurare. d´altra parte non vedo una maniera coerente di misurare direttamente il volume che rinunci ad una scelta a prioristica di un livello di risoluzione.
stamattina in autobus, quindi, mi domandavo come si risolve questo dilemma. effettivamente, mi sembra che l´unica soluzione pratica e utile sia quella di scegliere come livello di risoluzione la scala intrinseca del cervello, cioe´ la grandezza dei neuroni, o il diametro di un assone, o qualsiasi cosa in qualche maniera relazionabile ad esse.
ps: a proposito, qui c´e´ una recensione del libro di mandelbrot "the fractal geometry of nature" scritta da wheeler, quello dei buchi neri.
giovedì, marzo 29, 2007
reti di attrattori
stavo leggendo alcuni articoli su anelli continui di neuroni. si usano tali cose bizzare per simulare, dicono questi scienziati, la memoria a breve termine di pattern visivi. c´e´ qualcosa pero´ che mi disturba. loro dicono che il riconoscimento di un pattern corrisponde alla convergenza di una certa equazione di evoluzione verso un equilibrio inomogeneo. ovvero che la soluzione di tale equazione di evoluzione, che chiamero´ u(t,x) converge per t --> oo verso una funzione v(x) che non e´ costante rispetto a x.
ora, per giove, decidetevi! volete una memoria a breve termine, o volete una memoria a lungo termine? se la memoria e´ a breve termine, si suppone che per t-->oo i vari pattern vengano, per cosi´ dire, azzerati. ovvero che u(t,x) converga verso una funzione v(x)=c, cioe´ costante nello spazio.
quello che io tenderei ad affermare, insomma, e´ che la memoria a breve termine corrisponde ad un transiente nell´equazione di evoluzione. la memoria a lungo termine, ovvero il fatto che ci siano dei pattern registrati nell´anello, corrisponde invece all´esistenza di soluzioni asintotiche. d´altra parte, leggendo codesti articoli, ho anche capito il motivo storico per cui si e´ originato questo equivoco. ma questa e´ un´altra storia.
ora, per giove, decidetevi! volete una memoria a breve termine, o volete una memoria a lungo termine? se la memoria e´ a breve termine, si suppone che per t-->oo i vari pattern vengano, per cosi´ dire, azzerati. ovvero che u(t,x) converga verso una funzione v(x)=c, cioe´ costante nello spazio.
quello che io tenderei ad affermare, insomma, e´ che la memoria a breve termine corrisponde ad un transiente nell´equazione di evoluzione. la memoria a lungo termine, ovvero il fatto che ci siano dei pattern registrati nell´anello, corrisponde invece all´esistenza di soluzioni asintotiche. d´altra parte, leggendo codesti articoli, ho anche capito il motivo storico per cui si e´ originato questo equivoco. ma questa e´ un´altra storia.
martedì, marzo 13, 2007
firing rate e dimensioni finite
ieri ho pianificato con h.m. un articolo che dobbiamo scrivere. ci domandavamo perche´ e´ male occuparsi di modelli neurali basati sul firing rate, o a dimensione finita. h.m. e io siamo in due campi diversi delle neuroscienze, ma stranamente eravamo d´accordo sulla malvagita´ intrinseca di tali modelli. stamattina sono anche in grado di precisarlo: perche´ in questa maniera si pre-suppone che la codifica neurale sia il firing rate o il potenziale somatico, e´ non c´e´ nessuna evidenza per una simile assunzione.
sabato, febbraio 03, 2007
dall´analogico al digitale all´analogico (I)
premetto che ho avuto una forte tentazione di dedicare questo post a questo articolo dell´avvenire, incredibilmente fazioso e con una messe di acrobazie logiche da far felice ogni professore di analisi 1.
tuttavia voglio rendere partecipe il mondo di una mia erkenntnis sull´utilita´ dell´analisi funzionale nello studio della computazione neurale.
1) i meccanismi a livello locale sono ben compresi: e´ chiaro come un congegno analogico (ovvero un´equazione differenziale) puo´ produrre come risultato asintotico - raggiungibile in tempi brevi con i giusti parametri - effetti di soglia, moltiplicazione, modulazione e cosi´ via discorrendo. potrebbe quindi sembrare che ogni singolo neurone altro non sia che un congegno analogico in grado di effettuare operazioni digitali.
2) however, i neuroni sono strutture estese, e non appena si consideri il meccanismo fisico, che porta a trasmettere queste informazioni da uno all´altro, e´ necessario considerare spazi a dimensione infinita. e ovviamente e´ possibile capirci qualcosa solo con un utilizzo appropriato dell´analisi funzionale. e questa trasmissione ha un carattere intrinsecamente analogico.
3) non solo: se si vogliono studiare le dinamiche di sistemi di neuroni, e´ impossibile sperare di poter ottenere soluzioni esplicite anche per il piu´ semplice dei modelli. e´ anche le simulazioni si scontrano con la terribile complessita´ computazionale delle equazioni alle derivate parziali non lineari. rimane da sperare che l´analisi qualitativa che puo´ essere effettuata tramite l´analisi funzionale possa dare qualche risultato. cosa che succede.
4) alcuni potrebbero obiettare che, dato che si e´ dimostrato che i neuroni possono svolgere operazioni digitali, allora la mente e´ un grosso computer. ovviamente, questo e´ un assioma, accettabile o meno. e´ la sua accettabilita´, ovvero il fatto che la complessita´ di una rete faccia emergere fenomeni di tipo non prettamente algoritmico, puo´ essere decisa solo studiandone le proprieta´ ad un livello non locale.
tuttavia voglio rendere partecipe il mondo di una mia erkenntnis sull´utilita´ dell´analisi funzionale nello studio della computazione neurale.
1) i meccanismi a livello locale sono ben compresi: e´ chiaro come un congegno analogico (ovvero un´equazione differenziale) puo´ produrre come risultato asintotico - raggiungibile in tempi brevi con i giusti parametri - effetti di soglia, moltiplicazione, modulazione e cosi´ via discorrendo. potrebbe quindi sembrare che ogni singolo neurone altro non sia che un congegno analogico in grado di effettuare operazioni digitali.
2) however, i neuroni sono strutture estese, e non appena si consideri il meccanismo fisico, che porta a trasmettere queste informazioni da uno all´altro, e´ necessario considerare spazi a dimensione infinita. e ovviamente e´ possibile capirci qualcosa solo con un utilizzo appropriato dell´analisi funzionale. e questa trasmissione ha un carattere intrinsecamente analogico.
3) non solo: se si vogliono studiare le dinamiche di sistemi di neuroni, e´ impossibile sperare di poter ottenere soluzioni esplicite anche per il piu´ semplice dei modelli. e´ anche le simulazioni si scontrano con la terribile complessita´ computazionale delle equazioni alle derivate parziali non lineari. rimane da sperare che l´analisi qualitativa che puo´ essere effettuata tramite l´analisi funzionale possa dare qualche risultato. cosa che succede.
4) alcuni potrebbero obiettare che, dato che si e´ dimostrato che i neuroni possono svolgere operazioni digitali, allora la mente e´ un grosso computer. ovviamente, questo e´ un assioma, accettabile o meno. e´ la sua accettabilita´, ovvero il fatto che la complessita´ di una rete faccia emergere fenomeni di tipo non prettamente algoritmico, puo´ essere decisa solo studiandone le proprieta´ ad un livello non locale.
Iscriviti a:
Post (Atom)
