Notazioni

Una fantastica notazione presa da questo articolo.

Sia A un insieme di numeri reali: per indicare l'insieme B definito da {1} se 1 è in A, e vuoto altrimenti, la notazione comune sarebbe

B = {1} intersecato A.

Gli autori invece scrivono

B={1: 1 in A},

come a dire B è l'insieme di tutti quegli 1 che sono in A.

Mi sembra una maniera poetica per sottolineare il principio di identità.

Informazione

Nel 1948 Shnannon compiva un grande progresso per la matematica: gli riusciva di definire in maniera rigorosa il concetto di informazione.

Un'introduzione informale

Cosa intende Shannon con il termine informazione? Egli intende l'informazione che si ottiene osservando una grandezza casuale. Cerchiamo di spiegarci meglio: supponiamo di lanciare un dado a 8 facce e di nasconderne il risultato. Quanta informazione otteniamo scoprendolo? La risposta sembra ovvia: 3 bit, dato che 2³=8. L'ipotesi nascosta in questa risposta intuitiva è il fatto che noi sappiamo che tutti risultati del dado sono ugualmente probabili.

Supponiamo allora che il dado sia truccato. Molto truccato: ogni volta che lo si lancia, si ottiene un 8. Qual'è l'informazione che noi otteniamo scoprendolo? Ovviamente 0 bit, dato che sapevamo già dall'inizio che avremmo avuto un 8.

Ovviamente sono possibili vie di mezzo: se l'8 è un po' più probabile di 1/8, l'informazione sarà un po' meno di 3 bit, ma comunque maggiore di 0. Quindi la difficoltà sta nel "quantificare questa via di mezzo".

Gli assiomi

Si trovano nella sezione 6 dell'articolo di Shannon. La nostra ipotesi è quella di avere a che fare con una variabile casuale discreta. Per essere più specifici: la grandezza X assume i suoi N valori x(i) con probabilità p(i).

Nell'esempio precedente: X=dado, N=8, x(i)=i, p(i)=1/8.

Per prima cosa desideriamo che cambiando p(i) di poco, il contenuto di informazione, che chiameremo d'ora in poi I, cambi di poco. Se il dato è poco truccato, vogliamo che l'informazione sia solo un po' meno di 3 bit.

Assioma 1
I è una funzione continua rispetto a tutte le p(i)

Ovviamente, la maggiore quantità di informazione deve essere presente quando tutti gli esiti sono ugualmente possibili: quando il dado, insomma, non è truccato

Assioma 2
I ha il suo massimo per p=(1/N, ..., 1/N).

L'ultimo assioma è quello più difficile da spiegare: ma è anche esattamente quello che rende la scoperta di Shannon così fondamentale. Partiamo dall'esempio. Supponiamo di dividere la nostra osservazione in due parti. Prima osserviamo se il risultato è pari o dispari, e poi il risultato della divisione del risultato per 2, arrotondato per eccesso. Cioè: 7 o 8 danno 4, 5 o 6 danno 3 e così via. È chiaro che queste due osservazioni sono equivalenti all'osservazione del risulato: non si perde niente e non si guadagna niente. Noi chiediamo che l'informazione contenuta nell'osservazione del risultato del lancio del dado sia la somma delle informazioni che si ottiene dalle singole osservazioni. Vediamo se funziona nel nostro caso ragionando in maniera intuitivia. Osservare se il numero è pari o dispari ci da 1 bit. Osservare il risultato della divisione per 2 ci da 2 bit, perchè sono 4 possibili risultati equalmente probabili e 2²=4. Dato che 1+2=3 sembra che il contare in bit funzioni.

Assioma 3
I è uguale alla somma delle informazioni contenute in una suddivisione equivalente dell'osservazione originaria, pesate con la probabilità con cui le suddivisioni hanno luogo.

Mettendo insieme tutte queste informazioni è facendo un po' di conti (sempre nella sezione 6 dell'articolo), si ottiene che l'unica funzione soddisfacente queste proprietà è

I = - [p(1) log(p(1)) + p(2) log(p(2)) + ... + p(N) log(p(N))]


Informazione ed entropia

Si può anche notare come l'informazione sia anche una misura del disordine presente nel sistema prima della sua osservazione. Più disordinato un sistema, più informazione ci porterà la sua osservazione. Queste è più che un'analogia: è possibile basare tutta la fisica statistica sul concetto di entropia di Shannon.

PS: qua il motivo per cui sono interessato a questo problema...

Ammenda (I)

In numerosi dibattiti con amici e colleghi, in particolare con d.m., ho sempre sostenuto alcune tesi provocatorie: una delle mie predilette era diretta contro certi eccessi femministi che affermano che uomini e donne siano mentalmente uguali.

Uno dei miei argomenti prediletti è questo: prendiamo ad esempio la matematica; è evidente che nelle facoltà di matematica da un certo livello in poi spariscano le donne; dato che non vi sono altri argomenti scientifici e razionali che spieghino questo fenomeno, dobbiamo supporre, fino a prova contraria, che le donne siano meno portate dell'uomo per la matematica.

Se dall'università avete accesso a Science, ecco, per onestà intellettuale, una prova contraria.

Cavalieri casuali

Ieri sono andato a vedere il nuovo Batman. Splendido e visionario. Per inciso: si insedia nella mia personale classifica dei migliori film dell'anno al secondo posto, dopo "Into the Wild" e prima di "Die Welle".

Un tema che torna del film è quello di decisioni lasciate al caso tramite il lancio di una moneta. E nel film è anche affermato che tale decisioni sono casuali. Da un punto di vista tecnico, non sono casuali. Il volo di una moneta, che è un corpo piuttosto semplice, è deterministico - e nemmeno troppo difficile da prevedere. E dato che la mano che lancia la moneta è guidata da un cervello, che certo non è un generatore di numeri casuali, è difficile affermare che la sequenza dei lanci di una moneta sia i.i.d..

La verità è che tali decisioni, pur essendo ben determinate, non sono prevedibili dal lanciatore, in quanto egli non può accedere alla parte necessaria della sua memoria procedurale. È simile alla differenza che c'è in fisica matematica fra un sistema dinamico ergodico e uno discontinuo.

Teoria alfa - composizione

Come promesso, continuo la mia discussione sulla teoria alfa.

Oggi parliamo della composizione di funzioni.

ASSIOMA DI COMPOSIZIONE

Siano f e g due successioni di reali e sia F una funzione tale che esistono F(f)(n) e F(g)(n). Allora f(Q)=g(Q) implica F(f)(Q)=F(g)(Q).

Qualche commento. Il primo: l'assioma afferma che F(f)(Q) dipende solo dal valore in Q di f. Quindi si può candidamente scrivere F(f(Q)) senza sbagliare.

Secondo commento: il nostro obiettivo è quello di scrivere e usare espressioni del tipo sin(Q²). Se si interpretasse sin(Q²) come il limite di sin(n²), allora il tutto non avrebbe senso, in quanto il limite si sin(n²) non esiste.

Con l'assioma di composizione possiamo dare un'ulteriore spiegazione del fatto che f(Q) non è il limite di f. Consideriamo le due successioni f(n)=(4n+1)p/2 e g(n)=4np/2. Evidentemente, sia f che g vanno ad infinito. Quindi se interpretassimo sin(Q) semplicemente come il valore di sin all'infinito, si dovrebbe avere sin(f(Q))=sin(g(Q)).

Tuttavia sin(f(n))=1 differisce da sin(g(n))=0 per ogni n. Quindi, per il secondo assioma di estensione, sin(f)(Q) deve essere diverso da sin(g)(Q).

Tutto questo accade perchè f(Q) non è Q, come accadrebbe se Q venisse interpretato semplicemente come un'altra maniera di dire "infinito", ma bensì f(Q)=(4Q+1)p/2, mentre g(Q)=4Qp/2. Per cui sin(f(Q))=sin((4Q+1)p/2) mentre sin(g(Q))=sin(4Qp/2) e non è nessun motivo per cui essi debbano essere uguali.

Non è difficile immaginare il valore di sin(f(Q)) e quello di sin(g(Q)), ma questo è per la prossima volta, fra 10 giorni.

Punto sella

Se vi chiedete che fine abbia fatto: sono appena tornato dalla Scozia, pronto a partire per il Salento.

Prima di partire: un altro po' di teoria-alpha.

Ma questo domani, oggi si legge "Caos calmo", che a me, fino ad ora, è piaciuto moltissimo.