Informazione

Nel 1948 Shnannon compiva un grande progresso per la matematica: gli riusciva di definire in maniera rigorosa il concetto di informazione.

Un'introduzione informale

Cosa intende Shannon con il termine informazione? Egli intende l'informazione che si ottiene osservando una grandezza casuale. Cerchiamo di spiegarci meglio: supponiamo di lanciare un dado a 8 facce e di nasconderne il risultato. Quanta informazione otteniamo scoprendolo? La risposta sembra ovvia: 3 bit, dato che 2³=8. L'ipotesi nascosta in questa risposta intuitiva è il fatto che noi sappiamo che tutti risultati del dado sono ugualmente probabili.

Supponiamo allora che il dado sia truccato. Molto truccato: ogni volta che lo si lancia, si ottiene un 8. Qual'è l'informazione che noi otteniamo scoprendolo? Ovviamente 0 bit, dato che sapevamo già dall'inizio che avremmo avuto un 8.

Ovviamente sono possibili vie di mezzo: se l'8 è un po' più probabile di 1/8, l'informazione sarà un po' meno di 3 bit, ma comunque maggiore di 0. Quindi la difficoltà sta nel "quantificare questa via di mezzo".

Gli assiomi

Si trovano nella sezione 6 dell'articolo di Shannon. La nostra ipotesi è quella di avere a che fare con una variabile casuale discreta. Per essere più specifici: la grandezza X assume i suoi N valori x(i) con probabilità p(i).

Nell'esempio precedente: X=dado, N=8, x(i)=i, p(i)=1/8.

Per prima cosa desideriamo che cambiando p(i) di poco, il contenuto di informazione, che chiameremo d'ora in poi I, cambi di poco. Se il dato è poco truccato, vogliamo che l'informazione sia solo un po' meno di 3 bit.

Assioma 1
I è una funzione continua rispetto a tutte le p(i)

Ovviamente, la maggiore quantità di informazione deve essere presente quando tutti gli esiti sono ugualmente possibili: quando il dado, insomma, non è truccato

Assioma 2
I ha il suo massimo per p=(1/N, ..., 1/N).

L'ultimo assioma è quello più difficile da spiegare: ma è anche esattamente quello che rende la scoperta di Shannon così fondamentale. Partiamo dall'esempio. Supponiamo di dividere la nostra osservazione in due parti. Prima osserviamo se il risultato è pari o dispari, e poi il risultato della divisione del risultato per 2, arrotondato per eccesso. Cioè: 7 o 8 danno 4, 5 o 6 danno 3 e così via. È chiaro che queste due osservazioni sono equivalenti all'osservazione del risulato: non si perde niente e non si guadagna niente. Noi chiediamo che l'informazione contenuta nell'osservazione del risultato del lancio del dado sia la somma delle informazioni che si ottiene dalle singole osservazioni. Vediamo se funziona nel nostro caso ragionando in maniera intuitivia. Osservare se il numero è pari o dispari ci da 1 bit. Osservare il risultato della divisione per 2 ci da 2 bit, perchè sono 4 possibili risultati equalmente probabili e 2²=4. Dato che 1+2=3 sembra che il contare in bit funzioni.

Assioma 3
I è uguale alla somma delle informazioni contenute in una suddivisione equivalente dell'osservazione originaria, pesate con la probabilità con cui le suddivisioni hanno luogo.

Mettendo insieme tutte queste informazioni è facendo un po' di conti (sempre nella sezione 6 dell'articolo), si ottiene che l'unica funzione soddisfacente queste proprietà è

I = - [p(1) log(p(1)) + p(2) log(p(2)) + ... + p(N) log(p(N))]


Informazione ed entropia

Si può anche notare come l'informazione sia anche una misura del disordine presente nel sistema prima della sua osservazione. Più disordinato un sistema, più informazione ci porterà la sua osservazione. Queste è più che un'analogia: è possibile basare tutta la fisica statistica sul concetto di entropia di Shannon.

PS: qua il motivo per cui sono interessato a questo problema...

entropia

in termodinamica l'entropia è una funzione di stato che si introduce insieme al secondo principio della termodinamica

wikipedia

in risposta al commento di ciocionheart al mio post aspirapolvere riporto l'argomento termodinamico che dimostra che il sole cede entropia alla terra.

fatto 1

la composizione atomica e la massa della terra sono costanti nel tempo.

più precisamente: la terra riceve una minima quantità di materia dallo spazio (meteoriti e simili), ed espelle, in pratica, solo manufatti umani. la composizione atomica è chiaramente costante, a meno di decadimenti radioattivi spontanei, attività di centrali nucleari, e un po' di bombe atomiche che vengono fatte esplodere.

fatto 2

il bilancio energetico della terra è in pari.

più precisamente: è mediamente in pari. se non lo fosse, allora sarebbe molto più calda o molto più fredda che 1 miliardo di anni fa, cosa che è evidentemente falsa. si noti che: il global warming è un effetto minimale.

fatto 3

la terra irradia energia nello spazio principalmente nello spettro infrarosso.

si può trattare la terra come un corpo nero. l'affermazione è quindi una conseguenza della legge di planck.

fatto 4

la terra riceve energia dal sole principalmente nello spettro visibile.

è una conseguenza del fatto che il sole irradia in maniera omogenea più o meno in tutte le direzioni ed ha la sua massima emissione intorno a 500 nm.

tirando le somme, quello che si è appena dimostrato è che la terra riceve e irradia energia da e nello spazio in misura uguale. tuttavia, riceve principalmente nello spetto visibile (fotoni ad alta energia e bassa entropia), ed emette principalmente nello spettro infrarosso (fotoni a bassa energia ed alta entropia).

ps: lo stesso argomento lo si trova espresso molto meglio nel libro di r. penrose "la mente nuova dell'imperatore".

un calcolo

strano gioco. l'unica mossa vincente é non giocare.

joshua in war games

motivato da una serie di post di Sylvie Coyaud, precisamente questo
e questo, ho deciso di fare un piccolo conto per tentare di rispondere alla domanda: é vero che l'uomo non puó incidere sul clima?

ora facciamo questo conto (tutti i dati sono da wikipedia). la mia assunzione principale che, premetto, é un'approsimazione brutale, é che gli unici scambiatori di calore sulla terra siano l'atmosfera e i mari. in pratica é come se modellassi la terra come una corona sferica con condizioni di neumann al bordo. é poco piú di una curiositá, insomma, a cause di questa approsimazione imprecisa. la massa totale dell'atmosfera é di circa 5.1480×10^18 kg. la capacitá termica la fisso a 0.85 kJ/kg K, una via di mezzo fra la capacitá per trasformazioni isocore e isobare. da un rapido calcolo si ottiene che sono necessari 5x10^18 kJ per aumentare al temperatura dell'aria di 1 grado kelvin. rifaccio lo stesso conto per l'acqua sulla terra: ci sono 1.4 x10^9 km^3 di acqua, cioé 1.4x10^18 m^3, equivalenti a 1.4x10^21 kg di acqua. con 4.18 kJ/kg K si ottengon 5x10^21 kJ per ogni grado kelvin di cui si vogliono riscaldare i mari, che sono, come si vede, il grosso contenitore di calore della terra.

cosa é in grado di fare l'uomo? su nagasaki é stata sganciata una bomba a fissione da 20 kT. 1 kT sono circa 4x10^9 kJ. il 9 agosto 1945 abbiamo quindi rilasciato quindi 10^11 kJ nell'atmosfera, provocandone immediatamente un aumento di temperatura di 0.2x10^-7 gradi kelvin. poco. una moderna bomba ad idrogeno arriva fino a 10 MT, corrispondenti ad un aumento di temperatura dell'aria di 10^-5 gradi kelvin. dopo pochi giorni gli oceani assorbirebbero il calore, che dopo un po' verrebbe riemesso nello spazio interstellare sotto forma di radiazione infrarossa. in caso di una guerra termonucleare globale si potrebbero guadagnare ancora 3 o 4 ordini di grandezza. troppo poco.

quanta energia usa il genere umano? le stime del 2004 parlavano di 432 esajoule, cioé 4 x 10^17 kJ, che si puó supporre finiscano tutti in calore, dopo varie trasformazioni. la quantitá prodotta dall'energia solare, che é l'unica che non incide sul bilancio energetico é trascurabile. questo corrisponde ad un riscaldamento di 0.1 K per anno per l'aria e di 0.0001 K all'anno considerando anche i mari.

per fortuna la terra é in grado di dissipare energia nello spazio tramite radiazione infrarossa, cosiccome di scambiare energia con la crosta terrestre (che peró penso abbia un ruolo marginale) cosicché tutta questa quantitá di calore non si puó accumulare. si instaura, in pratica, una temperatura di equilibrio con lo spazio interstellare, che é tanto piú alta, quanto piú energia viene prodotta sulla terra. tuttavia, a occhio e croce, tale aumento dovuto all'instaurarsi di un equilibrio "piú caldo" lo ritengo molto marginale.

era solo per far vedere che gli ordini di grandezza dell'uomo sono comparabili con quelli della terra...

ps: il fabbisogno energetico cresce di circa il 4% all'anno: questo corrisponde ad un tempo di decuplicamento di 58 anni - potenza della funzione esponenziale. questo conferma la mia idea che la decrescita é l'unica strada...

pps: fra l'altro, allora avró 84 anni e magari potró vedere come va a finire!

aspirapolvere

ein perpetuum mobile zweiter art ist unmöglich

zweiter hauptsatz der termodynamik

quando ero un giovane cucciolo di uomo discutevo spesso con mia madre riguardo l'opportunitá di pulire una casa. fortunamente mia madre non era, e non é, particolarmente ossessionata dall'igiene, ma io ero un ragazzo caotico e interessato solo ai numeri, e, insomma, avevamo qualche incomprensione.

il mio argomento principale era il seguente: il destino finale dell'universo é la morte termodinamica, ergo dobbiamo fare di tutto per ritardarla e, in conclusione, buttare energia per separare la polvere dalla non polvere ha l'unico effetto di accelerare questa ineluttabile morte termodinamica.

ieri sera stavo passando l'aspirapolvere nella mia stanza sulla karlstrasse (che, a proposito, abbandoneró il 1° agosto) quando ho capito il motivo per il quale, scientificamente parlando, il mio argomento era errato.

l'unica fonte di bassa entropia a nostra disposizione é il sole: ci irradia con fotoni ad alta energia che noi rigettiamo nello spazio come radiazione infrarossa. il sole, d'altro canto, ci fornisce codesti fotoni indipendentemente dall'uso che ne facciamo, ed essi, da parte loro, verranno comunque rimandati nello spazio sotto forma di radiazione infrarossa. questo processo non viene minimamente influenzato dal mio usare l'aspirapolvere o meno, che é una variazione puramente locale senza conseguenze per il bilancio globale dell'entropia.

ovviamente c'é un altro argomento che opporró a mia madre al mio ritorno in italia: il risparmio energetico, ovvero come usare efficientemente quella quantitá limitata di fotoni a bassa entropia inviataci dal sole...