A word about the AI hype in chess

Some months ago, many of you have probably heard how a neural network trained from scratch in an afternoon by Deep Mind defeated the strong chess engine in the world, Stockfish.

Deep Mind get the hype started

This legit hype was started by Deep Mind, a subsidiary of google strong in artificial intelligence, published the paper "Mastering Chess and Shogy by Self-Play with a General Reinforcement Learning Algorithm".

In this paper, they demonstrate a general learning algorithm which was able to train a a neural network which would power a Monte Carlo Treee Search based chess engine to such a level to be competitive in chess with top notch engines. They measured competitiveness in chess by letting their engine playing a 100 games match against the back then latest release of Stockfish, Stockfish 8, the world-leading chess engine, maintained by a team of volunteers (disclaimer: I am part of this team) . It won by a convincing margin of 28 wins, 72 draws and 0 losses, in their own words, 

calling into question the widely held belief that alpha-beta search is inherently superior in these domains

I do now want to dispute this call by the Deep Mind team, but it could be done based on the match condition. It can be observed that, if one of the goals of this claim was to generate a hype, then it succeeded.

Open source takes over

Following this paper, a team of developer decided to start an open-source project to replicate the results. The ultimate goal was (and is) to show that this calling into question is a well-founded claim. They had of course some work to do: the paper by Deep Mind contained many details, but not all of them. Also, one of the criticisms was the Deep Mind engine was not a real UCI-compliant chess engine, and wouldn't have been able to participate in chess computer tournaments. So they had to replicate the scientific part of the paper, and also make a real chess engine out of it, being able to compete in chess tournaments. In that, they were supported by nonetheless than Gary Linscott, the gifted programmer who built Stockfish testing framework, see a previous post.
One very important remark: this neural network based engines need GPUs to work well, as the generic type of neural network used there are specifically designed to make use of the massive matrix multiply capabilities of GPUs.

LC0 go to TCEC

After some weeks in the project, the LC0 team (this is the name of the open-source project) was invited to send their program to TCEC. TCEC stands for top chess engine competition: it is a league where all chess engines can compete on standardized hardware. When invited, they start in division 4 and they can work themselves up to division 3,2,1,premier. The first two engines in division premier fight a titanic superfinal over 100 games. Last season (number 12) was won by Stockfish 9. Since the divisions are played out serially, for an engine it is possible, in principle, to start in division 4 and, in the same season, climb up all the divisions and win the Superfinal. TCEC management, however, decided not to invest in a GPU, yet as they were not sure of whether LC0 would keep existing and also for the speed in which they had to organize it. To make the story short, LC0 finished last.

LC0 hype grows

This did not discourage the team. They knew that the lack of a GPU would seriously cripple the engine and so they continued working, recruiting tester around the world for playing millions of games. In the meanwhile, private people would test the engine and publish the results online. In particular, kingcrusher, a well known and respected chess expert with 100k youtube follower, decided to back the project posting videos and analyses of this awesome new engine. The were invited back to TCEC, which was able to organize access to a server with 2 high-end GPUs. It was predicted that LC0 would rush through the divisions and challenge Stockfish itself. To add more drama, some days before the start of Season 13, it was announced that a second neural network engine would enter division 4. After some speculations it turned out that it was a more or less a derivative of LC0 and arguments followed. Nevertheless, this second engine, DeusX, was allowed to enter TCEC too. Expectations were running high for the new era of computer chess. The hype was at its maximum.

Full power neural network at TCEC

As I write now, division 4 ended some days ago. With a sort of an anticlimax, after some games, it was clear that, although LC0 and DeusX were very strong engines, they would not rush through divisions. LC0 finished first, and DeusX second, qualifying by 0.5 point margin for division 3. Division 3 is in course now: between the divisions, the admin of the site was started, and the new one had some experience with LC0 itself and was able to improve the settings of the dedicated server to give the two neural networks some more power. They also submitted updated engines. In spite of the efforts, after 20% of division 3 played out, they float in the mid-range of the league. It is somewhat expected that the division will be won by Ethereal, another very young, though classical engine, developed by a 2 persons team. The second slot for qualification is still open. Currently it seems plausible though not sure that one of both neural engines will win a ticket.

What do we learn from the hype

Maybe neural networks are the future of computer chess. Maybe not. Time will say. As usual, there is no free lunch and you shouldn't run where they say you get one. And by the way, don't do momentum trading. Avoid diets. And most important, if you start from scratch, don't expect to succeed soon.

Modelli computazionali del Parkinson

Qualche giorno fa ci è stato accettato un articolo in cui esploriamo con dei modelli le possibili cause di alcuni sintomi del morbo di Parkinson.

Il morbo di Parkinson è caratterizzato da deficit motori e cognitivi. Fra questi, il più conosciuto è il tremore. Questi sintomi hanno un correlato neurale molto preciso: il segnale elettrico nel nucleo subtalamico mostra delle oscillazioni molto marcate intorno alla frequenza di 20 Hz, assenti nello stato sano del cervello. È stato scoperto che sopprimere queste oscillazioni, ad esempio tramite la stimolazione cerebrale profonda, porta alla scomparsa quasi immediata dei sintomi.

Nel nostro studio (e qua andremo un po' sul tecnico) abbiamo tentato di portare un po' di chiarezza sulle possibili cause di queste oscillazioni. Quello che si sa con certezza (più o meno) è che queste oscillazioni sono generate tramite un processo di feedback negativo-positivo tra il nucleo subtalamico e la parte esterna del globo pallido. La teoria dominante sulla causa dell'insorgere delle oscillazioni è l'aumento della connettività tra queste due strutture. Purtroppo, però, i dati sperimentali non supportano questa ipotesi.

La nostra teoria alternativa prevede che le oscillazioni siano generate da un livello di attività maggiore nella struttura a monte del globo pallido: il corpo striato. Il globo pallido riceve la maggior parte dei suoi input (di tipo inibitore) dal corpo striato. Quello che noi abbiamo mostrato in un modello computazionale è che un aumento dell'input inibitore al globo pallido è da solo in grado di generare oscillazioni.

Podcasts & co

Oggi il nostro responsabile per le relazioni esterne ha messo in rete la versione italiana di What are computational neuroscience?

(Tradotta e detta dal sottoscritto)

Correlazioni in popolazioni neurali

Settimana ricca di soddisfazioni!

Oggi è apparso un altro articolo in cui sono coautore: Volker, un dottorando del nostro centro, ha passato l'anno scorso a impratichirsi dei segreti della teoria di Hawkes sulle reti di processi puntuali interagenti linearmente.

Il risultato è un approccio capace di decomporre le correlazioni fra le attività dei nodi in una tale rete grazie ad alcune proprietà della serie geometrica.

Non voglio togliervi il gusto della scoperta: qua si trova l'articolo originale, open access su PLoS Comp Bio e qua la press release del BCF, in inglese.

Il mondo come rappresentazione

, e quanto alla volontà un giorno magari ci arriviamo.

Ho deciso che riprendo a scrivere sul blog di cose meno matematiche, dato che la quantità di matematica nella mia vita di scienziato sta, purtroppo, decrescendo.

Oggi abbiamo avuto un articolo molto interessante di un gruppo di scienziati della Brandeis University.

Allora, hanno preso dei furetti neonati e li hanno impiantati con degli elettrodi per misurare l'attività neurale. Quindi li hanno sottoposti per vari mesi a tipi diversi di stimoli visuali: immagini naturali, barre in movimento e rumore bianco. (Il rumore bianco lo potete ammirare qui sotto in tutto il suo splendore).

Insomma, cosa hanno scoperto?

Hanno scoperto che man mano che il furetto cresceva, le statistiche dell'attività spontanea diventavano sempre più simili a quelle dell'attività neurale stimolata con le immagini naturali, cosicchè, dopo 5 mesi, la distribuzione di attività spontanea era identica alla distribuzione stimolata con immagini naturali.

Questo sembrerebbe banale, se non fosse che le immagini "naturali" di naturale avevano soltanto, per così dire, la statistica. Infatti hanno utilizzato il trailer del primo film di Matrix, come sample di immagini naturali, immagino appunto per far si che solo le statistiche generali dell'immagine combaciassero con quelle dell'ambiente del povero furetto.

Questo vuol dire, in parole povere, che la statistica dell'attività spontanea del cervello si evolve durante la prima fase della vita (almeno nel furetto) verso una distribuzione in cui un'immagine attesa non ha alcuna rappresentazione particolare dal punto di vista delle statistiche globali della rete neurale!

Invidia nera

Se fossi un blogger bravo, invece di un dilettante, allora questo blog.

Cavalieri casuali

Ieri sono andato a vedere il nuovo Batman. Splendido e visionario. Per inciso: si insedia nella mia personale classifica dei migliori film dell'anno al secondo posto, dopo "Into the Wild" e prima di "Die Welle".

Un tema che torna del film è quello di decisioni lasciate al caso tramite il lancio di una moneta. E nel film è anche affermato che tale decisioni sono casuali. Da un punto di vista tecnico, non sono casuali. Il volo di una moneta, che è un corpo piuttosto semplice, è deterministico - e nemmeno troppo difficile da prevedere. E dato che la mano che lancia la moneta è guidata da un cervello, che certo non è un generatore di numeri casuali, è difficile affermare che la sequenza dei lanci di una moneta sia i.i.d..

La verità è che tali decisioni, pur essendo ben determinate, non sono prevedibili dal lanciatore, in quanto egli non può accedere alla parte necessaria della sua memoria procedurale. È simile alla differenza che c'è in fisica matematica fra un sistema dinamico ergodico e uno discontinuo.

Bluebeard thinks

Forse interessa a qualcuno: io e altri due miei cari amici abbiamo aperto un nuovo blog qui per discutere di questioni legate alla mente da tre punti di vista: computazionale, cognitivo e psicologico.

implicazioni

l'intelligenza non è misurabile: non esiste

pietro greco dell'unità

ho già discusso di pietro greco, il giornalista scientifico dell'unità. precisamente qui e qui.

oggi decide di affermare qui che l'intelligenza non è misurabile perchè non esiste. ora accetto che lui voglia dimostrare con tutti i mezzi che watson dice cretinate. però bisogna essere giusti e dire che anche greco dice cretinate.

se leggete l'articolo egli ragiona in questa maniera: l'intelligenza non esiste. infatti tutti i tentativi di misurarla con un solo parametro sono falliti. quindi ne deduciamo che non esiste e quindi watson ha torto.

ora, premesso che mi sembra una dimostrazione di questo tipo, mi sembra anche che sia semplicemente sbagliato: l'intelligenza si può misurare; non ha un solo parametro e non è costante nel tempo (come peraltro greco fa giustamente notare nel corso dell'articolo), però esiste ed è misurabile.

ps: a questo proposito segnalo il post di oggi di chris chatham.

a rat is a rat is not a cat

you have a lot of data. what will you do with it?

i. segev

di ritorno dal (bellissimo) BCCN symposium in göttingen ci sono molte cose di cui vorrei parlare. di alcune capisco di più, di altre di meno.

il blue brain project, ad esempio, qui su wiki. ne ho già parlato in passato, con qualche in precisione.

un breve resumé: un gruppo di scienziati ha deciso di provare a simulare un'intera colonna corticale di un cervello di topo, neurone per neurone. il tutto in maniera biologicamente realistica; il tutto verrà implementato su migliaia di processori paralleli, ognuno dedicato alla simulazione di un singolo neurone.

uno delle menti pensanti del progetto, idan segev , è venuto a tenere la conferenza inaugurale del symposium, dicendo molte cose interessanti; quasi più interessante ancora, ne è stata la discussione che ne è seguita. provo a fare un rapido riassunto delle sue idee e delle sue critiche.

un utilizzo evidente del blue brain è quello di avere una colonna cerebrale accessibile; sia negli esperimenti in vitro che (ancora peggio) in quelli in vivo, è evidentemente impossibile, o, per lo meno, dispendioso registrare una tale quantità di neuroni. inoltre non è possibile manipolarne direttamente i parametri. il blue brain offrirà ambedue queste possibilità. da questo punto di vista è innegabilmente un grande progresso.

d'altra parte, ci sono molte critiche che si possono fare al progetto. la prima, che ci sia troppo entusiasmo attorno a questo progetto. la seconda è che un dispendio di energie (e di fondi!) che porteranno ad un ulteriore accumulo di dati; quello che manca, diceva giustamente idan segev è un modello, e non i dati. tuttavia non si vede come il blue brain possa collaborare ad un modello.

io, personalmente e da esterno, vedo più i vantaggi degli svantaggi. ho talvolta l'impressione che ci sia un po' di scetticismo da bastian contrari nel mondo delle neuroscienze nei confronti di segev, e infatti i più giovani sono principalmente entusiasti.

tuttavia, vi dovesse capitare, non perdetevi un talk di segev, che è un genio.

ornstein-uhlenbeck

vincer potero dentro a me l'ardore
ch'i' ebbi a divenir del mondo esperto
e de li vizi umani e del valore

dante alighieri

mondi diversi hanno spesso strutture molto simili; qua potete provare a leggere un po' di filosofia delle reti. mi viene in mente oggi perchè qualche giorno fa mi sono imbattuto in questa frase di h.c. tuckwell presa da "introduction to theoretical neurobiology, vol. 2":

«This leads to the Ornstein-Uhlenbeck (1930) process (OUP), which is discussed in many texts on probability and stochastic processes [see, for example Cox and Miller (1965) and Breiman (1968)]. This process has arisen in several fields. In fact, in such areas as astrophysics (Chandrasekhar 1943) and electrical engineering (Stumpers, 1950), the same kinds of problems have arisen as as confront us in the determination of firing times of neurons. The OUP seems to have been first mentioned in the present context by Calvin and Stevens (1965).».

la cosa che mi ha stupefatto è che anche io, nel mio piccolo orticello matematico, ho dovuto assistere a numerosi talks su operatori di ornstein-uhlenbeck. mai avevo pensato, fino ad ora per lo meno, che fosse un argomento di qualche rilevanza oltre la comunità matematica. d'altra parte, nessuno dei matematici che ho sentito discutere animatamente di tali argomenti astrusi ha mai accennato, seppur vagamente, a un qualche tipo di applicazione.

di più: gli OUP appaiono sia nell'astrofisica che nelle dimaniche neurali, esattamente come alcuni fenomeni simili a dinamiche su e di reti (o grafi), come spiegato nel post citato precedentemente da neuroevolution. quindi mi sembrerebbe naturale studiare operatori di OU su grafi. e il bello è che qualche mese fa abbiamo messo in cantiere un progetto simile con un matematico ungro-germanico, per motivi completamente diversi.

oddio, non completamente diversi, ma comunque non provenienti dalla stocastica, ma dall'analisi.

PS: purtroppo non ho trovato riferimenti in internet per gli altri due articoli...

pausa con excursus

di piè' sol temo, non alcun feace mi superi nel corso

odisseo

oggi sono venuto di corsa all'universitá e ho notato ancora una volta un fenomeno che mi affascina. premessa: la strada da casa all'universitá é in salita, e quindi faticosa. seconda premessa: spesso, quando corro, i miei pensieri divagano su ogni possibile tema, non ultimo: la matematica.

in questi momenti di distrazione la fatica si fa sempre sentire con maggiore intensitá. soprattutto quando i miei pensieri sono raffigurazioni precise di altre attivitá, fisiche o meno. come se questo desincronizzasse tutto il programma di corsa presente nel mio cervello.

peraltro, é sufficiente che io mi raffiguri mentalmente l'atto della corsa, insomma, che mi concentri su di essa, per far sparire quella sensazione di lieve fatica.

mente e cervello

non puó piovere per sempre. ma per 36 ore consecutive, si.

brandon lee & s.c.

un po' mi fa arrabbiare pietro greco, il giornalista scientifico dell'unitá. sempre con questo suo atteggiamento positivista, da "magnifiche sorti e progressive". buon vecchio marxista. d'altra parte si scaglia continuamente contro tutte le teorie finalistiche, in particolare contro tutti coloro che osano criticare darwin (e quando si tratta dei difensori dell'intelligent design, non posso che dirmi d'accordo), quindi devo supporre che non possa essere marxista in senso stretto. ma comunque.

qui recensisce in maniera interessante due libri sul problema della coscienza. questo problema della coscienza mi affascina particolarmente in questo periodo: se é vero che la mente é il cervello, come sembrano affermare questi due, mi si pongono alcuni problemi. innanzitutto, dovrei rinunciare alla trascendenza delle idee matematiche, e non voglio. e poi, questo ansatz sembra postulare a priori che il linguaggio matematico sia quello giusto per descrivere questa materia. cosa che mi sembra bizzarra a causa dei teoremi di gödel.

platonismo

to gar zêtein ara kai to manthanein anamnêsis holon estin.

platon

in questo periodo sto leggendo un meraviglioso libro di alain connes e jean-pierre changeux: matière à pensée. riporto un argomento di alain connes - rielaborato in parte da me, si parva licet - a favore dell'esistenza platonica delle idee matematiche.

in generale l'uomo deduce l'esistenza reale di un mondo esterno dalla consistenza interpersonale e dalla permanenza temporale della propria percezione di esso. per essere piú precisi: dall'esistenza di un effetto, cioé le proprie percezioni consistenti e permanenti, si deduce l'esistenza di una causa che lo produce, la quale cause chiamiamo per comoditá mondo fisico. alla stessa maniera si deduce, a mio parere, l'esistenza di un "mondo delle idee matematiche": le percezioni matematiche - definizioni, teoremi, e via dimostrando - hanno, in realtá, le stesse qualitá di consistenza e permanenza. l'obiezione che si oppone a questo argomento é che ció che io chiamo mondo delle idee matematiche altro non é che una rappresentazione mentale di un linguaggio universale. quello della matematica, per l'appunto. ma ció é assurdo! infatti lo stesso ragionamento si potrebbe applicare alle nostre percezioni del "mondo fisico", e giungere alla conclusione che esso non esiste, in quanto possiede una rappresentazione mentale. da dove si é originato questo assurdo? certamente dal fatto che abbiamo confuso un oggetto, cioé il mondo fisico o il mondo delle idee matematiche, con il suo correlato neurale, cioé con la sua rappresentazione mentale.

reti di attrattori

stavo leggendo alcuni articoli su anelli continui di neuroni. si usano tali cose bizzare per simulare, dicono questi scienziati, la memoria a breve termine di pattern visivi. c´e´ qualcosa pero´ che mi disturba. loro dicono che il riconoscimento di un pattern corrisponde alla convergenza di una certa equazione di evoluzione verso un equilibrio inomogeneo. ovvero che la soluzione di tale equazione di evoluzione, che chiamero´ u(t,x) converge per t --> oo verso una funzione v(x) che non e´ costante rispetto a x.

ora, per giove, decidetevi! volete una memoria a breve termine, o volete una memoria a lungo termine? se la memoria e´ a breve termine, si suppone che per t-->oo i vari pattern vengano, per cosi´ dire, azzerati. ovvero che u(t,x) converga verso una funzione v(x)=c, cioe´ costante nello spazio.

quello che io tenderei ad affermare, insomma, e´ che la memoria a breve termine corrisponde ad un transiente nell´equazione di evoluzione. la memoria a lungo termine, ovvero il fatto che ci siano dei pattern registrati nell´anello, corrisponde invece all´esistenza di soluzioni asintotiche. d´altra parte, leggendo codesti articoli, ho anche capito il motivo storico per cui si e´ originato questo equivoco. ma questa e´ un´altra storia.

cervello di topo

interaction is complexity

d.m. e s.c.

dei ricercatori di losanna si sono imbarcati in una impresa mostruosa: stanno ricostruendo il cervello di un topo montando migliaia di processori, che immagino simulino in tempo reale dei neuroni di tipo h-h, in parallelo. sul sito di spiegel si possono trovare un sacco di informazioni, anche se in tedesco.
premetto che mi piacerebbe immensamente trovare una maniera per fare un periodo da loro. pero' mi chiedevo: cosa vogliono ottenere precisamente?
e´ ovvio che questa mia domanda e´ un po´ sciocca, dato che e´ evidente che non lo sanno, ne possono saperlo. pero´ mi domandavo che tipo di informazioni ci si puo´ aspettare da un progetto del genere. sono curioso di vedere come andra´ a finire.