Premio Loebner

Il Premio Loebner è una competizione annuale d'intelligenza artificiale svolta nell'Università di Reading. Viene premiato il chat bot in grado di ottenere il punteggio migliore in uno scenario da test di Turing. La giuria distingue le risposte del programma dall’essere umano.

La prima edizione fu organizzata nel 1991 da Hugh Loebner, in collaborazione con il Cambridge Center for Behavioral Studies. Negli anni successivi la competizione si svolse con il supporto della Flinders University, del Dartmouth College, dello Science Museum e dell'Università di Reading. Le regole della gara cambiarono nel 2019: i giudici vennero sostituiti dal pubblico e fu deciso che non si tenessero più sfide tra esseri umani e bot.

Il premio è stato oggetto di critiche, una su tutte quella dell'informatico Marvin Minsky, che definisce la competizione "una bravata pubblicitaria".

Premi

Nel 1991, i vincitori ottenerono un premio di 2.000 $. Successivamente, la cifra aumentò a 3000$ nel 2005, calò a 2.250$ nel 2006 e risalì a 3.000$ nel 2008. Ci sono inoltre due premi a una tantum: il primo, di 25.000$, è designato per il primo programma che non permetta al pubblico di distinguere un bot da un essere umano, durante una conversazione a sola base testuale; il secondo, del valore di 100.000$, è assegnato al computer che raggiunga i requisiti del premio precedente e che riesca ad elaborare audio e video. Qualora i premi venissero vinti, la gara si conclude.

Regole di competizione e restrizioni

Nelle prime competizioni i metri di valutazione della conversazione erano pochi. Dal 2007 viene stabilito uno schema di base per la composizione del discorso, al fine di valutare al meglio il livello del bot. I giudici osservano la durata e l'argomento della discussione. Lo schema si suddivide in: Conoscenza generale ("Cosa è un martello?"), paragoni ("Cosa è più veloce, un treno o un aereo?") e domande che utilizzano la memoria per analizzare parti precedenti della stessa conversazione. Il lessico e i verbi devono essere presi da un dizionario per ragazzi con un'età uguale o minore ai 12 anni.

Nel 2008 lo sponsor decise di aggiungere una fase preliminare all'apertura della competizione, dando la possibilità d'iscriversi attraverso il web. Coloro che giudicano i programmi hanno 5 minuti per raccogliere le domande e altri 5 minuti per condurre conversazioni simultanee.

Edizioni

2006

Nel 2006, la gara viene organizzata da Tim Child (CEO di Televirtual) e dalla ricercatrice Huma Shah. Il 30 agosto dello stesso anno vengono annunciati i 4 finalisti:

Rollo Carpenter;
Richard Churchill e Marie-Claire Jenkins;
Noah Duncan;
Robert Medeksza.

La finale si svolge il 17 settembre nel teatro di VR, Torrington Place dell'Università di Londra. Tra i giudici, sono presenti: il professore di Cibernetica dell'Università di Reading, Kevin Warwick; un professore d'intelligenza artificiale, John Barnden; una specialista in ricerca della metafora all'Università di Birmingham, l’avvocato Victoria Butler-Cole e il giornalista Graham Duncan-Rowe. La seconda parte dell'evento viene descritta in un articolo del Technology Review. Il vincitore è 'Joan', programmato su Jabberwacky, un sistema creato da Rollo Carpenter.

2007

La finale del 2007 si svolge il 21 ottobre a New York. I giudici sono: il professore d'informatica Russ Abbott, il professore di filosofia Hartry Field, il professore di Psicologia Clayton Curtis e l'organizzatore di conferenze Scott Hutchins.

Nessun bot supera il test di Turing, ma i giudici classificano ugualmente i 3 finalisti:

1º posto: Robert Medeksza da Zabaware, creatore di Ultra Hal Assistant;
2º posto: Noah Duncan, privato, creatore di Cletus;
3º posto: Rollo Carpenter da Icogno, creatore di Jabberwacky.

Il vincitore riceve 2.250$ e la medaglia annuale. Gli altri classificati vincono 250$ ciascuno.

2008

La competizione del 2008 viene organizzata dal Professore Kevin Warwick e da Huma Shah, il 12 ottobre presso l'Università di Reading. Tra giugno e luglio 2008, 6 concorrenti vengono selezionati da tredici giudici durante la fase preliminare. Infine, i 5 bot finalisti sono:

Peter Cole e Benji Adams, con Brother Jerome;
Fred Roberts da Artificial Solutions, con Elbot;
Vladimir Veselov, Eugene Demchenko e Sergey Ulasen, con Eugene Goostman;
Rollo Carpenter, con Jabberwacky;
Robert Medeksza, con Ultra Hal.

Durante la finale, ogni giurato ha cinque minuti per condurre simultaneamente conversazioni su uno stesso schermo con due entità ignote. Elbot vince la medaglia di bronzo, per l'avvicinamento alla psicologia umana come entità conversazionale ed artificiale. Infatti, riesce a farsi scambiare da tre dei dodici giudici (nella conversazione simultanea umano-macchina) per un essere umano. Eugene Goostman e Ultra Hal ingannano tutti i giurati.

2009

L'assegnazione del Premio Loebner 2009 si svolge il 6 settembre 2009 al Centre di Brighton, in congiunzione con la conferenza INTERSPEECH 2009.

I finalisti sono David Levy, Rollo Carpenter, e Mohan Embar.

2010

La gara del 2010 avviene il 23 ottobre presso la California State University.

Vincitori

Anno	Vincitore	Nome del programma
1991	Joseph Weintraub^[1]	PC Therapist
1992	Joseph Weintraub	PC Therapist
1993	Joseph Weintraub	PC Therapist
1994	Thomas Whalen	TIPS
1995	Joseph Weintraub	PC Therapist
1996	Jason Hutchens	HeX
1997	David Levy	Converse
1998	Robby Garner	Albert One
1999	Robby Garner	Albert One
2000	Richard Wallace	Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2001	Richard Wallace	Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2002	Kevin Copple	Ella
2003	Juergen Pirner	Jabberwock
2004	Richard Wallace	Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2005	Rollo Carpenter	George
2006	Rollo Carpenter	Joan
2007	Robert Medeksza	Ultra Hal
2008	Fred Roberts	Elbot
2009	David Levy	Do-Much-More
2010	Bruce Wilcox	Suzette