Qu'ils soient dotés ou non d'un réseau de neurones, les moteurs d'échecs sont constitués de deux composants, nous rappelle Tony Schwedek. Le premier crée l'arbre de recherche, alors que le second le parcourt en évaluant chaque position. Le premier composant enregistre alors les résultats et recherche le meilleur coup dans la position actuelle sur l'arbre de recherche, comme on peut en avoir l'illustration ici.
Autrefois, le deuxième composant était une fonction d'évaluation compliquée et optimisée par l'homme. Ce qui est révolutionnaire aujourd'hui, c'est justement que la fonction d'évaluation repose sur un réseau de neurones. De plus, si dans le passé on utilisait presque exclusivement l'algorithme Minimax pour réaliser l'évaluation, dans le contexte actuel des réseaux neuronaux, c'est la méthode de MonteCarlo qui tend à s'imposer.
Le problème auquel les programmeurs faisaient face jusqu'à récemment, c'est que les réseaux neuronaux ne fonctionnaient vraiment efficacement que sur un GPU, alors que le premier composant fonctionne classiquement sur un CPU. Le nœud gordien des programmes se situe au niveau du transfert de données entre les composants. Celui-ci a été défait grâce à l'avènement du "réseau de neurones efficace et actualisable" (ƎUИИ), une architecture de réseau spécifique pour les jeux à deux personnes qui permet de d'évaluer efficacement la partie sur un CPU.
Pour être tout à fait honnête, il faut avouer que cette architecture demeure moins performante que le fonctionnement du premier composant sur le GPU. Mais c'est une solution pragmatique, puisque presque tous les ordinateurs de nos jours ont un CPU décent, mais que peu ont un GPU puissant. C'est ce point que Tony voulait mettre au clair; selon lui, l'article susmentionné fait trop vite du ƎUИИ le Saint Graal.
Un autre point que critique l'auteur est la façon dont l'article incriminé insinue que les moteurs d'échecs basés sur les réseaux neuronaux manqueraient parfois de précision chirurgicale dans les fins de parties techniques. Or ce défaut découle du premier composant - la création et la gestion de l'arbre de recherche. Le réseau de neurones n'a donc rien à voir avec cela. En remportant ses matches contre d'autres ordinateurs, AlphaZero semble avoir démontré que l'évaluation basée l'algorithme MonteCarlo n'échoue qu'avec une très faible probabilité.
Le passage suivant donne aussi une impression faussée de la façon dont fonctionne le réseau neuronal utilisé comme second composant: "Tout comme AlphaZero et la première édition de Fat Fritz, le ƎUИИ construit aussi ses propres connaissances en matière d'échecs en apprenant à partir des positions et de leur évaluation." Voyons plus précisément ce qu'il en est.
AlphaZero fonctionne de la manière suivante: vous programmez le premier composant, puis vous utilisez des réseaux neuronaux aléatoires pour le deuxième composant, et vous demandez aux moteurs ainsi bâtis de jouer un nombre de parties indéfini les uns contre les autres.
Les gagnants (par exemple les 1/10 qui se ont pris le dessus parmi les milliers de machine qui ont été créées) sont autorisés à "se reproduire": vous prenez leur réseau de neurones, (deuxième composant) en modifiant légèrement et au hasard ses paramètres. Chacun subit ainsi une mutation en quelque sorte. Des mutations différentes sont créées pour chaque réseau neuronal qualifié. On les appelle "réseaux de neurones de deuxième génération". Ils jouent à nouveau un tournoi entre eux, et le processus se répète... plusieurs milliers de fois. Cette technique est connue sous le nom d'apprentissage par renforcement.
Ce qui fascine Tony dans ce processus, c'est qu'il imite l'évolution de la nature: le principe de la sélection naturelle fonctionnerait donc brillamment en informatique également. Les plus forts survivent, se reproduisent et, par le biais de mutations, l'espèce évolue. On peut voir sur Youtube d'autres utilisations qui se basent sur le même principe; Tony trouve par exemple Super MarI/O amusant et instructif à ce sujet:
Malheureusement, l'article ne parle pas de cette élégance, se plaint Tony. Il suggère plutôt que les réseaux de neurones ont été "fabriqués par l'homme". Comme si l'homme précisait à la machine quelles positions sont bonnes et quelles positions sont mauvaises afin de lui permettre d'en tirer des enseignements. Mais, si l'ordinateur considérait les évaluations du formateur humain comme "vraies" pour en tirer des enseignements , cela signifierait qu'un réseau ne peut être aussi bon que son formateur. Or ce n'est pas du tout ce qui se passe, puisque le réseau de neurones développe sa propre vérité. C'est donc bien lui qui nous mène à de nouvelles connaissances. Ce sont les humains qui apprennent de l'ordinateur et non l'inverse!
Il s'avère qu'Albert Silver - le "coach" de Fat Fritz - a adopté une tactique hybride, en donnant à la machine les connaissances qui sont le fruit de plus de 500 ans d'histoire humaine des échecs. C'est là une approche intéressante. La confrontation entre la "pure" intelligence artificielle du type AlphaZero et celle plus "hybride" de Fat Fritz sera riche d'enseignements - y compris philosophique!
