Terence Tao – Comment le meilleur mathématicien du monde utilise l'IA

Today, I'm chatting with Terence Tao, who needs no introduction. Aujourd'hui, je m'entretiens avec Terence Tao, qui n'a pas besoin de présentation. Terence, I want to begin by having you retell the story of how Kepler discovered the laws of planetary motion because I think this will be a great jumping off point to talk about AI for math. Terence, je voudrais commencer par vous faire raconter comment Kepler a découvert les lois du mouvement planétaire, car je pense que ce sera un excellent point de départ pour parler de l'IA appliquée aux mathématiques. I've always had an amateur interest in astronomy. J'ai toujours eu un intérêt amateur pour l'astronomie. I've loved stories of how the early astronomers worked out the nature of the universe. J'ai toujours aimé les récits sur la façon dont les premiers astronomes ont élucidé la nature de l'univers. Kepler was building on the work of Copernicus, who was himself building on the work of Aristarchus. Kepler s'appuyait sur les travaux de Copernic, qui lui-même s'appuyait sur ceux d'Aristarque. Copernicus very famously proposed the heliocentric model, that instead of the planets and the Sun going around the Earth, the Sun was at the center of the solar system and the other planets were going around the Sun. Copernic a très célèbrement proposé le modèle héliocentrique : au lieu que les planètes et le Soleil tournent autour de la Terre, c'est le Soleil qui est au centre du système solaire, et les autres planètes tournent autour de lui. Copernicus proposed that the orbits of the planets were perfect circles. Copernic proposait que les orbites des planètes étaient des cercles parfaits. His theory fit the observations that the Greeks, the Arabs, and the Indians had worked out over centuries. Sa théorie correspondait aux observations que les Grecs, les Arabes et les Indiens avaient accumulées pendant des siècles. Kepler learned about these theories in his studies, and he made this observation that the ratios of the size of the orbits that Copernicus predicted seemed to have some geometric meaning. Kepler a étudié ces théories, et il a remarqué que les rapports entre la taille des orbites prédites par Copernic semblaient avoir une signification géométrique. He started proposing that if you take the orbit of the Earth and you enclose it in a cube, the outer sphere that encloses the cube almost perfectly matched the orbit of Mars, and so forth. Il a commencé à proposer que si l'on prend l'orbite de la Terre et qu'on l'inscrit dans un cube, la sphère extérieure circumscrite au cube correspondait presque parfaitement à l'orbite de Mars, et ainsi de suite. There were six planets known at the time and five gaps between them, and there were five perfect Platonic solids: the cube, the tetrahedron, icosahedron, octahedron, and dodecahedron. Il y avait six planètes connues à l'époque et cinq écarts entre elles, et il existait cinq solides de Platon parfaits : le cube, le tétraèdre, l'icosaèdre, l'octaèdre et le dodécaèdre. So he had this theory, which he thought was absolutely beautiful, that you could inscribe these Platonic solids between the spheres of the planets. Il avait donc cette théorie, qu'il trouvait absolument magnifique : on pouvait inscrire ces solides de Platon entre les sphères des planètes. It seemed to fit, and it seemed to him that God's design of the planets was matching this mathematical perfection of the Platonic solids. Cela semblait fonctionner, et il lui semblait que la conception de Dieu pour les planètes correspondait à cette perfection mathématique des solides de Platon. He needed data to confirm this theory. Il avait besoin de données pour confirmer cette théorie. At the time, there was only one really high-quality dataset in existence. À l'époque, il n'existait qu'un seul ensemble de données vraiment de haute qualité. Tycho Brahe, this very wealthy, eccentric Danish astronomer, had managed to convince the Danish government to fund this extremely expensive observatory. Tycho Brahe, cet astronome danois très riche et excentrique, avait réussi à convaincre le gouvernement danois de financer cet observatoire extrêmement coûteux. In fact, it was an entire island where he had taken decades of observations of all the planets, like Mars and Jupiter, at least every night for which the weather was clear, with the naked eye. En fait, c'était une île entière où il avait pris des dizaines d'années d'observations de toutes les planètes, comme Mars et Jupiter, au moins chaque nuit où le temps était clair, à l'œil nu. He was the last of the naked-eye astronomers. Il a été le dernier des astronomes à l'œil nu. He had all this data which Kepler could use to confirm his theory. Il possédait toutes ces données que Kepler pouvait utiliser pour confirmer sa théorie. Kepler started working with Tycho, but Tycho was very jealous of the data. Kepler a commencé à travailler avec Tycho, mais Tycho était très jaloux de ses données. He only gave him little bits of it at a time. Il ne lui en donnait que de petits morceaux à la fois. Kepler eventually just stole the data. Kepler a finalement tout simplement volé les données. He copied it and had to have a fight with Brahe's descendants. Il les a copiées et a dû se battre contre les descendants de Brahe. He did get the data, and then he worked out, to his disappointment, that his beautiful theory didn't quite work. Il a obtenu les données, puis il a constaté, à sa déception, que sa belle théorie ne fonctionnait pas tout à fait. The data was off from his Platonic solid theory by 10% or something. Les données s'écartaient de sa théorie des solides de Platon d'environ 10 %. He tried all kinds of fudges, moving the circles around, and it didn't quite work. Il a essayé toutes sortes de bricolages, en déplaçant les cercles, et ça ne marchait pas. But he worked on this problem for years and years, and eventually, he figured out how to use the data to work out the actual orbits of the planets. Mais il a travaillé sur ce problème pendant des années et des années, et il a finalement réussi à utiliser les données pour déterminer les orbites réelles des planètes. That was an incredibly clever, genius amount of data analysis. C'était une quantité incroyablement ingénieuse et géniale d'analyse de données. And then he worked out that the orbits were actually ellipses, not circles, which was shocking for him. Il a ensuite découvert que les orbites étaient en réalité des ellipses, et non des cercles, ce qui l'a profondément surpris. So he worked out the two laws of planetary motion: the ellipses, and also that equal areas sweep out equal times. Il a ainsi formulé les deux lois du mouvement planétaire : les ellipses, et le fait que des aires égales sont balayées en des temps égaux. Then ten years later, after collecting a lot of data—the furthest planets like Saturn and Jupiter were the hardest for him to work out—he finally worked out this third law, that the time it takes for a planet to complete its orbit was proportional to some power of the distance to the Sun. Puis dix ans plus tard, après avoir collecté beaucoup de données, les planètes les plus éloignées comme Saturne et Jupiter étant les plus difficiles à analyser, il a finalement formulé cette troisième loi : le temps qu'une planète met à accomplir son orbite est proportionnel à une certaine puissance de sa distance au Soleil. These are the three famous Kepler's laws of motion. Ce sont les trois célèbres lois de Kepler sur le mouvement. He had no explanation for them. Il n'avait aucune explication à leur donner. It was all driven by experiment, and it took Newton a century later to give a theory that explained all three laws at once. Tout était guidé par l'expérience, et il a fallu attendre Newton, un siècle plus tard, pour avoir une théorie qui expliquait les trois lois à la fois. The take I want to try on you is that Kepler was a high-temperature LLM. La thèse que je voudrais vous soumettre, c'est que Kepler était un LLM à haute température. Newton comes up with this explanation of why the three laws of planetary motion must be true. Newton propose une explication de la raison pour laquelle les trois lois du mouvement planétaire doivent être vraies. Of course, the way that Kepler discovers the laws of planetary motion, or figures out the relative orbits of the different planets, is as you say a work of genius. Bien sûr, la façon dont Kepler découvre les lois du mouvement planétaire, ou reconstitue les orbites relatives des différentes planètes, est, comme vous le dites, une œuvre de génie. But through his career, he's just trying random relationships. Mais tout au long de sa carrière, il essaie des relations au hasard. In fact, in the book in which he writes down the third law of planetary motion, it's an aside on The Harmonics of the World, which is just a book about how all these different planets have these different harmonies. En fait, dans le livre où il consigne la troisième loi du mouvement planétaire, c'est une note dans L'Harmonie du monde, un ouvrage entièrement consacré aux différentes harmonies de ces planètes. And the reason there's so much famine and misery on Earth is because the Earth is mi-fa-mi, that's the note of Earth. Et si la famine et la misère règnent sur Terre, c'est parce que la Terre est mi-fa-mi, c'est la note de la Terre. It's all this random astrology, but in there is the cube-square law, which tells you what relationship the period has to a planet's distance from the Sun. C'est toute cette astrologie aléatoire, mais on y trouve la loi du carré-cube, qui indique quel rapport existe entre la période et la distance d'une planète au Soleil. As you were detailing, if you add that to Newton's F=ma and the equation for centripetal acceleration, you get the inverse-square law. Comme vous l'avez détaillé, si on l'ajoute à F=ma de Newton et à l'équation de l'accélération centripète, on obtient la loi de l'inverse-carré. And so Newton works that out. C'est ainsi que Newton s'en est rendu compte. But the reason I think this is an interesting story is that I feel LLMs can do the kind of thing of trying random relationships for twenty years, some of which make no sense, as long as there's a verifiable data bank like Brahe's dataset. Mais la raison pour laquelle je trouve cette histoire intéressante, c'est que je pense que les LLM peuvent faire le genre de chose qu'il y a à essayer des relations au hasard pendant vingt ans, dont certaines n'ont aucun sens, du moment qu'il existe un jeu de données vérifiable comme celui de Brahe. "Ok, I'm going to try out random things about musical notes, Platonic objects, or different geometries, I have this bias that there's some important thing about the geometry of these orbits." "Bon, je vais essayer des trucs au hasard sur les notes de musique, les objets platoniciens ou différentes géométries, j'ai cette intuition qu'il y a quelque chose d'important dans la géométrie de ces orbites." Then one thing works. Puis une chose fonctionne. As long as you can verify it, these empirical regularities can then drive actual deep scientific progress. Tant qu'on peut les vérifier, ces régularités empiriques peuvent ensuite conduire à de véritables progrès scientifiques profonds. Traditionally, when we talk about the history of science, idea generation has always been the prestige part of science. Traditionnellement, quand on parle de l'histoire des sciences, la génération d'idées a toujours été la partie la plus valorisée de la science. A scientific problem comes with many steps. Un problème scientifique comporte de nombreuses étapes. You have to identify a problem, and then you have to identify a good, fruitful problem to work on. Il faut d'abord identifier un problème, puis identifier un problème fécond sur lequel travailler. Then you need to collect data, figure out a strategy to analyze the data, and make a hypothesis. Ensuite, il faut collecter des données, définir une stratégie pour les analyser, et formuler une hypothèse. At this point, you need to propose a good hypothesis, and then you need to validate. À ce stade, il faut proposer une bonne hypothèse, puis la valider. Then you need to write things up and explain. Ensuite, il faut rédiger et expliquer. There are a dozen different components. Il y a une douzaine de composantes différentes. The ones we celebrate are these eureka genius moments of idea generation. Celles que l'on célèbre sont ces moments d'eureka, ces instants de génie dans la génération d'idées. Kepler certainly had to cycle through many ideas, several of which didn't work. Kepler a certainement dû parcourir de nombreuses idées, dont plusieurs n'ont pas fonctionné. I bet there were many that he didn't even publish at all because they just didn't fit. Je parie qu'il y en a beaucoup qu'il n'a même pas publiées du tout, parce qu'elles ne correspondaient tout simplement pas. That's an important part of the process, trying all kinds of random things and seeing if they worked. C'est une partie importante du processus : essayer toutes sortes de choses au hasard et voir si elles fonctionnent. But as you say, it has to be matched by an equal amount of verification, otherwise it's slop. Mais comme vous le dites, cela doit être accompagné d'une quantité égale de vérification, sinon c'est du bruit. We celebrate Kepler, but we should also celebrate Brahe for his assiduous data collection, which was ten times more precise than any previous observation. Nous célébrons Kepler, mais nous devrions aussi célébrer Brahe pour sa collecte de données assidue, dix fois plus précise que toute observation antérieure. That extra decimal point of accuracy was essential for Kepler to get his results. Ce dixième de décimale de précision supplémentaire était essentiel pour que Kepler obtienne ses résultats. He was using Euclidean geometry and the most advanced mathematics he could use at the time to match his models with the data. Il utilisait la géométrie euclidienne et les mathématiques les plus avancées disponibles à l'époque pour faire correspondre ses modèles aux données. All aspects had to be in play: the data, the theory, and the hypothesis generation. Tous les aspects devaient être réunis : les données, la théorie et la génération d'hypothèses. I'm not sure nowadays that hypothesis generation is the bottleneck anymore. Je ne suis pas sûr que la génération d'hypothèses soit encore le goulot d'étranglement de nos jours. Science has changed in the century since. La science a changé au cours du siècle écoulé. Classically, the two big paradigms for science were theory and experiment. Classiquement, les deux grands paradigmes de la science étaient la théorie et l'expérience. Then in the 20th century, numerical simulation came along, so you can do computer simulations to test theories. Puis, au 20e siècle, la simulation numérique est apparue, permettant des simulations informatiques pour tester les théories. Finally, in the late 20th century, we had big data. Enfin, à la fin du 20e siècle, nous avons eu le big data. We had the era of data analysis. Nous avons connu l'ère de l'analyse des données. A lot of new progress is actually driven now by analyzing massive datasets first. Beaucoup de nouveaux progrès sont maintenant effectivement portés par l'analyse de jeux de données massifs en premier lieu. You collect large datasets and then draw patterns from them to deduce thoughts. On collecte de grands jeux de données et on en tire des schémas pour déduire des idées. This is a little bit different from how science used to work, where you make a few observations or have one out-of-the-blue idea, and then collect data to test your idea. C'est un peu différent de la façon dont la science fonctionnait auparavant, où l'on faisait quelques observations ou avait une idée surgissant de nulle part, puis on collectait des données pour tester cette idée. That's the classic scientific method. C'est la méthode scientifique classique. Now it's almost reversed. Maintenant, c'est presque l'inverse. You collect big data first, and then you try to get hypotheses from it. On collecte d'abord les données, puis on essaie d'en tirer des hypothèses. Kepler was maybe one of the first early data scientists, but even he didn't start with Tycho's dataset and then analyze it. Kepler était peut-être l'un des premiers data scientists, mais même lui n'a pas commencé par analyser le jeu de données de Tycho. He had some preconceived theories first. Il avait d'abord des théories préconçues. It seems like this is less and less the way we make progress, just because the data is so much more massive and useful. Il semble que ce soit de moins en moins la façon dont on fait progresser la science, simplement parce que les données sont bien plus massives et utiles. Oh, interesting. Oh, intéressant. I feel like the 20th-century science that you're describing actually very well describes what happened with Kepler. J'ai l'impression que la science du 20e siècle que vous décrivez correspond en fait très bien à ce qui s'est passé avec Kepler. He did have these ideas—1595 and '96 is where he comes up with the polygons and then the Platonic objects theory—but they were wrong. Il avait bien ces idées, en 1595 et 1596, quand il formule la théorie des polygones puis des objets platoniciens, mais elles étaient fausses. Then a few years later, he gets Brahe's data, and it's only after twenty years of trying random things that he gets this empirical regularity. Quelques années plus tard, il obtient les données de Brahe, et c'est seulement après vingt ans d'essais aléatoires qu'il découvre cette régularité empirique. It actually feels a bit closer to Brahe's data being analogous to some massive data bank of simulations, and now that you've got the data, you can keep trying random things. Cela ressemble en fait davantage à un jeu de données massif de simulations, et maintenant que vous avez les données, vous pouvez continuer à essayer des choses au hasard. If it wasn't for that, Kepler would be out there just writing books about harmonics and Platonic objects, and there would be nothing to actually verify against. Sans cela, Kepler aurait continué à écrire des livres sur les harmoniques et les objets platoniciens, sans rien contre quoi vérifier. The data was extremely important. Les données étaient absolument essentielles. The distinction I was trying to make was that traditionally, you make a hypothesis and then you test it against data. La distinction que j'essayais de faire, c'est que traditionnellement, on formule une hypothèse puis on la teste contre des données. But now with machine learning, data analysis, and statistics, you can start with data and through statistics work out laws that were not present before. Mais maintenant, avec le machine learning, l'analyse de données et les statistiques, on peut partir des données et en déduire par statistiques des lois qui n'existaient pas auparavant. Kepler's third law is a little bit like this, except that instead of having the thousand data points that Brahe had, Kepler had six data points. La troisième loi de Kepler ressemble un peu à ça, sauf qu'au lieu des mille points de données de Brahe, Kepler n'en avait que six. For every planet, he knew the length of the orbit and the distance to the Sun. Pour chaque planète, il connaissait la longueur de l'orbite et la distance au Soleil. There were five or six data points, and he did what we would now call regression. Il y avait cinq ou six points de données, et il a fait ce qu'on appellerait aujourd'hui une régression. He fit a curve to these six data points and got a square-cube law, which was amazing. Il a ajusté une courbe à ces six points de données et obtenu la loi du carré-cube, ce qui était remarquable. But he was quite lucky that these six data points gave him the right conclusion. Mais il a eu de la chance que ces six points de données lui donnent la bonne conclusion. That's not enough data to be really reliable. Ce n'est pas suffisant pour être vraiment fiable. There was a later astronomer, Johann Bode, who took the same data—the distances to the planets—and inspired by Kepler, he had a prediction that the distances to the planets formed a shifted geometric progression. Il y a eu un astronome ultérieur, Johann Bode, qui a pris les mêmes données, les distances aux planètes, et, inspiré par Kepler, a prédit que ces distances formaient une progression géométrique décalée. He also fit a curve, except there was one point missing. Lui aussi a ajusté une courbe, mais il manquait un point. There was a big gap between Mars and Jupiter. Il y avait un grand écart entre Mars et Jupiter. His law predicted that there was a missing planet. Sa loi prédisait qu'il manquait une planète. It was kind of a crank theory, except when Uranus was discovered by Herschel, the distance to Uranus fit exactly this pattern. C'était une théorie un peu farfelue, sauf que quand Uranus a été découverte par Herschel, la distance à Uranus correspondait exactement à ce schéma. Then Ceres was discovered in the asteroid belt, and it also fit the pattern. Puis Cérès a été découverte dans la ceinture d'astéroïdes, et elle correspondait aussi au schéma. People got really excited that Bode had discovered this amazing new law of nature. Les gens ont vraiment eu le sentiment que Bode avait découvert cette incroyable nouvelle loi de la nature.