Terence Tao – How the world's top mathematician uses AI

Today, I'm chatting with Terence Tao, who needs no introduction. Heute spreche ich mit Terence Tao, der keiner Vorstellung bedarf. Terence, I want to begin by having you retell the story of how Kepler discovered the laws of planetary motion because I think this will be a great jumping off point to talk about AI for math. Terence, ich möchte damit beginnen, dass du uns die Geschichte erzählst, wie Kepler die Gesetze der Planetenbewegung entdeckt hat, weil ich glaube, das ist ein großartiger Ausgangspunkt, um über KI in der Mathematik zu sprechen. I've always had an amateur interest in astronomy. Ich hatte schon immer ein laienhaftes Interesse an der Astronomie. I've loved stories of how the early astronomers worked out the nature of the universe. Ich habe die Geschichten geliebt, wie die frühen Astronomen die Natur des Universums herausgearbeitet haben. Kepler was building on the work of Copernicus, who was himself building on the work of Aristarchus. Kepler baute auf der Arbeit von Kopernikus auf, der seinerseits auf der Arbeit von Aristarchos aufbaute. Copernicus very famously proposed the heliocentric model, that instead of the planets and the Sun going around the Earth, the Sun was at the center of the solar system and the other planets were going around the Sun. Kopernikus schlug bekanntlich das heliozentrische Modell vor: Statt der Planeten und der Sonne, die um die Erde kreisen, steht die Sonne im Mittelpunkt des Sonnensystems, und die anderen Planeten kreisen um die Sonne. Copernicus proposed that the orbits of the planets were perfect circles. Kopernikus schlug vor, dass die Umlaufbahnen der Planeten perfekte Kreise seien. His theory fit the observations that the Greeks, the Arabs, and the Indians had worked out over centuries. Seine Theorie passte zu den Beobachtungen, die die Griechen, Araber und Inder über Jahrhunderte hinweg erarbeitet hatten. Kepler learned about these theories in his studies, and he made this observation that the ratios of the size of the orbits that Copernicus predicted seemed to have some geometric meaning. Kepler erfuhr in seinem Studium von diesen Theorien und machte die Beobachtung, dass die Verhältnisse der Größen der von Kopernikus vorhergesagten Umlaufbahnen eine gewisse geometrische Bedeutung zu haben schienen. He started proposing that if you take the orbit of the Earth and you enclose it in a cube, the outer sphere that encloses the cube almost perfectly matched the orbit of Mars, and so forth. Er begann zu vermuten, dass wenn man die Erdumlaufbahn nimmt und sie in einen Würfel einschreibt, die äußere Kugel, die den Würfel umschließt, fast perfekt mit der Marsbahn übereinstimmt, und so weiter. There were six planets known at the time and five gaps between them, and there were five perfect Platonic solids: the cube, the tetrahedron, icosahedron, octahedron, and dodecahedron. Zu jener Zeit kannte man sechs Planeten und fünf Lücken zwischen ihnen, und es gab fünf vollkommene platonische Körper: den Würfel, das Tetraeder, das Ikosaeder, das Oktaeder und das Dodekaeder. So he had this theory, which he thought was absolutely beautiful, that you could inscribe these Platonic solids between the spheres of the planets. So hatte er diese Theorie, die er für absolut schön hielt: Man könne diese platonischen Körper zwischen die Sphären der Planeten einschreiben. It seemed to fit, and it seemed to him that God's design of the planets was matching this mathematical perfection of the Platonic solids. Es schien zu passen, und es erschien ihm, als ob Gottes Schöpfungsplan der Planeten dieser mathematischen Vollkommenheit der platonischen Körper entspreche. He needed data to confirm this theory. Er benötigte Daten, um diese Theorie zu bestätigen. At the time, there was only one really high-quality dataset in existence. Zu jener Zeit gab es nur einen wirklich hochwertigen Datensatz. Tycho Brahe, this very wealthy, eccentric Danish astronomer, had managed to convince the Danish government to fund this extremely expensive observatory. Tycho Brahe, dieser sehr wohlhabende, exzentrische dänische Astronom, hatte es geschafft, die dänische Regierung zu überzeugen, eine ungemein teure Sternwarte zu finanzieren. In fact, it was an entire island where he had taken decades of observations of all the planets, like Mars and Jupiter, at least every night for which the weather was clear, with the naked eye. Tatsächlich war es eine ganze Insel, wo er jahrzehntelang Beobachtungen aller Planeten gesammelt hatte, wie Mars und Jupiter, an jedem klaren Abend mit bloßem Auge. He was the last of the naked-eye astronomers. Er war der letzte der Blickauge-Astronomen. He had all this data which Kepler could use to confirm his theory. Er besaß all diese Daten, die Kepler nutzen konnte, um seine Theorie zu bestätigen. Kepler started working with Tycho, but Tycho was very jealous of the data. Kepler begann mit Tycho zusammenzuarbeiten, aber Tycho war sehr eifersüchtig auf die Daten. He only gave him little bits of it at a time. Er gab ihm nur kleine Teile davon auf einmal. Kepler eventually just stole the data. Kepler stahl die Daten schließlich einfach. He copied it and had to have a fight with Brahe's descendants. Er kopierte sie und musste einen Streit mit Brahes Nachkommen ausfechten. He did get the data, and then he worked out, to his disappointment, that his beautiful theory didn't quite work. Er bekam die Daten schließlich, und stellte zu seiner Enttäuschung fest, dass seine schöne Theorie nicht ganz aufging. The data was off from his Platonic solid theory by 10% or something. Die Daten wichen um 10% oder so von seiner Theorie der platonischen Körper ab. He tried all kinds of fudges, moving the circles around, and it didn't quite work. Er versuchte allerlei Korrekturen, verschob die Kreise, doch es klappte einfach nicht. But he worked on this problem for years and years, and eventually, he figured out how to use the data to work out the actual orbits of the planets. Aber er arbeitete jahrelang an diesem Problem, und schließlich fand er heraus, wie er die Daten nutzen konnte, um die tatsächlichen Umlaufbahnen der Planeten zu bestimmen. That was an incredibly clever, genius amount of data analysis. Das war eine unglaublich clevere, geniale Datenanalyse. And then he worked out that the orbits were actually ellipses, not circles, which was shocking for him. Dann fand er heraus, dass die Umlaufbahnen tatsächlich Ellipsen waren, keine Kreise, was ihn erschütterte. So he worked out the two laws of planetary motion: the ellipses, and also that equal areas sweep out equal times. So arbeitete er die zwei Gesetze der Planetenbewegung heraus: die Ellipsen, und außerdem, dass gleiche Flächen in gleichen Zeiten überstrichen werden. Then ten years later, after collecting a lot of data—the furthest planets like Saturn and Jupiter were the hardest for him to work out—he finally worked out this third law, that the time it takes for a planet to complete its orbit was proportional to some power of the distance to the Sun. Dann arbeitete er zehn Jahre später, nachdem er viele Daten gesammelt hatte, das dritte Gesetz heraus: Die Zeit, die ein Planet benötigt, um seine Umlaufbahn zu vollenden, ist proportional zu einer bestimmten Potenz des Abstands zur Sonne. These are the three famous Kepler's laws of motion. Das sind die drei berühmten Keplerschen Gesetze der Planetenbewegung. He had no explanation for them. Er hatte keine Erklärung dafür. It was all driven by experiment, and it took Newton a century later to give a theory that explained all three laws at once. Es war alles experimentell getrieben, und es dauerte ein Jahrhundert, bis Newton eine Theorie lieferte, die alle drei Gesetze gleichzeitig erklärte. The take I want to try on you is that Kepler was a high-temperature LLM. Meine These, die ich dir vorlegen möchte, ist: Kepler war ein Hochtemperatur-LLM. Newton comes up with this explanation of why the three laws of planetary motion must be true. Newton entwickelt dann eine Erklärung, warum die drei Gesetze der Planetenbewegung gelten müssen. Of course, the way that Kepler discovers the laws of planetary motion, or figures out the relative orbits of the different planets, is as you say a work of genius. Natürlich ist die Art, wie Kepler die Gesetze der Planetenbewegung entdeckt oder die relativen Umlaufbahnen der verschiedenen Planeten herausarbeitet, wie du sagst, ein Werk des Genies. But through his career, he's just trying random relationships. Aber in seiner Karriere probiert er einfach zufällige Beziehungen aus. In fact, in the book in which he writes down the third law of planetary motion, it's an aside on The Harmonics of the World, which is just a book about how all these different planets have these different harmonies. Tatsächlich ist das Buch, in dem er das dritte Gesetz der Planetenbewegung aufschreibt, eine Randbemerkung in der "Harmonik der Welt", also einem Buch darüber, wie all diese verschiedenen Planeten verschiedene Harmonien haben. And the reason there's so much famine and misery on Earth is because the Earth is mi-fa-mi, that's the note of Earth. Und der Grund für so viel Hunger und Elend auf der Erde sei, dass die Erde mi-fa-mi sei, das ist die Note der Erde. It's all this random astrology, but in there is the cube-square law, which tells you what relationship the period has to a planet's distance from the Sun. Das ist alles zufällige Astrologie, aber darin steckt das Quadrat-Kubus-Gesetz, das dir sagt, welche Beziehung die Umlaufzeit zum Abstand eines Planeten von der Sonne hat. As you were detailing, if you add that to Newton's F=ma and the equation for centripetal acceleration, you get the inverse-square law. Wenn man das, wie du dargelegt hast, zu Newtons F=ma und der Gleichung für die Zentripetalbeschleunigung addiert, ergibt sich das Inverse-Quadrat-Gesetz. And so Newton works that out. Und so leitet Newton das her. But the reason I think this is an interesting story is that I feel LLMs can do the kind of thing of trying random relationships for twenty years, some of which make no sense, as long as there's a verifiable data bank like Brahe's dataset. Aber der Grund, warum ich das für eine interessante Geschichte halte, ist, dass mir scheint, LLMs können die Art von Dingen tun, bei denen man zwanzig Jahre lang zufällige Beziehungen ausprobiert, von denen einige keinen Sinn ergeben, solange es eine überprüfbare Datenbasis wie Brahes Datensatz gibt. "Ok, I'm going to try out random things about musical notes, Platonic objects, or different geometries, I have this bias that there's some important thing about the geometry of these orbits." "Okay, ich werde zufällige Dinge über Musiknoten, platonische Körper oder verschiedene Geometrien ausprobieren, ich habe diese Überzeugung, dass es etwas Wichtiges über die Geometrie dieser Umlaufbahnen gibt." Then one thing works. Dann klappt eine Sache. As long as you can verify it, these empirical regularities can then drive actual deep scientific progress. Solange man es verifizieren kann, können diese empirischen Regelmäßigkeiten dann echten wissenschaftlichen Fortschritt antreiben. Traditionally, when we talk about the history of science, idea generation has always been the prestige part of science. Traditionell, wenn wir über die Geschichte der Wissenschaft sprechen, war die Ideengenerierung immer der Prestige-Teil der Wissenschaft. A scientific problem comes with many steps. Ein wissenschaftliches Problem umfasst viele Schritte. You have to identify a problem, and then you have to identify a good, fruitful problem to work on. Man muss ein Problem identifizieren, und dann muss man ein gutes, fruchtbares Problem finden, an dem man arbeiten möchte. Then you need to collect data, figure out a strategy to analyze the data, and make a hypothesis. Dann muss man Daten sammeln, eine Strategie zur Datenanalyse entwickeln und eine Hypothese aufstellen. At this point, you need to propose a good hypothesis, and then you need to validate. An diesem Punkt muss man eine gute Hypothese vorschlagen und dann validieren. Then you need to write things up and explain. Dann muss man die Ergebnisse niederschreiben und erklären. There are a dozen different components. Es gibt ein Dutzend verschiedener Komponenten. The ones we celebrate are these eureka genius moments of idea generation. Die, die wir feiern, sind diese Heureka-Geistesblitze der Ideengenerierung. Kepler certainly had to cycle through many ideas, several of which didn't work. Kepler musste sicherlich viele Ideen durchlaufen, von denen einige nicht funktionierten. I bet there were many that he didn't even publish at all because they just didn't fit. Ich wette, es gab viele, die er überhaupt nicht veröffentlichte, weil sie einfach nicht passten. That's an important part of the process, trying all kinds of random things and seeing if they worked. Das ist ein wichtiger Teil des Prozesses: allerlei zufällige Dinge ausprobieren und sehen, ob sie funktionieren. But as you say, it has to be matched by an equal amount of verification, otherwise it's slop. Aber wie du sagst, muss das durch ein gleiches Maß an Verifikation ergänzt werden, sonst ist es Schund. We celebrate Kepler, but we should also celebrate Brahe for his assiduous data collection, which was ten times more precise than any previous observation. Wir feiern Kepler, aber wir sollten auch Brahe für seine sorgfältige Datensammlung feiern, die zehnmal präziser war als jede frühere Beobachtung. That extra decimal point of accuracy was essential for Kepler to get his results. Diese zusätzliche Dezimalstelle Genauigkeit war entscheidend für Kepler, um seine Ergebnisse zu erzielen. He was using Euclidean geometry and the most advanced mathematics he could use at the time to match his models with the data. Er verwendete die Euklidische Geometrie und die fortschrittlichste Mathematik, die er damals einsetzen konnte, um seine Modelle mit den Daten abzugleichen. All aspects had to be in play: the data, the theory, and the hypothesis generation. Alle Aspekte mussten zusammenspielen: die Daten, die Theorie und die Hypothesengenerierung. I'm not sure nowadays that hypothesis generation is the bottleneck anymore. Ich bin mir nicht sicher, ob die Hypothesengenerierung heute noch der Engpass ist. Science has changed in the century since. Die Wissenschaft hat sich im vergangenen Jahrhundert verändert. Classically, the two big paradigms for science were theory and experiment. Klassisch gab es zwei große Paradigmen der Wissenschaft: Theorie und Experiment. Then in the 20th century, numerical simulation came along, so you can do computer simulations to test theories. Dann kam im 20. Jahrhundert die numerische Simulation hinzu, sodass man Computersimulationen zur Überprüfung von Theorien einsetzen kann. Finally, in the late 20th century, we had big data. Schließlich hatten wir im späten 20. Jahrhundert Big Data. We had the era of data analysis. Wir hatten die Ära der Datenanalyse. A lot of new progress is actually driven now by analyzing massive datasets first. Viele neue Fortschritte werden heute durch die Analyse massiver Datensätze angetrieben. You collect large datasets and then draw patterns from them to deduce thoughts. Man sammelt große Datensätze und extrahiert dann Muster, um daraus Erkenntnisse abzuleiten. This is a little bit different from how science used to work, where you make a few observations or have one out-of-the-blue idea, and then collect data to test your idea. Das unterscheidet sich ein wenig davon, wie Wissenschaft früher funktionierte, wo man ein paar Beobachtungen machte oder eine plötzliche Idee hatte und dann Daten sammelte, um diese Idee zu testen. That's the classic scientific method. Das ist die klassische wissenschaftliche Methode. Now it's almost reversed. Jetzt ist es fast umgekehrt. You collect big data first, and then you try to get hypotheses from it. Man sammelt zuerst große Datenmengen und versucht dann, Hypothesen daraus zu gewinnen. Kepler was maybe one of the first early data scientists, but even he didn't start with Tycho's dataset and then analyze it. Kepler war vielleicht einer der ersten frühen Datenwissenschaftler, aber selbst er begann nicht mit Tychos Datensatz und analysierte ihn dann. He had some preconceived theories first. Er hatte zunächst vorgefasste Theorien. It seems like this is less and less the way we make progress, just because the data is so much more massive and useful. Es scheint, als ob dies immer weniger der Weg ist, auf dem wir Fortschritte machen, einfach weil die Daten so viel umfangreicher und nützlicher sind. Oh, interesting. Oh, interessant. I feel like the 20th-century science that you're describing actually very well describes what happened with Kepler. Ich habe das Gefühl, dass die Wissenschaft des 20. Jahrhunderts, die du beschreibst, eigentlich sehr gut beschreibt, was mit Kepler passierte. He did have these ideas—1595 and '96 is where he comes up with the polygons and then the Platonic objects theory—but they were wrong. Er hatte diese Ideen, 1595 und 1596 entwickelte er die Theorie der Vielecke und dann der platonischen Körper, aber sie waren falsch. Then a few years later, he gets Brahe's data, and it's only after twenty years of trying random things that he gets this empirical regularity. Dann erhält er einige Jahre später Brahes Daten, und erst nach zwanzig Jahren des Ausprobierens zufälliger Dinge findet er diese empirische Regelmäßigkeit. It actually feels a bit closer to Brahe's data being analogous to some massive data bank of simulations, and now that you've got the data, you can keep trying random things. Es fühlt sich tatsächlich so an, als wäre Brahes Datensatz analog zu einer riesigen Datenbank aus Simulationen, und jetzt, wo man die Daten hat, kann man immer wieder zufällige Dinge ausprobieren. If it wasn't for that, Kepler would be out there just writing books about harmonics and Platonic objects, and there would be nothing to actually verify against. Wäre das nicht so gewesen, hätte Kepler einfach Bücher über Harmonik und platonische Körper geschrieben, und es hätte nichts gegeben, womit man tatsächlich vergleichen könnte. The data was extremely important. Die Daten waren äußerst wichtig. The distinction I was trying to make was that traditionally, you make a hypothesis and then you test it against data. Die Unterscheidung, die ich zu machen versuchte, war, dass man traditionell eine Hypothese aufstellt und diese dann gegen Daten testet. But now with machine learning, data analysis, and statistics, you can start with data and through statistics work out laws that were not present before. Aber jetzt kann man mit maschinellem Lernen, Datenanalyse und Statistik mit Daten beginnen und durch Statistik Gesetze herausarbeiten, die vorher nicht existierten. Kepler's third law is a little bit like this, except that instead of having the thousand data points that Brahe had, Kepler had six data points. Keplers drittes Gesetz ist ein bisschen so, außer dass Kepler statt der tausend Datenpunkte, die Brahe hatte, nur sechs Datenpunkte hatte. For every planet, he knew the length of the orbit and the distance to the Sun. Für jeden Planeten kannte er die Länge der Umlaufbahn und den Abstand zur Sonne. There were five or six data points, and he did what we would now call regression. Es waren fünf oder sechs Datenpunkte, und er machte das, was wir heute Regression nennen würden. He fit a curve to these six data points and got a square-cube law, which was amazing. Er passte eine Kurve an diese sechs Datenpunkte an und erhielt das Quadrat-Kubus-Gesetz, was erstaunlich war. But he was quite lucky that these six data points gave him the right conclusion. Aber er hatte großes Glück, dass ihm diese sechs Datenpunkte das richtige Ergebnis lieferten. That's not enough data to be really reliable. Das ist nicht genug Daten, um wirklich verlässlich zu sein. There was a later astronomer, Johann Bode, who took the same data—the distances to the planets—and inspired by Kepler, he had a prediction that the distances to the planets formed a shifted geometric progression. Es gab einen späteren Astronomen, Johann Bode, der dieselben Daten nahm, die Abstände zu den Planeten, und, von Kepler inspiriert, die Vorhersage machte, dass die Abstände zu den Planeten eine verschobene geometrische Reihe bildeten. He also fit a curve, except there was one point missing. Er passte ebenfalls eine Kurve an, allerdings fehlte ein Punkt. There was a big gap between Mars and Jupiter. Zwischen Mars und Jupiter gab es eine große Lücke. His law predicted that there was a missing planet. Sein Gesetz sagte voraus, dass es einen fehlenden Planeten gab. It was kind of a crank theory, except when Uranus was discovered by Herschel, the distance to Uranus fit exactly this pattern. Es war eine Art Außenseiter-Theorie, aber als Uranus von Herschel entdeckt wurde, passte der Abstand zu Uranus genau zu diesem Muster. Then Ceres was discovered in the asteroid belt, and it also fit the pattern. Dann wurde Ceres im Asteroidengürtel entdeckt, und auch das passte zum Muster. People got really excited that Bode had discovered this amazing new law of nature. Die Leute gerieten in große Aufregung, dass Bode dieses erstaunliche neue Naturgesetz entdeckt hatte.