Теренс Тао — как лучший математик мира использует ИИ

Today, I'm chatting with Terence Tao, who needs no introduction. Сегодня я беседую с Terence Tao, который не нуждается в представлении. Terence, I want to begin by having you retell the story of how Kepler discovered the laws of planetary motion because I think this will be a great jumping off point to talk about AI for math. Terence, я хочу начать с того, чтобы ты пересказал историю открытия Кеплером законов движения планет — думаю, это станет отличной отправной точкой для разговора об ИИ в математике. I've always had an amateur interest in astronomy. У меня всегда был любительский интерес к астрономии. I've loved stories of how the early astronomers worked out the nature of the universe. Я обожаю истории о том, как первые астрономы разбирались в устройстве вселенной. Kepler was building on the work of Copernicus, who was himself building on the work of Aristarchus. Кеплер опирался на работы Коперника, который сам опирался на работы Аристарха. Copernicus very famously proposed the heliocentric model, that instead of the planets and the Sun going around the Earth, the Sun was at the center of the solar system and the other planets were going around the Sun. Коперник очень известно предложил гелиоцентрическую модель: что не планеты и Солнце вращаются вокруг Земли, а Солнце находится в центре солнечной системы и другие планеты вращаются вокруг него. Copernicus proposed that the orbits of the planets were perfect circles. Коперник предположил, что орбиты планет — идеальные окружности. His theory fit the observations that the Greeks, the Arabs, and the Indians had worked out over centuries. Его теория согласовалась с наблюдениями, которые греки, арабы и индийцы накапливали на протяжении столетий. Kepler learned about these theories in his studies, and he made this observation that the ratios of the size of the orbits that Copernicus predicted seemed to have some geometric meaning. Кеплер узнал об этих теориях в ходе обучения и заметил, что соотношения размеров орбит, предсказанных Коперником, казались геометрически значимыми. He started proposing that if you take the orbit of the Earth and you enclose it in a cube, the outer sphere that encloses the cube almost perfectly matched the orbit of Mars, and so forth. Он начал предполагать, что если взять орбиту Земли и вписать в куб, то внешняя сфера, описывающая этот куб, почти идеально совпадает с орбитой Марса, и так далее. There were six planets known at the time and five gaps between them, and there were five perfect Platonic solids: the cube, the tetrahedron, icosahedron, octahedron, and dodecahedron. В то время было известно шесть планет с пятью промежутками между ними, а правильных Платоновых тел тоже пять: куб, тетраэдр, икосаэдр, октаэдр и додекаэдр. So he had this theory, which he thought was absolutely beautiful, that you could inscribe these Platonic solids between the spheres of the planets. Он создал теорию, которую считал абсолютно прекрасной: Платоновы тела можно вписать между сферами планет. It seemed to fit, and it seemed to him that God's design of the planets was matching this mathematical perfection of the Platonic solids. Это, кажется, работало, и ему виделось, что замысел Бога при сотворении планет соответствует этому математическому совершенству Платоновых тел. He needed data to confirm this theory. Для подтверждения теории ему были нужны данные. At the time, there was only one really high-quality dataset in existence. В то время существовал лишь один по-настоящему высококачественный набор данных. Tycho Brahe, this very wealthy, eccentric Danish astronomer, had managed to convince the Danish government to fund this extremely expensive observatory. Тихо Браге — очень богатый, эксцентричный датский астроном — сумел убедить датское правительство профинансировать исключительно дорогостоящую обсерваторию. In fact, it was an entire island where he had taken decades of observations of all the planets, like Mars and Jupiter, at least every night for which the weather was clear, with the naked eye. На самом деле это был целый остров, где он в течение десятилетий наблюдал невооружённым глазом за всеми планетами — Марсом, Юпитером — каждую ясную ночь. He was the last of the naked-eye astronomers. Он был последним астрономом, работавшим без телескопа. He had all this data which Kepler could use to confirm his theory. У него были эти данные, которые Кеплер мог использовать для подтверждения своей теории. Kepler started working with Tycho, but Tycho was very jealous of the data. Кеплер начал работать с Тихо, но тот очень ревностно охранял свои данные. He only gave him little bits of it at a time. Он выдавал ему лишь небольшие фрагменты за раз. Kepler eventually just stole the data. В конце концов Кеплер просто украл данные. He copied it and had to have a fight with Brahe's descendants. Он скопировал их и долго судился с потомками Браге. He did get the data, and then he worked out, to his disappointment, that his beautiful theory didn't quite work. Данные он всё же получил, и тут обнаружил к своему разочарованию, что его красивая теория не совсем работает. The data was off from his Platonic solid theory by 10% or something. Данные расходились с его теорией Платоновых тел примерно на 10%. He tried all kinds of fudges, moving the circles around, and it didn't quite work. Он пробовал всякие ухищрения: сдвигал окружности туда-сюда — не работало. But he worked on this problem for years and years, and eventually, he figured out how to use the data to work out the actual orbits of the planets. Но он трудился над этой проблемой год за годом и в конце концов разобрался, как использовать данные для вычисления реальных орбит планет. That was an incredibly clever, genius amount of data analysis. Это был невероятно искусный, гениальный анализ данных. And then he worked out that the orbits were actually ellipses, not circles, which was shocking for him. И тут он обнаружил, что орбиты на самом деле эллипсы, а не окружности — что было для него потрясением. So he worked out the two laws of planetary motion: the ellipses, and also that equal areas sweep out equal times. Так он вывел два закона движения планет: закон эллипсов и закон равных площадей. Then ten years later, after collecting a lot of data—the furthest planets like Saturn and Jupiter were the hardest for him to work out—he finally worked out this third law, that the time it takes for a planet to complete its orbit was proportional to some power of the distance to the Sun. Потом, десять лет спустя, собрав много данных — дальние планеты, Сатурн и Юпитер, давались ему труднее всего — он наконец вывел третий закон: период обращения планеты пропорционален некоторой степени расстояния до Солнца. These are the three famous Kepler's laws of motion. Это знаменитые три закона Кеплера. He had no explanation for them. Никакого объяснения им у него не было. It was all driven by experiment, and it took Newton a century later to give a theory that explained all three laws at once. Всё держалось на эксперименте, и лишь столетие спустя Ньютон создал теорию, объяснившую все три закона сразу. The take I want to try on you is that Kepler was a high-temperature LLM. Тезис, который я хочу тебе предложить: Кеплер был высокотемпературным LLM. Newton comes up with this explanation of why the three laws of planetary motion must be true. Ньютон приходит с объяснением того, почему три закона движения планет должны быть именно такими. Of course, the way that Kepler discovers the laws of planetary motion, or figures out the relative orbits of the different planets, is as you say a work of genius. Конечно, то, как Кеплер открыл законы движения планет или разобрался с относительными орбитами разных планет, — это, как ты и сказал, гениальная работа. But through his career, he's just trying random relationships. Но на протяжении всей карьеры он просто перебирал случайные соотношения. In fact, in the book in which he writes down the third law of planetary motion, it's an aside on The Harmonics of the World, which is just a book about how all these different planets have these different harmonies. В книге, где он записывает третий закон движения планет, это лишь заметка в «Гармонии мира» — книге о том, как у разных планет разные гармонии. And the reason there's so much famine and misery on Earth is because the Earth is mi-fa-mi, that's the note of Earth. И причина, по которой на Земле так много голода и несчастий, в том, что Земля — это ми-фа-ми, это нота Земли. It's all this random astrology, but in there is the cube-square law, which tells you what relationship the period has to a planet's distance from the Sun. Там много случайной астрологии, но среди всего этого — закон куба и квадрата, который говорит, каково соотношение периода обращения к расстоянию планеты от Солнца. As you were detailing, if you add that to Newton's F=ma and the equation for centripetal acceleration, you get the inverse-square law. Как ты объяснял, если добавить к этому второй закон Ньютона F=ma и уравнение центростремительного ускорения, получится закон обратных квадратов. And so Newton works that out. И Ньютон это выводит. But the reason I think this is an interesting story is that I feel LLMs can do the kind of thing of trying random relationships for twenty years, some of which make no sense, as long as there's a verifiable data bank like Brahe's dataset. Но почему я думаю, что эта история интересна: мне кажется, LLM могут делать то же самое — перебирать случайные соотношения двадцать лет, часть которых не имеет смысла, пока есть верифицируемый банк данных вроде набора Браге. "Ok, I'm going to try out random things about musical notes, Platonic objects, or different geometries, I have this bias that there's some important thing about the geometry of these orbits." «Окей, я буду пробовать случайные вещи про музыкальные ноты, Платоновы тела, разные геометрии, у меня есть интуиция, что в геометрии этих орбит есть что-то важное.» Then one thing works. Потом что-то срабатывает. As long as you can verify it, these empirical regularities can then drive actual deep scientific progress. Пока это можно верифицировать, эти эмпирические закономерности могут вести к настоящему глубокому научному прогрессу. Traditionally, when we talk about the history of science, idea generation has always been the prestige part of science. Традиционно, когда мы говорим об истории науки, генерация идей всегда была самой престижной частью. A scientific problem comes with many steps. У научной проблемы много этапов. You have to identify a problem, and then you have to identify a good, fruitful problem to work on. Надо выявить проблему, затем определить перспективную, над которой стоит работать. Then you need to collect data, figure out a strategy to analyze the data, and make a hypothesis. Потом нужно собрать данные, придумать стратегию их анализа и выдвинуть гипотезу. At this point, you need to propose a good hypothesis, and then you need to validate. На этом этапе нужно предложить хорошую гипотезу, а затем верифицировать. Then you need to write things up and explain. Потом надо всё описать и объяснить. There are a dozen different components. Есть дюжина разных компонентов. The ones we celebrate are these eureka genius moments of idea generation. Мы чествуем те самые озарения — гениальные моменты эврики в генерации идей. Kepler certainly had to cycle through many ideas, several of which didn't work. Кеплер, конечно, перебрал множество идей, несколько из которых не работали. I bet there were many that he didn't even publish at all because they just didn't fit. Уверен, было много таких, которые он вообще не публиковал, потому что они просто не вязались с данными. That's an important part of the process, trying all kinds of random things and seeing if they worked. Это важная часть процесса — пробовать всякие случайные вещи и смотреть, что работает. But as you say, it has to be matched by an equal amount of verification, otherwise it's slop. Но, как ты и говоришь, это должно сопровождаться равным количеством верификации, иначе это просто мусор. We celebrate Kepler, but we should also celebrate Brahe for his assiduous data collection, which was ten times more precise than any previous observation. Мы чествуем Кеплера, но должны чествовать и Браге за его тщательный сбор данных, которые были в десять раз точнее любых предыдущих наблюдений. That extra decimal point of accuracy was essential for Kepler to get his results. Именно этот дополнительный знак точности был решающим для результатов Кеплера. He was using Euclidean geometry and the most advanced mathematics he could use at the time to match his models with the data. Он использовал евклидову геометрию и самую передовую математику своего времени, чтобы согласовать свои модели с данными. All aspects had to be in play: the data, the theory, and the hypothesis generation. В игре должны были участвовать все аспекты: данные, теория и генерация гипотез. I'm not sure nowadays that hypothesis generation is the bottleneck anymore. Не уверен, что генерация гипотез — по-прежнему узкое место. Science has changed in the century since. Наука изменилась за последнее столетие. Classically, the two big paradigms for science were theory and experiment. Классически было две большие парадигмы в науке: теория и эксперимент. Then in the 20th century, numerical simulation came along, so you can do computer simulations to test theories. Потом в XX веке появилось численное моделирование — можно делать компьютерные симуляции для проверки теорий. Finally, in the late 20th century, we had big data. Наконец, в конце XX века у нас появились большие данные. We had the era of data analysis. Наступила эпоха анализа данных. A lot of new progress is actually driven now by analyzing massive datasets first. Многие новые достижения сейчас фактически обусловлены анализом огромных наборов данных. You collect large datasets and then draw patterns from them to deduce thoughts. Вы собираете большие наборы данных, а затем извлекаете из них закономерности для построения умозаключений. This is a little bit different from how science used to work, where you make a few observations or have one out-of-the-blue idea, and then collect data to test your idea. Это несколько отличается от того, как наука работала раньше: сначала несколько наблюдений или неожиданная идея, потом сбор данных для её проверки. That's the classic scientific method. Это классический научный метод. Now it's almost reversed. Теперь всё почти наоборот. You collect big data first, and then you try to get hypotheses from it. Сначала собираешь большие данные, а потом пытаешься извлечь из них гипотезы. Kepler was maybe one of the first early data scientists, but even he didn't start with Tycho's dataset and then analyze it. Кеплер был, пожалуй, одним из первых учёных в области данных, но даже он не начинал с набора данных Тихо и последующего анализа. He had some preconceived theories first. Сначала у него были какие-то предвзятые теории. It seems like this is less and less the way we make progress, just because the data is so much more massive and useful. Похоже, всё меньше и меньше прогресс достигается именно таким образом — просто потому, что данные стали намного масштабнее и полезнее. Oh, interesting. О, интересно. I feel like the 20th-century science that you're describing actually very well describes what happened with Kepler. Мне кажется, наука XX века, которую ты описываешь, очень хорошо описывает и то, что случилось с Кеплером. He did have these ideas—1595 and '96 is where he comes up with the polygons and then the Platonic objects theory—but they were wrong. У него были идеи — 1595 и 1596 годы, когда он придумывает многоугольники, а потом теорию Платоновых тел — но они были неверны. Then a few years later, he gets Brahe's data, and it's only after twenty years of trying random things that he gets this empirical regularity. Потом несколько лет спустя он получает данные Браге, и лишь после двадцати лет проб случайных вещей он получает эту эмпирическую закономерность. It actually feels a bit closer to Brahe's data being analogous to some massive data bank of simulations, and now that you've got the data, you can keep trying random things. Это на самом деле больше похоже на то, что данные Браге аналогичны некому огромному банку симуляций, и теперь, имея данные, ты можешь продолжать пробовать случайные вещи. If it wasn't for that, Kepler would be out there just writing books about harmonics and Platonic objects, and there would be nothing to actually verify against. Если бы не это, Кеплер так и писал бы книги о гармониях и Платоновых телах — и не было бы ничего, с чем можно было бы реально сверяться. The data was extremely important. Данные были крайне важны. The distinction I was trying to make was that traditionally, you make a hypothesis and then you test it against data. Различие, которое я пытался провести, состояло в том, что традиционно ты выдвигаешь гипотезу и проверяешь её по данным. But now with machine learning, data analysis, and statistics, you can start with data and through statistics work out laws that were not present before. Но теперь с машинным обучением, анализом данных и статистикой можно начать с данных и через статистику вывести законы, которых прежде не существовало. Kepler's third law is a little bit like this, except that instead of having the thousand data points that Brahe had, Kepler had six data points. Третий закон Кеплера немного похож на это, только вместо тысячи точек данных, которые были у Браге, у Кеплера было шесть. For every planet, he knew the length of the orbit and the distance to the Sun. Для каждой планеты он знал длину орбиты и расстояние до Солнца. There were five or six data points, and he did what we would now call regression. Было пять или шесть точек данных, и он сделал то, что мы сейчас назвали бы регрессией. He fit a curve to these six data points and got a square-cube law, which was amazing. Он подогнал кривую к этим шести точкам и получил закон куба квадрата — что было поразительно. But he was quite lucky that these six data points gave him the right conclusion. Но ему везло, что эти шесть точек давали правильный вывод. That's not enough data to be really reliable. Этого недостаточно для по-настоящему надёжных результатов. There was a later astronomer, Johann Bode, who took the same data—the distances to the planets—and inspired by Kepler, he had a prediction that the distances to the planets formed a shifted geometric progression. Был ещё один более поздний астроном, Иоганн Боде, который взял те же данные — расстояния до планет — и, вдохновлённый Кеплером, предсказал, что расстояния до планет образуют сдвинутую геометрическую прогрессию. He also fit a curve, except there was one point missing. Он тоже подогнал кривую, только одна точка отсутствовала. There was a big gap between Mars and Jupiter. Был большой пробел между Марсом и Юпитером. His law predicted that there was a missing planet. Его закон предсказывал, что там должна быть недостающая планета. It was kind of a crank theory, except when Uranus was discovered by Herschel, the distance to Uranus fit exactly this pattern. Казалось, это теория чудака, — пока Уран не был открыт Гершелем и расстояние до него не совпало в точности с этой закономерностью. Then Ceres was discovered in the asteroid belt, and it also fit the pattern. Потом был открыт Церера в поясе астероидов, и она тоже вписалась. People got really excited that Bode had discovered this amazing new law of nature. Все страшно воодушевились: Боде открыл новый великий закон природы.