Terence Tao – Como o maior matemático do mundo usa IA

Today, I'm chatting with Terence Tao, who needs no introduction. Hoje estou conversando com Terence Tao, que dispensa apresentações. Terence, I want to begin by having you retell the story of how Kepler discovered the laws of planetary motion because I think this will be a great jumping off point to talk about AI for math. Terence, quero começar pedindo que você reconte a história de como Kepler descobriu as leis do movimento planetário, porque acho que será um ótimo ponto de partida para falar sobre IA e matemática. I've always had an amateur interest in astronomy. Sempre tive um interesse amador em astronomia. I've loved stories of how the early astronomers worked out the nature of the universe. Sempre adorei histórias de como os primeiros astrônomos desvendaram a natureza do universo. Kepler was building on the work of Copernicus, who was himself building on the work of Aristarchus. Kepler baseou seu trabalho no de Copérnico, que por sua vez se baseou no de Aristarco. Copernicus very famously proposed the heliocentric model, that instead of the planets and the Sun going around the Earth, the Sun was at the center of the solar system and the other planets were going around the Sun. Copérnico propôs, de forma bastante famosa, o modelo heliocêntrico: em vez dos planetas e do Sol girarem em torno da Terra, o Sol estava no centro do sistema solar e os outros planetas giravam em torno do Sol. Copernicus proposed that the orbits of the planets were perfect circles. Copérnico propôs que as órbitas dos planetas eram círculos perfeitos. His theory fit the observations that the Greeks, the Arabs, and the Indians had worked out over centuries. Sua teoria se encaixava nas observações que gregos, árabes e indianos haviam acumulado ao longo de séculos. Kepler learned about these theories in his studies, and he made this observation that the ratios of the size of the orbits that Copernicus predicted seemed to have some geometric meaning. Kepler aprendeu sobre essas teorias em seus estudos e fez a observação de que as proporções dos tamanhos das órbitas previstas por Copérnico pareciam ter algum significado geométrico. He started proposing that if you take the orbit of the Earth and you enclose it in a cube, the outer sphere that encloses the cube almost perfectly matched the orbit of Mars, and so forth. Ele começou a propor que, se você pegar a órbita da Terra e encerrá-la num cubo, a esfera exterior que envolve o cubo correspondia quase perfeitamente à órbita de Marte, e assim por diante. There were six planets known at the time and five gaps between them, and there were five perfect Platonic solids: the cube, the tetrahedron, icosahedron, octahedron, and dodecahedron. Havia seis planetas conhecidos na época e cinco intervalos entre eles, e existiam cinco sólidos platônicos perfeitos: o cubo, o tetraedro, o icosaedro, o octaedro e o dodecaedro. So he had this theory, which he thought was absolutely beautiful, that you could inscribe these Platonic solids between the spheres of the planets. Então ele tinha essa teoria, que considerava absolutamente bela: era possível inscrever esses sólidos platônicos entre as esferas dos planetas. It seemed to fit, and it seemed to him that God's design of the planets was matching this mathematical perfection of the Platonic solids. Parecia funcionar, e ele achava que o design divino dos planetas correspondia a essa perfeição matemática dos sólidos platônicos. He needed data to confirm this theory. Ele precisava de dados para confirmar essa teoria. At the time, there was only one really high-quality dataset in existence. Na época, existia apenas um conjunto de dados realmente de alta qualidade. Tycho Brahe, this very wealthy, eccentric Danish astronomer, had managed to convince the Danish government to fund this extremely expensive observatory. Tycho Brahe, um astrônomo dinamarquês muito rico e excêntrico, havia conseguido convencer o governo dinamarquês a financiar um observatório extremamente caro. In fact, it was an entire island where he had taken decades of observations of all the planets, like Mars and Jupiter, at least every night for which the weather was clear, with the naked eye. Na verdade, era uma ilha inteira onde ele havia feito décadas de observações de todos os planetas, como Marte e Júpiter, a cada noite que o tempo estava limpo, a olho nu. He was the last of the naked-eye astronomers. Ele foi o último dos astrônomos a olho nu. He had all this data which Kepler could use to confirm his theory. Tinha todos esses dados que Kepler poderia usar para confirmar sua teoria. Kepler started working with Tycho, but Tycho was very jealous of the data. Kepler começou a trabalhar com Tycho, mas Tycho era muito ciumento com os dados. He only gave him little bits of it at a time. Ele só lhe dava pequenas partes de cada vez. Kepler eventually just stole the data. Kepler acabou simplesmente roubando os dados. He copied it and had to have a fight with Brahe's descendants. Ele os copiou e teve que travar uma briga com os descendentes de Brahe. He did get the data, and then he worked out, to his disappointment, that his beautiful theory didn't quite work. Ele conseguiu os dados e então concluiu, com decepção, que sua bela teoria não funcionava bem. The data was off from his Platonic solid theory by 10% or something. Os dados divergiam da teoria dos sólidos platônicos em 10% ou algo assim. He tried all kinds of fudges, moving the circles around, and it didn't quite work. Ele tentou todo tipo de ajuste, deslocando os círculos, mas não funcionava direito. But he worked on this problem for years and years, and eventually, he figured out how to use the data to work out the actual orbits of the planets. Mas ele trabalhou nesse problema por anos e anos e, no final, descobriu como usar os dados para determinar as órbitas reais dos planetas. That was an incredibly clever, genius amount of data analysis. Foi uma quantidade incrivelmente inteligente e genial de análise de dados. And then he worked out that the orbits were actually ellipses, not circles, which was shocking for him. E então ele concluiu que as órbitas eram, na verdade, elipses, não círculos, o que foi chocante para ele. So he worked out the two laws of planetary motion: the ellipses, and also that equal areas sweep out equal times. Então ele deduziu as duas leis do movimento planetário: as elipses, e também que áreas iguais são varridas em tempos iguais. Then ten years later, after collecting a lot of data—the furthest planets like Saturn and Jupiter were the hardest for him to work out—he finally worked out this third law, that the time it takes for a planet to complete its orbit was proportional to some power of the distance to the Sun. Dez anos depois, após coletar muitos dados, sendo os planetas mais distantes como Saturno e Júpiter os mais difíceis de trabalhar, ele finalmente deduziu essa terceira lei: o tempo que um planeta leva para completar sua órbita é proporcional a alguma potência da distância ao Sol. These are the three famous Kepler's laws of motion. Essas são as três famosas leis do movimento de Kepler. He had no explanation for them. Ele não tinha explicação para elas. It was all driven by experiment, and it took Newton a century later to give a theory that explained all three laws at once. Tudo era orientado por experimentos, e levou Newton um século depois para oferecer uma teoria que explicasse as três leis de uma só vez. The take I want to try on you is that Kepler was a high-temperature LLM. A interpretação que quero testar com você é que Kepler era um LLM de alta temperatura. Newton comes up with this explanation of why the three laws of planetary motion must be true. Newton apresenta essa explicação de por que as três leis do movimento planetário devem ser verdadeiras. Of course, the way that Kepler discovers the laws of planetary motion, or figures out the relative orbits of the different planets, is as you say a work of genius. É claro que a forma como Kepler descobre as leis do movimento planetário, ou determina as órbitas relativas dos diferentes planetas, é, como você diz, uma obra de gênio. But through his career, he's just trying random relationships. Mas ao longo de sua carreira, ele simplesmente tenta relacionamentos aleatórios. In fact, in the book in which he writes down the third law of planetary motion, it's an aside on The Harmonics of the World, which is just a book about how all these different planets have these different harmonies. Na verdade, no livro em que ele escreve a terceira lei do movimento planetário, ela aparece como um aparte em A Harmonia dos Mundos, que é simplesmente um livro sobre como todos esses planetas diferentes têm harmonias diferentes. And the reason there's so much famine and misery on Earth is because the Earth is mi-fa-mi, that's the note of Earth. E a razão pela qual há tanta fome e miséria na Terra é porque a Terra é mi-fá-mi, que é a nota da Terra. It's all this random astrology, but in there is the cube-square law, which tells you what relationship the period has to a planet's distance from the Sun. É tudo astrologia aleatória, mas lá dentro está a lei cubo-quadrado, que diz qual é a relação entre o período e a distância de um planeta ao Sol. As you were detailing, if you add that to Newton's F=ma and the equation for centripetal acceleration, you get the inverse-square law. Como você estava detalhando, se você adiciona isso ao F=ma de Newton e à equação para aceleração centrípeta, você obtém a lei do inverso do quadrado. And so Newton works that out. E então Newton descobre isso. But the reason I think this is an interesting story is that I feel LLMs can do the kind of thing of trying random relationships for twenty years, some of which make no sense, as long as there's a verifiable data bank like Brahe's dataset. Mas a razão pela qual acho que essa é uma história interessante é que sinto que os LLMs conseguem fazer o tipo de coisa de tentar relacionamentos aleatórios por vinte anos, alguns dos quais não fazem nenhum sentido, desde que haja um banco de dados verificável como o dataset de Brahe. "Ok, I'm going to try out random things about musical notes, Platonic objects, or different geometries, I have this bias that there's some important thing about the geometry of these orbits." "Certo, vou tentar coisas aleatórias sobre notas musicais, objetos platônicos, ou diferentes geometrias, tenho esse viés de que há algo importante sobre a geometria dessas órbitas." Then one thing works. Então uma coisa funciona. As long as you can verify it, these empirical regularities can then drive actual deep scientific progress. Desde que você possa verificar, essas regularidades empíricas podem impulsionar um progresso científico profundo de verdade. Traditionally, when we talk about the history of science, idea generation has always been the prestige part of science. Tradicionalmente, quando falamos sobre a história da ciência, a geração de ideias sempre foi a parte de prestígio da ciência. A scientific problem comes with many steps. Um problema científico envolve muitas etapas. You have to identify a problem, and then you have to identify a good, fruitful problem to work on. Você precisa identificar um problema e depois identificar um problema bom e frutífero para trabalhar. Then you need to collect data, figure out a strategy to analyze the data, and make a hypothesis. Então você precisa coletar dados, descobrir uma estratégia para analisá-los e formular uma hipótese. At this point, you need to propose a good hypothesis, and then you need to validate. Nesse ponto, você precisa propor uma boa hipótese e depois validá-la. Then you need to write things up and explain. Então você precisa escrever e explicar. There are a dozen different components. Há uma dúzia de componentes diferentes. The ones we celebrate are these eureka genius moments of idea generation. Os que celebramos são esses momentos de eureka genial de geração de ideias. Kepler certainly had to cycle through many ideas, several of which didn't work. Kepler certamente teve que passar por muitas ideias, várias das quais não funcionaram. I bet there were many that he didn't even publish at all because they just didn't fit. Aposto que havia muitas que ele nem publicou, porque simplesmente não se encaixavam. That's an important part of the process, trying all kinds of random things and seeing if they worked. Essa é uma parte importante do processo: tentar todo tipo de coisas aleatórias e ver se funcionam. But as you say, it has to be matched by an equal amount of verification, otherwise it's slop. Mas como você diz, isso precisa ser combinado com uma quantidade igual de verificação, caso contrário é uma bagunça. We celebrate Kepler, but we should also celebrate Brahe for his assiduous data collection, which was ten times more precise than any previous observation. Celebramos Kepler, mas também deveríamos celebrar Brahe por sua assídua coleta de dados, que era dez vezes mais precisa do que qualquer observação anterior. That extra decimal point of accuracy was essential for Kepler to get his results. Esse decimal extra de precisão foi essencial para que Kepler obtivesse seus resultados. He was using Euclidean geometry and the most advanced mathematics he could use at the time to match his models with the data. Ele usava geometria euclidiana e a matemática mais avançada disponível na época para fazer seus modelos corresponderem aos dados. All aspects had to be in play: the data, the theory, and the hypothesis generation. Todos os aspectos precisavam estar em jogo: os dados, a teoria e a geração de hipóteses. I'm not sure nowadays that hypothesis generation is the bottleneck anymore. Não tenho certeza se a geração de hipóteses ainda é o gargalo hoje em dia. Science has changed in the century since. A ciência mudou no século passado. Classically, the two big paradigms for science were theory and experiment. Classicamente, os dois grandes paradigmas da ciência eram teoria e experimento. Then in the 20th century, numerical simulation came along, so you can do computer simulations to test theories. Depois, no século 20, surgiu a simulação numérica, que permite fazer simulações computacionais para testar teorias. Finally, in the late 20th century, we had big data. Por fim, no final do século 20, tivemos o big data. We had the era of data analysis. Tivemos a era da análise de dados. A lot of new progress is actually driven now by analyzing massive datasets first. Grande parte do novo progresso é, na verdade, impulsionada hoje pela análise de conjuntos massivos de dados. You collect large datasets and then draw patterns from them to deduce thoughts. Você coleta grandes conjuntos de dados e então extrai padrões deles para deduzir ideias. This is a little bit different from how science used to work, where you make a few observations or have one out-of-the-blue idea, and then collect data to test your idea. Isso é um pouco diferente de como a ciência costumava funcionar, em que você faz algumas observações ou tem uma ideia do nada e depois coleta dados para testar sua ideia. That's the classic scientific method. Esse é o método científico clássico. Now it's almost reversed. Agora é quase o inverso. You collect big data first, and then you try to get hypotheses from it. Você coleta big data primeiro e então tenta extrair hipóteses a partir dele. Kepler was maybe one of the first early data scientists, but even he didn't start with Tycho's dataset and then analyze it. Kepler foi talvez um dos primeiros cientistas de dados, mas mesmo ele não começou com o dataset de Tycho para então analisá-lo. He had some preconceived theories first. Ele tinha algumas teorias preconcebidas primeiro. It seems like this is less and less the way we make progress, just because the data is so much more massive and useful. Parece que cada vez menos é assim que progredimos, simplesmente porque os dados são muito mais massivos e úteis. Oh, interesting. Ah, interessante. I feel like the 20th-century science that you're describing actually very well describes what happened with Kepler. Sinto que a ciência do século 20 que você está descrevendo descreve muito bem o que aconteceu com Kepler. He did have these ideas—1595 and '96 is where he comes up with the polygons and then the Platonic objects theory—but they were wrong. Ele tinha essas ideias, em 1595 e 1596 é quando cria os polígonos e depois a teoria dos objetos platônicos, mas elas estavam erradas. Then a few years later, he gets Brahe's data, and it's only after twenty years of trying random things that he gets this empirical regularity. Alguns anos depois, ele consegue os dados de Brahe, e é só após vinte anos tentando coisas aleatórias que ele obtém essa regularidade empírica. It actually feels a bit closer to Brahe's data being analogous to some massive data bank of simulations, and now that you've got the data, you can keep trying random things. Na verdade, parece um pouco mais com os dados de Brahe sendo análogos a algum banco massivo de dados de simulações, e agora que você tem os dados, pode continuar tentando coisas aleatórias. If it wasn't for that, Kepler would be out there just writing books about harmonics and Platonic objects, and there would be nothing to actually verify against. Se não fosse isso, Kepler estaria por aí apenas escrevendo livros sobre harmonia e objetos platônicos, e não haveria nada para realmente verificar. The data was extremely important. Os dados eram extremamente importantes. The distinction I was trying to make was that traditionally, you make a hypothesis and then you test it against data. A distinção que eu tentava fazer era que, tradicionalmente, você formula uma hipótese e depois a testa com dados. But now with machine learning, data analysis, and statistics, you can start with data and through statistics work out laws that were not present before. Mas agora com aprendizado de máquina, análise de dados e estatística, você pode começar com dados e, por meio da estatística, descobrir leis que antes não existiam. Kepler's third law is a little bit like this, except that instead of having the thousand data points that Brahe had, Kepler had six data points. A terceira lei de Kepler é um pouco assim, exceto que, em vez de ter os mil pontos de dados que Brahe tinha, Kepler tinha seis pontos de dados. For every planet, he knew the length of the orbit and the distance to the Sun. Para cada planeta, ele conhecia o comprimento da órbita e a distância ao Sol. There were five or six data points, and he did what we would now call regression. Havia cinco ou seis pontos de dados, e ele fez o que hoje chamaríamos de regressão. He fit a curve to these six data points and got a square-cube law, which was amazing. Ele ajustou uma curva a esses seis pontos de dados e obteve a lei cubo-quadrado, o que foi incrível. But he was quite lucky that these six data points gave him the right conclusion. Mas ele teve bastante sorte de que esses seis pontos de dados lhe dessem a conclusão correta. That's not enough data to be really reliable. Não é suficiente para ser realmente confiável. There was a later astronomer, Johann Bode, who took the same data—the distances to the planets—and inspired by Kepler, he had a prediction that the distances to the planets formed a shifted geometric progression. Houve um astrônomo posterior, Johann Bode, que pegou os mesmos dados, as distâncias aos planetas, e, inspirado por Kepler, tinha uma previsão de que as distâncias aos planetas formavam uma progressão geométrica deslocada. He also fit a curve, except there was one point missing. Ele também ajustou uma curva, exceto que havia um ponto faltando. There was a big gap between Mars and Jupiter. Havia uma grande lacuna entre Marte e Júpiter. His law predicted that there was a missing planet. Sua lei previa que havia um planeta faltando. It was kind of a crank theory, except when Uranus was discovered by Herschel, the distance to Uranus fit exactly this pattern. Era uma teoria um tanto excêntrica, exceto que quando Urano foi descoberto por Herschel, a distância a Urano se encaixava exatamente nesse padrão. Then Ceres was discovered in the asteroid belt, and it also fit the pattern. Depois Ceres foi descoberto no cinturão de asteroides, e também se encaixava no padrão. People got really excited that Bode had discovered this amazing new law of nature. As pessoas ficaram muito animadas com a ideia de que Bode havia descoberto essa incrível nova lei da natureza.