テレンス・タオ – 世界トップ数学者はAIをどう使っているか

Today, I'm chatting with Terence Tao, who needs no introduction. 本日は Terence Tao をお招きしました。ご紹介は不要かと思います。 Terence, I want to begin by having you retell the story of how Kepler discovered the laws of planetary motion because I think this will be a great jumping off point to talk about AI for math. Terence、まずケプラーが惑星運動の法則を発見した経緯をお話しいただけますか。AI と数学について語る上での良い出発点になると思います。 I've always had an amateur interest in astronomy. 私は昔から天文学に素人なりの興味を持っていました。 I've loved stories of how the early astronomers worked out the nature of the universe. 初期の天文学者たちが宇宙の本質を解明していく物語が大好きでした。 Kepler was building on the work of Copernicus, who was himself building on the work of Aristarchus. ケプラーはコペルニクスの研究を受け継ぎ、コペルニクスはさらにアリスタルコスの研究を受け継いでいました。 Copernicus very famously proposed the heliocentric model, that instead of the planets and the Sun going around the Earth, the Sun was at the center of the solar system and the other planets were going around the Sun. コペルニクスは有名な地動説を提唱しました。惑星や太陽が地球の周りを回るのではなく、太陽が太陽系の中心にあり、他の惑星がその周りを回っているという考えです。 Copernicus proposed that the orbits of the planets were perfect circles. コペルニクスは惑星の軌道が完全な円であると提唱しました。 His theory fit the observations that the Greeks, the Arabs, and the Indians had worked out over centuries. 彼の理論は、ギリシャ人やアラブ人、インド人が何世紀もかけて積み重ねてきた観測とよく合っていました。 Kepler learned about these theories in his studies, and he made this observation that the ratios of the size of the orbits that Copernicus predicted seemed to have some geometric meaning. ケプラーはこれらの理論を学ぶ中で、コペルニクスが予測した軌道の大きさの比に何か幾何学的な意味があるように見えるという観察をしました。 He started proposing that if you take the orbit of the Earth and you enclose it in a cube, the outer sphere that encloses the cube almost perfectly matched the orbit of Mars, and so forth. 彼は次のような仮説を立て始めました。地球の軌道を立方体で囲んだとき、その立方体を包む外側の球がほぼ完璧に火星の軌道と一致するというのです。 There were six planets known at the time and five gaps between them, and there were five perfect Platonic solids: the cube, the tetrahedron, icosahedron, octahedron, and dodecahedron. 当時知られていた惑星は6つで、その間の隙間は5つありました。そして完全な多面体であるプラトンの立体もちょうど5つ、立方体、正四面体、正二十面体、正八面体、正十二面体がありました。 So he had this theory, which he thought was absolutely beautiful, that you could inscribe these Platonic solids between the spheres of the planets. そこで彼は、惑星の天球の間にこれらのプラトン立体を内接させることができるという、自分では絶対に美しいと思っていた理論を唱えました。 It seemed to fit, and it seemed to him that God's design of the planets was matching this mathematical perfection of the Platonic solids. 理論はうまく合っているように見え、惑星の神の設計がプラトン立体の数学的完全性と一致していると彼には思えました。 He needed data to confirm this theory. この理論を確かめるためのデータが必要でした。 At the time, there was only one really high-quality dataset in existence. 当時、本当に高品質なデータセットはひとつしかありませんでした。 Tycho Brahe, this very wealthy, eccentric Danish astronomer, had managed to convince the Danish government to fund this extremely expensive observatory. ティコ・ブラーエという非常に裕福で風変わりなデンマーク人の天文学者が、デンマーク政府を説得して、非常に費用のかかる天文台への資金援助を取り付けたのです。 In fact, it was an entire island where he had taken decades of observations of all the planets, like Mars and Jupiter, at least every night for which the weather was clear, with the naked eye. 実際にはひとつの島全体を使い、天候が晴れている夜ごとに、火星や木星など全ての惑星を何十年にもわたって肉眼で観測し続けていました。 He was the last of the naked-eye astronomers. 彼は最後の肉眼観測者でした。 He had all this data which Kepler could use to confirm his theory. ケプラーが自分の理論を確認するために使えるデータが揃っていたのです。 Kepler started working with Tycho, but Tycho was very jealous of the data. ケプラーはティコと共に研究を始めましたが、ティコはデータを非常に独占したがりました。 He only gave him little bits of it at a time. 少しずつしか渡してくれなかったのです。 Kepler eventually just stole the data. ケプラーはついにデータを盗み出しました。 He copied it and had to have a fight with Brahe's descendants. コピーを作り、ブラーエの子孫たちと争わなければなりませんでした。 He did get the data, and then he worked out, to his disappointment, that his beautiful theory didn't quite work. データを手に入れ、分析した結果、失望することに、美しい理論が完全には合わないことがわかりました。 The data was off from his Platonic solid theory by 10% or something. データはプラトン立体の理論から10%ほどずれていました。 He tried all kinds of fudges, moving the circles around, and it didn't quite work. 円の位置をずらすなどのあれこれの調整を試みましたが、うまくいきませんでした。 But he worked on this problem for years and years, and eventually, he figured out how to use the data to work out the actual orbits of the planets. それでも何年もこの問題に取り組み続け、やがてデータを使って惑星の実際の軌道を導き出す方法を見つけました。 That was an incredibly clever, genius amount of data analysis. それは非常に巧妙で天才的なデータ分析でした。 And then he worked out that the orbits were actually ellipses, not circles, which was shocking for him. そして、軌道は円ではなく実際には楕円であることを発見しました。それはケプラー自身にとっても衝撃的なことでした。 So he worked out the two laws of planetary motion: the ellipses, and also that equal areas sweep out equal times. こうして惑星運動の2つの法則を導き出しました。軌道が楕円であること、そして等面積を等時間で掃くということです。 Then ten years later, after collecting a lot of data—the furthest planets like Saturn and Jupiter were the hardest for him to work out—he finally worked out this third law, that the time it takes for a planet to complete its orbit was proportional to some power of the distance to the Sun. そして10年後、多くのデータを積み重ねた末に、土星や木星のような遠い惑星ほど解明が難しかったのですが、ついに3番目の法則を導き出しました。惑星が軌道を一周するのに要する時間は、太陽からの距離の何乗かに比例するというものです。 These are the three famous Kepler's laws of motion. これがケプラーの有名な3つの運動の法則です。 He had no explanation for them. しかし、その理由を説明できませんでした。 It was all driven by experiment, and it took Newton a century later to give a theory that explained all three laws at once. 全て実験に基づいて導かれたものであり、3つの法則を一度に説明する理論が現れるのは、1世紀後のニュートンを待つことになりました。 The take I want to try on you is that Kepler was a high-temperature LLM. 提示したい見方があります。ケプラーは高温の LLM だったという考えです。 Newton comes up with this explanation of why the three laws of planetary motion must be true. ニュートンは惑星運動の3つの法則がなぜ成り立つのかを説明しました。 Of course, the way that Kepler discovers the laws of planetary motion, or figures out the relative orbits of the different planets, is as you say a work of genius. もちろん、ケプラーが惑星運動の法則を発見したり、各惑星の相対的な軌道を割り出したりした方法は、おっしゃる通り天才的な仕事です。 But through his career, he's just trying random relationships. でも彼のキャリアを通じて見ると、ランダムな関係式を試し続けていたのです。 In fact, in the book in which he writes down the third law of planetary motion, it's an aside on The Harmonics of the World, which is just a book about how all these different planets have these different harmonies. 実際、3番目の惑星運動の法則を書き記した本では、それは世界の調和についての本の余談に過ぎず、様々な惑星がそれぞれの調和を持つという内容の本でした。 And the reason there's so much famine and misery on Earth is because the Earth is mi-fa-mi, that's the note of Earth. 地球上に飢饉や悲惨が多い理由は、地球の音階が「ミ・ファ・ミ」だからだ、というのが地球の音なのです。 It's all this random astrology, but in there is the cube-square law, which tells you what relationship the period has to a planet's distance from the Sun. 全てこういったランダムな占星術的内容ですが、その中に二乗三乗の法則が含まれており、それが惑星の周期と太陽からの距離の関係を教えてくれます。 As you were detailing, if you add that to Newton's F=ma and the equation for centripetal acceleration, you get the inverse-square law. 先ほど詳しく説明されていましたが、これにニュートンの F=ma と向心加速度の式を加えると、逆二乗の法則が導けます。 And so Newton works that out. そしてニュートンがそれを解いたわけです。 But the reason I think this is an interesting story is that I feel LLMs can do the kind of thing of trying random relationships for twenty years, some of which make no sense, as long as there's a verifiable data bank like Brahe's dataset. この話が興味深いと思う理由は、LLM は20年間ランダムな関係式を試し続けるようなことができると感じるからです。意味をなさないものも含めて、ブラーエのデータセットのような検証可能なデータバンクがある限り。 "Ok, I'm going to try out random things about musical notes, Platonic objects, or different geometries, I have this bias that there's some important thing about the geometry of these orbits." 「音楽の音符について、プラトンの立体について、あるいは様々な幾何学についてランダムなことを試してみよう。これらの軌道の幾何学に何か重要なものがあるはずだという直感がある。」 Then one thing works. そして何かひとつがうまくいく。 As long as you can verify it, these empirical regularities can then drive actual deep scientific progress. 検証できる限り、こうした経験的な規則性が実際に深い科学的進歩を促すことができます。 Traditionally, when we talk about the history of science, idea generation has always been the prestige part of science. 伝統的に科学史を語るとき、仮説の生成は常に科学の花形部分として扱われてきました。 A scientific problem comes with many steps. 科学的問題には多くの段階があります。 You have to identify a problem, and then you have to identify a good, fruitful problem to work on. 問題を特定し、次に取り組むべき実りある問題を見極めなければなりません。 Then you need to collect data, figure out a strategy to analyze the data, and make a hypothesis. 次にデータを収集し、データを分析する戦略を立て、仮説を立てます。 At this point, you need to propose a good hypothesis, and then you need to validate. この段階で良い仮説を提案し、それを検証する必要があります。 Then you need to write things up and explain. 次に結果をまとめて説明しなければなりません。 There are a dozen different components. こういった構成要素が十数個あります。 The ones we celebrate are these eureka genius moments of idea generation. 私たちが称えるのは、こうした仮説生成のひらめきの瞬間です。 Kepler certainly had to cycle through many ideas, several of which didn't work. ケプラーも多くのアイデアを試し続け、そのうちいくつかはうまくいきませんでした。 I bet there were many that he didn't even publish at all because they just didn't fit. 全く合わないので出版すらしなかったものも多かったと思います。 That's an important part of the process, trying all kinds of random things and seeing if they worked. ランダムなことを様々に試してうまくいくかどうか確かめることは、このプロセスの重要な部分です。 But as you say, it has to be matched by an equal amount of verification, otherwise it's slop. でもおっしゃる通り、それと同量の検証と対にならなければ、ただのスラップになってしまいます。 We celebrate Kepler, but we should also celebrate Brahe for his assiduous data collection, which was ten times more precise than any previous observation. ケプラーを称えるのと同様に、ブラーエも称えるべきです。彼の精力的なデータ収集は以前のどの観測よりも10倍精度が高かったのです。 That extra decimal point of accuracy was essential for Kepler to get his results. その小数点1桁分の精度の向上がケプラーの成果に不可欠でした。 He was using Euclidean geometry and the most advanced mathematics he could use at the time to match his models with the data. 当時使えた最も高度な数学であるユークリッド幾何学を用いて、モデルをデータに合わせようとしていました。 All aspects had to be in play: the data, the theory, and the hypothesis generation. データ、理論、仮説の生成、全ての側面が揃っている必要がありました。 I'm not sure nowadays that hypothesis generation is the bottleneck anymore. 今日では仮説の生成がもはやボトルネックではないと思います。 Science has changed in the century since. 科学はここ数百年で変わりました。 Classically, the two big paradigms for science were theory and experiment. 古典的に科学の2大パラダイムは理論と実験でした。 Then in the 20th century, numerical simulation came along, so you can do computer simulations to test theories. そして20世紀に数値シミュレーションが登場し、コンピューターシミュレーションで理論を検証できるようになりました。 Finally, in the late 20th century, we had big data. そして20世紀後半にはビッグデータの時代が来ました。 We had the era of data analysis. データ分析の時代が訪れたのです。 A lot of new progress is actually driven now by analyzing massive datasets first. 今日の新しい進歩の多くは、まず大規模なデータセットの分析から生まれています。 You collect large datasets and then draw patterns from them to deduce thoughts. 大量のデータを収集し、パターンを引き出して考察を導くのです。 This is a little bit different from how science used to work, where you make a few observations or have one out-of-the-blue idea, and then collect data to test your idea. これは従来の科学のあり方とは少し異なります。かつては少ない観測をしたり、突然ひらめいたアイデアを思いつき、そのアイデアを検証するためにデータを集めていました。 That's the classic scientific method. それが古典的な科学的手法です。 Now it's almost reversed. 今はほぼ逆になっています。 You collect big data first, and then you try to get hypotheses from it. まず大量のデータを収集し、そこから仮説を導こうとします。 Kepler was maybe one of the first early data scientists, but even he didn't start with Tycho's dataset and then analyze it. ケプラーは最初のデータサイエンティストの一人かもしれませんが、彼でさえティコのデータセットから分析を始めたわけではありません。 He had some preconceived theories first. まず先入観的な理論があったのです。 It seems like this is less and less the way we make progress, just because the data is so much more massive and useful. データがとてつもなく大量かつ有用になっているので、この方法で進歩することはどんどん少なくなっているようです。 Oh, interesting. なるほど、面白いですね。 I feel like the 20th-century science that you're describing actually very well describes what happened with Kepler. あなたがおっしゃっている20世紀の科学は、ケプラーに起きたことをまさに良く描写していると思います。 He did have these ideas—1595 and '96 is where he comes up with the polygons and then the Platonic objects theory—but they were wrong. 彼にはアイデアがありました。1595年と96年に多角形とプラトン立体の理論を思いついたのですが、それらは間違っていました。 Then a few years later, he gets Brahe's data, and it's only after twenty years of trying random things that he gets this empirical regularity. 数年後にブラーエのデータを手に入れ、20年間ランダムなことを試し続けて初めてこの経験的規則性にたどり着きました。 It actually feels a bit closer to Brahe's data being analogous to some massive data bank of simulations, and now that you've got the data, you can keep trying random things. ブラーエのデータは膨大なシミュレーションのデータバンクに似ていて、データさえあればランダムなことを試し続けられるという感じがします。 If it wasn't for that, Kepler would be out there just writing books about harmonics and Platonic objects, and there would be nothing to actually verify against. それがなければ、ケプラーは調和やプラトン立体についての本を書き続け、実際に検証できるものは何もなかったでしょう。 The data was extremely important. データは極めて重要でした。 The distinction I was trying to make was that traditionally, you make a hypothesis and then you test it against data. 私が言いたかった区別は、伝統的には仮説を立ててからデータで検証するということです。 But now with machine learning, data analysis, and statistics, you can start with data and through statistics work out laws that were not present before. でも今は機械学習、データ分析、統計学のおかげで、データから出発して統計を通じて以前は存在しなかった法則を導き出せます。 Kepler's third law is a little bit like this, except that instead of having the thousand data points that Brahe had, Kepler had six data points. ケプラーの第3法則はこれに少し似ています。ただし、ブラーエが持っていた千のデータ点の代わりに、ケプラーは6つのデータ点しかありませんでしたが。 For every planet, he knew the length of the orbit and the distance to the Sun. 各惑星について、軌道の長さと太陽からの距離がわかっていました。 There were five or six data points, and he did what we would now call regression. 5つか6つのデータ点があり、今でいう回帰分析を行いました。 He fit a curve to these six data points and got a square-cube law, which was amazing. 6つのデータ点に曲線を当てはめて二乗三乗の法則を得たのは驚異的なことでした。 But he was quite lucky that these six data points gave him the right conclusion. ただ、この6つのデータ点が正しい結論を導いたのはかなり運が良かったのです。 That's not enough data to be really reliable. それだけでは本当に信頼性のあるデータとは言えません。 There was a later astronomer, Johann Bode, who took the same data—the distances to the planets—and inspired by Kepler, he had a prediction that the distances to the planets formed a shifted geometric progression. 後に、ヨハン・ボーデという天文学者が同じデータ、つまり惑星までの距離を用い、ケプラーに触発されて、惑星までの距離はシフトした等比数列をなすという予測を立てました。 He also fit a curve, except there was one point missing. 彼も曲線を当てはめましたが、1点欠けていました。 There was a big gap between Mars and Jupiter. 火星と木星の間に大きな空白がありました。 His law predicted that there was a missing planet. 彼の法則は欠けている惑星の存在を予測していました。 It was kind of a crank theory, except when Uranus was discovered by Herschel, the distance to Uranus fit exactly this pattern. トンデモ理論のようなものでしたが、ハーシェルが天王星を発見したとき、天王星までの距離がこのパターンにぴったり合いました。 Then Ceres was discovered in the asteroid belt, and it also fit the pattern. そして小惑星帯でケレスが発見され、これもパターンに合いました。 People got really excited that Bode had discovered this amazing new law of nature. ボーデが自然の驚くべき新法則を発見したと人々は大いに興奮しました。