Yann LeCun이 말하는 LLM 이후의 세계

You're one of the godfathers of AI. 당신은 AI의 대부 중 한 명이죠. What's your kind of view of the path of progress here? 발전의 방향에 대해 어떻게 보세요? 5 years complete world domination. 5년 안에 완전한 세계 정복이요. The best way to get breakthrough research is you hire the best people. 획기적인 연구를 얻는 가장 좋은 방법은 최고의 인재를 뽑는 거예요. You get the out of the way. 그리고 비켜서는 거죠. Pardon my French. 제 표현이 거칠었다면 양해 부탁드립니다. You share the touring award with two others. 튜링상을 두 분과 함께 받으셨는데요. When did your views start diverging? 언제부터 견해가 달라지기 시작했나요? In 2023. 2023년이요. How do you know it was time to leave Meta? Meta를 떠날 때가 됐다는 걸 어떻게 아셨나요? It sounds like you were thinking through some of these things over a period of time. 일정 기간 동안 이런 것들을 생각해 오셨던 것 같은데요. Here's a big misconception about my role, my relation to Alex, and how AI was run at Meta. Meta에서 제 역할, Alex와의 관계, AI가 어떻게 운영됐는지에 대해 크게 오해하고 있는 부분이 있어요. What's like one thing you've changed your mind on in the last year? 지난 1년 동안 마음이 바뀐 게 있다면 뭔가요? I mean, the whole idea of uh 그러니까, 비지도 학습의 전체 개념이 말이에요. Yan Lun is one of the godfathers of AI. Yann LeCun은 AI의 대부 중 한 명이에요. He's an absolute legend in the field. 이 분야에서 그야말로 전설적인 분이죠. Uh someone I've admired for a long time. 오래전부터 존경해온 분이에요. And so it was such a treat to get him on unsupervised learning. 그래서 Unsupervised Learning에 모시게 되어 정말 영광이에요. Uh he's been a noted skeptic of of LMS in many ways. 여러 면에서 LLM에 대해 주목받는 회의론자셔서요. And so we dug into what LM can do, what they can't do, uh some of the limitations he sees, and why he ultimately decided to pursue a different architecture. LLM이 할 수 있는 것, 할 수 없는 것, 그가 보는 한계들, 그리고 결국 왜 다른 아키텍처를 추구하게 됐는지 깊이 파고들었어요. Uh and we also talked about his time at Meta. Meta 시절 이야기도 나눴고요. um you know the things he's proud of in setting up fair how the last few years proceeded and what ultimately led him to uh spin out and start his own company uh AMI um I think it's just fascinating to get Yan's thoughts on everything happening in the AI ecosystem today this tension between basic research and then pushing LLM forward and how that's happening in in a bunch of organizations today as well as his thoughts on just where the the whole space is headed uh he's just an absolute giant in the field and when I started this podcast I hope we get guests like him so it is just such a treat I think folks will really enjoy hearing the conversation we had. FAIR를 세운 것에 대한 자부심, 최근 몇 년의 경과, 그리고 결국 스핀아웃해서 AMI 회사를 차리게 된 계기까지요. 오늘날 AI 생태계에서 벌어지는 모든 것, 기초 연구와 LLM 발전 사이의 긴장, 여러 조직에서 이 일이 어떻게 전개되고 있는지, 그리고 전체 분야가 어디로 향하는지에 대한 Yann의 생각을 듣는 건 정말 흥미로워요. 이 분야의 진정한 거인이고, 이 팟캐스트를 시작할 때 이런 분을 모시길 바랐거든요. 오늘 대화를 들으시면 정말 즐거우실 거라 생각해요. Without further ado, here's Yan. 그럼 바로 Yann을 모시겠습니다. Yan, this is such a pleasure. Yann, 정말 영광이에요. You're one of the godfathers of AI. 당신은 AI의 대부 중 한 명이시잖아요. I feel like when I started doing this podcast years ago, I was really hoping we might one day get someone like you on. 이 팟캐스트를 시작했을 때 언젠가 이런 분을 모실 수 있길 정말 바랐어요. You know, I don't like that term because I live in New Jersey. 그 표현은 별로 안 좋아해요. 뉴저지에 살거든요. When you're a godfather in New Jersey, 뉴저지에서 대부라고 하면, it doesn't mean the same thing. 의미가 좀 다르죠. Very fair. 맞는 말씀이에요. Very fair. 그렇죠. You know, obviously, you know, your bet on on neural nets when everyone doubted them is legendary. 모두가 의심할 때 신경망에 베팅한 건 전설적인 일이잖아요. And I feel like today you're making a similar bet in many ways against LLMs and the kind of predominant generative architectures that that so many believe in. 그리고 오늘날 많은 사람들이 믿는 주류 생성 아키텍처와 LLM에 대해 비슷한 베팅을 하고 계신 것 같아요. Uh you've recently started a new company uh behind this theme. 최근에 이 테마로 새 회사를 창업하셨고요. And so you know our goal today in the conversation is to leave our listeners with a lot more information about AME, what you're doing there, some of your work at Tapestry. 그래서 오늘 대화의 목표는 AMI, Tapestry 작업에 대한 정보를 청취자들에게 더 많이 전달하는 거예요. Um you know, why you think the rest of the field is is is pointed in the wrong direction around some of these generative models and then also just get your reflections on the way the field's unfolded your time at Meta and all that. 나머지 분야가 왜 이런 생성 모델들의 방향에서 틀렸다고 생각하시는지, 그리고 Meta 시절과 분야의 발전에 대한 생각도요. So, you know, modest goals for uh for for for a single podcast episode. 한 팟캐스트 에피소드치고는 꽤 소박한 목표네요. I figured it'd be great to start with the meat um because the company feels like the clearest statement of your technical thesis going forward. 핵심부터 시작하면 좋겠다고 생각했어요. 회사가 앞으로의 기술적 논제를 가장 명확하게 보여주니까요. And so, you recently launched the company. 최근에 회사를 론칭하셨죠. It's focused on world models uh and scaling the Jeter architecture, which you obviously pioneered uh over at Meta. 세계 모델과 Meta에서 개척하신 JEPA 아키텍처 확장에 집중하고 있고요. And so, I'm wondering if you could talk a little bit about the origins of that architecture and the extent to which you drew inspiration from the human brain and the way that works. 그 아키텍처의 기원과 인간 뇌의 작동 방식에서 얼마나 영감을 받으셨는지 말씀해주실 수 있을까요? So first of all, I want to say there's nothing wrong with LLMs in the sense of LLM, you know, are the basis for a lot of very useful AI products that all of us use, including me. 먼저 LLM에 아무 문제가 없다는 걸 말씀드리고 싶어요. LLM은 저를 포함해 우리 모두가 사용하는 수많은 유용한 AI 제품의 기반이니까요. Uh they're great, okay, for what they do. 하는 일에 있어서는 훌륭해요. They're just not a path towards human level or human like intelligence or even animalike intelligence. 다만 인간 수준의 지능이나 동물 수준의 지능으로 가는 길이 아닐 뿐이에요. Uh so that's my claim, okay? 그게 제 주장이에요. I'm not saying are useless, right? 쓸모없다는 말이 아니에요. I'm I'm just saying they're not a path towards you. 그냥 그 방향으로 가는 길이 아니라는 거죠. I mean, 저도 그렇게 생각하고요, you helped build some of the first major open source ones, 주요 오픈 소스 모델 중 일부를 직접 만드셨잖아요. right? 맞아요. Absolutely. 물론이죠. So, what is uh AME? 그럼 AMI가 뭔가요? So, ME really stands for advanced machine intelligence and the the the kind of subtitle the moto if you want is uh AI for the real world. AMI는 고급 기계 지능의 약자고요, 부제나 모토는 '실세계를 위한 AI'예요. So basically a lot of you know AI techniques that people know about today are good for language manipulation either human language or computer code or mathematics or or legal ease which barely qualifies as human language. 오늘날 사람들이 알고 있는 AI 기법 중 상당수는 인간 언어나 컴퓨터 코드, 수학, 법률 문서 같은 언어 조작에 특화되어 있어요. Unfortunately a lot of human language used for it 안타깝게도 법률 언어에 많이 쓰이죠. right sadly you know language is very special in a way and it's particularly well suited for the type of uh you know architectures that have been so successful uh recently the the you know large language models GPT style architectures but what about the real world what about like understanding the physical world turns out reality is way more complicated than language uh because 맞아요. 언어는 어떤 면에서 아주 특별하고, 최근 크게 성공한 대형 언어 모델 같은 아키텍처에 특히 잘 맞아요. 그런데 실세계는요? 물리 세계를 이해하는 건요? 현실은 언어보다 훨씬 복잡한 걸로 드러났어요. It's highdimensional. 고차원이에요. It's continuous. 연속적이고요. It's noisy. 노이즈가 많고요. It's messy. 지저분해요. And uh training a system to understand the real world is much much harder. 실세계를 이해하도록 시스템을 학습시키는 건 훨씬 훨씬 어려워요. So that's really what we're after. 그게 바로 우리가 추구하는 것이에요. That's what I've been after for most of my career. 제 경력 대부분에서 추구해온 거고요. And really kind of, you know, working on in an accelerated fashion over the last five, six years or so and making significant progress over the last two years. 지난 5, 6년 동안 가속화된 방식으로 작업해왔고, 최근 2년 동안 상당한 진전을 이뤘어요. And so it made sense to really do a startup around it and sort of go to into high gear, you know, in pushing that. 그래서 스타트업을 설립해서 고속 기어로 밀고 나가는 게 의미 있었어요. and it became clear, you know, by the end of last year that Meta was really not the right place for that. 작년 말쯤 Meta가 정말 맞지 않는 곳이라는 게 분명해졌고요. So, which is why I left and started Emmy Labs. 그래서 떠나서 AMI Labs를 창업했죠. I think it's an interesting like, you know, trend that we're seeing across the board, right, where it feels like um there you're there's there's many folks spinning out of, you know, either some of the large companies or research labs, you know, that have a a particular direction of research they're excited about. 흥미로운 트렌드인 것 같아요. 대형 회사나 연구소에서 특정 연구 방향에 대한 열정을 가지고 스핀아웃하는 분들이 많이 나오고 있잖아요. And you you'd have such an interesting vantage point of this from your time at fair. FAIR 시절에 정말 독특한 시각을 가지고 계셨을 것 같아요. This uh almost tension that exists between, you know, go pursue as many different research directions as possible in these companies versus hey, something's really working. 이 긴장감, 회사 내에서 가능한 많은 연구 방향을 추구하는 것 대 '뭔가 정말 되는 게 있다, 앞으로 6~12개월 동안 이것만 집중하자'는 것 사이의 긴장이요. This is the thing that we're going to sell for the next 61 12 months like go focus on that. 이것이 우리가 앞으로 6~12개월 동안 팔 것이고, 거기에 집중하자는 거죠. You know, I'm curious your your thoughts on that and and what you've kind of seen in the industry at large. 업계 전반에서 어떤 걸 보셨는지 생각과 의견이 궁금해요. Well, it's a strange uh trade-off. 묘한 트레이드오프예요. There's really two modes of R&D, right? R&D에는 정말 두 가지 모드가 있거든요. There's a lot of exploratory research, a lot of d research directions, right? 탐색적 연구가 많고, 다양한 연구 방향이 있죠. And sometimes something kind of seems to work and you you need to push it further and it's not research anymore. 그러다가 뭔가 될 것 같아서 더 밀어붙여야 하는데, 그건 더 이상 연구가 아니에요. I mean the people working on it are researchers or they're called researchers at least in the press but uh but really it's becoming more engineering and pushing for for products, right? 하는 사람들은 연구자라고 불리거나 적어도 언론에서는 그렇게 부르지만, 실제로는 점점 엔지니어링이 되고 제품화 방향으로 가는 거예요. So that happened a number of times at Meta because of things that was started at fair. Meta에서 FAIR에서 시작된 것들 때문에 여러 번 그런 일이 있었어요. Such a thing happened in you know early 2023 essentially uh when you know Lama which was developed at fair lama one um was very promising and uh meta created a whole organization geni to turn it into something real and a series of products uh and produced you know lama 2, lama 3, lama 4 which was a bit of disappointment uh and because you know Mark Zuckerber was disappointed by it he kind rebooted the entire organization, reorganized it and hired new people etc. 그게 2023년 초에도 일어났어요. FAIR에서 개발된 Llama 1이 유망했고, Meta가 GenAI 조직을 만들어 실제 제품과 시리즈로 만들려 했죠. Llama 2, Llama 3, Llama 4가 나왔는데 Llama 4는 좀 실망스러웠고, Mark Zuckerberg가 실망해서 전체 조직을 리부팅하고 재편성하며 새 인력을 영입했어요. But what also happened uh over the last year is that uh basically the company meta realized that um they had fallen behind a little bit and so that kind of refocused the the strategy on trying to catch up with the industry. 지난 1년 동안 또 일어난 일은 Meta가 업계보다 조금 뒤처졌다는 걸 깨달으면서 전략이 따라잡기로 재집중됐다는 거예요. And the sad side effect of it is that a lot of the exploratory research was basically not given high priority anymore. 슬픈 부작용은 탐색적 연구 상당 부분이 더 이상 높은 우선순위를 받지 못하게 된 거예요. I mean it didn't concern the stuff I was working on. 제가 작업하던 것들은 관련 없어요. all the JA and role models because you know Mark himself and and Dub Bosworth the CTO and a bunch of other people in the company were really interested in that project and really believed in the long-term impact but the rest of the company was just you know totally entirely focused on LLM and made it clear to me that Ma was really not the the right place to push for that project anymore and then we started to had good results and so it was clear that you know we had to kind of make that transition between research and actually kind of uh developing the technology, scaling it up and building products out of it. JEPA나 세계 모델들 말이에요. Mark 본인과 CTO Andrew, 회사 내 다른 여러 사람들이 그 프로젝트에 정말 관심 있었고 장기적 영향을 진심으로 믿었거든요. 하지만 나머지 회사는 완전히 LLM에 집중해서, Meta가 그 프로젝트를 추진하기에 더 이상 맞지 않는 곳이라는 게 저한테도 분명해졌어요. 좋은 결과도 나오기 시작했고, 연구에서 기술 개발, 확장, 제품화로 전환해야 할 때가 됐다는 게 명확해졌죠. And we realized also that most of the applications were probably for things that Meta was not particularly interested in. 대부분의 애플리케이션이 Meta가 별로 관심 없는 분야일 거라는 것도 깨달았고요. A lot of applications of the kind of stuff that we've been working on is in industry like manufacturing industry and stuff like that. 작업해온 것들의 애플리케이션 상당수가 제조업 같은 산업 분야에 있거든요. Obviously, you're you're kind of pursuing world models and and and in that broader world. 세계 모델과 더 넓은 세계를 추구하고 계신 거잖아요. And I think there's other people that have come at the world model pace from a more like generative approach. 세계 모델에 좀 더 생성적 접근으로 접근하는 사람들도 있는 것 같은데요. And so I think you've got folks, you know, uh got the Google folks in Genie and the video models. Google 쪽에 Genie 팀이랑 비디오 모델들도 있고요. You've got folks, you know, building VAS on the robotic side. 로봇 분야에서 VLA 만드는 사람들도 있고요. You've got uh FE and and kind of like the 3D spatial models. 3D 공간 모델 쪽에 일하는 분들도 계시고요. as you think about kind of the the body of of of of evidence that got you excited about the JEPA models and how you kind of compare them to what the generative folks have done, you know, where do you think we are today in in terms of like comparing these architectures and approaches? JEPA 모델에 대한 흥미를 불러일으킨 증거들을 생각해보고, 생성 방식과 비교해보면 오늘날 이런 아키텍처들이 어느 위치에 있다고 보세요? Okay, so what model is quickly becoming a buzzword? 세계 모델은 빠르게 유행어가 되고 있어요. Yeah. 그렇죠. Right now, right, certainly in research, but also in industry to some extent. 지금 당장은, 분명히 연구에서도 그렇지만 어느 정도는 산업에서도요. And uh and then there are two factions if you want. 두 가지 진영이 있다면요. I'm not going to talk about VA because VA is clearly now being seen as not going anywhere like it's really not working. VLA에 대해서는 별로 얘기하고 싶지 않아요. 이제 VLA는 진전이 없다는 게 명확히 보이거든요. 정말 안 되고 있어요. So VA is you know vision language action models right? VLA는 비전-언어-액션 모델이잖아요. to basically use the LLM technology to train a system to produce actions for like controlling a robot or something like this, right? LLM 기술을 사용해서 로봇 제어 같은 액션을 출력하는 시스템을 학습시키는 거죠. So you have vision in, language in, action out, maybe language out too. 비전 입력, 언어 입력, 액션 출력, 언어 출력도 가능하고요. Um, and that's pretty much now seen as a failure. 이제 그건 거의 실패로 여겨지고 있어요.