Yann LeCun on What Comes After LLMs

You're one of the godfathers of AI. Eres uno de los padrinos de la IA. What's your kind of view of the path of progress here? ¿Cuál es tu visión del camino del progreso? 5 years complete world domination. 5 años de dominación mundial total. The best way to get breakthrough research is you hire the best people. La mejor forma de lograr investigación de vanguardia es contratar a las mejores personas. You get the out of the way. Y quitarte de en medio. Pardon my French. Perdona la expresión. You share the touring award with two others. Compartes el Premio Turing con otros dos. When did your views start diverging? ¿Cuándo empezaron a divergir tus opiniones? In 2023. En 2023. How do you know it was time to leave Meta? ¿Cómo supiste que era momento de dejar Meta? It sounds like you were thinking through some of these things over a period of time. Parece que estuviste reflexionando sobre estas cosas durante un tiempo. Here's a big misconception about my role, my relation to Alex, and how AI was run at Meta. Hay un gran malentendido sobre mi rol, mi relación con Alex y cómo se gestionaba la IA en Meta. What's like one thing you've changed your mind on in the last year? ¿Cuál es una cosa en la que hayas cambiado de opinión en el último año? I mean, the whole idea of uh O sea, la idea completa de, eh, Yan Lun is one of the godfathers of AI. Yann LeCun es uno de los padrinos de la IA. He's an absolute legend in the field. Es una leyenda absoluta en el campo. Uh someone I've admired for a long time. Alguien a quien he admirado durante mucho tiempo. And so it was such a treat to get him on unsupervised learning. Y fue un placer enorme tenerlo en Unsupervised Learning. Uh he's been a noted skeptic of of LMS in many ways. Ha sido un escéptico reconocido de los LLMs en muchos sentidos. And so we dug into what LM can do, what they can't do, uh some of the limitations he sees, and why he ultimately decided to pursue a different architecture. Así que exploramos qué pueden hacer los LLMs, qué no pueden hacer, algunas de las limitaciones que él ve y por qué al final decidió adoptar una arquitectura diferente. Uh and we also talked about his time at Meta. Y también hablamos sobre su tiempo en Meta. um you know the things he's proud of in setting up fair how the last few years proceeded and what ultimately led him to uh spin out and start his own company uh AMI um I think it's just fascinating to get Yan's thoughts on everything happening in the AI ecosystem today this tension between basic research and then pushing LLM forward and how that's happening in in a bunch of organizations today as well as his thoughts on just where the the whole space is headed uh he's just an absolute giant in the field and when I started this podcast I hope we get guests like him so it is just such a treat I think folks will really enjoy hearing the conversation we had. Las cosas de las que está orgulloso al construir FAIR, cómo transcurrieron los últimos años y qué lo llevó a separarse y fundar su propia empresa, AMI. Creo que es fascinante conocer las opiniones de Yann sobre todo lo que ocurre en el ecosistema de IA hoy, esta tensión entre la investigación fundamental y el impulso de los LLM, y cómo está ocurriendo en muchas organizaciones. Es un gigante absoluto en el campo y cuando empecé este podcast esperaba conseguir invitados como él, así que es un placer enorme. Creo que la gente disfrutará mucho la conversación. Without further ado, here's Yan. Sin más preámbulos, aquí está Yann. Yan, this is such a pleasure. Yann, es un placer enorme. You're one of the godfathers of AI. Eres uno de los padrinos de la IA. I feel like when I started doing this podcast years ago, I was really hoping we might one day get someone like you on. Cuando empecé este podcast hace años, realmente esperaba que algún día pudiéramos tener a alguien como tú. You know, I don't like that term because I live in New Jersey. Sabes, no me gusta ese término porque vivo en New Jersey. When you're a godfather in New Jersey, Cuando eres un padrino en New Jersey, it doesn't mean the same thing. no significa lo mismo. Very fair. Muy justo. Very fair. Muy justo. You know, obviously, you know, your bet on on neural nets when everyone doubted them is legendary. Sabes, tu apuesta por las redes neuronales cuando todos las dudaban es legendaria. And I feel like today you're making a similar bet in many ways against LLMs and the kind of predominant generative architectures that that so many believe in. Y siento que hoy haces una apuesta similar en muchos sentidos contra los LLMs y las arquitecturas generativas predominantes en las que tantos creen. Uh you've recently started a new company uh behind this theme. Recientemente fundaste una nueva empresa en torno a este tema. And so you know our goal today in the conversation is to leave our listeners with a lot more information about AME, what you're doing there, some of your work at Tapestry. Y nuestro objetivo hoy en la conversación es darles a los oyentes mucha más información sobre AMI, lo que estás haciendo allí, algo de tu trabajo en Tapestry. Um you know, why you think the rest of the field is is is pointed in the wrong direction around some of these generative models and then also just get your reflections on the way the field's unfolded your time at Meta and all that. Por qué crees que el resto del campo apunta en la dirección equivocada con estos modelos generativos, y también obtener tus reflexiones sobre cómo se ha desarrollado el campo, tu tiempo en Meta y todo eso. So, you know, modest goals for uh for for for a single podcast episode. Objetivos modestos para un solo episodio de podcast. I figured it'd be great to start with the meat um because the company feels like the clearest statement of your technical thesis going forward. Pensé que sería bueno empezar por el meollo, porque la empresa parece la declaración más clara de tu tesis técnica. And so, you recently launched the company. Así que lanzaste la empresa recientemente. It's focused on world models uh and scaling the Jeter architecture, which you obviously pioneered uh over at Meta. Está enfocada en modelos del mundo y en escalar la arquitectura JEPA, que obviamente tú desarrollaste en Meta. And so, I'm wondering if you could talk a little bit about the origins of that architecture and the extent to which you drew inspiration from the human brain and the way that works. Me pregunto si podrías hablar un poco sobre los orígenes de esa arquitectura y hasta qué punto te inspiraste en el cerebro humano. So first of all, I want to say there's nothing wrong with LLMs in the sense of LLM, you know, are the basis for a lot of very useful AI products that all of us use, including me. Primero, quiero decir que no hay nada malo en los LLM en el sentido de que son la base de muchos productos de IA muy útiles que todos usamos, incluido yo. Uh they're great, okay, for what they do. Son estupendos, para lo que hacen. They're just not a path towards human level or human like intelligence or even animalike intelligence. Solo que no son un camino hacia la inteligencia a nivel humano ni siquiera a nivel animal. Uh so that's my claim, okay? Eso es lo que afirmo. I'm not saying are useless, right? No estoy diciendo que sean inútiles. I'm I'm just saying they're not a path towards you. Solo digo que no son un camino hacia eso. I mean, O sea, you helped build some of the first major open source ones, tú ayudaste a construir algunos de los primeros grandes modelos de código abierto, right? ¿verdad? Absolutely. Absolutamente. So, what is uh AME? ¿Entonces qué es AMI? So, ME really stands for advanced machine intelligence and the the the kind of subtitle the moto if you want is uh AI for the real world. AMI significa Advanced Machine Intelligence, y el subtítulo, si quieres, es IA para el mundo real. So basically a lot of you know AI techniques that people know about today are good for language manipulation either human language or computer code or mathematics or or legal ease which barely qualifies as human language. Básicamente, muchas de las técnicas de IA que la gente conoce hoy son buenas para la manipulación del lenguaje: lenguaje humano, código informático, matemáticas o lenguaje legal, que apenas califica como lenguaje humano. Unfortunately a lot of human language used for it Desafortunadamente, mucho lenguaje humano se usa para eso. right sadly you know language is very special in a way and it's particularly well suited for the type of uh you know architectures that have been so successful uh recently the the you know large language models GPT style architectures but what about the real world what about like understanding the physical world turns out reality is way more complicated than language uh because El lenguaje es muy especial de cierta manera y es particularmente adecuado para el tipo de arquitecturas que han tenido tanto éxito recientemente, los grandes modelos de lenguaje, los modelos GPT. Pero, ¿qué pasa con el mundo real? ¿Con entender el mundo físico? Resulta que la realidad es mucho más compleja que el lenguaje porque It's highdimensional. es de alta dimensionalidad. It's continuous. Es continua. It's noisy. Es ruidosa. It's messy. Es desordenada. And uh training a system to understand the real world is much much harder. Y entrenar un sistema para entender el mundo real es mucho, mucho más difícil. So that's really what we're after. Eso es lo que buscamos. That's what I've been after for most of my career. Eso es lo que he buscado durante la mayor parte de mi carrera. And really kind of, you know, working on in an accelerated fashion over the last five, six years or so and making significant progress over the last two years. Y realmente lo he estado trabajando de forma acelerada en los últimos cinco, seis años, con avances significativos en los últimos dos. And so it made sense to really do a startup around it and sort of go to into high gear, you know, in pushing that. Y tuvo sentido crear una startup alrededor de esto y pasar a alta velocidad para impulsarlo. and it became clear, you know, by the end of last year that Meta was really not the right place for that. Y quedó claro, a finales del año pasado, que Meta no era el lugar adecuado para eso. So, which is why I left and started Emmy Labs. Por eso me fui y fundé AMI Labs. I think it's an interesting like, you know, trend that we're seeing across the board, right, where it feels like um there you're there's there's many folks spinning out of, you know, either some of the large companies or research labs, you know, that have a a particular direction of research they're excited about. Es una tendencia interesante que estamos viendo en todos lados, donde muchas personas se separan de grandes empresas o laboratorios de investigación con una dirección de investigación que les entusiasma. And you you'd have such an interesting vantage point of this from your time at fair. Y tienes un punto de vista tan interesante desde tu tiempo en FAIR. This uh almost tension that exists between, you know, go pursue as many different research directions as possible in these companies versus hey, something's really working. Esta tensión que existe entre explorar tantas direcciones de investigación como sea posible versus concentrarse en lo que realmente está funcionando. This is the thing that we're going to sell for the next 61 12 months like go focus on that. Enfocarse en lo que van a vender en los próximos seis a doce meses. You know, I'm curious your your thoughts on that and and what you've kind of seen in the industry at large. Me pregunto qué piensas sobre eso y lo que has visto en la industria en general. Well, it's a strange uh trade-off. Bueno, es un equilibrio extraño. There's really two modes of R&D, right? Hay dos modos de I+D. There's a lot of exploratory research, a lot of d research directions, right? Mucha investigación exploratoria, muchas direcciones de investigación. And sometimes something kind of seems to work and you you need to push it further and it's not research anymore. Y a veces algo parece funcionar y hay que impulsarlo más, y ya no es investigación. I mean the people working on it are researchers or they're called researchers at least in the press but uh but really it's becoming more engineering and pushing for for products, right? La gente que trabaja en ello son investigadores, o al menos así los llaman en la prensa, pero en realidad se vuelve más ingeniería y desarrollo de productos. So that happened a number of times at Meta because of things that was started at fair. Eso pasó varias veces en Meta con cosas que empezaron en FAIR. Such a thing happened in you know early 2023 essentially uh when you know Lama which was developed at fair lama one um was very promising and uh meta created a whole organization geni to turn it into something real and a series of products uh and produced you know lama 2, lama 3, lama 4 which was a bit of disappointment uh and because you know Mark Zuckerber was disappointed by it he kind rebooted the entire organization, reorganized it and hired new people etc. Algo así pasó a principios de 2023, cuando Llama, que se desarrolló en FAIR, Llama 1, era muy prometedor. Meta creó una organización entera, GenAI, para convertirlo en algo real, en productos, y produjo Llama 2, Llama 3, Llama 4, que fue un poco decepcionante. Como Mark Zuckerberg estaba decepcionado, básicamente reinició toda la organización, la reorganizó y contrató nueva gente. But what also happened uh over the last year is that uh basically the company meta realized that um they had fallen behind a little bit and so that kind of refocused the the strategy on trying to catch up with the industry. Lo que también ocurrió en el último año es que Meta se dio cuenta de que había quedado un poco rezagada, lo cual reenfocó la estrategia en tratar de ponerse al día con la industria. And the sad side effect of it is that a lot of the exploratory research was basically not given high priority anymore. Y el efecto secundario triste es que gran parte de la investigación exploratoria básicamente dejó de tener alta prioridad. I mean it didn't concern the stuff I was working on. No afectó lo que yo estaba trabajando. all the JA and role models because you know Mark himself and and Dub Bosworth the CTO and a bunch of other people in the company were really interested in that project and really believed in the long-term impact but the rest of the company was just you know totally entirely focused on LLM and made it clear to me that Ma was really not the the right place to push for that project anymore and then we started to had good results and so it was clear that you know we had to kind of make that transition between research and actually kind of uh developing the technology, scaling it up and building products out of it. Todo lo de JEPA y los modelos del mundo, porque el propio Mark y Andrew Bosworth, el CTO, y mucha gente en la empresa estaban muy interesados en ese proyecto y realmente creían en su impacto a largo plazo. Pero el resto de la compañía estaba totalmente enfocado en los LLM y me dejaron claro que Meta ya no era el lugar adecuado para impulsar ese proyecto. Luego empezamos a obtener buenos resultados y quedó claro que había que hacer esa transición entre la investigación y el desarrollo real de la tecnología, escalarla y construir productos. And we realized also that most of the applications were probably for things that Meta was not particularly interested in. Y también nos dimos cuenta de que la mayoría de las aplicaciones probablemente serían para cosas que a Meta no le interesaban particularmente. A lot of applications of the kind of stuff that we've been working on is in industry like manufacturing industry and stuff like that. Muchas aplicaciones del tipo de trabajo que hemos estado haciendo son en la industria: manufactura industrial y cosas así. Obviously, you're you're kind of pursuing world models and and and in that broader world. Obviamente, estás persiguiendo modelos del mundo en ese mundo más amplio. And I think there's other people that have come at the world model pace from a more like generative approach. Y creo que hay otras personas que han llegado a los modelos del mundo desde un enfoque más generativo. And so I think you've got folks, you know, uh got the Google folks in Genie and the video models. Están los de Google en Genie y los modelos de video. You've got folks, you know, building VAS on the robotic side. Están los que trabajan en VLAs en el lado robótico. You've got uh FE and and kind of like the 3D spatial models. Están FE y los modelos espaciales 3D. as you think about kind of the the body of of of of evidence that got you excited about the JEPA models and how you kind of compare them to what the generative folks have done, you know, where do you think we are today in in terms of like comparing these architectures and approaches? Pensando en el cuerpo de evidencia que te entusiasmó con los modelos JEPA y cómo los comparas con lo que han hecho los modelos generativos, ¿dónde crees que estamos hoy en términos de comparar estas arquitecturas? Okay, so what model is quickly becoming a buzzword? Bien, el modelo del mundo se está convirtiendo rápidamente en una palabra de moda. Yeah. Sí. Right now, right, certainly in research, but also in industry to some extent. En este momento, ciertamente en investigación, pero también en la industria en cierta medida. And uh and then there are two factions if you want. Y hay dos facciones si quieres. I'm not going to talk about VA because VA is clearly now being seen as not going anywhere like it's really not working. No voy a hablar de los VLAs porque claramente ya se ve que no van a ningún lado: realmente no funcionan. So VA is you know vision language action models right? Los VLAs son modelos de acción de lenguaje visual. to basically use the LLM technology to train a system to produce actions for like controlling a robot or something like this, right? Básicamente usan la tecnología de los LLM para entrenar un sistema que produzca acciones para controlar un robot o algo así. So you have vision in, language in, action out, maybe language out too. Tienes visión de entrada, lenguaje de entrada, acciones de salida, y quizás también lenguaje de salida. Um, and that's pretty much now seen as a failure. Y eso ahora se considera prácticamente un fracaso.