Quand les agents IA dirigent des entreprises — Lukas Petersson et Axel Backlund d'Andon Labs

Gemini and and open eye don't behave this way. Gemini et OpenAI ne se comportent pas de cette façon. It's it's really only clo. C'est c'est vraiment seulement Clo. One example is like for lying it's mostly in its reasoning. Un exemple, pour le mensonge c'est surtout dans son raisonnement. Uh because you can like see that it's like Euh parce que vous pouvez comme voir que c'est comme planning to lie planifier de mentir is planning to lie. est en train de planifier de mentir. It's also it can reason and do a different outcome. Il peut aussi raisonner et aboutir à un résultat différent. Yeah. Ouais. And but but then for like creating price cartels for example which is illegal Mais mais pour créer des cartels de prix par exemple ce qui est illégal uh that you can just see which email does it send to to the other ones. euh vous pouvez juste voir quel email il envoie aux autres. Before we get into today's episode I just have a small message for listeners. Avant d'entrer dans l'épisode d'aujourd'hui j'ai un petit message pour les auditeurs. Thank you. Merci. We would not be able to bring you the AI engineering, science, and entertainment content that you so clearly want if you didn't choose to also click in and tune into our content. Nous ne serions pas en mesure de vous apporter le contenu d'ingénierie IA, de science et de divertissement que vous voulez si clairement si vous ne choisissiez pas de cliquer et de vous abonner à notre contenu. We've been approached by sponsors on an almost daily basis. Nous avons été approchés par des sponsors presque quotidiennement. But fortunately, enough of you actually subscribe to us to keep all this sustainable without ads, and we want to keep it that way. Mais heureusement, suffisamment d'entre vous s'abonnent pour que tout cela reste viable sans publicités, et nous voulons que ça continue. But I just have one favor to ask all of you. Mais j'ai juste une faveur à vous demander à tous. The single most powerful, completely free thing you can do is to click that subscribe button. La chose la plus puissante, complètement gratuite que vous puissiez faire c'est de cliquer sur le bouton d'abonnement. It's the only thing I'll ever ask of you. C'est la seule chose que je vous demanderai jamais. And it means absolutely everything to me and my team that works so hard to bring the inspace to you each and every week. Et ça signifie absolument tout pour moi et mon équipe qui travaille si dur pour vous apporter Latent Space chaque semaine. If you do it, I promise you, we'll never stop working to make the show even better. Si vous le faites, je vous promets, nous ne cesserons jamais de travailler pour rendre l'émission encore meilleure. Now, let's get into it. Maintenant, passons-y. Welcome to Lucas and Axel from Anden Labs, and I'm joined by my favorite guest co-host. Bienvenue à Lucas et Axel d'Andon Labs, et je suis rejoint par mon co-animateur invité préféré. anything security, safety, alignment. tout ce qui touche à la sécurité, la sûreté, l'alignement. Uh, Vivu, uh, welcome. Euh, Vibhu, euh, bienvenue. Thank you for having us. Merci de nous recevoir. Thank you. Merci. Let's match names to voices. Mettons des noms sur des voix. Uh, maybe you want to take turns introducing yourselves. Euh, vous voulez peut-être vous présenter chacun à votre tour. Yeah, I'm Lucas Ouais, je suis Lucas and I'm Axel. et moi c'est Axel. Let's introduce Anden Labs a bit. Présentons un peu Andon Labs. Like, how did you guys come together? Comme, comment vous êtes-vous retrouvés ensemble ? Um, you have different backgrounds, but you're both Swedish. Euh, vous avez des parcours différents, mais vous êtes tous les deux suédois. Uh, was that like a big part of it? Euh, est-ce que ça a compté pour beaucoup ? Yeah. Ouais. So, when I went to high school, there was this really cool guy who had a superpower. Alors, quand j'étais au lycée, il y avait un gars vraiment cool qui avait un super pouvoir. He could code. Il savait coder. So he made like the the webs or like the app for the for the for the school and stuff and he was super cool and I wanted to be like him and that was that guy. Il avait fait comme le site ou comme l'appli pour l'école et tout ça et il était super cool et je voulais être comme lui et c'était ce gars. Uh Euh I don't know about this. Je sais pas trop pour ça. So Alors So you went to different universities, right? Alors vous avez fait des universités différentes, c'est ça ? Yeah. Ouais. But same high school. Mais le même lycée. I see. Je vois. Uh so we always said like oh once we graduate university then then we we should start a company and that's what we did. Euh donc on s'est toujours dit comme oh une fois qu'on aura fini l'université on on on devrait monter une boîte et c'est ce qu'on a fait. Oh there you go. Ah voilà. Okay. Ok. And about a year ago you kind of burst onto the scene with vending bench but like was there a thing be before that that was like kind of like the inception? Et il y a environ un an vous avez comme débarqué sur la scène avec vending bench mais y avait-il quelque chose avant ça qui était comme un peu l'étincelle ? Yeah. Ouais. Yeah. Ouais. So we did work uh with like anthropic was one of our early customers in doing valves. Donc on a travaillé euh avec comme Anthropic qui était un de nos premiers clients pour faire des évaluations. So we did like dangerous capability valves. On a fait des évaluations de capacités dangereuses. Uh nothing we published openly but then we started thinking about doing some kind of public benchmark and one thing that we really started thinking about uh was like longunning agents and specifically agents managing businesses. Euh rien qu'on ait publié ouvertement mais on a commencé à réfléchir à faire une sorte de benchmark public et une chose à laquelle on a vraiment commencé à réfléchir euh c'était les agents à longue durée et notamment les agents gérant des entreprises. um cuz and this was like early 2025 uh and I think this the first like you know mentions of people will be running like one person unicorns or even autonomous companies. parce que c'était début 2025 euh et je pense que c'est là qu'on a entendu les premières mentions de genre les gens vont gérer des licornes à une seule personne ou même des entreprises autonomes. So we thought let's make a benchmark of how well can an agent run the probably simplest business uh possible and uh that's probably uh running a vending machine. Donc on s'est dit faisons un benchmark pour voir jusqu'où un agent peut gérer l'entreprise probablement la plus simple euh qui soit et euh ça c'est probablement euh gérer un distributeur automatique. So that's the first public one we did and it was very like there was almost no one that noticed it in the first couple of months I think. Donc c'est le premier qu'on a publié et c'était très comme presque personne n'y a prêté attention dans les premiers mois je crois. Uh so we listed in February last year and then I think around Easter last year. Euh donc on l'a listé en février de l'année dernière et puis je crois vers Pâques l'année dernière. We got like the first semiviral tweet about it uh that someone else did. On a eu comme le premier tweet semi-viral à ce sujet euh que quelqu'un d'autre a fait. Yeah. Ouais. I mean we tweeted a bunch uh when it came out and like tried our best. Je veux dire on a tweeté pas mal euh quand c'est sorti et on a fait de notre mieux. We tried. On a essayé. It's the one at anthropic, right? C'est celui chez Anthropic, non ? Yeah. Ouais. So this Donc ça is is a classic thing we should get out of the way. c'est un truc classique qu'on devrait régler. Exactly. Exactement. There's two versions. Il y a deux versions. Uh there's vending bench which is the simulated one which we did like completely independently in February. Euh il y a vending bench qui est la version simulée qu'on a faite de façon complètement indépendante en février. Um and then like Axel said that was like that was the thing that didn't get any traction in the beginning but then some random person made a tweet about it and that that is the paper. Euh et puis comme Axel l'a dit c'était comme c'est la chose qui n'a pas eu de traction au début mais ensuite quelqu'un au hasard a fait un tweet à ce sujet et c'est ça le papier. Correct. C'est ça. Yeah. Ouais. Um and then since we thought this was very fun, we thought like oh um Euh et puis comme on trouvait ça vraiment fun, on s'est dit euh I think this is also like one thing with under labs like the way we kind of like decide what to do next and what projects to do. Je pense que c'est aussi comme une chose avec Andon Labs comme la façon dont on décide un peu de ce qu'on fait ensuite et quels projets entreprendre. It's like what is like the heristic we use is like what is fun is what would be a fun project and and doing this in real life sounded quite fun for us uh and maybe also scientifically useful. C'est genre la heuristique qu'on utilise c'est qu'est-ce qui est fun qu'est-ce qui serait un projet fun et faire ça dans la vraie vie nous semblait assez fun euh et peut-être aussi scientifiquement utile. So, uh, then we basically had this idea and then we like, but then we needed a place for it and like putting it out in that public would probably not really work, uh, would get vandalized and stuff. Donc, euh, on a eu cette idée et puis on s'est dit, mais il nous fallait un endroit pour ça et le mettre dans un espace public n'aurait probablement pas vraiment marché, euh, ça aurait été vandalisé et tout. So, we we pitched it to to the people we were already working with at Antropic and they were like, "Yeah, you can have space. Donc, on l'a pitché aux gens avec qui on travaillait déjà chez Anthropic et ils ont dit oui, vous pouvez avoir de l'espace. This sounds fun." Ça a l'air fun. Um, I mean, it's like a small fridge, right? Euh, je veux dire, c'est comme un petit frigo, non ? It's like a mini fridge, you know, people. C'est comme un mini frigo, vous voyez, les gens. There's like a stripe thing. Il y a genre un truc Stripe. This was like OG the early one. C'était comme l'OG l'original. Yeah. Ouais. on this. là-dessus. We saw it in June, like two 2 months after On l'a vu en juin, comme deux 2 mois après after it had been there. après qu'il était là. They upgraded a little bit. Ils ont amélioré un peu. There's a security camera for making sure you actually Venmo the thing. Il y a une caméra de sécurité pour vérifier que vous avez bien viré par Venmo. Yeah. Ouais. So, like my impression, I mean, okay, we're we're going straight into project project van because it's such a iconic thing. Donc, comme mon impression, je veux dire, bon, on va directement dans project vend parce que c'est un truc tellement iconique. I do want to cover a little bit of that the origin story even before project van and even into vending bench. Je veux quand même couvrir un peu l'histoire des origines avant project vend et même vending bench. I I think a lot of people are like yourselves like smart interested in in future of AI interested in developing evals Je pense que beaucoup de gens sont comme vous, intelligents et intéressés par l'avenir de l'IA et par le développement d'évaluations but how the hell do you just like walk into enthropics doors and like work with them right like what what is the what are they looking for mais comment diable est-ce qu'on rentre chez Anthropic comme ça et on travaille avec eux comme qu'est-ce qu'ils cherchent what what works and then maybe like when you launch qu'est-ce qui marche et ensuite peut-être comme quand vous lancez I always think like obviously it would be better to launch with a lab but uh sometimes je me dis toujours comme évidemment ce serait mieux de lancer avec un lab mais euh parfois harder to do than it seems plus difficile que ça en a l'air yeah exactly so either either of those like which are more sort of newbie beginner questions but like I think it's meaningful advice to others ouais exactement donc l'un ou l'autre de ces trucs comme qui sont plus des questions de débutants mais comme je pense que c'est un conseil significatif pour les autres yeah we we get this question a ouais on on reçoit cette question And I I don't think our experience is is maybe the best. Et je pense pas que notre expérience soit peut-être la meilleure. Uh but like the way we did it was that we just built a bunch of things that we had conviction would be useful. Euh mais comme la façon dont on a fait c'est qu'on a juste construit un tas de choses pour lesquelles on était convaincus qu'elles seraient utiles.