जब AI एजेंट व्यवसाय चलाते हैं — Andon Labs के Lukas Petersson और Axel Backlund

Gemini and and open eye don't behave this way. Gemini और OpenAI ऐसे नहीं करते। It's it's really only clo. यह सिर्फ Claude है। One example is like for lying it's mostly in its reasoning. एक उदाहरण लेते हैं, झूठ बोलने के लिए यह ज्यादातर अपनी reasoning में करता है। Uh because you can like see that it's like क्योंकि आप देख सकते हैं कि यह planning to lie झूठ बोलने की planning कर रहा है। is planning to lie. वो lie बोलने की planning कर रहा है। It's also it can reason and do a different outcome. यह reason कर सकता है और अलग outcome दे सकता है। Yeah. हाँ। And but but then for like creating price cartels for example which is illegal लेकिन price cartels बनाने के लिए, जो कि illegal है, uh that you can just see which email does it send to to the other ones. आप देख सकते हैं कि यह दूसरों को कौन सा email भेजता है। Before we get into today's episode I just have a small message for listeners. आज के episode से पहले listeners के लिए एक छोटा सा message है। Thank you. धन्यवाद। We would not be able to bring you the AI engineering, science, and entertainment content that you so clearly want if you didn't choose to also click in and tune into our content. अगर आप हमारे content को tune in नहीं करते, तो हम AI engineering, science और entertainment की यह content नहीं ला पाते। We've been approached by sponsors on an almost daily basis. हमसे लगभग रोज़ sponsors संपर्क करते हैं। But fortunately, enough of you actually subscribe to us to keep all this sustainable without ads, and we want to keep it that way. लेकिन खुशकिस्मती से, इतने लोग subscribe करते हैं कि हम बिना ads के यह sustainable रख पा रहे हैं, और हम ऐसे ही रखना चाहते हैं। But I just have one favor to ask all of you. बस एक favor चाहिए आप सबसे। The single most powerful, completely free thing you can do is to click that subscribe button. सबसे powerful और बिल्कुल free काम जो आप कर सकते हैं वो है subscribe button क्लिक करना। It's the only thing I'll ever ask of you. यही एकमात्र चीज़ है जो मैं कभी माँगूँगा। And it means absolutely everything to me and my team that works so hard to bring the inspace to you each and every week. इसका मतलब मेरे और मेरी team के लिए बहुत है, जो हर हफ्ते Latent Space आप तक लाने के लिए कड़ी मेहनत करती है। If you do it, I promise you, we'll never stop working to make the show even better. अगर आप करते हैं, तो मैं वादा करता हूँ कि हम show को और बेहतर बनाते रहेंगे। Now, let's get into it. अब शुरू करते हैं। Welcome to Lucas and Axel from Anden Labs, and I'm joined by my favorite guest co-host. Andon Labs से Lucas और Axel का स्वागत है, और मेरे साथ हैं मेरे पसंदीदा guest co-host। anything security, safety, alignment. AI security, safety, alignment के विशेषज्ञ। Uh, Vivu, uh, welcome. Vibhu, आपका स्वागत है। Thank you for having us. हमें बुलाने के लिए शुक्रिया। Thank you. धन्यवाद। Let's match names to voices. आवाज़ों से नाम मिलाते हैं। Uh, maybe you want to take turns introducing yourselves. शायद आप बारी-बारी से अपना परिचय दें। Yeah, I'm Lucas हाँ, मैं Lucas हूँ। and I'm Axel. और मैं Axel हूँ। Let's introduce Anden Labs a bit. Andon Labs के बारे में थोड़ा बताएँ। Like, how did you guys come together? आप दोनों कैसे मिले? Um, you have different backgrounds, but you're both Swedish. आपकी अलग-अलग backgrounds हैं, लेकिन दोनों Swedish हैं। Uh, was that like a big part of it? क्या वो एक बड़ा factor था? Yeah. हाँ। So, when I went to high school, there was this really cool guy who had a superpower. जब मैं high school में था, तब एक बहुत cool लड़का था जिसके पास एक superpower था। He could code. वो code कर सकता था। So he made like the the webs or like the app for the for the for the school and stuff and he was super cool and I wanted to be like him and that was that guy. उसने school का app और website बनाई थी, वो बहुत cool था, मैं उसके जैसा बनना चाहता था, वो यही है। Uh मुझे नहीं पता था। I don't know about this. मुझे नहीं पता इस बारे में। So तो So you went to different universities, right? आप दोनों अलग-अलग universities गए, है ना? Yeah. हाँ। But same high school. लेकिन एक ही high school। I see. अच्छा। Uh so we always said like oh once we graduate university then then we we should start a company and that's what we did. हम हमेशा कहते थे कि university के बाद एक company शुरू करेंगे, और वही किया। Oh there you go. वहाँ से शुरू हुई बात। Okay. ठीक है। And about a year ago you kind of burst onto the scene with vending bench but like was there a thing be before that that was like kind of like the inception? करीब एक साल पहले आप Vending-Bench के साथ सामने आए, लेकिन इससे पहले कुछ था जो इसकी शुरुआत थी? Yeah. हाँ। Yeah. हाँ। So we did work uh with like anthropic was one of our early customers in doing valves. हमने Anthropic के साथ काम किया था, वो हमारे शुरुआती customers में थे, evals के लिए। So we did like dangerous capability valves. हमने dangerous capability evals किए। Uh nothing we published openly but then we started thinking about doing some kind of public benchmark and one thing that we really started thinking about uh was like longunning agents and specifically agents managing businesses. कुछ publicly publish नहीं किया, लेकिन हमने एक public benchmark बनाने के बारे में सोचना शुरू किया, खासकर long-running agents और agents जो businesses manage करें। um cuz and this was like early 2025 uh and I think this the first like you know mentions of people will be running like one person unicorns or even autonomous companies. यह early 2025 की बात है, जब लोग कहने लगे थे कि एक-एक इंसान unicorn companies चला सकेगा। So we thought let's make a benchmark of how well can an agent run the probably simplest business uh possible and uh that's probably uh running a vending machine. हमने सोचा, चलो एक benchmark बनाते हैं कि agent सबसे simple business कितनी अच्छी तरह चला सकता है, और वो है vending machine। So that's the first public one we did and it was very like there was almost no one that noticed it in the first couple of months I think. यह पहला public benchmark था, और पहले कुछ महीनों में लगभग किसी ने notice नहीं किया। Uh so we listed in February last year and then I think around Easter last year. हमने इसे पिछले साल फरवरी में list किया, फिर Easter के आसपास। We got like the first semiviral tweet about it uh that someone else did. किसी और का पहला semi-viral tweet आया इसके बारे में। Yeah. हाँ। I mean we tweeted a bunch uh when it came out and like tried our best. हमने launch के वक्त काफी tweets किए और अपनी best कोशिश की। We tried. कोशिश की। It's the one at anthropic, right? यह Anthropic वाला था, है ना? Yeah. हाँ। So this तो यह is is a classic thing we should get out of the way. एक classic बात है जो पहले clear करनी चाहिए। Exactly. बिल्कुल। There's two versions. दो versions हैं। Uh there's vending bench which is the simulated one which we did like completely independently in February. एक है Vending-Bench, जो simulated है, जो हमने फरवरी में पूरी तरह स्वतंत्र रूप से बनाया। Um and then like Axel said that was like that was the thing that didn't get any traction in the beginning but then some random person made a tweet about it and that that is the paper. जैसा Axel ने कहा, शुरू में किसी ने ध्यान नहीं दिया, फिर किसी random इंसान ने tweet किया, वो paper है। Correct. सही। Yeah. हाँ। Um and then since we thought this was very fun, we thought like oh um चूँकि हमें यह बहुत मज़ेदार लगा, हमने सोचा I think this is also like one thing with under labs like the way we kind of like decide what to do next and what projects to do. यह Andon Labs की एक खासियत है कि हम अगला project कैसे चुनते हैं। It's like what is like the heristic we use is like what is fun is what would be a fun project and and doing this in real life sounded quite fun for us uh and maybe also scientifically useful. हमारा heuristic है कि जो मज़ेदार हो, वो करो। और इसे real life में करना हमें काफी मज़ेदार लगा, और शायद scientifically भी useful। So, uh, then we basically had this idea and then we like, but then we needed a place for it and like putting it out in that public would probably not really work, uh, would get vandalized and stuff. तो फिर यह idea आया, लेकिन हमें एक जगह चाहिए थी। Public में रखना काम नहीं करता, vandalize हो जाता। So, we we pitched it to to the people we were already working with at Antropic and they were like, "Yeah, you can have space. इसलिए हमने Anthropic में जो लोग हमारे साथ काम कर रहे थे, उनके सामने pitch किया। उन्होंने कहा हाँ, जगह दे सकते हैं। This sounds fun." यह मज़ेदार लगता है। Um, I mean, it's like a small fridge, right? यह एक छोटा fridge है, है ना? It's like a mini fridge, you know, people. यह एक mini fridge जैसा है। There's like a stripe thing. एक Stripe वाली चीज़ है। This was like OG the early one. यह OG, पुराना वाला था। Yeah. हाँ। on this. इस पर। We saw it in June, like two 2 months after हमने इसे June में देखा, वहाँ रहे हुए 2 महीने बाद। after it had been there. वहाँ रहने के बाद। They upgraded a little bit. उन्होंने थोड़ा upgrade किया। There's a security camera for making sure you actually Venmo the thing. एक security camera है ताकि verify हो कि आपने Venmo किया। Yeah. हाँ। So, like my impression, I mean, okay, we're we're going straight into project project van because it's such a iconic thing. मेरा मतलब, ठीक है, हम सीधे Project Vend में जा रहे हैं क्योंकि यह इतनी iconic चीज़ है। I do want to cover a little bit of that the origin story even before project van and even into vending bench. मैं Project Vend से पहले की origin story cover करना चाहता था। I I think a lot of people are like yourselves like smart interested in in future of AI interested in developing evals मुझे लगता है कई लोग आप जैसे हैं, smart, AI के future में interested, evals बनाने में interested। but how the hell do you just like walk into enthropics doors and like work with them right like what what is the what are they looking for लेकिन Anthropic के दरवाज़े में घुसना, और उनके साथ काम करना, यह कैसे होता है? what what works and then maybe like when you launch क्या काम करता है? और launch के बारे में, I always think like obviously it would be better to launch with a lab but uh sometimes मुझे लगता है lab के साथ launch करना बेहतर होता, लेकिन कभी-कभी harder to do than it seems जितना लगता है उससे कठिन है। yeah exactly so either either of those like which are more sort of newbie beginner questions but like I think it's meaningful advice to others हाँ, बिल्कुल। तो इनमें से कोई भी, शुरुआती questions। yeah we we get this question a हाँ, यह सवाल हमसे बहुत पूछा जाता है। And I I don't think our experience is is maybe the best. और मुझे नहीं लगता हमारा experience सबसे अच्छा example है। Uh but like the way we did it was that we just built a bunch of things that we had conviction would be useful. हमने जो किया वो यह था कि हमने कुछ चीज़ें बनाईं जिनमें हमें conviction था कि ये काम आएंगी।