Construire un gardien IA pour l'entreprise avec Maxim Bar Kogan, PDG d'Onyx Security

as you're exponentially doing more things with the eyes, you're going to start having really bad actions happen. À mesure que vous faites exponentiellement plus de choses avec ces agents, vous allez commencer à voir des actions vraiment problématiques se produire. And we've seen some of that happen lately with agents accidentally publishing code and tokens that they weren't supposed to. Et on en a vu récemment avec des agents qui publient accidentellement du code ou accèdent à des ressources auxquelles ils ne devraient pas. Like definitely enterprises are starting to realize that that risk is grown exponentially and that they don't have any way to stop the adoption. Les entreprises commencent clairement à réaliser que ce risque croît de façon exponentielle. They just now have to do something to reduce the chance of these agent actions being illegitimate or incorrect. Elles doivent maintenant agir pour réduire les chances que ces actions d'agents tournent mal. But we're allowed to look at a lot of historical data of how these agents have behaved. Mais on nous autorise à examiner beaucoup de données historiques sur la façon dont ces agents se sont comportés. But enterprise today are not willing to have Anthropic or open AI keep that historical data because they know these are very data companies that will want to train on that data. Mais les entreprises aujourd'hui ne veulent pas qu'Anthropic ou OpenAI conservent ces données historiques. Hi listeners, welcome back to No Priors. Bonjour à tous, bienvenue sur No Priors. Today I'm here with Maximbar Kogan, the co-founder and CEO of Onyx Security, an Israelbased startup of researchers, mathematicians, and engineers building agents to watch the AI agents. Aujourd'hui, j'ai avec moi Maxim Bar Kogan, co-fondateur et CEO d'Onyx Security, une entreprise spécialisée dans la sécurité des agents IA. We talk about specialized model training, Mythos, alignment research, and the Israeli ecosystem in security and now AI. Nous parlons d'entraînement de modèles spécialisés, de Mythos, de recherche en alignement et de l'écosystème israélien de l'IA. Welcome, Maxim. Bienvenue, Maxim. Thanks so much for doing this. Merci d'avoir accepté de participer. Thank you. Merci. Pleasure to be here. C'est un plaisir d'être ici. Everyone is much more concerned about security and the impact of AI on security than they were um certainly a few months ago. Tout le monde s'inquiète bien plus de la sécurité et de l'impact de l'IA sur la sécurité qu'il y a quelques années. The consensus risk story Le scénario de risque consensuel uh two two years ago when you started the company was basically like DLP for chat bots like what are what are employees putting into chat GPT. il y a deux ans, quand vous avez fondé la société, c'était essentiellement la prévention des fuites de données pour les chats. Now we have clearly something that is not quite panic but close to marketwide panic. Maintenant, on a clairement quelque chose qui n'est pas tout à fait la panique, mais qui s'en approche à l'échelle du marché. How did you decide to bet on agent actions um when you started? Comment avez-vous décidé de parier sur les actions des agents quand vous avez commencé ? Look, I think for us the pivotal point was uh AutoGPT. Écoutez, je pense que pour nous le moment charnière a été AutoGPT. I think AutoGPT kind of a let everyone's imagination including ours run wild because it was a Je pense qu'AutoGPT a libéré l'imagination de tout le monde, y compris la nôtre, parce que c'était le premier vrai aperçu d'agents autonomes. Can you remind listeners what that was? Pouvez-vous rappeler aux auditeurs de quoi il s'agissait ? Sure. Bien sûr. So, AutoGPT um and I'm sorry if I don't know the guy behind it, but a huge huge fan. Donc, AutoGPT, et je m'excuse si je ne me souviens pas du nom de la personne derrière, c'était un projet énorme, vraiment énorme. H they created the first as far as I know first really autonomous agent running on LLMs right so agent that you know would let LLM not generate text but decide what to do and then give that agent an API access to do that thing a tool to do it and then would do that in a loop so it basically in theory could let agents do very complicated things anything a person could do on a computer now in granted it didn't work that well it was too early. Ils ont créé, autant que je sache, le premier agent vraiment autonome tournant sur des LLMs, un agent qui laissait le LLM non pas générer du texte mais décider quoi faire, puis lui donnait un accès API pour faire cette chose, dans une boucle, ce qui permettait en théorie de laisser les agents faire des choses très complexes, tout ce qu'une personne peut faire sur un ordinateur, même si en pratique ça ne marchait pas très bien à l'époque. The models were not good enough. Les modèles n'étaient pas assez bons. GPT4 was not good enough. GPT-4 n'était pas assez bon. But I think it did give everyone a glimpse into the future of you know what if the models were good enough and then basically using that same structure we could have very capable agents doing stuff for us. Mais je pense que ça a donné à tout le monde un aperçu du futur : et si ces modèles étaient vraiment capables ? I think that was in many ways Claude Code today is not dissimilar to autograph back then. Je pense que Claude Code aujourd'hui n'est pas si différent d'AutoGPT, mais les modèles sont maintenant à la hauteur. I think they were a bit early on on again before the malls were ready but the concept was right and the thought that stickked with me was I was very IPL even back then. Je pense qu'ils étaient un peu trop en avance avant que les modèles soient prêts, mais le concept était là. So I was uh I was uh thinking oh my god malls are going to be way smarter than us when that happens. Donc je me disais, oh mon Dieu, les modèles vont être bien plus intelligents que nous. How do we oversee these very uh smart uh agents that are, you know, they're smarter than us? Comment supervise-t-on ces agents très intelligents qui, en fait, sont plus intelligents que nous ? They're very capable. Ils sont très capables. Uh how we're going to feel easy about them doing stuff for us, especially when they start managing really important stuff, you know, then one day they're managing your water supply and your electricity, your uh power grid, right? Comment allons-nous être à l'aise avec le fait qu'ils fassent des choses pour nous, surtout quand ils agissent dans le monde réel ? How do you control them? Comment les contrôle-t-on ? And that was like the thing I was kind of obsessed about that thought. C'était quelque chose dont j'étais obsédé. H I was also too early. J'étais aussi trop en avance. So I think at the time enterprises were not using any agents. À l'époque, les entreprises n'utilisaient aucun agent. Uh there were hardly any agents out there and and talking with a lot of security buds at the time they were like oh dude you're way too early like this is not uh something that's going to happen as you question. Il y avait à peine des agents disponibles, et en parlant avec beaucoup de professionnels de la sécurité, personne ne voyait encore le problème. I said is anyone going to do this before you run out of money? Je disais : est-ce que quelqu'un va faire ça avant que vous soyez à court d'argent ? And and I think there was a good chance that uh I would have run out of money before because I think you were right like I think it there was an element of chance here but then I think the market did happen. Et je pense qu'il y avait de bonnes chances que je sois à court d'argent avant que le marché arrive. So we had suddenly reasoning models that could do long horizon tasks. Puis soudain, on a eu des modèles de raisonnement capables de gérer des tâches longues. We had a Claude Code which became like the really first widely used autonomous agent and then we had co-work and Claude Code and and I think we're starting to see now that these types of agents that are very autonomous even though they're like uh everyone was afraid to build them. On a eu Claude Code, qui est devenu en quelque sorte le premier agent autonome vraiment largement utilisé. So everyone started building these low code platforms that were much more limited much more based on connectors. Tout le monde a commencé à construire ces plateformes low-code qui étaient bien plus limitées. H those platforms ended up being quite limited. Ces plateformes se sont avérées assez limitées. So that we didn't get the productivity gains from those limited platforms. On n'a donc pas obtenu les gains de productivité attendus de ces plateformes limitées. But when we started getting the crazy benefits from these very unleashed agents that could do everything that had much less controls baked into them and even very large enterprises decided they're going to adopt it. Mais quand on a commencé à voir les bénéfices extraordinaires de ces agents vraiment libérés, le marché a changé. You know like tropics revenue is coming from enterprises that are paying for Claude Code to do a lot of the work that developers used to do. Les revenus d'Anthropic proviennent d'entreprises qui paient pour Claude Code. That was a bit about kind of how we started and we definitely were in luck that very autonomous agents appeared uh before uh it was too late. C'était un peu l'histoire de nos débuts, et on a eu la chance que le marché arrive à point. So can you describe a little bit just because it's um I I think both uh close to impossible and then very useful in this period of AI to think about what is deployment right now and then you know what's changing about capability. Pouvez-vous décrire un peu, parce que c'est proche de beaucoup de gens mais aussi très loin, ce que fait le produit Onyx aujourd'hui ? What's the oneliner on what the Onyx product does today and then like how you think about long-term vision Quel est le résumé en une phrase de ce que fait le produit Onyx aujourd'hui, et comment vous pensez à l'espace ? today? Aujourd'hui ? Like Onyx is really does do two two things. Onyx fait vraiment deux choses. Number one is we train models and build agents that can oversee other agents. Premièrement, on entraîne des modèles et on construit des agents qui peuvent superviser d'autres agents. And the goal of that is to say, okay, we need someone to be able to tell that all of these actions that are now happening by these AIs that we're adopting are legitimate because that number the number of these actions is going exponentially. L'objectif est de dire : on a besoin que quelqu'un puisse détecter qu'un agent est sur le point de faire quelque chose de problématique. And so things that we thought might be useful in the past like a human in the loop now that you're going to have 100x, a thousandx, a millionx of these actions, h that's not going to work. Des choses qu'on pensait utiles dans le passé, comme un humain dans la boucle, ne fonctionnent plus à l'échelle. And then we take that capability and we basically productize it in a product that we call the control plane or the secure control plane where we come to the present say hey let's let's find all of your AIS and autonomous agents and hook them up to onyx to this system where we can oversee what your eyes are doing so that uh you don't run into the risk of as you're exponentially doing more things with the eyes you're going to start having really bad actions happen and and we've seen some of that happen lately with down times that were caused by a just doing the wrong thing, agents accidentally publishing code and tokens uh that they weren't supposed to and so on. On prend cette capacité et on la transforme en produit qui s'intègre dans votre infrastructure. So like definitely enterprise are starting to realize that that risk is growing exponentially and that they don't have any way to stop the adoption. Les entreprises commencent clairement à réaliser que ce risque croît et qu'elles ont besoin de contrôles. So like they just now have to do something to reduce the chance of these agent actions being uh illegitimate or incorrect. Elles doivent maintenant agir pour réduire les chances que ces actions d'agents tournent mal. Yeah, I I think um the one of the core reasons obviously the foundation model labs are going after code is because it is very powerful in general and can do you know in theory all things software can uh over time. Je pense que l'une des raisons fondamentales pour lesquelles les fournisseurs de modèles de base ne font pas ça eux-mêmes, c'est qu'ils veulent que vous les utilisiez. Um the flip side of that is it can do all things software can right and so uh I joyously am already in the camp of having allowed a having been over permissive with my agents such that it deleted data permanently and caused rework. L'autre côté de la médaille, c'est que l'IA peut faire tout ce que le logiciel peut faire, et donc je pense qu'on a besoin de quelqu'un pour surveiller ça. So I'm like oh okay I think I see I need some guardian guardian spirits around it. Donc je me dis, ah d'accord, je vois, j'ai besoin de quelques esprits gardiens autour de ça. Um given your deployments today and talking to large enterprises what is the state of deployment Étant donné vos déploiements actuels et vos échanges avec de grandes entreprises, quel est l'état des lieux ? right? C'est ça ? uh like how much do you see Combien en voyez-vous that's within these au sein de ces uh more scoped like studio-l like platforms versus uh you know uh free free riding coding agents plateformes plus encadrées versus des agents vraiment libres ? you know how how much are you actually seeing in large enterprises in different sectors Combien en voyez-vous réellement dans les grandes entreprises, dans différents secteurs ? yeah so I think right now in our typical enterprise we're going to see if we break it down to three categories so we break it down to various SAS platforms that are typically more low code uh where people build agents in this drag and drop way and they're not really autonomous agents, right? Donc, dans notre entreprise cliente type, si on décompose les agents, on peut les regrouper en quelques catégories. They're kind of the simp kind of I would think of them more as automations and then there are um first party agents people are building in their cloud potentially because it's an application they want inside the company or even a product they're planning to release to the customers that is agentic. Ce sont en quelque sorte les plus simples, ceux que j'appellerais plutôt des automatisations. And then the third category is very autonomous coding agents and assistants. La troisième catégorie, ce sont les agents de codage très autonomes et les assistants. Of these categories, I would say roughly at this point over 50% is the autonomous uh coding agents and assistance in the average enterprise. Dans ces catégories, je dirais qu'à ce stade, plus de 50% sont les agents autonomes. Then probably 45% is is those uh uh low code automations. Ensuite, environ 45% sont ces automatisations low-code. And the last 2% are really the first party ones that they're building themselves because obviously it's much harder to build effective agents. Les derniers 2% sont vraiment les agents internes qu'ils construisent eux-mêmes. So, and it's much easier to adopt agents off the shelf or or build them with low code. Et il est beaucoup plus facile d'adopter des agents prêts à l'emploi ou de les construire en low-code. So, and that's what we're seeing and we're inducing that the autonomous are also the fastest growing category. C'est ce qu'on observe, et on constate que les agents autonomes croissent aussi. So, it used to be that only developers and we would see Claude Code growing like fire in our customer base and now we're seeing a cloud co-working even faster. Avant, seuls les développeurs utilisaient Claude Code, et on le voyait croître comme un produit pour développeurs. We're starting to see to our own surprise actually people adopting openclaw as a legitimate sanctioned tool in the company because the CEO is very driven to adopt AI. On commence à voir, à notre grande surprise, des gens adopter Claude Code comme un outil général. H so I think that today autonomous ads are by far the fastest growing category and and uh today typically comes without any controls. Je pense qu'aujourd'hui les agents autonomes sont de loin la catégorie à la croissance la plus rapide. So enterprises uh already buy let's say a hundred billion dollars of security today. Les entreprises dépensent déjà, disons, cent milliards de dollars en sécurité. Um they have uh lots of different protections at the endpoint and network and cloud and identity domains. Elles ont beaucoup de protections différentes au niveau des endpoints, du réseau et du cloud. Uh what's relevant here for securing agents or is none of it like how do you how do you think about the existing protection set? Qu'est-ce qui est pertinent ici pour sécuriser les agents, ou rien de tout ça ne s'applique ? Security is always a space where you have some overlap between different tooling but in this and you have the concept of defensive debt as well. La sécurité est toujours un domaine où il y a un certain chevauchement entre les différents outils. So you want to have defenses at different levels of your technology stack to solve the problem. On veut avoir des défenses à différents niveaux de sa pile technologique pour résoudre différents problèmes. And that said, I think in this space we're kind of in a lot of enterprise are are kind of helpless because I'll take an example the identity approach. Cela dit, dans cet espace, beaucoup d'entreprises sont en mode de départ à zéro. Like traditionally if we have an software system that's running in our company we'll our first and most important control will be to limit what permission it has right because and then no matter what even if it goes wrong even if it's compromised it can't um typically do stuff that was originally allowed to do but with these autonomous AIs with these assistants with these coding agents we kind of want them to have our permissions because we want to we want to tell cloud co to do something or cloud co-work to do something and we want to then go have lunch and we want to come back and see that it's done and we want to give it so many diverse tasks as well that we kind of can't find the right set of permissions to do so suddenly our identity security software is not very useful then if you think about endpoint security right or or API security like if we tell our Claude Code that we want to recreate a database and it should delete it and recreate it. Traditionnellement, si on a un système logiciel qui tourne dans notre entreprise, notre premier et principal contrôle sera de limiter ses permissions via les API, parce que même si quelque chose tourne mal ou est compromis, il ne peut pas faire ce qui ne lui était pas autorisé. Mais avec ces IA autonomes, ces assistants, ces agents de codage, on veut qu'ils aient nos permissions, parce qu'on veut dire à Claude Code de faire quelque chose, partir déjeuner, revenir et voir que c'est fait. On lui confie des tâches si diverses qu'on ne peut pas définir les bonnes permissions, donc notre logiciel de sécurité des identités devient moins utile. Et si on dit à Claude Code de recréer une base de données, qu'il doit la supprimer et la recréer. That's great. C'est parfait. That's going to save our DevOps team and our platform teams a lot of time. Ça va faire gagner beaucoup de temps à nos équipes DevOps et plateformes. It's it's a great benefit of cloud code. C'est un vrai bénéfice de Claude Code. But if cloud code is working on an unrelated task and suddenly thinks that maybe the right thing to do is to delete our database and recreate it, maybe we don't want that to happen. Mais si Claude Code travaille sur une tâche sans rapport et pense soudainement qu'il faudrait peut-être supprimer quelque chose, c'est un problème. And unfortunately our endpoint providers or API security tools, they don't know what cloud was thinking. Et malheureusement, nos fournisseurs d'endpoints ou nos outils de sécurité API ne savent pas ça. why is it doing what it's doing? pourquoi est-ce qu'il fait ce qu'il fait ? Right? Voilà. So, a lot of these existing tools, they don't have the context to understand what these very flexible, unpredictable systems are doing. Donc, beaucoup de ces outils existants n'ont pas le contexte pour comprendre ce que l'agent fait et pourquoi. If you're not building some kind of controls that are built for these systems, then you're either going to end up limiting them a lot, making them almost uh much less useful to the enterprise, or uh you're going to miss a lot of pretty dangerous things that they might be doing. Si vous ne construisez pas des contrôles conçus pour ces systèmes, vous allez rater des menaces importantes. As somebody who has worked in security for a long time, my first very traditional instinct on a problem like this is like that sounds like a problem for a proxy with a policy engine. En tant que quelqu'un qui travaille dans la sécurité depuis longtemps, ma première réaction très traditionnelle serait : on met en place un proxy. We make some rules, we make the rules smarter. On établit des règles, on rend les règles plus intelligentes. Like why why doesn't that work or did you did you try it? Pourquoi est-ce que ça ne fonctionne pas, ou est-ce que vous avez essayé ? There are few things that I mean proxies integration method I would say. Il y a quelques éléments, je dirais que les proxies comme méthode d'intégration ont leurs limites. So there's some there are some AI systems where like you would want to integrate with a proxy if that's the easiest way to do it. Il y a certains systèmes d'IA où vous voudriez vous intégrer via un proxy et ça a du sens. But number one, there's a lot of systems where that's just not viable technically because AI today runs on the cloud on someone else's infrastructure on your endpoint and just proxy is not always an option. Mais premièrement, il y a beaucoup de systèmes où ce n'est tout simplement pas viable techniquement.