KI-Sicherheit für Unternehmen mit Onyx Security CEO Maxim Bar Kogan

as you're exponentially doing more things with the eyes, you're going to start having really bad actions happen. Je exponentiell mehr Dinge mit den KIs tust, desto häufiger werden wirklich schlimme Aktionen passieren. And we've seen some of that happen lately with agents accidentally publishing code and tokens that they weren't supposed to. Und wir haben in letzter Zeit erlebt, dass Agenten versehentlich Code und Tokens veröffentlicht haben, die sie nicht hätten veröffentlichen sollen. Like definitely enterprises are starting to realize that that risk is grown exponentially and that they don't have any way to stop the adoption. Definitiv merken Unternehmen zunehmend, dass dieses Risiko exponentiell gewachsen ist und dass sie keine Möglichkeit haben, die Einführung zu stoppen. They just now have to do something to reduce the chance of these agent actions being illegitimate or incorrect. Sie müssen jetzt einfach etwas tun, um die Wahrscheinlichkeit zu verringern, dass diese Agenten-Aktionen illegitim oder falsch sind. But we're allowed to look at a lot of historical data of how these agents have behaved. Aber wir dürfen uns viele historische Daten darüber ansehen, wie sich diese Agenten verhalten haben. But enterprise today are not willing to have Anthropic or open AI keep that historical data because they know these are very data companies that will want to train on that data. Aber Unternehmen sind heute nicht bereit, Anthropic oder OpenAI diese historischen Daten zu überlassen, weil sie wissen, dass das Datenfirmen sind, die auf diesen Daten trainieren wollen. Hi listeners, welcome back to No Priors. Hallo Zuhörer, willkommen zurück bei No Priors. Today I'm here with Maximbar Kogan, the co-founder and CEO of Onyx Security, an Israelbased startup of researchers, mathematicians, and engineers building agents to watch the AI agents. Heute bin ich mit Maxim Bar Kogan zusammen, dem Mitgründer und CEO von Onyx Security, einem in Israel ansässigen Startup aus Forschern, Mathematikern und Ingenieuren, die Agenten entwickeln, um die KI-Agenten zu überwachen. We talk about specialized model training, Mythos, alignment research, and the Israeli ecosystem in security and now AI. Wir sprechen über spezialisiertes Modelltraining, Mythos, Alignment-Forschung und das israelische Ökosystem in Sicherheit und jetzt KI. Welcome, Maxim. Willkommen, Maxim. Thanks so much for doing this. Vielen Dank, dass du dabei bist. Thank you. Danke. Pleasure to be here. Freut mich, hier zu sein. Everyone is much more concerned about security and the impact of AI on security than they were um certainly a few months ago. Alle sind jetzt viel besorgter über Sicherheit und die Auswirkungen von KI auf die Sicherheit als noch, äh, sicher vor ein paar Monaten. The consensus risk story Die allgemeine Risikogeschichte uh two two years ago when you started the company was basically like DLP for chat bots like what are what are employees putting into chat GPT. äh vor zwei Jahren, als du das Unternehmen gegründet hast, war so etwas wie DLP für Chatbots, also was stecken Mitarbeiter in ChatGPT. Now we have clearly something that is not quite panic but close to marketwide panic. Jetzt haben wir eindeutig etwas, das nicht ganz Panik ist, aber nahe an einer marktweiten Panik. How did you decide to bet on agent actions um when you started? Wie hast du dich entschieden, auf Agenten-Aktionen zu setzen, äh, als du angefangen hast? Look, I think for us the pivotal point was uh AutoGPT. Schau, ich glaube, für uns war der entscheidende Punkt äh AutoGPT. I think AutoGPT kind of a let everyone's imagination including ours run wild because it was a Ich glaube, AutoGPT hat irgendwie die Fantasie aller beflügelt, auch unsere, weil es ein Can you remind listeners what that was? Kannst du den Zuhörern kurz erklären, was das war? Sure. Klar. So, AutoGPT um and I'm sorry if I don't know the guy behind it, but a huge huge fan. Also AutoGPT, äh, und ich entschuldige mich, wenn ich den Mann dahinter nicht kenne, aber ein riesiger, riesiger Fan. H they created the first as far as I know first really autonomous agent running on LLMs right so agent that you know would let LLM not generate text but decide what to do and then give that agent an API access to do that thing a tool to do it and then would do that in a loop so it basically in theory could let agents do very complicated things anything a person could do on a computer now in granted it didn't work that well it was too early. Sie haben den ersten, soweit ich weiß, wirklich ersten wirklich autonomen Agenten erstellt, der auf LLMs lief, also ein Agent, der einem LLM erlaubte, nicht Text zu generieren, sondern zu entscheiden, was zu tun ist, und diesem Agenten dann API-Zugang gab, um diese Aktion auszuführen, ein Tool dafür, und das in einer Schleife, sodass er theoretisch Agenten sehr komplizierte Dinge erledigen lassen konnte, alles, was ein Mensch auf einem Computer tun könnte, wobei, zugegeben, es hat nicht so gut funktioniert, es war zu früh. The models were not good enough. Die Modelle waren nicht gut genug. GPT4 was not good enough. GPT-4 war nicht gut genug. But I think it did give everyone a glimpse into the future of you know what if the models were good enough and then basically using that same structure we could have very capable agents doing stuff for us. Aber ich glaube, es hat allen einen Ausblick auf die Zukunft gegeben, also was wäre, wenn die Modelle gut genug wären, und dann könnten wir mit derselben Struktur sehr fähige Agenten haben, die Dinge für uns erledigen. I think that was in many ways Claude Code today is not dissimilar to autograph back then. Ich glaube, das war in vielerlei Hinsicht und Claude Code heute ist AutoGPT von damals nicht unähnlich. I think they were a bit early on on again before the malls were ready but the concept was right and the thought that stickked with me was I was very IPL even back then. Ich glaube, sie waren ein bisschen zu früh, nochmals, bevor die Modelle bereit waren, aber das Konzept war richtig, und der Gedanke, der bei mir hängen blieb, war, dass ich damals schon sehr überzeugt war. So I was uh I was uh thinking oh my god malls are going to be way smarter than us when that happens. Also dachte ich, äh, oh Gott, die Modelle werden viel schlauer als wir sein, wenn das passiert. How do we oversee these very uh smart uh agents that are, you know, they're smarter than us? Wie überwachen wir diese sehr äh klugen äh Agenten, die, weißt du, klüger sind als wir? They're very capable. Sie sind sehr fähig. Uh how we're going to feel easy about them doing stuff for us, especially when they start managing really important stuff, you know, then one day they're managing your water supply and your electricity, your uh power grid, right? Äh, wie werden wir uns wohlfühlen, wenn sie Dinge für uns erledigen, besonders wenn sie anfangen, wirklich wichtige Dinge zu verwalten, also eines Tages verwalten sie deine Wasserversorgung und deinen Strom, dein äh Stromnetz, oder? How do you control them? Wie kontrollierst du sie? And that was like the thing I was kind of obsessed about that thought. Und das war so etwas, womit ich regelrecht besessen war. H I was also too early. Ich war auch zu früh. So I think at the time enterprises were not using any agents. Ich glaube, damals nutzten Unternehmen noch keine Agenten. Uh there were hardly any agents out there and and talking with a lot of security buds at the time they were like oh dude you're way too early like this is not uh something that's going to happen as you question. Äh, es gab kaum Agenten da draußen, und im Gespräch mit vielen Sicherheitsleuten damals sagten die so: Oh Kumpel, du bist viel zu früh dran, das ist äh nichts, was als deine Frage passieren wird. I said is anyone going to do this before you run out of money? Ich fragte: Wird das jemand tun, bevor dir das Geld ausgeht? And and I think there was a good chance that uh I would have run out of money before because I think you were right like I think it there was an element of chance here but then I think the market did happen. Und ich glaube, es war gut möglich, dass äh ich vorher pleite gegangen wäre, weil ich glaube, du hattest recht, ich denke, es gab ein Zufallselement dabei, aber dann glaube ich, hat der Markt doch Fahrt aufgenommen. So we had suddenly reasoning models that could do long horizon tasks. Also hatten wir plötzlich Reasoning-Modelle, die Langzeit-Aufgaben erledigen konnten. We had a Claude Code which became like the really first widely used autonomous agent and then we had co-work and Claude Code and and I think we're starting to see now that these types of agents that are very autonomous even though they're like uh everyone was afraid to build them. Wir hatten Claude Code, das zum ersten wirklich weit verbreiteten autonomen Agenten wurde, und dann hatten wir Claude Co-Working und Claude Code, und ich glaube, wir sehen jetzt zunehmend, dass diese Arten von Agenten, die sehr autonom sind, obwohl alle Angst hatten, sie zu bauen. So everyone started building these low code platforms that were much more limited much more based on connectors. Also begannen alle, diese Low-Code-Plattformen zu bauen, die viel eingeschränkter waren, viel mehr auf Konnektoren basierten. H those platforms ended up being quite limited. Äh, diese Plattformen erwiesen sich als ziemlich begrenzt. So that we didn't get the productivity gains from those limited platforms. Daher haben wir aus diesen eingeschränkten Plattformen keine Produktivitätsgewinne erzielt. But when we started getting the crazy benefits from these very unleashed agents that could do everything that had much less controls baked into them and even very large enterprises decided they're going to adopt it. Aber als wir anfingen, die unglaublichen Vorteile dieser sehr ungebundenen Agenten zu sehen, die alles tun konnten, die viel weniger eingebaute Kontrollen hatten, und sogar sehr große Unternehmen beschlossen, sie einzuführen. You know like tropics revenue is coming from enterprises that are paying for Claude Code to do a lot of the work that developers used to do. Also kommt ein beträchtlicher Teil von Anthropics Einnahmen von Unternehmen, die für Claude Code bezahlen, um viele Aufgaben zu erledigen, die früher Entwickler gemacht haben. That was a bit about kind of how we started and we definitely were in luck that very autonomous agents appeared uh before uh it was too late. Das war ein bisschen darüber, wie wir angefangen haben, und wir hatten definitiv das Glück, dass sehr autonome Agenten äh erschienen, bevor äh es zu spät war. So can you describe a little bit just because it's um I I think both uh close to impossible and then very useful in this period of AI to think about what is deployment right now and then you know what's changing about capability. Kannst du kurz beschreiben, weil es äh ich glaube, in dieser KI-Phase sowohl nahezu unmöglich als auch sehr nützlich ist, darüber nachzudenken, wie die Bereitstellung gerade aussieht und was sich an den Fähigkeiten verändert. What's the oneliner on what the Onyx product does today and then like how you think about long-term vision Was ist der kurze Überblick über das, was das Onyx-Produkt heute macht, und wie du dir die langfristige Vision vorstellst today? heute? Like Onyx is really does do two two things. Also Onyx macht wirklich zwei zwei Dinge. Number one is we train models and build agents that can oversee other agents. Erstens trainieren wir Modelle und bauen Agenten, die andere Agenten überwachen können. And the goal of that is to say, okay, we need someone to be able to tell that all of these actions that are now happening by these AIs that we're adopting are legitimate because that number the number of these actions is going exponentially. Und das Ziel dabei ist zu sagen: Okay, wir brauchen jemanden, der feststellen kann, dass all diese Aktionen, die jetzt von diesen KIs durchgeführt werden, die wir einführen, legitim sind, weil diese Zahl, die Anzahl dieser Aktionen, exponentiell zunimmt. And so things that we thought might be useful in the past like a human in the loop now that you're going to have 100x, a thousandx, a millionx of these actions, h that's not going to work. Und so sind Dinge, von denen wir dachten, sie könnten in der Vergangenheit nützlich sein, wie ein Mensch in der Schleife, jetzt, wo du 100-fach, tausendfach, millionenfach mehr dieser Aktionen haben wirst, äh, das wird nicht funktionieren. And then we take that capability and we basically productize it in a product that we call the control plane or the secure control plane where we come to the present say hey let's let's find all of your AIS and autonomous agents and hook them up to onyx to this system where we can oversee what your eyes are doing so that uh you don't run into the risk of as you're exponentially doing more things with the eyes you're going to start having really bad actions happen and and we've seen some of that happen lately with down times that were caused by a just doing the wrong thing, agents accidentally publishing code and tokens uh that they weren't supposed to and so on. Und dann nehmen wir diese Fähigkeit und produktisieren sie im Wesentlichen in einem Produkt, das wir die Control Plane oder die Secure Control Plane nennen, wo wir zum Unternehmen kommen und sagen: Hey, lass uns alle deine KIs und autonomen Agenten finden und sie mit Onyx verbinden, mit diesem System, wo wir überwachen können, was deine KIs tun, damit äh du nicht in das Risiko läufst, dass du exponentiell mehr Dinge mit den KIs tust und dabei wirklich schlimme Aktionen passieren, und wir haben einige davon in letzter Zeit erlebt, mit Ausfällen, die dadurch verursacht wurden, dass eine KI einfach das Falsche getan hat, Agenten versehentlich Code und Tokens äh veröffentlicht haben, die sie nicht hätten veröffentlichen sollen, und so weiter. So like definitely enterprise are starting to realize that that risk is growing exponentially and that they don't have any way to stop the adoption. Also definitiv beginnen Unternehmen zu realisieren, dass dieses Risiko exponentiell wächst und dass sie keine Möglichkeit haben, die Einführung zu stoppen. So like they just now have to do something to reduce the chance of these agent actions being uh illegitimate or incorrect. Also müssen sie jetzt einfach etwas tun, um die Wahrscheinlichkeit zu verringern, dass diese Agenten-Aktionen äh illegitim oder falsch sind. Yeah, I I think um the one of the core reasons obviously the foundation model labs are going after code is because it is very powerful in general and can do you know in theory all things software can uh over time. Ja, ich glaube äh, einer der Kernpunkte ist offensichtlich, dass die Foundation-Model-Labore Code verfolgen, weil es im Allgemeinen sehr mächtig ist und theoretisch über Zeit alles tun kann, was Software tun kann. Um the flip side of that is it can do all things software can right and so uh I joyously am already in the camp of having allowed a having been over permissive with my agents such that it deleted data permanently and caused rework. Äh, die Kehrseite davon ist, dass es alles tun kann, was Software tun kann, und so äh bin ich bereits freudig in dem Lager derjenigen, die ihren Agenten zu viele Berechtigungen gegeben haben, sodass er Daten dauerhaft gelöscht und Mehrarbeit verursacht hat. So I'm like oh okay I think I see I need some guardian guardian spirits around it. Also denke ich: Oh okay, ich glaube, ich sehe, ich brauche so etwas wie Schutzgeister drum herum. Um given your deployments today and talking to large enterprises what is the state of deployment Äh, angesichts deiner heutigen Deployments und der Gespräche mit großen Unternehmen, wie ist der Stand der Bereitstellung right? oder? uh like how much do you see äh, wie viel siehst du that's within these das innerhalb dieser uh more scoped like studio-l like platforms versus uh you know uh free free riding coding agents äh, eher eingegrenzte, studio-ähnliche Plattformen versus äh, weißt du, äh, frei laufende Coding-Agenten you know how how much are you actually seeing in large enterprises in different sectors weißt du, wie viel siehst du tatsächlich in großen Unternehmen in verschiedenen Sektoren yeah so I think right now in our typical enterprise we're going to see if we break it down to three categories so we break it down to various SAS platforms that are typically more low code uh where people build agents in this drag and drop way and they're not really autonomous agents, right? ja, also ich glaube, gerade in unserem typischen Unternehmen werden wir sehen, wenn wir es in drei Kategorien aufteilen: Wir unterteilen es in verschiedene SaaS-Plattformen, die typischerweise eher Low-Code sind, wo Leute Agenten auf Drag-and-Drop-Weise bauen und das keine wirklich autonomen Agenten sind, oder? They're kind of the simp kind of I would think of them more as automations and then there are um first party agents people are building in their cloud potentially because it's an application they want inside the company or even a product they're planning to release to the customers that is agentic. Das sind irgendwie die einfacheren, ich würde sie eher als Automatisierungen bezeichnen, und dann gibt es äh eigene Agenten, die Leute in ihrer Cloud bauen, möglicherweise weil es eine Anwendung ist, die sie intern nutzen wollen oder sogar ein Produkt, das sie für Kunden mit agentischen Fähigkeiten veröffentlichen möchten. And then the third category is very autonomous coding agents and assistants. Und die dritte Kategorie sind sehr autonome Coding-Agenten und Assistenten. Of these categories, I would say roughly at this point over 50% is the autonomous uh coding agents and assistance in the average enterprise. Von diesen Kategorien würde ich sagen, dass derzeit über 50 Prozent auf die autonomen äh Coding-Agenten und Assistenten im durchschnittlichen Unternehmen entfallen. Then probably 45% is is those uh uh low code automations. Dann sind es wahrscheinlich 45 Prozent für diese äh äh Low-Code-Automatisierungen. And the last 2% are really the first party ones that they're building themselves because obviously it's much harder to build effective agents. Und die letzten zwei Prozent sind wirklich die selbst entwickelten, weil es offensichtlich viel schwieriger ist, effektive Agenten zu bauen. So, and it's much easier to adopt agents off the shelf or or build them with low code. Also ist es viel einfacher, Agenten von der Stange zu übernehmen oder sie mit Low-Code zu bauen. So, and that's what we're seeing and we're inducing that the autonomous are also the fastest growing category. Also, und das sehen wir, und wir stellen fest, dass die autonomen auch die am schnellsten wachsende Kategorie sind. So, it used to be that only developers and we would see Claude Code growing like fire in our customer base and now we're seeing a cloud co-working even faster. Also war es früher so, dass nur Entwickler Claude Code nutzten und wir sahen, wie Claude Code in unserer Kundenbasis wie ein Feuer wuchs, und jetzt sehen wir, dass Claude Co-Working noch schneller wächst. We're starting to see to our own surprise actually people adopting openclaw as a legitimate sanctioned tool in the company because the CEO is very driven to adopt AI. Wir beginnen zu unserer eigenen Überraschung eigentlich zu sehen, dass Leute OpenClaw als legitimes, sanktioniertes Tool im Unternehmen einsetzen, weil der CEO sehr darauf aus ist, KI einzuführen. H so I think that today autonomous ads are by far the fastest growing category and and uh today typically comes without any controls. Äh, also ich denke, heute sind autonome KIs mit Abstand die am schnellsten wachsende Kategorie, und äh heute kommen sie typischerweise ohne jegliche Kontrollen. So enterprises uh already buy let's say a hundred billion dollars of security today. Also Unternehmen äh kaufen bereits, sagen wir, hundert Milliarden Dollar an Sicherheit heute. Um they have uh lots of different protections at the endpoint and network and cloud and identity domains. Äh, sie haben äh viele verschiedene Schutzmaßnahmen auf der Endpoint-, Netzwerk-, Cloud- und Identity-Ebene. Uh what's relevant here for securing agents or is none of it like how do you how do you think about the existing protection set? Äh, was davon ist relevant für die Absicherung von Agenten, oder ist davon nichts relevant, wie denkst du über das bestehende Schutz-Set nach? Security is always a space where you have some overlap between different tooling but in this and you have the concept of defensive debt as well. Sicherheit ist immer ein Bereich, in dem es einige Überschneidungen zwischen verschiedenen Tools gibt, aber in diesem und du hast auch das Konzept der defensiven Schulden. So you want to have defenses at different levels of your technology stack to solve the problem. Man möchte also auf verschiedenen Ebenen des Technologie-Stacks Abwehrmaßnahmen haben, um das Problem zu lösen. And that said, I think in this space we're kind of in a lot of enterprise are are kind of helpless because I'll take an example the identity approach. Und dennoch glaube ich, dass in diesem Bereich viele Unternehmen irgendwie hilflos sind, weil ich ein Beispiel nehme: den Identity-Ansatz. Like traditionally if we have an software system that's running in our company we'll our first and most important control will be to limit what permission it has right because and then no matter what even if it goes wrong even if it's compromised it can't um typically do stuff that was originally allowed to do but with these autonomous AIs with these assistants with these coding agents we kind of want them to have our permissions because we want to we want to tell cloud co to do something or cloud co-work to do something and we want to then go have lunch and we want to come back and see that it's done and we want to give it so many diverse tasks as well that we kind of can't find the right set of permissions to do so suddenly our identity security software is not very useful then if you think about endpoint security right or or API security like if we tell our Claude Code that we want to recreate a database and it should delete it and recreate it. Traditionell, wenn wir ein Softwaresystem haben, das in unserem Unternehmen läuft, ist unsere erste und wichtigste Kontrolle, einzuschränken, welche Berechtigungen es hat, weil dann, egal was, selbst wenn etwas schiefläuft, selbst wenn es kompromittiert wird, es normalerweise keine Dinge tun kann, die ursprünglich erlaubt waren zu tun, aber bei diesen autonomen KIs, bei diesen Assistenten, bei diesen Coding-Agenten wollen wir, dass sie unsere Berechtigungen haben, weil wir Claude Co anweisen wollen, etwas zu tun oder Claude Co-Working etwas zu tun, und dann Mittagessen gehen wollen und zurückkommen und sehen wollen, dass es erledigt ist, und wir wollen ihm so viele unterschiedliche Aufgaben geben, dass wir irgendwie nicht den richtigen Satz an Berechtigungen finden können, sodass unsere Identity-Sicherheitssoftware plötzlich nicht mehr sehr nützlich ist, dann, wenn du über Endpoint-Security nachdenkst, oder oder API-Security, wenn wir Claude Code anweisen wollen, eine Datenbank neu zu erstellen, und es soll sie löschen und neu aufbauen. That's great. Das ist toll. That's going to save our DevOps team and our platform teams a lot of time. Das wird unserem DevOps-Team und unseren Plattform-Teams eine Menge Zeit sparen. It's it's a great benefit of cloud code. Es ist äh ein großer Vorteil von Claude Code. But if cloud code is working on an unrelated task and suddenly thinks that maybe the right thing to do is to delete our database and recreate it, maybe we don't want that to happen. Aber wenn Claude Code an einer unverwandten Aufgabe arbeitet und plötzlich denkt, dass es vielleicht richtig wäre, unsere Datenbank zu löschen und neu zu erstellen, wollen wir das vielleicht nicht. And unfortunately our endpoint providers or API security tools, they don't know what cloud was thinking. Und leider wissen unsere Endpoint-Anbieter oder API-Sicherheits-Tools nicht, was Claude gedacht hat. why is it doing what it's doing? warum tut es das, was es tut? Right? Oder? So, a lot of these existing tools, they don't have the context to understand what these very flexible, unpredictable systems are doing. Also, viele dieser bestehenden Tools haben nicht den Kontext, um zu verstehen, was diese sehr flexiblen, unvorhersehbaren Systeme tun. If you're not building some kind of controls that are built for these systems, then you're either going to end up limiting them a lot, making them almost uh much less useful to the enterprise, or uh you're going to miss a lot of pretty dangerous things that they might be doing. Wenn du keine Kontrollen aufbaust, die für diese Systeme konzipiert sind, wirst du sie entweder stark einschränken, sie für das Unternehmen fast äh viel weniger nützlich machen, oder äh wirst du viele ziemlich gefährliche Dinge übersehen, die sie möglicherweise tun. As somebody who has worked in security for a long time, my first very traditional instinct on a problem like this is like that sounds like a problem for a proxy with a policy engine. Als jemand, der seit langer Zeit im Sicherheitsbereich tätig ist, lautet mein erster sehr traditioneller Instinkt bei einem solchen Problem: Das klingt nach einem Problem für einen Proxy mit einer Policy-Engine. We make some rules, we make the rules smarter. Wir machen Regeln, wir machen die Regeln intelligenter. Like why why doesn't that work or did you did you try it? Warum warum funktioniert das nicht oder hast du es versucht? There are few things that I mean proxies integration method I would say. Es gibt einige Dinge, ich meine, Proxies als Integrationsmethode würde ich sagen. So there's some there are some AI systems where like you would want to integrate with a proxy if that's the easiest way to do it. Also gibt es einige äh, es gibt einige KI-Systeme, bei denen du einen Proxy integrieren möchtest, wenn das der einfachste Weg ist, es zu tun. But number one, there's a lot of systems where that's just not viable technically because AI today runs on the cloud on someone else's infrastructure on your endpoint and just proxy is not always an option. Aber erstens gibt es viele Systeme, bei denen das technisch schlicht nicht machbar ist, weil KI heute in der Cloud auf der Infrastruktur von jemand anderem auf deinem Endpoint läuft, und ein Proxy einfach nicht immer eine Option ist.