Construyendo un guardián de IA para empresas con Maxim Bar Kogan, CEO de Onyx Security

as you're exponentially doing more things with the eyes, you're going to start having really bad actions happen. A medida que haces exponencialmente más cosas con los agentes, vas a empezar a ver acciones realmente malas. And we've seen some of that happen lately with agents accidentally publishing code and tokens that they weren't supposed to. Y hemos visto que eso pasó últimamente con agentes que publicaron accidentalmente código y tokens que no debían. Like definitely enterprises are starting to realize that that risk is grown exponentially and that they don't have any way to stop the adoption. Las empresas definitivamente están empezando a darse cuenta de que ese riesgo creció de forma exponencial y no tienen manera de frenar la adopción. They just now have to do something to reduce the chance of these agent actions being illegitimate or incorrect. Ahora tienen que hacer algo para reducir la probabilidad de que estas acciones de los agentes sean ilegítimas o incorrectas. But we're allowed to look at a lot of historical data of how these agents have behaved. Pero se nos permite mirar muchos datos históricos sobre cómo se han comportado estos agentes. But enterprise today are not willing to have Anthropic or open AI keep that historical data because they know these are very data companies that will want to train on that data. Pero las empresas hoy no quieren que Anthropic u OpenAI guarden esos datos históricos, porque saben que estas son empresas muy orientadas a datos que querrán entrenar con ellos. Hi listeners, welcome back to No Priors. Hola, oyentes, bienvenidos de nuevo a No Priors. Today I'm here with Maximbar Kogan, the co-founder and CEO of Onyx Security, an Israelbased startup of researchers, mathematicians, and engineers building agents to watch the AI agents. Hoy estoy con Maxim Bar Kogan, cofundador y CEO de Onyx Security, una startup con sede en Israel formada por investigadores, matemáticos e ingenieros que construyen agentes para supervisar a los agentes de IA. We talk about specialized model training, Mythos, alignment research, and the Israeli ecosystem in security and now AI. Hablamos sobre entrenamiento de modelos especializados, Mythos, investigación de alineación y el ecosistema israelí en seguridad y ahora en IA. Welcome, Maxim. Bienvenido, Maxim. Thanks so much for doing this. Muchas gracias por hacer esto. Thank you. Gracias. Pleasure to be here. Es un placer estar aquí. Everyone is much more concerned about security and the impact of AI on security than they were um certainly a few months ago. Todos están mucho más preocupados por la seguridad y el impacto de la IA en la seguridad que hace algunos meses. The consensus risk story El relato de riesgo consensuado uh two two years ago when you started the company was basically like DLP for chat bots like what are what are employees putting into chat GPT. hace dos años, cuando fundaste la empresa, era básicamente como DLP para chatbots: qué están poniendo los empleados en ChatGPT. Now we have clearly something that is not quite panic but close to marketwide panic. Ahora tenemos claramente algo que no es pánico total, pero se acerca a un pánico generalizado en el mercado. How did you decide to bet on agent actions um when you started? ¿Cómo decidiste apostar por las acciones de agentes cuando empezaste? Look, I think for us the pivotal point was uh AutoGPT. Mira, creo que para nosotros el punto de inflexión fue AutoGPT. I think AutoGPT kind of a let everyone's imagination including ours run wild because it was a Creo que AutoGPT permitió que la imaginación de todos, incluida la nuestra, se desbordara, porque era la primera vez que realmente veías agentes haciendo cosas de forma autónoma. Can you remind listeners what that was? ¿Puedes recordarle a los oyentes qué fue eso? Sure. Claro. So, AutoGPT um and I'm sorry if I don't know the guy behind it, but a huge huge fan. Entonces, AutoGPT, y perdón si no sé quién está detrás, pero soy un fan enorme. H they created the first as far as I know first really autonomous agent running on LLMs right so agent that you know would let LLM not generate text but decide what to do and then give that agent an API access to do that thing a tool to do it and then would do that in a loop so it basically in theory could let agents do very complicated things anything a person could do on a computer now in granted it didn't work that well it was too early. Crearon el primero que yo sepa, el primer agente realmente autónomo corriendo sobre LLMs: un agente que dejaba que el LLM no generara texto, sino que decidiera qué hacer, le daba acceso vía API para hacer esa cosa, una herramienta para hacerlo, y lo hacía en un bucle, así que en teoría podía dejar que los agentes hicieran cosas muy complicadas, cualquier cosa que una persona pudiera hacer en una computadora. Claro que no funcionaba tan bien, era demasiado temprano. The models were not good enough. Los modelos no eran suficientemente buenos. GPT4 was not good enough. GPT-4 no era suficientemente bueno. But I think it did give everyone a glimpse into the future of you know what if the models were good enough and then basically using that same structure we could have very capable agents doing stuff for us. Pero creo que sí le dio a todos una visión del futuro: qué pasaría si los modelos fueran suficientemente buenos y pudiéramos tener agentes muy capaces haciendo cosas por nosotros con esa misma estructura. I think that was in many ways Claude Code today is not dissimilar to autograph back then. Creo que en muchos aspectos Claude Code hoy no es tan diferente de AutoGPT en aquel entonces. I think they were a bit early on on again before the malls were ready but the concept was right and the thought that stickked with me was I was very IPL even back then. Creo que llegaron un poco antes de que los modelos estuvieran listos, pero el concepto era correcto, y el pensamiento que se me quedó fue que yo ya era muy creyente en AGI incluso entonces. So I was uh I was uh thinking oh my god malls are going to be way smarter than us when that happens. Estaba pensando: dios mío, los modelos van a ser mucho más inteligentes que nosotros cuando eso pase. How do we oversee these very uh smart uh agents that are, you know, they're smarter than us? ¿Cómo supervisamos a estos agentes tan inteligentes que, ya sabes, son más listos que nosotros? They're very capable. Son muy capaces. Uh how we're going to feel easy about them doing stuff for us, especially when they start managing really important stuff, you know, then one day they're managing your water supply and your electricity, your uh power grid, right? ¿Cómo vamos a sentirnos tranquilos con que hagan cosas por nosotros, sobre todo cuando empiecen a gestionar cosas realmente importantes, como el suministro de agua, la electricidad, la red eléctrica? How do you control them? ¿Cómo los controlas? And that was like the thing I was kind of obsessed about that thought. Y eso era como la cosa con la que estaba un poco obsesionado. H I was also too early. También llegué demasiado pronto. So I think at the time enterprises were not using any agents. Creo que en ese momento las empresas no usaban ningún agente. Uh there were hardly any agents out there and and talking with a lot of security buds at the time they were like oh dude you're way too early like this is not uh something that's going to happen as you question. Apenas había agentes y hablando con muchos amigos de seguridad en ese momento me decían: tío, llegas demasiado pronto, esto no va a pasar tan rápido. I said is anyone going to do this before you run out of money? Les pregunté: ¿va a hacer esto alguien antes de que se te acabe el dinero? And and I think there was a good chance that uh I would have run out of money before because I think you were right like I think it there was an element of chance here but then I think the market did happen. Y creo que había una buena probabilidad de que se me hubiera acabado antes, porque creo que tenías razón, había un elemento de suerte, pero creo que el mercado sí llegó. So we had suddenly reasoning models that could do long horizon tasks. De repente tuvimos modelos de razonamiento capaces de hacer tareas de largo horizonte. We had a Claude Code which became like the really first widely used autonomous agent and then we had co-work and Claude Code and and I think we're starting to see now that these types of agents that are very autonomous even though they're like uh everyone was afraid to build them. Tuvimos Claude Code, que se convirtió en el primer agente autónomo ampliamente usado, y luego tuvimos co-work y Claude Code, y creo que estamos empezando a ver que estos tipos de agentes muy autónomos están creciendo aunque todo el mundo tenía miedo de construirlos. So everyone started building these low code platforms that were much more limited much more based on connectors. Así que todos empezaron a construir plataformas de bajo código mucho más limitadas, basadas en conectores. H those platforms ended up being quite limited. Esas plataformas resultaron ser bastante limitadas. So that we didn't get the productivity gains from those limited platforms. No obtuvimos los beneficios de productividad de esas plataformas limitadas. But when we started getting the crazy benefits from these very unleashed agents that could do everything that had much less controls baked into them and even very large enterprises decided they're going to adopt it. Pero cuando empezamos a ver los beneficios increíbles de estos agentes muy desatados que podían hacer de todo, con muchos menos controles integrados, incluso las grandes empresas decidieron adoptarlos. You know like tropics revenue is coming from enterprises that are paying for Claude Code to do a lot of the work that developers used to do. Ya sabes, los ingresos de Anthropic vienen de empresas que pagan por Claude Code para hacer gran parte del trabajo que antes hacían los desarrolladores. That was a bit about kind of how we started and we definitely were in luck that very autonomous agents appeared uh before uh it was too late. Eso es un poco sobre cómo empezamos y definitivamente tuvimos suerte de que aparecieran agentes muy autónomos antes de que fuera demasiado tarde. So can you describe a little bit just because it's um I I think both uh close to impossible and then very useful in this period of AI to think about what is deployment right now and then you know what's changing about capability. ¿Puedes describir un poco, porque creo que es casi imposible y muy útil en este período de IA, pensar en cuál es el estado del despliegue ahora mismo y qué está cambiando en cuanto a capacidades? What's the oneliner on what the Onyx product does today and then like how you think about long-term vision ¿Cuál es el resumen de lo que hace el producto de Onyx hoy y cómo piensas en la visión a largo plazo today? hoy? Like Onyx is really does do two two things. Onyx realmente hace dos cosas. Number one is we train models and build agents that can oversee other agents. La primera es que entrenamos modelos y construimos agentes que pueden supervisar a otros agentes. And the goal of that is to say, okay, we need someone to be able to tell that all of these actions that are now happening by these AIs that we're adopting are legitimate because that number the number of these actions is going exponentially. Y el objetivo de eso es poder decir: necesitamos que alguien sea capaz de verificar que todas las acciones que están realizando estos sistemas de IA que estamos adoptando son legítimas, porque ese número de acciones está creciendo exponencialmente. And so things that we thought might be useful in the past like a human in the loop now that you're going to have 100x, a thousandx, a millionx of these actions, h that's not going to work. Así que cosas que pensábamos que podrían ser útiles en el pasado, como un humano en el bucle, ahora que vas a tener 100 veces, mil veces, un millón de veces más de estas acciones, eso no va a funcionar. And then we take that capability and we basically productize it in a product that we call the control plane or the secure control plane where we come to the present say hey let's let's find all of your AIS and autonomous agents and hook them up to onyx to this system where we can oversee what your eyes are doing so that uh you don't run into the risk of as you're exponentially doing more things with the eyes you're going to start having really bad actions happen and and we've seen some of that happen lately with down times that were caused by a just doing the wrong thing, agents accidentally publishing code and tokens uh that they weren't supposed to and so on. Y luego tomamos esa capacidad y básicamente la convertimos en un producto que llamamos el plano de control o el plano de control seguro, donde llegamos a la empresa y decimos: encontremos todos tus sistemas de IA y agentes autónomos y conéctemolos a Onyx, a este sistema donde podemos supervisar lo que están haciendo, para que no corras el riesgo de que, al hacer exponencialmente más cosas con los agentes, empiecen a ocurrir acciones realmente malas. So like definitely enterprise are starting to realize that that risk is growing exponentially and that they don't have any way to stop the adoption. Definitivamente las empresas están empezando a darse cuenta de que ese riesgo crece exponencialmente y que no tienen forma de detener la adopción. So like they just now have to do something to reduce the chance of these agent actions being uh illegitimate or incorrect. Así que ahora tienen que hacer algo para reducir la probabilidad de que estas acciones de los agentes sean ilegítimas o incorrectas. Yeah, I I think um the one of the core reasons obviously the foundation model labs are going after code is because it is very powerful in general and can do you know in theory all things software can uh over time. Creo que una de las razones principales por las que los laboratorios de modelos fundacionales van tras el código es porque es muy potente en general y puede hacer, en teoría, todo lo que el software puede hacer con el tiempo. Um the flip side of that is it can do all things software can right and so uh I joyously am already in the camp of having allowed a having been over permissive with my agents such that it deleted data permanently and caused rework. La otra cara de eso es que puede hacer todo lo que el software puede, y por eso yo ya estoy alegremente en el grupo de los que han sido demasiado permisivos con sus agentes, lo que hizo que se borraran datos permanentemente y causara retrabajo. So I'm like oh okay I think I see I need some guardian guardian spirits around it. Entonces pensé: ah, okay, creo que entiendo, necesito algunos espíritus guardianes a su alrededor. Um given your deployments today and talking to large enterprises what is the state of deployment Dado tu despliegue actual y tus conversaciones con grandes empresas, ¿cuál es el estado del despliegue right? ahora mismo? uh like how much do you see ¿Cuánto ves that's within these de eso dentro de estas uh more scoped like studio-l like platforms versus uh you know uh free free riding coding agents plataformas más acotadas tipo estudio, frente a agentes de codificación que van más libres? you know how how much are you actually seeing in large enterprises in different sectors ¿Cuánto estás viendo realmente en grandes empresas de diferentes sectores? yeah so I think right now in our typical enterprise we're going to see if we break it down to three categories so we break it down to various SAS platforms that are typically more low code uh where people build agents in this drag and drop way and they're not really autonomous agents, right? En nuestra empresa típica, si lo dividimos en tres categorías, vemos plataformas SaaS que generalmente son de bajo código, donde la gente construye agentes de forma visual y no son agentes realmente autónomos. They're kind of the simp kind of I would think of them more as automations and then there are um first party agents people are building in their cloud potentially because it's an application they want inside the company or even a product they're planning to release to the customers that is agentic. Son más bien automatizaciones; y luego están los agentes de primera parte que la gente construye en su nube, ya sea como aplicación interna o como producto agéntico que planean lanzar a sus clientes. And then the third category is very autonomous coding agents and assistants. Y la tercera categoría son los agentes y asistentes de codificación muy autónomos. Of these categories, I would say roughly at this point over 50% is the autonomous uh coding agents and assistance in the average enterprise. De estas categorías, diría que ahora más del 50% corresponde a los agentes y asistentes de codificación autónomos en la empresa promedio. Then probably 45% is is those uh uh low code automations. Luego probablemente el 45% son esas automatizaciones de bajo código. And the last 2% are really the first party ones that they're building themselves because obviously it's much harder to build effective agents. Y el último 2% son los de primera parte que construyen ellos mismos, porque obviamente es mucho más difícil construir agentes efectivos. So, and it's much easier to adopt agents off the shelf or or build them with low code. Y es mucho más fácil adoptar agentes listos para usar o construirlos con bajo código. So, and that's what we're seeing and we're inducing that the autonomous are also the fastest growing category. Y eso es lo que estamos viendo, e inferimos que los autónomos son también la categoría de más rápido crecimiento. So, it used to be that only developers and we would see Claude Code growing like fire in our customer base and now we're seeing a cloud co-working even faster. Antes solo los desarrolladores usaban Claude Code, que crecía como fuego en nuestra base de clientes, y ahora vemos que Claude trabajando en pareja crece aún más rápido. We're starting to see to our own surprise actually people adopting openclaw as a legitimate sanctioned tool in the company because the CEO is very driven to adopt AI. Estamos empezando a ver, con sorpresa propia, que las personas adoptan OpenAI como herramienta legítima y sancionada en la empresa porque el CEO está muy comprometido con adoptar IA. H so I think that today autonomous ads are by far the fastest growing category and and uh today typically comes without any controls. Creo que hoy los agentes autónomos son con diferencia la categoría de más rápido crecimiento y, típicamente, aparecen sin ningún control. So enterprises uh already buy let's say a hundred billion dollars of security today. Las empresas ya compran, digamos, cien mil millones de dólares en seguridad hoy. Um they have uh lots of different protections at the endpoint and network and cloud and identity domains. Tienen muchas protecciones diferentes en los dominios de endpoint, red, nube e identidad. Uh what's relevant here for securing agents or is none of it like how do you how do you think about the existing protection set? ¿Qué es relevante aquí para asegurar los agentes, o nada de eso aplica? ¿Cómo piensas en el conjunto de protecciones existente? Security is always a space where you have some overlap between different tooling but in this and you have the concept of defensive debt as well. La seguridad siempre es un espacio donde hay cierta superposición entre distintas herramientas y también existe el concepto de deuda defensiva. So you want to have defenses at different levels of your technology stack to solve the problem. Quieres tener defensas en diferentes niveles de tu stack tecnológico para resolver el problema. And that said, I think in this space we're kind of in a lot of enterprise are are kind of helpless because I'll take an example the identity approach. Y dicho eso, creo que en este espacio muchas empresas están bastante indefensas. Pongo el ejemplo del enfoque de identidad. Like traditionally if we have an software system that's running in our company we'll our first and most important control will be to limit what permission it has right because and then no matter what even if it goes wrong even if it's compromised it can't um typically do stuff that was originally allowed to do but with these autonomous AIs with these assistants with these coding agents we kind of want them to have our permissions because we want to we want to tell cloud co to do something or cloud co-work to do something and we want to then go have lunch and we want to come back and see that it's done and we want to give it so many diverse tasks as well that we kind of can't find the right set of permissions to do so suddenly our identity security software is not very useful then if you think about endpoint security right or or API security like if we tell our Claude Code that we want to recreate a database and it should delete it and recreate it. Tradicionalmente, si tenemos un sistema de software corriendo en nuestra empresa, nuestro control más importante será limitar qué permisos tiene, porque así, pase lo que pase, aunque falle o se comprometa, no puede hacer cosas que originalmente no se le permitían. Pero con estos sistemas de IA autónomos, con estos asistentes y agentes de codificación, en cierta manera queremos que tengan nuestros permisos, porque queremos decirle a Claude Code que haga algo, ir a almorzar, volver y ver que está hecho, y además le damos tareas tan diversas que no podemos definir el conjunto correcto de permisos. De repente nuestro software de seguridad de identidad no es muy útil. Y si piensas en la seguridad de endpoints o en la seguridad de API: si le decimos a Claude Code que queremos recrear una base de datos y que debe borrarla y recrearla. That's great. Genial. That's going to save our DevOps team and our platform teams a lot of time. Eso va a ahorrarle mucho tiempo a nuestro equipo de DevOps y a nuestros equipos de plataforma. It's it's a great benefit of cloud code. Es un gran beneficio de Claude Code. But if cloud code is working on an unrelated task and suddenly thinks that maybe the right thing to do is to delete our database and recreate it, maybe we don't want that to happen. Pero si Claude Code está trabajando en una tarea no relacionada y de repente cree que quizás lo correcto es borrar nuestra base de datos y recrearla, tal vez no queremos que eso pase. And unfortunately our endpoint providers or API security tools, they don't know what cloud was thinking. Y lamentablemente nuestros proveedores de endpoints o las herramientas de seguridad de API no saben qué estaba pensando Claude. why is it doing what it's doing? ¿Por qué hace lo que hace? Right? ¿Verdad? So, a lot of these existing tools, they don't have the context to understand what these very flexible, unpredictable systems are doing. Muchas de estas herramientas existentes no tienen el contexto para entender qué están haciendo estos sistemas tan flexibles e impredecibles. If you're not building some kind of controls that are built for these systems, then you're either going to end up limiting them a lot, making them almost uh much less useful to the enterprise, or uh you're going to miss a lot of pretty dangerous things that they might be doing. Si no construyes controles diseñados específicamente para estos sistemas, vas a terminar limitándolos mucho y haciéndolos menos útiles, o te vas a perder cosas bastante peligrosas que podrían estar haciendo. As somebody who has worked in security for a long time, my first very traditional instinct on a problem like this is like that sounds like a problem for a proxy with a policy engine. Como alguien que ha trabajado en seguridad durante mucho tiempo, mi primer instinto muy tradicional ante un problema así es: suena como un problema para un proxy con un motor de políticas. We make some rules, we make the rules smarter. Creamos reglas, las hacemos más inteligentes. Like why why doesn't that work or did you did you try it? ¿Por qué no funciona eso, o lo intentaste? There are few things that I mean proxies integration method I would say. Los proxies son un método de integración, diría yo. So there's some there are some AI systems where like you would want to integrate with a proxy if that's the easiest way to do it. Hay algunos sistemas de IA donde querrías integrarte con un proxy si es la forma más fácil de hacerlo. But number one, there's a lot of systems where that's just not viable technically because AI today runs on the cloud on someone else's infrastructure on your endpoint and just proxy is not always an option. Pero en primer lugar, hay muchos sistemas donde eso simplemente no es viable técnicamente, porque la IA hoy corre en la nube, en la infraestructura de otro, en tu endpoint, y un proxy no siempre es una opción.