Construindo um Guardião de IA para Empresas com Maxim Bar Kogan, CEO da Onyx Security

as you're exponentially doing more things with the eyes, you're going to start having really bad actions happen. à medida que você faz exponencialmente mais coisas com os agentes, vai começar a ter ações realmente ruins acontecendo. And we've seen some of that happen lately with agents accidentally publishing code and tokens that they weren't supposed to. E vimos isso acontecer recentemente com agentes publicando acidentalmente código e tokens que não deveriam. Like definitely enterprises are starting to realize that that risk is grown exponentially and that they don't have any way to stop the adoption. Com certeza as empresas estão começando a perceber que esse risco cresceu exponencialmente e que não têm como parar a adoção. They just now have to do something to reduce the chance of these agent actions being illegitimate or incorrect. Agora elas precisam fazer algo para reduzir a chance de essas ações de agentes serem ilegítimas ou incorretas. But we're allowed to look at a lot of historical data of how these agents have behaved. Mas temos permissão de olhar muitos dados históricos de como esses agentes se comportaram. But enterprise today are not willing to have Anthropic or open AI keep that historical data because they know these are very data companies that will want to train on that data. Mas as empresas hoje não querem que a Anthropic ou a OpenAI mantenham esses dados históricos porque sabem que são empresas muito orientadas a dados e vão querer treinar com eles. Hi listeners, welcome back to No Priors. Olá, ouvintes, bem-vindos de volta ao No Priors. Today I'm here with Maximbar Kogan, the co-founder and CEO of Onyx Security, an Israelbased startup of researchers, mathematicians, and engineers building agents to watch the AI agents. Hoje estou aqui com Maxim Bar Kogan, cofundador e CEO da Onyx Security, uma startup israelense de pesquisadores, matemáticos e engenheiros construindo agentes para vigiar os agentes de IA. We talk about specialized model training, Mythos, alignment research, and the Israeli ecosystem in security and now AI. Conversamos sobre treinamento de modelos especializados, Mythos, pesquisa de alinhamento e o ecossistema israelense em segurança e agora em IA. Welcome, Maxim. Bem-vindo, Maxim. Thanks so much for doing this. Muito obrigada por estar aqui. Thank you. Obrigado. Pleasure to be here. É um prazer estar aqui. Everyone is much more concerned about security and the impact of AI on security than they were um certainly a few months ago. Todo mundo está muito mais preocupado com segurança e o impacto da IA na segurança do que estava, com certeza, há alguns meses. The consensus risk story A narrativa de risco de consenso uh two two years ago when you started the company was basically like DLP for chat bots like what are what are employees putting into chat GPT. dois anos atrás quando você fundou a empresa era basicamente DLP para chatbots: o que os funcionários estão colocando no ChatGPT. Now we have clearly something that is not quite panic but close to marketwide panic. Agora temos claramente algo que não é bem pânico, mas próximo de pânico no mercado. How did you decide to bet on agent actions um when you started? Como você decidiu apostar nas ações de agentes quando começou? Look, I think for us the pivotal point was uh AutoGPT. Olha, acho que para nós o ponto decisivo foi o AutoGPT. I think AutoGPT kind of a let everyone's imagination including ours run wild because it was a Acho que o AutoGPT meio que deixou a imaginação de todos correr solta, incluindo a nossa, porque era um Can you remind listeners what that was? Você pode lembrar aos ouvintes o que foi isso? Sure. Claro. So, AutoGPT um and I'm sorry if I don't know the guy behind it, but a huge huge fan. Então, o AutoGPT, e me desculpe se não sei o nome do criador, mas sou um fã enorme. H they created the first as far as I know first really autonomous agent running on LLMs right so agent that you know would let LLM not generate text but decide what to do and then give that agent an API access to do that thing a tool to do it and then would do that in a loop so it basically in theory could let agents do very complicated things anything a person could do on a computer now in granted it didn't work that well it was too early. Eles criaram o primeiro, até onde eu sei, agente realmente autônomo rodando em LLMs, certo? Um agente que deixaria o LLM não gerar texto, mas decidir o que fazer, e então dava a esse agente acesso a uma API para fazer aquela coisa, uma ferramenta para fazê-la, e faria isso em um loop, então em teoria poderia deixar agentes fazer coisas muito complicadas, qualquer coisa que uma pessoa pudesse fazer em um computador. Claro, na prática não funcionava tão bem, era cedo demais. The models were not good enough. Os modelos não eram bons o suficiente. GPT4 was not good enough. GPT-4 não era bom o suficiente. But I think it did give everyone a glimpse into the future of you know what if the models were good enough and then basically using that same structure we could have very capable agents doing stuff for us. Mas acho que deu a todos um vislumbre do futuro: e se os modelos fossem bons o suficiente? E então usando essa mesma estrutura poderíamos ter agentes muito capazes fazendo coisas por nós. I think that was in many ways Claude Code today is not dissimilar to autograph back then. Acho que de muitas formas o Claude Code hoje não é tão diferente do AutoGPT de volta então. I think they were a bit early on on again before the malls were ready but the concept was right and the thought that stickked with me was I was very IPL even back then. Acho que eles estavam um pouco cedo, de novo, antes de os modelos estarem prontos, mas o conceito estava certo e o pensamento que ficou comigo foi que eu era muito otimista em relação ao AGI mesmo então. So I was uh I was uh thinking oh my god malls are going to be way smarter than us when that happens. Então eu estava pensando: meu Deus, os modelos vão ser muito mais inteligentes do que nós quando isso acontecer. How do we oversee these very uh smart uh agents that are, you know, they're smarter than us? Como supervisionamos esses agentes muito inteligentes que, sabe, são mais inteligentes que nós? They're very capable. São muito capazes. Uh how we're going to feel easy about them doing stuff for us, especially when they start managing really important stuff, you know, then one day they're managing your water supply and your electricity, your uh power grid, right? Como vamos nos sentir à vontade com eles fazendo coisas por nós, especialmente quando começarem a gerenciar coisas realmente importantes, sabe? Um dia estão gerenciando seu abastecimento de água e sua eletricidade, sua rede elétrica, certo? How do you control them? Como você os controla? And that was like the thing I was kind of obsessed about that thought. E esse era o pensamento com o qual eu estava meio obcecado. H I was also too early. Eu também estava cedo demais. So I think at the time enterprises were not using any agents. Acho que na época as empresas não estavam usando nenhum agente. Uh there were hardly any agents out there and and talking with a lot of security buds at the time they were like oh dude you're way too early like this is not uh something that's going to happen as you question. Mal havia agentes por aí e conversando com muitos amigos de segurança na época eles diziam: cara, você está cedo demais, isso não vai acontecer agora. I said is anyone going to do this before you run out of money? A pergunta era: alguém vai fazer isso antes de você ficar sem dinheiro? And and I think there was a good chance that uh I would have run out of money before because I think you were right like I think it there was an element of chance here but then I think the market did happen. E acho que havia uma boa chance de eu ficar sem dinheiro antes, porque acho que você estava certo, havia um elemento de sorte aqui, mas então acho que o mercado aconteceu. So we had suddenly reasoning models that could do long horizon tasks. Então de repente tivemos modelos de raciocínio que podiam fazer tarefas de longo horizonte. We had a Claude Code which became like the really first widely used autonomous agent and then we had co-work and Claude Code and and I think we're starting to see now that these types of agents that are very autonomous even though they're like uh everyone was afraid to build them. Tínhamos o Claude Code que se tornou o primeiro agente autônomo amplamente usado e então tivemos colaboração com Claude Code e acho que estamos começando a ver agora que esses tipos de agentes muito autônomos, mesmo que todos tivessem medo de construí-los. So everyone started building these low code platforms that were much more limited much more based on connectors. Então todos começaram a construir essas plataformas low-code que eram muito mais limitadas, muito mais baseadas em conectores. H those platforms ended up being quite limited. Essas plataformas acabaram sendo bastante limitadas. So that we didn't get the productivity gains from those limited platforms. Então não obtivemos os ganhos de produtividade dessas plataformas limitadas. But when we started getting the crazy benefits from these very unleashed agents that could do everything that had much less controls baked into them and even very large enterprises decided they're going to adopt it. Mas quando começamos a ter benefícios incríveis desses agentes muito liberados que podiam fazer tudo e tinham muito menos controles integrados, até grandes empresas decidiram adotá-los. You know like tropics revenue is coming from enterprises that are paying for Claude Code to do a lot of the work that developers used to do. A receita da Anthropic vem de empresas que pagam pelo Claude Code para fazer muito do trabalho que os desenvolvedores faziam antes. That was a bit about kind of how we started and we definitely were in luck that very autonomous agents appeared uh before uh it was too late. Foi um pouco sobre como começamos e definitivamente tivemos sorte de que agentes muito autônomos apareceram antes que fosse tarde demais. So can you describe a little bit just because it's um I I think both uh close to impossible and then very useful in this period of AI to think about what is deployment right now and then you know what's changing about capability. Você pode descrever um pouco, porque acho que é ao mesmo tempo quase impossível e muito útil neste período de IA, pensar sobre o que é implantação agora e o que está mudando em termos de capacidade. What's the oneliner on what the Onyx product does today and then like how you think about long-term vision Qual é o resumo em uma frase do que o produto Onyx faz hoje e como você pensa na visão de longo prazo today? hoje? Like Onyx is really does do two two things. A Onyx realmente faz duas coisas. Number one is we train models and build agents that can oversee other agents. A primeira é que treinamos modelos e construímos agentes que podem supervisionar outros agentes. And the goal of that is to say, okay, we need someone to be able to tell that all of these actions that are now happening by these AIs that we're adopting are legitimate because that number the number of these actions is going exponentially. E o objetivo disso é dizer: ok, precisamos de alguém capaz de dizer que todas essas ações que agora estão sendo realizadas por essas IAs que estamos adotando são legítimas, porque esse número de ações está crescendo exponencialmente. And so things that we thought might be useful in the past like a human in the loop now that you're going to have 100x, a thousandx, a millionx of these actions, h that's not going to work. E então coisas que achávamos que poderiam ser úteis no passado, como um humano no loop, agora que você vai ter 100x, mil vezes, um milhão de vezes mais dessas ações, isso não vai funcionar. And then we take that capability and we basically productize it in a product that we call the control plane or the secure control plane where we come to the present say hey let's let's find all of your AIS and autonomous agents and hook them up to onyx to this system where we can oversee what your eyes are doing so that uh you don't run into the risk of as you're exponentially doing more things with the eyes you're going to start having really bad actions happen and and we've seen some of that happen lately with down times that were caused by a just doing the wrong thing, agents accidentally publishing code and tokens uh that they weren't supposed to and so on. E então usamos essa capacidade e basicamente a transformamos em produto no que chamamos de plano de controle ou plano de controle seguro, onde chegamos às empresas e dizemos: ei, vamos encontrar todas as suas IAs e agentes autônomos e conectá-los à Onyx, a esse sistema onde podemos supervisionar o que suas IAs estão fazendo, para que você não corra o risco de que, à medida que faz exponencialmente mais coisas com as IAs, comece a ter ações realmente ruins acontecendo. E vimos algo disso acontecer recentemente com interrupções causadas por IAs fazendo a coisa errada, agentes publicando acidentalmente código e tokens que não deveriam, e assim por diante. So like definitely enterprise are starting to realize that that risk is growing exponentially and that they don't have any way to stop the adoption. Então com certeza as empresas estão começando a perceber que esse risco está crescendo exponencialmente e que não têm como parar a adoção. So like they just now have to do something to reduce the chance of these agent actions being uh illegitimate or incorrect. Então simplesmente precisam fazer algo agora para reduzir a chance de essas ações de agentes serem ilegítimas ou incorretas. Yeah, I I think um the one of the core reasons obviously the foundation model labs are going after code is because it is very powerful in general and can do you know in theory all things software can uh over time. Sim, acho que uma das razões fundamentais pelas quais os laboratórios de modelos de base estão indo atrás do código é porque é muito poderoso em geral e pode fazer, em teoria, tudo que o software pode ao longo do tempo. Um the flip side of that is it can do all things software can right and so uh I joyously am already in the camp of having allowed a having been over permissive with my agents such that it deleted data permanently and caused rework. O lado negativo disso é que ele pode fazer tudo que o software pode, certo? E então já estou alegremente no campo de quem permitiu, de ter sido permissivo demais com meus agentes de modo que deletou dados permanentemente e causou retrabalho. So I'm like oh okay I think I see I need some guardian guardian spirits around it. Então fico pensando: ok, acho que entendi, preciso de alguns espíritos guardiões ao redor. Um given your deployments today and talking to large enterprises what is the state of deployment Dado o que você está vendo em suas implantações hoje e conversando com grandes empresas, qual é o estado da implantação right? certo? uh like how much do you see quanto você está vendo that's within these dentro dessas uh more scoped like studio-l like platforms versus uh you know uh free free riding coding agents plataformas mais delimitadas, tipo studio, versus agentes de codificação que rodam mais livremente? you know how how much are you actually seeing in large enterprises in different sectors Como está isso de fato em grandes empresas de diferentes setores? yeah so I think right now in our typical enterprise we're going to see if we break it down to three categories so we break it down to various SAS platforms that are typically more low code uh where people build agents in this drag and drop way and they're not really autonomous agents, right? Então acho que agora, na nossa empresa típica, se dividirmos em três categorias: plataformas SaaS variadas que geralmente são mais low-code, onde as pessoas constroem agentes de forma visual e não são agentes realmente autônomos, certo? They're kind of the simp kind of I would think of them more as automations and then there are um first party agents people are building in their cloud potentially because it's an application they want inside the company or even a product they're planning to release to the customers that is agentic. São mais o tipo que eu pensaria como automações, e depois há agentes próprios que as pessoas estão construindo na nuvem, possivelmente porque é uma aplicação que querem dentro da empresa ou até um produto que planejam lançar para clientes de forma agêntica. And then the third category is very autonomous coding agents and assistants. E a terceira categoria são agentes de codificação e assistentes muito autônomos. Of these categories, I would say roughly at this point over 50% is the autonomous uh coding agents and assistance in the average enterprise. Dessas categorias, eu diria que neste momento mais de 50% são os agentes de codificação autônomos e assistentes na empresa média. Then probably 45% is is those uh uh low code automations. Depois provavelmente 45% são essas automações low-code. And the last 2% are really the first party ones that they're building themselves because obviously it's much harder to build effective agents. E os últimos 2% são realmente os próprios que estão construindo, porque obviamente é muito mais difícil construir agentes eficazes. So, and it's much easier to adopt agents off the shelf or or build them with low code. E é muito mais fácil adotar agentes prontos ou construí-los com low-code. So, and that's what we're seeing and we're inducing that the autonomous are also the fastest growing category. E é isso que estamos vendo, e estamos percebendo que os autônomos também são a categoria de crescimento mais rápido. So, it used to be that only developers and we would see Claude Code growing like fire in our customer base and now we're seeing a cloud co-working even faster. Antes era só desenvolvedores e víamos o Claude Code crescendo como fogo na nossa base de clientes, e agora estamos vendo o Claude co-piloto crescer ainda mais rápido. We're starting to see to our own surprise actually people adopting openclaw as a legitimate sanctioned tool in the company because the CEO is very driven to adopt AI. Estamos começando a ver, para nossa própria surpresa, pessoas adotando o OpenAI como uma ferramenta legítima e sancionada na empresa porque o CEO está muito motivado a adotar IA. H so I think that today autonomous ads are by far the fastest growing category and and uh today typically comes without any controls. Então acho que hoje os agentes autônomos são de longe a categoria de crescimento mais rápido e geralmente chegam sem nenhum controle. So enterprises uh already buy let's say a hundred billion dollars of security today. Então as empresas já compram, digamos, cem bilhões de dólares em segurança hoje. Um they have uh lots of different protections at the endpoint and network and cloud and identity domains. Elas têm muitas proteções diferentes nos endpoints, na rede, na nuvem e em domínios de identidade. Uh what's relevant here for securing agents or is none of it like how do you how do you think about the existing protection set? O que é relevante aqui para proteger agentes ou nada disso é relevante? Como você pensa sobre o conjunto de proteções existentes? Security is always a space where you have some overlap between different tooling but in this and you have the concept of defensive debt as well. Segurança é sempre um espaço onde há alguma sobreposição entre diferentes ferramentas, e você também tem o conceito de dívida defensiva. So you want to have defenses at different levels of your technology stack to solve the problem. Você quer ter defesas em diferentes camadas da sua pilha tecnológica para resolver o problema. And that said, I think in this space we're kind of in a lot of enterprise are are kind of helpless because I'll take an example the identity approach. Dito isso, acho que neste espaço muitas empresas estão meio que desamparadas, porque vou dar um exemplo com a abordagem de identidade. Like traditionally if we have an software system that's running in our company we'll our first and most important control will be to limit what permission it has right because and then no matter what even if it goes wrong even if it's compromised it can't um typically do stuff that was originally allowed to do but with these autonomous AIs with these assistants with these coding agents we kind of want them to have our permissions because we want to we want to tell cloud co to do something or cloud co-work to do something and we want to then go have lunch and we want to come back and see that it's done and we want to give it so many diverse tasks as well that we kind of can't find the right set of permissions to do so suddenly our identity security software is not very useful then if you think about endpoint security right or or API security like if we tell our Claude Code that we want to recreate a database and it should delete it and recreate it. Tradicionalmente, se temos um sistema de software rodando na nossa empresa, nosso primeiro e mais importante controle vai ser limitar quais permissões ele tem, certo? Porque assim, não importa o que aconteça, mesmo que dê errado, mesmo que seja comprometido, normalmente não pode fazer coisas que originalmente não estava autorizado a fazer. Mas com essas IAs autônomas, com esses assistentes, com esses agentes de codificação, meio que queremos que tenham nossas permissões, porque queremos dizer ao Claude Code para fazer algo ou ao Claude co-piloto para fazer algo, e então queremos ir almoçar e voltar e ver que está feito, e queremos dar tarefas tão diversas que não conseguimos definir o conjunto certo de permissões. Então de repente nosso software de segurança de identidade não é muito útil. E se você pensar em segurança de endpoint ou segurança de API: se dissermos ao nosso Claude Code que queremos recriar um banco de dados e ele deve deletá-lo e recriá-lo. That's great. Ótimo. That's going to save our DevOps team and our platform teams a lot of time. Isso vai economizar muito tempo para nossa equipe de DevOps e equipes de plataforma. It's it's a great benefit of cloud code. É um grande benefício do Claude Code. But if cloud code is working on an unrelated task and suddenly thinks that maybe the right thing to do is to delete our database and recreate it, maybe we don't want that to happen. Mas se o Claude Code está trabalhando em uma tarefa não relacionada e de repente acha que talvez a coisa certa a fazer seja deletar nosso banco de dados e recriá-lo, talvez não queiramos que isso aconteça. And unfortunately our endpoint providers or API security tools, they don't know what cloud was thinking. E infelizmente nossos provedores de endpoint ou ferramentas de segurança de API não sabem o que o Claude estava pensando. why is it doing what it's doing? por que está fazendo o que está fazendo? Right? Certo? So, a lot of these existing tools, they don't have the context to understand what these very flexible, unpredictable systems are doing. Então muitas dessas ferramentas existentes não têm o contexto para entender o que esses sistemas muito flexíveis e imprevisíveis estão fazendo. If you're not building some kind of controls that are built for these systems, then you're either going to end up limiting them a lot, making them almost uh much less useful to the enterprise, or uh you're going to miss a lot of pretty dangerous things that they might be doing. Se você não está construindo algum tipo de controles feitos para esses sistemas, vai acabar limitando-os muito, tornando-os quase muito menos úteis para a empresa, ou vai perder muitas coisas bastante perigosas que eles podem estar fazendo. As somebody who has worked in security for a long time, my first very traditional instinct on a problem like this is like that sounds like a problem for a proxy with a policy engine. Como alguém que trabalhou em segurança por muito tempo, meu primeiro instinto muito tradicional para um problema como esse é: parece um problema para um proxy com um motor de políticas. We make some rules, we make the rules smarter. Fazemos algumas regras, tornamos as regras mais inteligentes. Like why why doesn't that work or did you did you try it? Por que isso não funciona ou você tentou? There are few things that I mean proxies integration method I would say. Há algumas coisas. O proxy é um método de integração, eu diria. So there's some there are some AI systems where like you would want to integrate with a proxy if that's the easiest way to do it. Há alguns sistemas de IA onde você gostaria de integrar com um proxy se essa for a maneira mais fácil de fazer isso. But number one, there's a lot of systems where that's just not viable technically because AI today runs on the cloud on someone else's infrastructure on your endpoint and just proxy is not always an option. Mas em primeiro lugar, há muitos sistemas onde isso simplesmente não é tecnicamente viável porque a IA hoje roda na nuvem, na infraestrutura de outra pessoa, no seu endpoint, e o proxy simplesmente nem sempre é uma opção.