Создание ИИ-защитника для корпоративного сектора: CEO Onyx Security Maxim Bar Kogan

as you're exponentially doing more things with the eyes, you're going to start having really bad actions happen. По мере того как вы экспоненциально делаете всё больше вещей с помощью этих систем, начнут происходить по-настоящему плохие действия. And we've seen some of that happen lately with agents accidentally publishing code and tokens that they weren't supposed to. Мы уже видели это в последнее время: агенты случайно публиковали код и токены, которые не должны были. Like definitely enterprises are starting to realize that that risk is grown exponentially and that they don't have any way to stop the adoption. Предприятия однозначно начинают осознавать, что этот риск растёт экспоненциально и что они не могут остановить внедрение. They just now have to do something to reduce the chance of these agent actions being illegitimate or incorrect. Теперь им просто нужно что-то сделать, чтобы снизить вероятность того, что действия агентов окажутся незаконными или ошибочными. But we're allowed to look at a lot of historical data of how these agents have behaved. Но нам разрешено изучать много исторических данных о том, как вели себя эти агенты. But enterprise today are not willing to have Anthropic or open AI keep that historical data because they know these are very data companies that will want to train on that data. Но сегодня предприятия не готовы позволить Anthropic или OpenAI хранить эти исторические данные, потому что знают: это очень data-ориентированные компании, которые захотят обучаться на этих данных. Hi listeners, welcome back to No Priors. Привет, слушатели, добро пожаловать в No Priors. Today I'm here with Maximbar Kogan, the co-founder and CEO of Onyx Security, an Israelbased startup of researchers, mathematicians, and engineers building agents to watch the AI agents. Сегодня у меня в гостях Максим Бар Коган, сооснователь и CEO Onyx Security, стартапа из Израиля, где исследователи, математики и инженеры создают агентов для наблюдения за ИИ-агентами. We talk about specialized model training, Mythos, alignment research, and the Israeli ecosystem in security and now AI. Мы говорим о специализированном обучении моделей, Mythos, исследованиях по выравниванию и израильской экосистеме в области безопасности и теперь ИИ. Welcome, Maxim. Добро пожаловать, Максим. Thanks so much for doing this. Большое спасибо, что пришли. Thank you. Спасибо. Pleasure to be here. Рад быть здесь. Everyone is much more concerned about security and the impact of AI on security than they were um certainly a few months ago. Все сейчас гораздо больше обеспокоены безопасностью и влиянием ИИ на неё, чем, безусловно, несколько месяцев назад. The consensus risk story Консенсусный взгляд на риски uh two two years ago when you started the company was basically like DLP for chat bots like what are what are employees putting into chat GPT. два года назад, когда вы основали компанию, выглядел примерно как DLP для чат-ботов: что сотрудники вводят в ChatGPT. Now we have clearly something that is not quite panic but close to marketwide panic. Сейчас мы видим нечто, что не совсем паника, но близко к общерыночной панике. How did you decide to bet on agent actions um when you started? Как вы решили сделать ставку на действия агентов, когда начинали? Look, I think for us the pivotal point was uh AutoGPT. Слушайте, думаю, для нас переломным моментом стал AutoGPT. I think AutoGPT kind of a let everyone's imagination including ours run wild because it was a AutoGPT дал волю воображению всем, включая нас, потому что это был Can you remind listeners what that was? Можете напомнить слушателям, что это такое? Sure. Конечно. So, AutoGPT um and I'm sorry if I don't know the guy behind it, but a huge huge fan. AutoGPT, и извините, если я не знаю имени создателя, но я огромный поклонник. H they created the first as far as I know first really autonomous agent running on LLMs right so agent that you know would let LLM not generate text but decide what to do and then give that agent an API access to do that thing a tool to do it and then would do that in a loop so it basically in theory could let agents do very complicated things anything a person could do on a computer now in granted it didn't work that well it was too early. Насколько я знаю, они создали первого по-настоящему автономного агента, работающего на LLM: агент, который позволял LLM не просто генерировать текст, а принимать решения о действиях, затем давал этому агенту доступ через API, чтобы выполнить это действие с помощью инструмента, и делал это в цикле. В теории это позволяло агентам делать очень сложные вещи, всё что человек может сделать на компьютере. Правда, работало это не очень хорошо, было слишком рано. The models were not good enough. Модели были недостаточно хороши. GPT4 was not good enough. GPT-4 был недостаточно хорош. But I think it did give everyone a glimpse into the future of you know what if the models were good enough and then basically using that same structure we could have very capable agents doing stuff for us. Но думаю, это дало всем glimpse в будущее: что если модели были бы достаточно хороши, то, используя ту же структуру, мы могли бы иметь очень способных агентов, делающих всё за нас. I think that was in many ways Claude Code today is not dissimilar to autograph back then. По-моему, Claude Code сегодня во многом очень похож на AutoGPT тогда. I think they were a bit early on on again before the malls were ready but the concept was right and the thought that stickked with me was I was very IPL even back then. Они немного опередили время, модели ещё не были готовы, но концепция была правильной, и мысль, которая засела во мне, была такой: я тогда уже очень верил в приход AGI. So I was uh I was uh thinking oh my god malls are going to be way smarter than us when that happens. Я думал: боже, модели будут гораздо умнее нас, и когда это случится. How do we oversee these very uh smart uh agents that are, you know, they're smarter than us? Как нам надзирать за этими очень умными агентами, которые, знаете, умнее нас? They're very capable. Они очень способны. Uh how we're going to feel easy about them doing stuff for us, especially when they start managing really important stuff, you know, then one day they're managing your water supply and your electricity, your uh power grid, right? Как нам будет комфортно от того, что они делают всё за нас, особенно когда они начнут управлять по-настоящему важными вещами, знаете, однажды они будут управлять вашим водоснабжением, электричеством, энергосетью? How do you control them? Как вы их контролируете? And that was like the thing I was kind of obsessed about that thought. И вот эта мысль меня просто захватила. H I was also too early. Я тоже оказался слишком ранним. So I think at the time enterprises were not using any agents. Думаю, тогда предприятия вообще не использовали агентов. Uh there were hardly any agents out there and and talking with a lot of security buds at the time they were like oh dude you're way too early like this is not uh something that's going to happen as you question. Агентов почти не было, и когда я разговаривал со многими специалистами по безопасности того времени, они говорили: «Слушай, ты слишком рано, это не то, что произойдёт так быстро.» I said is anyone going to do this before you run out of money? Я спросила: успеет ли кто-нибудь это сделать, пока у вас не кончатся деньги? And and I think there was a good chance that uh I would have run out of money before because I think you were right like I think it there was an element of chance here but then I think the market did happen. И думаю, был реальный шанс, что деньги бы кончились раньше, потому что, думаю, вы были правы: был элемент удачи, но потом рынок всё же случился. So we had suddenly reasoning models that could do long horizon tasks. Внезапно появились reasoning-модели, способные выполнять долгосрочные задачи. We had a Claude Code which became like the really first widely used autonomous agent and then we had co-work and Claude Code and and I think we're starting to see now that these types of agents that are very autonomous even though they're like uh everyone was afraid to build them. Появился Claude Code, ставший первым по-настоящему широко используемым автономным агентом, затем co-working с Claude Code, и сейчас мы начинаем видеть, что эти виды очень автономных агентов, хотя поначалу все боялись их создавать. So everyone started building these low code platforms that were much more limited much more based on connectors. Все начали строить low-code платформы с гораздо более ограниченными возможностями, в большей степени основанными на коннекторах. H those platforms ended up being quite limited. Эти платформы оказались весьма ограниченными. So that we didn't get the productivity gains from those limited platforms. Мы не получили прироста производительности от этих ограниченных платформ. But when we started getting the crazy benefits from these very unleashed agents that could do everything that had much less controls baked into them and even very large enterprises decided they're going to adopt it. Но когда мы начали получать огромные выгоды от очень раскованных агентов, которые могли делать всё и в которые было встроено гораздо меньше ограничений, даже крупные предприятия решили их внедрять. You know like tropics revenue is coming from enterprises that are paying for Claude Code to do a lot of the work that developers used to do. Значительная часть выручки Anthropic поступает от предприятий, которые платят за Claude Code, чтобы выполнять большую часть работы, которую раньше делали разработчики. That was a bit about kind of how we started and we definitely were in luck that very autonomous agents appeared uh before uh it was too late. Вот примерно как мы начинали, и нам очень повезло, что очень автономные агенты появились до того, как стало слишком поздно. So can you describe a little bit just because it's um I I think both uh close to impossible and then very useful in this period of AI to think about what is deployment right now and then you know what's changing about capability. Можете немного описать, потому что, мне кажется, и очень сложно, и очень полезно в этот период развития ИИ думать о том, что такое внедрение прямо сейчас и как меняются возможности. What's the oneliner on what the Onyx product does today and then like how you think about long-term vision Как одной фразой описать, что делает продукт Onyx сегодня, и как вы думаете о долгосрочном видении? today? сегодня? Like Onyx is really does do two two things. Onyx по сути делает две вещи. Number one is we train models and build agents that can oversee other agents. Во-первых, мы обучаем модели и создаём агентов, которые могут наблюдать за другими агентами. And the goal of that is to say, okay, we need someone to be able to tell that all of these actions that are now happening by these AIs that we're adopting are legitimate because that number the number of these actions is going exponentially. Цель состоит в том, чтобы кто-то мог подтверждать, что все эти действия, которые теперь совершают внедряемые нами ИИ, являются легитимными, потому что число этих действий растёт экспоненциально. And so things that we thought might be useful in the past like a human in the loop now that you're going to have 100x, a thousandx, a millionx of these actions, h that's not going to work. Поэтому то, что раньше казалось полезным, например человек в контуре управления, теперь, когда таких действий будет в 100, в тысячу, в миллион раз больше, просто не сработает. And then we take that capability and we basically productize it in a product that we call the control plane or the secure control plane where we come to the present say hey let's let's find all of your AIS and autonomous agents and hook them up to onyx to this system where we can oversee what your eyes are doing so that uh you don't run into the risk of as you're exponentially doing more things with the eyes you're going to start having really bad actions happen and and we've seen some of that happen lately with down times that were caused by a just doing the wrong thing, agents accidentally publishing code and tokens uh that they weren't supposed to and so on. Затем мы берём эту возможность и превращаем её в продукт, который называем контрольной плоскостью или защищённой контрольной плоскостью: мы приходим к клиентам и говорим: давайте найдём все ваши ИИ и автономных агентов и подключим их к Onyx, чтобы мы могли следить за тем, что ваши ИИ делают, и вы не столкнулись с риском, что по мере экспоненциального роста числа действий начнут происходить по-настоящему плохие вещи. Мы уже видели это: простои из-за того, что ИИ делал что-то не то, агенты случайно публиковали код и токены, которые не должны были. So like definitely enterprise are starting to realize that that risk is growing exponentially and that they don't have any way to stop the adoption. Предприятия определённо начинают понимать, что этот риск растёт экспоненциально и что они не могут остановить внедрение. So like they just now have to do something to reduce the chance of these agent actions being uh illegitimate or incorrect. Им просто нужно что-то сделать, чтобы снизить вероятность того, что действия агентов окажутся незаконными или ошибочными. Yeah, I I think um the one of the core reasons obviously the foundation model labs are going after code is because it is very powerful in general and can do you know in theory all things software can uh over time. Думаю, одна из ключевых причин, по которой лаборатории фундаментальных моделей идут за кодом, состоит в том, что он очень мощный в целом и в теории со временем может делать всё, что умеет программное обеспечение. Um the flip side of that is it can do all things software can right and so uh I joyously am already in the camp of having allowed a having been over permissive with my agents such that it deleted data permanently and caused rework. Обратная сторона состоит в том, что оно может делать всё, что умеет программное обеспечение, поэтому я с радостью уже оказалась в лагере тех, кто предоставил агентам слишком много разрешений, в результате чего он безвозвратно удалил данные и создал дополнительную работу. So I'm like oh okay I think I see I need some guardian guardian spirits around it. Я такая: ладно, кажется, мне нужны духи-хранители рядом с этим. Um given your deployments today and talking to large enterprises what is the state of deployment Учитывая ваши сегодняшние внедрения и разговоры с крупными предприятиями, каково состояние развёртывания? right? верно? uh like how much do you see как много вы видите that's within these в рамках этих uh more scoped like studio-l like platforms versus uh you know uh free free riding coding agents более ограниченных платформ, типа studio-l, против, знаете, свободно работающих coding-агентов? you know how how much are you actually seeing in large enterprises in different sectors Сколько именно вы видите в крупных предприятиях разных секторов? yeah so I think right now in our typical enterprise we're going to see if we break it down to three categories so we break it down to various SAS platforms that are typically more low code uh where people build agents in this drag and drop way and they're not really autonomous agents, right? Да, думаю, прямо сейчас в типичном предприятии, если разбить на три категории: во-первых, разные SaaS-платформы, как правило, более low-code, где люди создают агентов методом drag-and-drop, и это не совсем автономные агенты. They're kind of the simp kind of I would think of them more as automations and then there are um first party agents people are building in their cloud potentially because it's an application they want inside the company or even a product they're planning to release to the customers that is agentic. Их я бы назвал автоматизациями, а затем есть первичные агенты, которые люди создают в своём облаке, потому что это приложение для внутреннего использования или продукт с агентикой, который они планируют выпустить для клиентов. And then the third category is very autonomous coding agents and assistants. Третья категория: очень автономные coding-агенты и ассистенты. Of these categories, I would say roughly at this point over 50% is the autonomous uh coding agents and assistance in the average enterprise. Из этих категорий я бы сказал, что сейчас более 50% составляют автономные coding-агенты и ассистенты в среднем предприятии. Then probably 45% is is those uh uh low code automations. Затем, наверное, 45% составляют те самые low-code автоматизации. And the last 2% are really the first party ones that they're building themselves because obviously it's much harder to build effective agents. И последние 2% составляют первичные, которые они сами строят, потому что создавать эффективных агентов явно гораздо сложнее. So, and it's much easier to adopt agents off the shelf or or build them with low code. Поэтому гораздо проще взять готовых агентов или создать их с помощью low-code. So, and that's what we're seeing and we're inducing that the autonomous are also the fastest growing category. Именно это мы и видим, и мы делаем вывод, что автономные агенты также являются самой быстрорастущей категорией. So, it used to be that only developers and we would see Claude Code growing like fire in our customer base and now we're seeing a cloud co-working even faster. Раньше только разработчики, и мы видели, как Claude Code рос как пожар в нашей клиентской базе, а теперь видим, что Claude co-working растёт ещё быстрее. We're starting to see to our own surprise actually people adopting openclaw as a legitimate sanctioned tool in the company because the CEO is very driven to adopt AI. Мы начинаем видеть, к нашему собственному удивлению, что люди принимают OpenClaw как легитимный санкционированный инструмент в компании, потому что CEO очень нацелен на внедрение ИИ. H so I think that today autonomous ads are by far the fastest growing category and and uh today typically comes without any controls. Думаю, сегодня автономные агенты безусловно являются самой быстрорастущей категорией, и сегодня это, как правило, происходит без каких-либо средств контроля. So enterprises uh already buy let's say a hundred billion dollars of security today. Предприятия уже тратят, скажем, сто миллиардов долларов на безопасность сегодня. Um they have uh lots of different protections at the endpoint and network and cloud and identity domains. У них есть множество различных защит на уровне конечных точек, сети, облака и идентификации. Uh what's relevant here for securing agents or is none of it like how do you how do you think about the existing protection set? Что из этого актуально для защиты агентов, или это всё неприменимо? Как вы думаете о существующем наборе защит? Security is always a space where you have some overlap between different tooling but in this and you have the concept of defensive debt as well. Безопасность всегда такая область, где есть некоторое пересечение разных инструментов, и ещё есть концепция защитного долга. So you want to have defenses at different levels of your technology stack to solve the problem. Вы хотите иметь защиту на разных уровнях технологического стека для решения проблемы. And that said, I think in this space we're kind of in a lot of enterprise are are kind of helpless because I'll take an example the identity approach. При этом в этой области, думаю, многие предприятия в некотором роде беспомощны, и я приведу пример с подходом identity. Like traditionally if we have an software system that's running in our company we'll our first and most important control will be to limit what permission it has right because and then no matter what even if it goes wrong even if it's compromised it can't um typically do stuff that was originally allowed to do but with these autonomous AIs with these assistants with these coding agents we kind of want them to have our permissions because we want to we want to tell cloud co to do something or cloud co-work to do something and we want to then go have lunch and we want to come back and see that it's done and we want to give it so many diverse tasks as well that we kind of can't find the right set of permissions to do so suddenly our identity security software is not very useful then if you think about endpoint security right or or API security like if we tell our Claude Code that we want to recreate a database and it should delete it and recreate it. Традиционно, если в нашей компании работает программная система, первый и самый важный контроль: ограничить, какие разрешения у неё есть, тогда что бы ни случилось, даже если система даст сбой или будет скомпрометирована, она, как правило, не сможет делать то, что изначально не было разрешено. Но с этими автономными ИИ, ассистентами, coding-агентами мы как бы хотим, чтобы у них были наши разрешения: мы хотим сказать Claude Code что-то сделать, уйти обедать и вернуться, увидев, что всё выполнено. И задач мы хотим давать столько разных, что подобрать правильный набор разрешений не получается, поэтому наше программное обеспечение по безопасности идентификации перестаёт быть полезным. А если подумать о безопасности конечных точек или безопасности API: если мы говорим Claude Code пересоздать базу данных, удалить её и создать заново. That's great. Отлично. That's going to save our DevOps team and our platform teams a lot of time. Это сэкономит нашей DevOps-команде и platform-командам много времени. It's it's a great benefit of cloud code. Это отличное преимущество Claude Code. But if cloud code is working on an unrelated task and suddenly thinks that maybe the right thing to do is to delete our database and recreate it, maybe we don't want that to happen. Но если Claude Code работает над несвязанной задачей и вдруг решает, что правильно удалить нашу базу данных и пересоздать её, может, мы этого не хотим. And unfortunately our endpoint providers or API security tools, they don't know what cloud was thinking. И к сожалению, наши провайдеры защиты конечных точек или инструменты безопасности API не знают, что Claude имел в виду. why is it doing what it's doing? почему он делает то, что делает? Right? Верно? So, a lot of these existing tools, they don't have the context to understand what these very flexible, unpredictable systems are doing. Многие из этих существующих инструментов не имеют контекста, чтобы понять, что делают эти очень гибкие и непредсказуемые системы. If you're not building some kind of controls that are built for these systems, then you're either going to end up limiting them a lot, making them almost uh much less useful to the enterprise, or uh you're going to miss a lot of pretty dangerous things that they might be doing. Если вы не создаёте какие-то средства контроля, специально разработанные для этих систем, то либо сильно их ограничите, сделав почти бесполезными для предприятия, либо пропустите многие довольно опасные вещи, которые они, возможно, делают. As somebody who has worked in security for a long time, my first very traditional instinct on a problem like this is like that sounds like a problem for a proxy with a policy engine. Как человек, который давно работает в сфере безопасности, мой первый очень традиционный инстинкт на такую проблему: звучит как задача для прокси с политическим движком. We make some rules, we make the rules smarter. Создаём правила, делаем их умнее. Like why why doesn't that work or did you did you try it? Почему это не работает, или вы пробовали? There are few things that I mean proxies integration method I would say. Есть несколько вещей, прокси это, я бы сказал, способ интеграции. So there's some there are some AI systems where like you would want to integrate with a proxy if that's the easiest way to do it. Есть некоторые ИИ-системы, где вы захотите интегрироваться через прокси, если это самый простой способ. But number one, there's a lot of systems where that's just not viable technically because AI today runs on the cloud on someone else's infrastructure on your endpoint and just proxy is not always an option. Но во-первых, есть много систем, где это просто технически нежизнеспособно, потому что ИИ сегодня работает в облаке, на чужой инфраструктуре, на вашем конечном устройстве, и прокси не всегда является вариантом.