Onyx Security CEO Maxim Bar Koganが語る、エンタープライズAIを守る「AIガーディアン」

as you're exponentially doing more things with the eyes, you're going to start having really bad actions happen. エージェントで指数関数的に多くのことをするようになると、本当に深刻な問題のある行動が起き始めます。 And we've seen some of that happen lately with agents accidentally publishing code and tokens that they weren't supposed to. 最近、エージェントが意図せずコードやトークンを公開してしまう事例をいくつか目にしています。 Like definitely enterprises are starting to realize that that risk is grown exponentially and that they don't have any way to stop the adoption. エンタープライズはそのリスクが指数関数的に高まっていることに気づき始めていますが、採用を止める手段がありません。 They just now have to do something to reduce the chance of these agent actions being illegitimate or incorrect. 今や、エージェントの行動が不正または誤りである可能性を減らすために何か手を打たなければなりません。 But we're allowed to look at a lot of historical data of how these agents have behaved. ただ、これらのエージェントがどう動いてきたか、過去の大量のデータを見ることは許可されています。 But enterprise today are not willing to have Anthropic or open AI keep that historical data because they know these are very data companies that will want to train on that data. ただし、今日のエンタープライズは、AnthropicやOpenAIにその履歴データを保持させることを望んでいません。それらがデータ企業であり、データで学習したがることを知っているからです。 Hi listeners, welcome back to No Priors. リスナーの皆さん、No Priorsへようこそ。 Today I'm here with Maximbar Kogan, the co-founder and CEO of Onyx Security, an Israelbased startup of researchers, mathematicians, and engineers building agents to watch the AI agents. 今日はOnyx Securityの共同創業者兼CEOのMaxim Bar Koganをお迎えしています。イスラエル拠点のスタートアップで、研究者・数学者・エンジニアがAIエージェントを監視するエージェントを開発しています。 We talk about specialized model training, Mythos, alignment research, and the Israeli ecosystem in security and now AI. 今日は専門モデルのトレーニング、mythos、アライメント研究、そしてセキュリティとAI分野におけるイスラエルのエコシステムについてお話しします。 Welcome, Maxim. ようこそ、Maxim。 Thanks so much for doing this. ご参加いただきありがとうございます。 Thank you. ありがとうございます。 Pleasure to be here. 光栄です。 Everyone is much more concerned about security and the impact of AI on security than they were um certainly a few months ago. AIがセキュリティに与える影響について、数ヶ月前と比べて格段に懸念が高まっています。 The consensus risk story コンセンサスとなるリスクの話は uh two two years ago when you started the company was basically like DLP for chat bots like what are what are employees putting into chat GPT. あなたが会社を始めた2年前は、基本的にチャットボット向けのDLPみたいな話でした。社員がChatGPTに何を入力しているか、という。 Now we have clearly something that is not quite panic but close to marketwide panic. 今は、パニックとは言えないにしても、市場全体でパニックに近い状況になっています。 How did you decide to bet on agent actions um when you started? 会社を始めた時、なぜエージェントの行動に賭けようと決めたのですか？ Look, I think for us the pivotal point was uh AutoGPT. きっかけとなったのはAutoGPTだと思います。 I think AutoGPT kind of a let everyone's imagination including ours run wild because it was a AutoGPTは私たちを含む多くの人の想像力を解き放ちました。それは Can you remind listeners what that was? リスナーに向けて、それが何だったか説明してもらえますか？ Sure. もちろんです。 So, AutoGPT um and I'm sorry if I don't know the guy behind it, but a huge huge fan. AutoGPTについては、背後にいた方の名前を知らないかもしれませんが、本当に大ファンです。 H they created the first as far as I know first really autonomous agent running on LLMs right so agent that you know would let LLM not generate text but decide what to do and then give that agent an API access to do that thing a tool to do it and then would do that in a loop so it basically in theory could let agents do very complicated things anything a person could do on a computer now in granted it didn't work that well it was too early. 彼らは私の知る限り初めての真に自律的なエージェントをLLM上に作りました。つまり、LLMにテキストを生成させるのではなく、何をするかを決めさせ、そのエージェントにAPIアクセスというツールを与えてそれを実行させ、ループで動かすというものです。理論上は、人間がコンピュータでできることは何でもできる非常に複雑なタスクをエージェントにさせられます。実際にはそれほどうまくいかず、時期尚早でしたが。 The models were not good enough. モデルが十分に優れていませんでした。 GPT4 was not good enough. GPT-4も十分ではありませんでした。 But I think it did give everyone a glimpse into the future of you know what if the models were good enough and then basically using that same structure we could have very capable agents doing stuff for us. でもモデルが十分に優れたらどうなるか、という未来の一端を見せてくれたと思います。同じ構造を使えば非常に有能なエージェントが私たちのために色々なことをしてくれる、という。 I think that was in many ways Claude Code today is not dissimilar to autograph back then. ある意味で、今日のClaude Codeは当時のAutoGPTと似ていると思います。 I think they were a bit early on on again before the malls were ready but the concept was right and the thought that stickked with me was I was very IPL even back then. モデルが準備できる前に少し早すぎたと思いますが、コンセプトは正しかった。私の心に残った考えは、当時すでにAGI信奉者だったということです。 So I was uh I was uh thinking oh my god malls are going to be way smarter than us when that happens. だからモデルがいつか私たちよりはるかに賢くなると思って、ああ、どうなるんだろうと考えていました。 How do we oversee these very uh smart uh agents that are, you know, they're smarter than us? 私たちよりも賢いかもしれないこれらの非常に優秀なエージェントをどうやって監督するのか？ They're very capable. 非常に有能ですよね。 Uh how we're going to feel easy about them doing stuff for us, especially when they start managing really important stuff, you know, then one day they're managing your water supply and your electricity, your uh power grid, right? 特に本当に重要なことを管理し始めたとき、いつか水道や電力、送電網を管理するようになったとき、安心してそれらに任せていられるのでしょうか？ How do you control them? どうやってコントロールするのか？ And that was like the thing I was kind of obsessed about that thought. 私はその考えにとりつかれていました。 H I was also too early. 私も早すぎました。 So I think at the time enterprises were not using any agents. 当時はエンタープライズがエージェントをまったく使っていませんでした。 Uh there were hardly any agents out there and and talking with a lot of security buds at the time they were like oh dude you're way too early like this is not uh something that's going to happen as you question. エージェントはほとんど存在せず、当時多くのセキュリティ仲間と話したら、みんな「時期尚早すぎる、そんなことすぐには起きない」と言っていました。 I said is anyone going to do this before you run out of money? 「お金が尽きる前に誰かやってくれるの？」と聞かれました。 And and I think there was a good chance that uh I would have run out of money before because I think you were right like I think it there was an element of chance here but then I think the market did happen. 確かにお金が尽きる可能性はあったと思います。あなたが正しかった、運の要素もあったと思う。でも市場は動きました。 So we had suddenly reasoning models that could do long horizon tasks. 突然、長期タスクをこなせる推論モデルが登場しました。 We had a Claude Code which became like the really first widely used autonomous agent and then we had co-work and Claude Code and and I think we're starting to see now that these types of agents that are very autonomous even though they're like uh everyone was afraid to build them. Claude Codeが登場し、初めて広く使われた自律エージェントとなり、co-workとClaude Codeが並んで、今まさに非常に自律的なこれらのエージェントが広がり始めているのを目にしています。みんな怖くて作ろうとしなかったのに。 So everyone started building these low code platforms that were much more limited much more based on connectors. だから皆、コネクターベースのずっと制限されたローコードプラットフォームを作り始めました。 H those platforms ended up being quite limited. そういったプラットフォームはかなり制限されたものになりました。 So that we didn't get the productivity gains from those limited platforms. そのため、制限されたプラットフォームからは生産性の向上が得られませんでした。 But when we started getting the crazy benefits from these very unleashed agents that could do everything that had much less controls baked into them and even very large enterprises decided they're going to adopt it. でも制御が少なく何でもできる非常に解き放たれたエージェントから圧倒的な恩恵を受け始めたとき、非常に大きなエンタープライズでさえも採用を決めました。 You know like tropics revenue is coming from enterprises that are paying for Claude Code to do a lot of the work that developers used to do. Anthropicの収益は、開発者が以前やっていた多くの作業をClaude Codeで行うために支払っているエンタープライズから来ています。 That was a bit about kind of how we started and we definitely were in luck that very autonomous agents appeared uh before uh it was too late. 私たちの出発点はそういったところです。非常に自律的なエージェントが手遅れになる前に登場したのは本当に幸運でした。 So can you describe a little bit just because it's um I I think both uh close to impossible and then very useful in this period of AI to think about what is deployment right now and then you know what's changing about capability. 少し説明していただけますか。このAIの時代において、現在のデプロイの状況と、能力がどう変化しているかを考えることは非常に困難でもあり、非常に有益でもあると思います。 What's the oneliner on what the Onyx product does today and then like how you think about long-term vision Onyx製品が今日何をしているかをひと言で言うと、そして長期ビジョンはどう考えていますか today? 今日？ Like Onyx is really does do two two things. Onyxは実は二つのことをしています。 Number one is we train models and build agents that can oversee other agents. 一つ目は、他のエージェントを監視できるモデルをトレーニングし、エージェントを構築することです。 And the goal of that is to say, okay, we need someone to be able to tell that all of these actions that are now happening by these AIs that we're adopting are legitimate because that number the number of these actions is going exponentially. その目標は、AIが採用されて行っているすべてのアクションが正当であると確認できる存在が必要だということです。なぜならそのアクションの数は指数関数的に増えているからです。 And so things that we thought might be useful in the past like a human in the loop now that you're going to have 100x, a thousandx, a millionx of these actions, h that's not going to work. 過去に有効と思われたヒューマン・イン・ザ・ループのような手段も、アクションが100倍、1000倍、100万倍になれば機能しなくなります。 And then we take that capability and we basically productize it in a product that we call the control plane or the secure control plane where we come to the present say hey let's let's find all of your AIS and autonomous agents and hook them up to onyx to this system where we can oversee what your eyes are doing so that uh you don't run into the risk of as you're exponentially doing more things with the eyes you're going to start having really bad actions happen and and we've seen some of that happen lately with down times that were caused by a just doing the wrong thing, agents accidentally publishing code and tokens uh that they weren't supposed to and so on. その能力を使って、コントロールプレーンまたはセキュアコントロールプレーンと呼ぶ製品として提供しています。企業に行ってすべてのAIと自律エージェントを見つけ出し、Onyxに接続することで、指数関数的に増えるエージェントアクションの中で深刻な問題が起きないよう監視します。ダウンタイムやエージェントが意図せずコードやトークンを公開してしまう事例も見ています。 So like definitely enterprise are starting to realize that that risk is growing exponentially and that they don't have any way to stop the adoption. エンタープライズはそのリスクが指数関数的に高まっていることに確実に気づき始めており、採用を止める手段がありません。 So like they just now have to do something to reduce the chance of these agent actions being uh illegitimate or incorrect. だから今や、エージェントアクションが不正または誤りである可能性を減らすために何か対策を打たなければなりません。 Yeah, I I think um the one of the core reasons obviously the foundation model labs are going after code is because it is very powerful in general and can do you know in theory all things software can uh over time. 基盤モデルラボがコードに向かっている主な理由の一つは、理論上は時間をかけてソフトウェアができることすべてができるほど非常に強力だからです。 Um the flip side of that is it can do all things software can right and so uh I joyously am already in the camp of having allowed a having been over permissive with my agents such that it deleted data permanently and caused rework. その裏返しとして、ソフトウェアができることは何でもできてしまうということです。実際、私はすでにエージェントに過度な権限を与えてしまって、データが永久に削除されてやり直しになったという苦い経験があります。 So I'm like oh okay I think I see I need some guardian guardian spirits around it. ああ、守護霊のようなものが必要だと気づきました。 Um given your deployments today and talking to large enterprises what is the state of deployment 今日のデプロイ状況や大企業との会話を踏まえて、デプロイの現状はどうですか right? ？ uh like how much do you see どの程度見ていますか that's within these そういったより限定されたスコープの中で uh more scoped like studio-l like platforms versus uh you know uh free free riding coding agents スタジオ的なプラットフォームと、制約なしのコーディングエージェントの比率はどうですか you know how how much are you actually seeing in large enterprises in different sectors 大企業のさまざまなセクターで実際にどれくらい見ていますか yeah so I think right now in our typical enterprise we're going to see if we break it down to three categories so we break it down to various SAS platforms that are typically more low code uh where people build agents in this drag and drop way and they're not really autonomous agents, right? 今の典型的なエンタープライズでは、三つのカテゴリーに分けて見ています。まずローコード型のさまざまなSaaSプラットフォームで、人々がドラッグアンドドロップでエージェントを構築していますが、これは本当の自律エージェントではありません。 They're kind of the simp kind of I would think of them more as automations and then there are um first party agents people are building in their cloud potentially because it's an application they want inside the company or even a product they're planning to release to the customers that is agentic. どちらかというとオートメーションに近いと思います。次に、企業内アプリや顧客向けエージェント製品として自社クラウドで構築しているファーストパーティエージェントがあります。 And then the third category is very autonomous coding agents and assistants. 三つ目のカテゴリーは非常に自律的なコーディングエージェントとアシスタントです。 Of these categories, I would say roughly at this point over 50% is the autonomous uh coding agents and assistance in the average enterprise. これらのカテゴリーの中で、現時点では平均的なエンタープライズで50%以上が自律コーディングエージェントとアシスタントだと思います。 Then probably 45% is is those uh uh low code automations. 約45%がローコードオートメーションです。 And the last 2% are really the first party ones that they're building themselves because obviously it's much harder to build effective agents. 残りの2%が本当に自分たちで構築しているファーストパーティのもので、効果的なエージェントを構築するのははるかに難しいからです。 So, and it's much easier to adopt agents off the shelf or or build them with low code. 既製品を採用したり、ローコードで構築する方がはるかに簡単です。 So, and that's what we're seeing and we're inducing that the autonomous are also the fastest growing category. これが現状で、自律型が最も速く成長しているカテゴリーだと見ています。 So, it used to be that only developers and we would see Claude Code growing like fire in our customer base and now we're seeing a cloud co-working even faster. 以前は開発者だけで、顧客ベースでClaude Codeが火のように広がるのを見ていましたが、今ではクラウドco-workがさらに速く広がっています。 We're starting to see to our own surprise actually people adopting openclaw as a legitimate sanctioned tool in the company because the CEO is very driven to adopt AI. 実は意外なことに、CEOがAI導入に非常に積極的なため、OpenClawを正式に承認されたツールとして採用している企業も出てきています。 H so I think that today autonomous ads are by far the fastest growing category and and uh today typically comes without any controls. 今日、自律型エージェントは圧倒的に最速成長のカテゴリーで、通常はコントロールなしで来ます。 So enterprises uh already buy let's say a hundred billion dollars of security today. エンタープライズはすでに1000億ドル規模のセキュリティを購入しています。 Um they have uh lots of different protections at the endpoint and network and cloud and identity domains. エンドポイント、ネットワーク、クラウド、アイデンティティドメインに多くの保護があります。 Uh what's relevant here for securing agents or is none of it like how do you how do you think about the existing protection set? エージェントのセキュリティに関連するものはありますか、それとも全部関係ないのか、既存の保護セットについてどう考えますか？ Security is always a space where you have some overlap between different tooling but in this and you have the concept of defensive debt as well. セキュリティはツール間に重複がある領域で、防御的負債という概念もあります。 So you want to have defenses at different levels of your technology stack to solve the problem. 技術スタックの異なるレベルで防御を持ちたいわけです。 And that said, I think in this space we're kind of in a lot of enterprise are are kind of helpless because I'll take an example the identity approach. とはいえ、この分野では多くのエンタープライズがお手上げ状態に近いと思います。アイデンティティアプローチを例にとると、従来なら社内で動くソフトウェアシステムの最初で最重要のコントロールは権限を制限することです。たとえ何かがうまくいかなくても、侵害されても、元々許可されたこと以外はできません。でも自律AIやアシスタント、コーディングエージェントには自分の権限を持たせたい。Claude Codeにランチに行っている間に何かやってもらって、戻ったら完了していてほしいし、多様なタスクを与えたい。そうなると適切な権限セットを見つけられず、アイデンティティセキュリティソフトウェアが役に立たなくなります。エンドポイントセキュリティやAPIセキュリティも同じです。Claude Codeにデータベースを再作成するよう指示し、削除して再作成してほしいと言えば Like traditionally if we have an software system that's running in our company we'll our first and most important control will be to limit what permission it has right because and then no matter what even if it goes wrong even if it's compromised it can't um typically do stuff that was originally allowed to do but with these autonomous AIs with these assistants with these coding agents we kind of want them to have our permissions because we want to we want to tell cloud co to do something or cloud co-work to do something and we want to then go have lunch and we want to come back and see that it's done and we want to give it so many diverse tasks as well that we kind of can't find the right set of permissions to do so suddenly our identity security software is not very useful then if you think about endpoint security right or or API security like if we tell our Claude Code that we want to recreate a database and it should delete it and recreate it. 従来であれば、社内で動くソフトウェアシステムがある場合、最初で最重要のコントロールは権限を制限することです。たとえ何かがうまくいかなくても、侵害されても、元々許可されたこと以外はできません。でも自律AIやアシスタント、コーディングエージェントには自分の権限を持たせたい。Claude Codeに昼食に行っている間に何かやってもらって、戻ったら完了していてほしいし、多様なタスクを与えたい。そうなると適切な権限セットを見つけられず、アイデンティティセキュリティソフトウェアが役に立たなくなります。エンドポイントセキュリティやAPIセキュリティについて言えば、Claude Codeにデータベースを再作成するよう指示してそれを削除して再作成してほしいと言えば That's great. それは素晴らしいことです。 That's going to save our DevOps team and our platform teams a lot of time. DevOpsチームやプラットフォームチームの時間を大幅に節約できます。 It's it's a great benefit of cloud code. Claude Codeの大きなメリットです。 But if cloud code is working on an unrelated task and suddenly thinks that maybe the right thing to do is to delete our database and recreate it, maybe we don't want that to happen. でもClaude Codeが無関係のタスクをこなしていて、突然データベースを削除して再作成するのが正しいことだと判断したとしたら、それは望ましくないかもしれません。 And unfortunately our endpoint providers or API security tools, they don't know what cloud was thinking. 残念ながら、エンドポイントプロバイダーやAPIセキュリティツールは、Claude Codeが何を考えていたか知りません。 why is it doing what it's doing? なぜそれをしているのか？ Right? そうですよね？ So, a lot of these existing tools, they don't have the context to understand what these very flexible, unpredictable systems are doing. 既存のツールの多くは、非常に柔軟で予測不能なこれらのシステムが何をしているか理解するコンテキストを持っていません。 If you're not building some kind of controls that are built for these systems, then you're either going to end up limiting them a lot, making them almost uh much less useful to the enterprise, or uh you're going to miss a lot of pretty dangerous things that they might be doing. こういったシステムのために設計されたコントロールを構築しないと、エンタープライズにとってほぼ使えないほど制限するか、かなり危険なことを見逃してしまうかのどちらかになります。 As somebody who has worked in security for a long time, my first very traditional instinct on a problem like this is like that sounds like a problem for a proxy with a policy engine. セキュリティに長く携わってきた者として、まず思い浮かぶ最初の本能的な答えは、ポリシーエンジンを持つプロキシで解決できそうということです。 We make some rules, we make the rules smarter. ルールを作り、ルールをより賢くすればいい。 Like why why doesn't that work or did you did you try it? それがなぜうまくいかないのか、試してみましたか？ There are few things that I mean proxies integration method I would say. プロキシは統合方法の一つだと思います。 So there's some there are some AI systems where like you would want to integrate with a proxy if that's the easiest way to do it. プロキシとの統合が最も簡単な方法であれば、そうしたいAIシステムもあります。 But number one, there's a lot of systems where that's just not viable technically because AI today runs on the cloud on someone else's infrastructure on your endpoint and just proxy is not always an option. ただ一つ目の問題として、AIが今日クラウド上や他者のインフラ、エンドポイントで動いているため、技術的にプロキシが常に選択肢にならないシステムが多くあります。