Onyx Security CEO Maxim Bar Kogan과 함께하는 엔터프라이즈 AI 감시자 구축

as you're exponentially doing more things with the eyes, you're going to start having really bad actions happen. AI가 점점 더 많은 일을 하게 될수록, 정말 심각한 문제들이 발생하기 시작할 거예요. And we've seen some of that happen lately with agents accidentally publishing code and tokens that they weren't supposed to. 실제로 최근에 에이전트가 공개하면 안 되는 코드와 토큰을 실수로 공개하는 일이 있었어요. Like definitely enterprises are starting to realize that that risk is grown exponentially and that they don't have any way to stop the adoption. 기업들이 그 리스크가 기하급수적으로 커지고 있다는 걸 깨닫고 있지만, 도입을 막을 방법이 없다는 것도요. They just now have to do something to reduce the chance of these agent actions being illegitimate or incorrect. 지금 당장 이 에이전트 행동들이 잘못되거나 부정확할 가능성을 줄이기 위해 뭔가를 해야 하는 상황이에요. But we're allowed to look at a lot of historical data of how these agents have behaved. 그래도 우리는 이 에이전트들이 어떻게 행동했는지에 대한 많은 과거 데이터를 볼 수 있어요. But enterprise today are not willing to have Anthropic or open AI keep that historical data because they know these are very data companies that will want to train on that data. 하지만 오늘날 기업들은 Anthropic이나 OpenAI가 그 과거 데이터를 보유하는 걸 원하지 않아요. 그들이 그 데이터로 학습하고 싶어 하는 데이터 회사라는 걸 알거든요. Hi listeners, welcome back to No Priors. 안녕하세요 청취자 여러분, No Priors에 다시 오신 것을 환영합니다. Today I'm here with Maximbar Kogan, the co-founder and CEO of Onyx Security, an Israelbased startup of researchers, mathematicians, and engineers building agents to watch the AI agents. 오늘은 이스라엘 기반 스타트업 Onyx Security의 공동창업자 겸 CEO Maxim Bar Kogan과 함께합니다. 연구자, 수학자, 엔지니어들로 구성된 팀이 AI 에이전트를 감시하는 에이전트를 만들고 있어요. We talk about specialized model training, Mythos, alignment research, and the Israeli ecosystem in security and now AI. 특화 모델 훈련, Mythos, 정렬 연구, 그리고 보안과 AI 분야의 이스라엘 생태계에 대해 이야기 나눠보겠습니다. Welcome, Maxim. 어서 오세요, Maxim. Thanks so much for doing this. 이렇게 함께해 주셔서 정말 감사합니다. Thank you. 감사합니다. Pleasure to be here. 함께하게 되어 영광이에요. Everyone is much more concerned about security and the impact of AI on security than they were um certainly a few months ago. 확실히 몇 달 전에 비해 지금은 보안과 AI가 미치는 영향에 대해 훨씬 더 많이들 걱정하고 있는 것 같아요. The consensus risk story 공통적인 리스크 이야기는 uh two two years ago when you started the company was basically like DLP for chat bots like what are what are employees putting into chat GPT. 음, 회사를 창업하신 2년 전에는 기본적으로 챗봇용 DLP 같은 거였죠. 직원들이 ChatGPT에 뭘 입력하는지 같은 것이요. Now we have clearly something that is not quite panic but close to marketwide panic. 지금은 패닉까지는 아니지만 시장 전체가 패닉에 가까운 상황이 분명히 생겨났죠. How did you decide to bet on agent actions um when you started? 처음 시작하실 때 에이전트 행동에 베팅하기로 결정하신 계기가 뭔가요? Look, I think for us the pivotal point was uh AutoGPT. 저한테는 AutoGPT가 결정적인 계기였어요. I think AutoGPT kind of a let everyone's imagination including ours run wild because it was a AutoGPT가 우리를 포함해 모든 사람의 상상력을 폭발시켰는데, 왜냐하면 Can you remind listeners what that was? 청취자분들께 그게 뭐였는지 설명해 주실 수 있으세요? Sure. 물론이죠. So, AutoGPT um and I'm sorry if I don't know the guy behind it, but a huge huge fan. AutoGPT... 뒤에 계신 분 성함은 잘 모르지만, 정말 엄청난 팬이에요. H they created the first as far as I know first really autonomous agent running on LLMs right so agent that you know would let LLM not generate text but decide what to do and then give that agent an API access to do that thing a tool to do it and then would do that in a loop so it basically in theory could let agents do very complicated things anything a person could do on a computer now in granted it didn't work that well it was too early. 제가 알기론 LLM으로 동작하는 최초의 진짜 자율 에이전트를 만든 거예요. LLM이 텍스트를 생성하는 게 아니라 무엇을 할지 결정하고, 그 에이전트에게 API 접근 권한과 도구를 줘서 실행하게 하고, 그걸 루프로 돌리는 방식이에요. 이론적으로 사람이 컴퓨터로 할 수 있는 복잡한 일을 뭐든 할 수 있죠. 물론 당시엔 잘 작동하지 않았어요. 너무 일렀고, The models were not good enough. 모델이 충분하지 않았어요. GPT4 was not good enough. GPT-4도 충분하지 않았죠. But I think it did give everyone a glimpse into the future of you know what if the models were good enough and then basically using that same structure we could have very capable agents doing stuff for us. 하지만 모델이 충분히 좋아진다면 같은 구조를 써서 정말 유능한 에이전트가 우리 대신 일할 수 있다는 미래를 모두에게 보여줬다고 생각해요. I think that was in many ways Claude Code today is not dissimilar to autograph back then. 어떤 면에서는 지금의 Claude Code가 당시 AutoGPT와 비슷한 것 같아요. I think they were a bit early on on again before the malls were ready but the concept was right and the thought that stickked with me was I was very IPL even back then. 모델이 준비되기 전에 너무 일렀지만, 개념 자체는 옳았어요. 그때부터 머릿속을 떠나지 않은 생각은, 저는 그때부터 AGI를 굉장히 믿었다는 거예요. So I was uh I was uh thinking oh my god malls are going to be way smarter than us when that happens. 그래서 '세상에, 모델이 언젠가 우리보다 훨씬 똑똑해지겠구나'라고 생각하고 있었어요. How do we oversee these very uh smart uh agents that are, you know, they're smarter than us? 이렇게 똑똑한 에이전트들을 어떻게 감독할 수 있을까요? 그들은 우리보다 더 똑똑하잖아요. They're very capable. 정말 유능하죠. Uh how we're going to feel easy about them doing stuff for us, especially when they start managing really important stuff, you know, then one day they're managing your water supply and your electricity, your uh power grid, right? 음, 그들이 우리를 위해 일하는 게 어떻게 편안하게 느껴질까요? 특히 정말 중요한 것들, 예를 들어 수도 공급이나 전기, 전력망을 관리하기 시작하면요. How do you control them? 어떻게 통제할 수 있을까요? And that was like the thing I was kind of obsessed about that thought. 그 생각이 저를 사로잡은 것 같았어요. H I was also too early. 저도 너무 일렀어요. So I think at the time enterprises were not using any agents. 당시에는 기업들이 에이전트를 전혀 쓰지 않았거든요. Uh there were hardly any agents out there and and talking with a lot of security buds at the time they were like oh dude you're way too early like this is not uh something that's going to happen as you question. 에이전트도 거의 없었고, 당시 보안 업계 친구들한테 얘기하면 '야, 너무 이르다. 그건 쉽게 일어날 일이 아니야'라고 하더라고요. I said is anyone going to do this before you run out of money? 저는 '돈 떨어지기 전에 누가 이걸 쓸 사람이 있을까요?'라고 물었죠. And and I think there was a good chance that uh I would have run out of money before because I think you were right like I think it there was an element of chance here but then I think the market did happen. 그리고 제가 돈이 먼저 떨어질 가능성이 충분히 있었어요. 말씀이 맞아요. 운적인 요소가 있었는데, 다행히 시장이 열렸죠. So we had suddenly reasoning models that could do long horizon tasks. 갑자기 장기 과제를 수행할 수 있는 추론 모델이 등장했어요. We had a Claude Code which became like the really first widely used autonomous agent and then we had co-work and Claude Code and and I think we're starting to see now that these types of agents that are very autonomous even though they're like uh everyone was afraid to build them. Claude Code가 등장해서 최초로 널리 사용된 자율 에이전트가 됐고, 그 이후 공동 작업 Claude Code도 나왔어요. 그리고 이제 이런 자율 에이전트들이 나오기 시작하는 걸 보고 있는데, 사실 모두가 이걸 만들기 두려워했잖아요. So everyone started building these low code platforms that were much more limited much more based on connectors. 그래서 모두가 훨씬 제한적이고 커넥터 기반의 로우코드 플랫폼을 만들기 시작했어요. H those platforms ended up being quite limited. 그 플랫폼들은 상당히 제한적이었고, So that we didn't get the productivity gains from those limited platforms. 그 제한적인 플랫폼에서는 생산성 향상을 얻지 못했어요. But when we started getting the crazy benefits from these very unleashed agents that could do everything that had much less controls baked into them and even very large enterprises decided they're going to adopt it. 그런데 통제가 훨씬 적이 내장된 이 자유로운 에이전트들에서 엄청난 혜택을 얻기 시작하자 대기업들도 채택하기로 결정했어요. You know like tropics revenue is coming from enterprises that are paying for Claude Code to do a lot of the work that developers used to do. Anthropic의 수익 상당 부분이 개발자들이 하던 많은 작업을 Claude Code가 대신하도록 하는 기업들한테서 오잖아요. That was a bit about kind of how we started and we definitely were in luck that very autonomous agents appeared uh before uh it was too late. 이런 게 저희가 시작하게 된 배경이고, 너무 늦기 전에 진짜 자율 에이전트가 나타난 게 운이 좋았어요. So can you describe a little bit just because it's um I I think both uh close to impossible and then very useful in this period of AI to think about what is deployment right now and then you know what's changing about capability. 지금 배포 상황에 대해 좀 설명해 주실 수 있을까요? 이 시기에 현재 배포 상황과 역량이 어떻게 변하고 있는지를 파악하는 게 거의 불가능하면서도 굉장히 중요한 일이라고 생각하거든요. What's the oneliner on what the Onyx product does today and then like how you think about long-term vision Onyx 제품이 오늘날 무엇을 하는지 한 줄로 설명해 주시고, 장기적인 비전은 어떻게 보고 계세요? today? 지금요? Like Onyx is really does do two two things. Onyx는 실질적으로 두 가지를 해요. Number one is we train models and build agents that can oversee other agents. 첫째는 다른 에이전트를 감독할 수 있는 모델을 훈련하고 에이전트를 만드는 거예요. And the goal of that is to say, okay, we need someone to be able to tell that all of these actions that are now happening by these AIs that we're adopting are legitimate because that number the number of these actions is going exponentially. 그 목표는 AI가 수행하는 이 모든 행동들이 정당한지를 파악할 수 있어야 한다는 거예요. 왜냐하면 그 행동의 수가 기하급수적으로 늘어나고 있거든요. And so things that we thought might be useful in the past like a human in the loop now that you're going to have 100x, a thousandx, a millionx of these actions, h that's not going to work. 과거에 유용하다고 생각했던 것들, 예를 들어 인간이 루프에 있는 것도 이제 100배, 1000배, 100만 배의 행동이 생기면 작동하지 않아요. And then we take that capability and we basically productize it in a product that we call the control plane or the secure control plane where we come to the present say hey let's let's find all of your AIS and autonomous agents and hook them up to onyx to this system where we can oversee what your eyes are doing so that uh you don't run into the risk of as you're exponentially doing more things with the eyes you're going to start having really bad actions happen and and we've seen some of that happen lately with down times that were caused by a just doing the wrong thing, agents accidentally publishing code and tokens uh that they weren't supposed to and so on. 그 역량을 가지고 저희가 컨트롤 플레인 혹은 보안 컨트롤 플레인이라는 제품으로 만들어서, 고객사에 가서 '모든 AI와 자율 에이전트를 찾아서 Onyx에 연결해 드릴게요. 이 시스템이 AI가 뭘 하는지 감독해서 기하급수적으로 늘어나는 AI 행동으로 인한 심각한 문제를 방지해 드려요'라고 말해요. 실제로 최근에 AI가 잘못된 행동을 해서 다운타임이 발생하거나, 공개하면 안 되는 코드와 토큰을 실수로 공개하는 일들이 있었잖아요. So like definitely enterprise are starting to realize that that risk is growing exponentially and that they don't have any way to stop the adoption. 기업들이 그 리스크가 기하급수적으로 커지고 있다는 걸 확실히 깨닫고 있고, 도입을 막을 방법이 없어요. So like they just now have to do something to reduce the chance of these agent actions being uh illegitimate or incorrect. 그래서 지금 당장 에이전트 행동이 잘못되거나 부정확할 가능성을 줄이기 위해 뭔가를 해야 하는 거예요. Yeah, I I think um the one of the core reasons obviously the foundation model labs are going after code is because it is very powerful in general and can do you know in theory all things software can uh over time. 네, 파운데이션 모델 랩들이 코드를 집중 공략하는 핵심 이유 중 하나는 코드가 전반적으로 굉장히 강력하고, 이론적으로는 시간이 지나면서 소프트웨어가 할 수 있는 모든 일을 할 수 있기 때문이잖아요. Um the flip side of that is it can do all things software can right and so uh I joyously am already in the camp of having allowed a having been over permissive with my agents such that it deleted data permanently and caused rework. 음, 그 반면에 소프트웨어가 할 수 있는 모든 걸 할 수 있다는 거니까요. 저는 이미 에이전트에게 너무 많은 권한을 줬다가 데이터를 영구 삭제하고 재작업이 생기는 경험을 기쁘게 겪어봤어요. So I'm like oh okay I think I see I need some guardian guardian spirits around it. 그래서 '아, 주변에 수호 정령 같은 게 필요하겠구나'라고 생각했어요. Um given your deployments today and talking to large enterprises what is the state of deployment 현재 배포 상황과 대기업들과 이야기해 보시면 배포 현황이 어떤가요? right? 지금요? uh like how much do you see 어느 정도나 보시나요? that's within these 이런 곳에서요. uh more scoped like studio-l like platforms versus uh you know uh free free riding coding agents 음, 스튜디오 같은 플랫폼 대 자유롭게 돌아다니는 코딩 에이전트, 대기업에서 다양한 섹터에 걸쳐 실제로 얼마나 보이세요? you know how how much are you actually seeing in large enterprises in different sectors 대기업에서 다양한 섹터에 걸쳐 실제로 얼마나 보이세요? yeah so I think right now in our typical enterprise we're going to see if we break it down to three categories so we break it down to various SAS platforms that are typically more low code uh where people build agents in this drag and drop way and they're not really autonomous agents, right? 네, 지금 저희 일반적인 기업 고객을 보면 크게 세 가지 범주로 나눌 수 있어요. 첫째는 로우코드 방식의 다양한 SaaS 플랫폼인데, 사람들이 드래그 앤 드롭으로 에이전트를 만드는 방식이라 진정한 자율 에이전트라고 보기 어렵죠. They're kind of the simp kind of I would think of them more as automations and then there are um first party agents people are building in their cloud potentially because it's an application they want inside the company or even a product they're planning to release to the customers that is agentic. 말하자면 자동화에 가깝고요. 그 다음은 클라우드에서 자체적으로 만드는 퍼스트파티 에이전트인데, 내부용 애플리케이션이나 고객에게 출시할 에이전트 제품을 만드는 거예요. And then the third category is very autonomous coding agents and assistants. 그리고 세 번째는 완전 자율 코딩 에이전트와 어시스턴트예요. Of these categories, I would say roughly at this point over 50% is the autonomous uh coding agents and assistance in the average enterprise. 이 범주들 중에서, 현재 일반적인 기업에서 50% 이상이 자율 코딩 에이전트와 어시스턴트예요. Then probably 45% is is those uh uh low code automations. 그다음 45% 정도가 로우코드 자동화고요. And the last 2% are really the first party ones that they're building themselves because obviously it's much harder to build effective agents. 나머지 2%가 직접 만드는 퍼스트파티인데, 효과적인 에이전트를 만들기가 훨씬 어렵기 때문이죠. So, and it's much easier to adopt agents off the shelf or or build them with low code. 기성품 에이전트를 채택하거나 로우코드로 만드는 게 훨씬 쉬우니까요. So, and that's what we're seeing and we're inducing that the autonomous are also the fastest growing category. 그게 저희가 보는 현황이고, 자율 에이전트가 가장 빠르게 성장하는 범주임을 확인하고 있어요. So, it used to be that only developers and we would see Claude Code growing like fire in our customer base and now we're seeing a cloud co-working even faster. 예전에는 개발자들만 사용했는데, 저희 고객사에서 Claude Code가 불처럼 번지는 걸 봤고, 지금은 Claude 공동 작업이 더 빠르게 성장하는 걸 보고 있어요. We're starting to see to our own surprise actually people adopting openclaw as a legitimate sanctioned tool in the company because the CEO is very driven to adopt AI. 실제로 놀랍게도 CEO가 AI 도입을 강력하게 추진해서 OpenClaude를 회사에서 공식적으로 승인된 도구로 채택하는 곳들도 나타나고 있어요. H so I think that today autonomous ads are by far the fastest growing category and and uh today typically comes without any controls. 오늘날 자율 에이전트는 단연 가장 빠르게 성장하는 범주이고, 일반적으로 아무런 통제 없이 도입되고 있어요. So enterprises uh already buy let's say a hundred billion dollars of security today. 기업들은 이미 보안에 1000억 달러 정도를 쓰고 있잖아요. Um they have uh lots of different protections at the endpoint and network and cloud and identity domains. 엔드포인트, 네트워크, 클라우드, 아이덴티티 영역에 다양한 보호 장치들이 있고요. Uh what's relevant here for securing agents or is none of it like how do you how do you think about the existing protection set? 에이전트 보안에는 어떤 게 관련이 있나요, 아니면 기존 보호 체계가 전혀 해당이 없나요? 기존 보호 장치들을 어떻게 생각하세요? Security is always a space where you have some overlap between different tooling but in this and you have the concept of defensive debt as well. 보안은 항상 여러 도구들 사이에 어느 정도 겹치는 부분이 있는 공간이에요. 방어 부채라는 개념도 있죠. So you want to have defenses at different levels of your technology stack to solve the problem. 문제를 해결하기 위해 기술 스택의 여러 레이어에 방어 장치를 두고 싶어 하잖아요. And that said, I think in this space we're kind of in a lot of enterprise are are kind of helpless because I'll take an example the identity approach. 그런데 이 공간에서는 많은 기업들이 꼼짝 못하고 있어요. 예를 들어 아이덴티티 접근 방식을 보면요. Like traditionally if we have an software system that's running in our company we'll our first and most important control will be to limit what permission it has right because and then no matter what even if it goes wrong even if it's compromised it can't um typically do stuff that was originally allowed to do but with these autonomous AIs with these assistants with these coding agents we kind of want them to have our permissions because we want to we want to tell cloud co to do something or cloud co-work to do something and we want to then go have lunch and we want to come back and see that it's done and we want to give it so many diverse tasks as well that we kind of can't find the right set of permissions to do so suddenly our identity security software is not very useful then if you think about endpoint security right or or API security like if we tell our Claude Code that we want to recreate a database and it should delete it and recreate it. 전통적으로 회사에서 돌아가는 소프트웨어 시스템이 있으면, 첫 번째이자 가장 중요한 통제는 권한을 제한하는 거예요. 그러면 설령 뭔가 잘못되거나 침해당하더라도 원래 허용된 것 이상은 못 하잖아요. 그런데 이 자율 AI, 어시스턴트, 코딩 에이전트는 우리 권한을 갖기를 원해요. Claude Code나 공동 작업 Claude에게 뭔가를 시키고 점심 먹고 와서 결과를 보고 싶고, 다양한 작업을 주고 싶으니까요. 그러다 보니 적절한 권한 세트를 찾기 어렵고, 아이덴티티 보안 소프트웨어가 그다지 유용하지 않게 돼요. 엔드포인트 보안이나 API 보안도 마찬가지예요. Claude Code에게 데이터베이스를 재생성하라고, 삭제하고 다시 만들라고 시킨다면, That's great. 좋아요. That's going to save our DevOps team and our platform teams a lot of time. DevOps 팀과 플랫폼 팀의 시간을 많이 절약해 주죠. It's it's a great benefit of cloud code. Claude Code의 큰 혜택이에요. But if cloud code is working on an unrelated task and suddenly thinks that maybe the right thing to do is to delete our database and recreate it, maybe we don't want that to happen. 하지만 Claude Code가 관련 없는 작업을 하다가 갑자기 데이터베이스를 삭제하고 재생성하는 게 맞겠다는 생각을 하면, 그건 원하지 않을 수 있잖아요. And unfortunately our endpoint providers or API security tools, they don't know what cloud was thinking. 안타깝게도 엔드포인트 제공업체나 API 보안 도구는 Claude가 무엇을 생각하고 있었는지 알 수 없어요. why is it doing what it's doing? 왜 그걸 하는 건지? Right? 맞죠? So, a lot of these existing tools, they don't have the context to understand what these very flexible, unpredictable systems are doing. 기존 도구들 대부분이 이렇게 유연하고 예측 불가능한 시스템이 뭘 하는지 이해할 맥락이 없어요. If you're not building some kind of controls that are built for these systems, then you're either going to end up limiting them a lot, making them almost uh much less useful to the enterprise, or uh you're going to miss a lot of pretty dangerous things that they might be doing. 이런 시스템에 맞게 설계된 통제 장치를 만들지 않으면, 에이전트를 심하게 제한해서 기업에 훨씬 덜 유용하게 만들거나, 아니면 꽤 위험한 행동들을 많이 놓치게 돼요. As somebody who has worked in security for a long time, my first very traditional instinct on a problem like this is like that sounds like a problem for a proxy with a policy engine. 보안 분야에서 오래 일한 사람으로서, 이런 문제에 대한 제 첫 번째 전통적인 본능은 '그건 정책 엔진이 달린 프록시 문제처럼 들리네요'예요. We make some rules, we make the rules smarter. 규칙을 만들고, 규칙을 더 스마트하게 만들면 되잖아요. Like why why doesn't that work or did you did you try it? 왜 그게 안 되나요, 아니면 시도해 보셨나요? There are few things that I mean proxies integration method I would say. 프록시는 통합 방법이라고 할 수 있는데 몇 가지가 있어요. So there's some there are some AI systems where like you would want to integrate with a proxy if that's the easiest way to do it. 프록시로 통합하는 게 가장 쉬운 방식인 AI 시스템들도 있어요. But number one, there's a lot of systems where that's just not viable technically because AI today runs on the cloud on someone else's infrastructure on your endpoint and just proxy is not always an option. 하지만 첫째로, 기술적으로 그게 실행 불가능한 시스템도 많아요. AI가 오늘날 클라우드, 남의 인프라, 엔드포인트에서 돌아가기 때문에 프록시가 항상 선택지가 되는 게 아니에요.