Onyx Security के CEO Maxim Bar Kogan के साथ: एंटरप्राइज़ के लिए AI गार्जियन

as you're exponentially doing more things with the eyes, you're going to start having really bad actions happen. जैसे-जैसे आप AI के साथ एक्सपोनेंशियली ज़्यादा काम करते हैं, वैसे-वैसे सच में बहुत बुरी गड़बड़ियाँ होने लगती हैं। And we've seen some of that happen lately with agents accidentally publishing code and tokens that they weren't supposed to. और हमने हाल ही में देखा है कि एजेंट्स ने गलती से वो कोड और टोकन पब्लिश कर दिए जो उन्हें नहीं करने चाहिए थे। Like definitely enterprises are starting to realize that that risk is grown exponentially and that they don't have any way to stop the adoption. एंटरप्राइज़ को अब यह साफ़ दिखने लगा है कि यह जोखिम एक्सपोनेंशियली बढ़ रहा है और उनके पास इस adoption को रोकने का कोई तरीका नहीं है। They just now have to do something to reduce the chance of these agent actions being illegitimate or incorrect. उन्हें अब कुछ न कुछ करना होगा ताकि इन एजेंट एक्शन के गलत होने की संभावना कम हो सके। But we're allowed to look at a lot of historical data of how these agents have behaved. लेकिन हम इन एजेंट्स के ऐतिहासिक डेटा को देख सकते हैं। But enterprise today are not willing to have Anthropic or open AI keep that historical data because they know these are very data companies that will want to train on that data. लेकिन आज के एंटरप्राइज़ Anthropic या OpenAI को वह ऐतिहासिक डेटा रखने देने के लिए तैयार नहीं हैं, क्योंकि वे जानते हैं कि ये बहुत डेटा-केंद्रित कंपनियाँ हैं जो उस डेटा पर ट्रेन करना चाहेंगी। Hi listeners, welcome back to No Priors. हाय listeners, No Priors में फिर से स्वागत है। Today I'm here with Maximbar Kogan, the co-founder and CEO of Onyx Security, an Israelbased startup of researchers, mathematicians, and engineers building agents to watch the AI agents. आज मैं Onyx Security के को-फाउंडर और CEO Maxim Bar Kogan के साथ हूँ, जो इज़राइल में बने एक स्टार्टअप के शोधकर्ता, गणितज्ञ और इंजीनियर हैं जो AI एजेंट्स की निगरानी के लिए एजेंट बना रहे हैं। We talk about specialized model training, Mythos, alignment research, and the Israeli ecosystem in security and now AI. हम specialized model training, Mythos, alignment research और इज़राइल के security और AI ecosystem के बारे में बात करते हैं। Welcome, Maxim. स्वागत है, Maxim। Thanks so much for doing this. बहुत शुक्रिया कि आप यहाँ आए। Thank you. शुक्रिया। Pleasure to be here. यहाँ आकर अच्छा लगा। Everyone is much more concerned about security and the impact of AI on security than they were um certainly a few months ago. सभी लोग security पर और AI के security पर पड़ने वाले असर को लेकर बहुत चिंतित हैं, जितना कुछ महीने पहले नहीं थे। The consensus risk story उस समय की risk story uh two two years ago when you started the company was basically like DLP for chat bots like what are what are employees putting into chat GPT. दो साल पहले जब आपने कंपनी शुरू की थी, तो basically ChatGPT जैसे chatbots के लिए DLP की बात थी, जैसे कि कर्मचारी ChatGPT में क्या डाल रहे हैं। Now we have clearly something that is not quite panic but close to marketwide panic. अब साफ़ है कि panic न सही, लेकिन पूरे market में उससे मिलती-जुलती घबराहट ज़रूर है। How did you decide to bet on agent actions um when you started? आपने शुरुआत में ही agent actions पर दाँव लगाने का फैसला कैसे किया? Look, I think for us the pivotal point was uh AutoGPT. देखिए, मेरे लिए सबसे निर्णायक पल AutoGPT था। I think AutoGPT kind of a let everyone's imagination including ours run wild because it was a AutoGPT ने सबकी, हमारी भी, कल्पना को उड़ान दे दी क्योंकि वो एक ऐसा Can you remind listeners what that was? क्या आप listeners को याद दिला सकते हैं वो क्या था? Sure. ज़रूर। So, AutoGPT um and I'm sorry if I don't know the guy behind it, but a huge huge fan. तो, AutoGPT, और माफ़ करें अगर मुझे उसके पीछे के शख्स का नाम नहीं पता, लेकिन मैं उनका बहुत बड़ा फैन हूँ। H they created the first as far as I know first really autonomous agent running on LLMs right so agent that you know would let LLM not generate text but decide what to do and then give that agent an API access to do that thing a tool to do it and then would do that in a loop so it basically in theory could let agents do very complicated things anything a person could do on a computer now in granted it didn't work that well it was too early. उन्होंने जहाँ तक मुझे पता है, पहला सही मायने में autonomous एजेंट बनाया जो LLMs पर चलता था, यानी ऐसा एजेंट जो LLM को सिर्फ text generate नहीं करने देता था बल्कि यह तय करता था कि क्या करना है, फिर उस एजेंट को API access और एक tool देता था वो काम करने के लिए, और यह एक loop में चलता था, तो सैद्धांतिक रूप से यह एजेंट को बहुत जटिल काम करा सकता था, जो कुछ भी कोई इंसान कंप्यूटर पर कर सकता है, हालाँकि यह ज़्यादा अच्छे से काम नहीं करता था, बहुत जल्दी था। The models were not good enough. मॉडल्स उतने अच्छे नहीं थे। GPT4 was not good enough. GPT-4 उतना अच्छा नहीं था। But I think it did give everyone a glimpse into the future of you know what if the models were good enough and then basically using that same structure we could have very capable agents doing stuff for us. लेकिन मुझे लगता है कि इसने सबको भविष्य की एक झलक दिखाई कि अगर मॉडल्स काफी अच्छे होते तो उसी structure का इस्तेमाल करके हमारे लिए बहुत capable एजेंट काम कर सकते थे। I think that was in many ways Claude Code today is not dissimilar to autograph back then. मुझे लगता है कि आज Claude Code उस समय के AutoGPT से कुछ हद तक मिलता-जुलता है। I think they were a bit early on on again before the malls were ready but the concept was right and the thought that stickked with me was I was very IPL even back then. मुझे लगता है वे models के तैयार होने से पहले थोड़े जल्दी थे, लेकिन concept सही था, और जो बात मेरे मन में टिक गई वो यह थी कि मैं उस वक्त भी AGI को लेकर बहुत convinced था। So I was uh I was uh thinking oh my god malls are going to be way smarter than us when that happens. तो मैं सोच रहा था, अरे वाह, models हमसे कहीं ज़्यादा smart हो जाएंगे, जब ऐसा होगा। How do we oversee these very uh smart uh agents that are, you know, they're smarter than us? हम इन बेहद smart एजेंट्स की निगरानी कैसे करें जो, जानते हैं, हमसे ज़्यादा smart हैं? They're very capable. वे बहुत capable हैं। Uh how we're going to feel easy about them doing stuff for us, especially when they start managing really important stuff, you know, then one day they're managing your water supply and your electricity, your uh power grid, right? हम उन्हें अपने लिए काम करते देख कैसे सहज महसूस करेंगे, खासकर जब वे बहुत ज़रूरी चीज़ें manage करने लगें, जैसे एक दिन वे आपकी water supply और electricity, आपका power grid manage कर रहे हों? How do you control them? आप उन्हें कैसे control करते हैं? And that was like the thing I was kind of obsessed about that thought. यही वो बात थी जिसके बारे में मैं थोड़ा obsessed था। H I was also too early. मैं भी बहुत जल्दी था। So I think at the time enterprises were not using any agents. तो मुझे लगता है उस वक्त enterprises कोई भी एजेंट इस्तेमाल नहीं कर रहे थे। Uh there were hardly any agents out there and and talking with a lot of security buds at the time they were like oh dude you're way too early like this is not uh something that's going to happen as you question. उस समय बहुत कम एजेंट्स थे और security के लोगों से बात करने पर वे कहते थे, यार, तुम बहुत जल्दी हो, यह इतनी जल्दी होने वाला नहीं है। I said is anyone going to do this before you run out of money? मैंने पूछा कि क्या कोई पैसे खत्म होने से पहले यह करेगा? And and I think there was a good chance that uh I would have run out of money before because I think you were right like I think it there was an element of chance here but then I think the market did happen. और मुझे लगता है काफी संभावना थी कि मेरे पैसे पहले खत्म हो जाते क्योंकि आप सही थे, इसमें थोड़ी किस्मत का भी हाथ था, लेकिन फिर market ने रफ्तार पकड़ ली। So we had suddenly reasoning models that could do long horizon tasks. तो अचानक हमारे पास reasoning models आए जो long-horizon tasks कर सकते थे। We had a Claude Code which became like the really first widely used autonomous agent and then we had co-work and Claude Code and and I think we're starting to see now that these types of agents that are very autonomous even though they're like uh everyone was afraid to build them. Claude Code आया जो पहला widely-used autonomous एजेंट बन गया, और फिर co-working और Claude Code आए, और अब हम देख रहे हैं कि इस तरह के बेहद autonomous एजेंट, हालाँकि सभी इन्हें बनाने से डरते थे। So everyone started building these low code platforms that were much more limited much more based on connectors. तो सभी ने low-code platforms बनाने शुरू किए जो बहुत ज़्यादा limited और connectors पर आधारित थे। H those platforms ended up being quite limited. वे platforms काफी limited निकले। So that we didn't get the productivity gains from those limited platforms. इसलिए उन limited platforms से हमें productivity में कोई खास फायदा नहीं मिला। But when we started getting the crazy benefits from these very unleashed agents that could do everything that had much less controls baked into them and even very large enterprises decided they're going to adopt it. लेकिन जब हमें इन बेहद unleashed एजेंट्स से जबरदस्त फायदे मिलने लगे जो सब कुछ कर सकते थे और जिनमें controls बहुत कम built-in थे, तब बड़े-बड़े enterprises ने भी इन्हें adopt करने का फैसला किया। You know like tropics revenue is coming from enterprises that are paying for Claude Code to do a lot of the work that developers used to do. Anthropic की revenue उन enterprises से आती है जो Claude Code के लिए pay कर रहे हैं, वो काम करवाने के लिए जो developers करते थे। That was a bit about kind of how we started and we definitely were in luck that very autonomous agents appeared uh before uh it was too late. यही हमारी शुरुआत की कहानी थी और हम वाकई खुशकिस्मत थे कि बहुत autonomous एजेंट्स बहुत देर होने से पहले आ गए। So can you describe a little bit just because it's um I I think both uh close to impossible and then very useful in this period of AI to think about what is deployment right now and then you know what's changing about capability. तो क्या आप थोड़ा बता सकते हैं, क्योंकि AI के इस दौर में यह सोचना उतना ही मुश्किल जितना ज़रूरी है कि deployment अभी कैसी है और capabilities में क्या बदल रहा है? What's the oneliner on what the Onyx product does today and then like how you think about long-term vision Onyx का product आज क्या करता है, यह एक line में बताएं, और long-term vision क्या है? today? आज? Like Onyx is really does do two two things. Onyx मूल रूप से दो काम करता है। Number one is we train models and build agents that can oversee other agents. पहला, हम models train करते हैं और ऐसे एजेंट बनाते हैं जो दूसरे एजेंट्स की निगरानी कर सकें। And the goal of that is to say, okay, we need someone to be able to tell that all of these actions that are now happening by these AIs that we're adopting are legitimate because that number the number of these actions is going exponentially. और इसका मकसद है कि कोई तो यह बता सके कि AIs के ये सारे एक्शन जो अब हो रहे हैं वे legitimate हैं, क्योंकि यह संख्या एक्सपोनेंशियली बढ़ रही है। And so things that we thought might be useful in the past like a human in the loop now that you're going to have 100x, a thousandx, a millionx of these actions, h that's not going to work. तो जो चीज़ें पहले useful लगती थीं, जैसे human in the loop, जब आप 100 गुना, हज़ार गुना, दस लाख गुना ये एक्शन करवा रहे हों तो वो काम नहीं करेगा। And then we take that capability and we basically productize it in a product that we call the control plane or the secure control plane where we come to the present say hey let's let's find all of your AIS and autonomous agents and hook them up to onyx to this system where we can oversee what your eyes are doing so that uh you don't run into the risk of as you're exponentially doing more things with the eyes you're going to start having really bad actions happen and and we've seen some of that happen lately with down times that were caused by a just doing the wrong thing, agents accidentally publishing code and tokens uh that they weren't supposed to and so on. फिर हम उस capability को एक product में लाते हैं जिसे हम कंट्रोल प्लेन या secure कंट्रोल प्लेन कहते हैं, जहाँ हम enterprise के पास जाकर कहते हैं, चलिए आपके सभी AIs और autonomous एजेंट्स को Onyx से जोड़ते हैं ताकि हम निगरानी कर सकें, और आप उस जोखिम से बच सकें कि जैसे-जैसे आप AI के साथ ज़्यादा काम करते हैं, बुरी गड़बड़ियाँ होती हैं, जैसे downtime जो गलत AI action से हो, एजेंट्स का गलती से code और tokens publish करना। So like definitely enterprise are starting to realize that that risk is growing exponentially and that they don't have any way to stop the adoption. एंटरप्राइज़ को अब साफ़ दिखने लगा है कि यह जोखिम एक्सपोनेंशियली बढ़ रहा है और adoption रोकने का कोई तरीका नहीं है। So like they just now have to do something to reduce the chance of these agent actions being uh illegitimate or incorrect. तो उन्हें अब कुछ करना होगा ताकि इन एजेंट एक्शन के गलत होने की संभावना कम हो। Yeah, I I think um the one of the core reasons obviously the foundation model labs are going after code is because it is very powerful in general and can do you know in theory all things software can uh over time. हाँ, foundation model labs कोडिंग पर जा रहे हैं इसकी एक बड़ी वजह है कि यह बहुत powerful है और सिद्धांत में समय के साथ सभी software-related काम कर सकता है। Um the flip side of that is it can do all things software can right and so uh I joyously am already in the camp of having allowed a having been over permissive with my agents such that it deleted data permanently and caused rework. इसका दूसरा पहलू यह है कि यह software के सब काम कर सकता है, और मुझे खुशी है कि मैं पहले ही उस camp में हूँ जिसने अपने एजेंट्स को ज़रूरत से ज़्यादा permissions दे दी जिसके चलते data permanently delete हो गया और दोबारा काम करना पड़ा। So I'm like oh okay I think I see I need some guardian guardian spirits around it. तो मुझे लगा, ओह ठीक है, मुझे इसके लिए कुछ guardian spirits चाहिए। Um given your deployments today and talking to large enterprises what is the state of deployment आज आपके deployments और बड़े enterprises से बातचीत के आधार पर, deployment की स्थिति क्या है right? अभी? uh like how much do you see जैसे आप कितना देख रहे हैं that's within these इन ज़्यादा uh more scoped like studio-l like platforms versus uh you know uh free free riding coding agents scoped, studio जैसे platforms में बनाम free-riding coding एजेंट्स में you know how how much are you actually seeing in large enterprises in different sectors बड़े enterprises में अलग-अलग sectors में आप कितना देख रहे हैं? yeah so I think right now in our typical enterprise we're going to see if we break it down to three categories so we break it down to various SAS platforms that are typically more low code uh where people build agents in this drag and drop way and they're not really autonomous agents, right? हाँ, तो मुझे लगता है अभी हमारे typical enterprise में अगर तीन categories में बाँटें, तो पहली category विभिन्न SaaS platforms की है जो आमतौर पर low-code हैं, जहाँ लोग drag-and-drop तरीके से एजेंट बनाते हैं और ये सही मायने में autonomous एजेंट नहीं हैं। They're kind of the simp kind of I would think of them more as automations and then there are um first party agents people are building in their cloud potentially because it's an application they want inside the company or even a product they're planning to release to the customers that is agentic. ये कुछ हद तक automations जैसे हैं, और फिर first-party एजेंट हैं जो लोग अपने cloud में बना रहे हैं, शायद कंपनी के अंदर इस्तेमाल के लिए या ऐसे product के लिए जो वे customers को देने की सोच रहे हैं। And then the third category is very autonomous coding agents and assistants. और तीसरी category है बहुत autonomous coding एजेंट्स और assistants की। Of these categories, I would say roughly at this point over 50% is the autonomous uh coding agents and assistance in the average enterprise. इन categories में, मैं कहूँगा अभी average enterprise में 50% से ज़्यादा autonomous coding एजेंट्स और assistants हैं। Then probably 45% is is those uh uh low code automations. फिर शायद 45% वो low-code automations हैं। And the last 2% are really the first party ones that they're building themselves because obviously it's much harder to build effective agents. और आखिरी 2% वाकई वो first-party ones हैं जो वे खुद बना रहे हैं, क्योंकि effective एजेंट बनाना ज़ाहिर तौर पर काफी मुश्किल है। So, and it's much easier to adopt agents off the shelf or or build them with low code. तो, off-the-shelf एजेंट adopt करना या low-code से बनाना बहुत आसान है। So, and that's what we're seeing and we're inducing that the autonomous are also the fastest growing category. और यही हम देख रहे हैं, और हम पा रहे हैं कि autonomous एजेंट्स सबसे तेज़ी से बढ़ने वाली category हैं। So, it used to be that only developers and we would see Claude Code growing like fire in our customer base and now we're seeing a cloud co-working even faster. पहले सिर्फ developers और हम अपने customer base में Claude Code को आग की तरह बढ़ते देख रहे थे, और अब Claude co-working उससे भी तेज़ी से बढ़ रहा है। We're starting to see to our own surprise actually people adopting openclaw as a legitimate sanctioned tool in the company because the CEO is very driven to adopt AI. हमें अपनी हैरानी में, लोग OpenAI को भी एक legitimate, sanctioned tool के रूप में company में adopt कर रहे हैं क्योंकि CEO AI को adopt करने के लिए बहुत driven है। H so I think that today autonomous ads are by far the fastest growing category and and uh today typically comes without any controls. तो मुझे लगता है आज autonomous एजेंट्स अब तक की सबसे तेज़ी से बढ़ने वाली category हैं और आम तौर पर बिना किसी controls के आते हैं। So enterprises uh already buy let's say a hundred billion dollars of security today. एंटरप्राइज़ आज security पर शायद सौ billion dollars खर्च कर रहे हैं। Um they have uh lots of different protections at the endpoint and network and cloud and identity domains. उनके पास endpoint, network, cloud और identity domains में कई तरह के protections हैं। Uh what's relevant here for securing agents or is none of it like how do you how do you think about the existing protection set? एजेंट्स को secure करने में उनमें से क्या relevant है या कुछ भी नहीं, आप मौजूदा protection set के बारे में कैसे सोचते हैं? Security is always a space where you have some overlap between different tooling but in this and you have the concept of defensive debt as well. Security हमेशा एक ऐसी जगह रही है जहाँ अलग-अलग tools के बीच कुछ overlap होता है, और यहाँ defensive debt का concept भी है। So you want to have defenses at different levels of your technology stack to solve the problem. तो आप अपनी technology stack के अलग-अलग levels पर defenses रखना चाहते हैं। And that said, I think in this space we're kind of in a lot of enterprise are are kind of helpless because I'll take an example the identity approach. इसके बाद भी, मुझे लगता है इस space में बहुत से enterprise helpless हैं, identity approach का एक example लेता हूँ। Like traditionally if we have an software system that's running in our company we'll our first and most important control will be to limit what permission it has right because and then no matter what even if it goes wrong even if it's compromised it can't um typically do stuff that was originally allowed to do but with these autonomous AIs with these assistants with these coding agents we kind of want them to have our permissions because we want to we want to tell cloud co to do something or cloud co-work to do something and we want to then go have lunch and we want to come back and see that it's done and we want to give it so many diverse tasks as well that we kind of can't find the right set of permissions to do so suddenly our identity security software is not very useful then if you think about endpoint security right or or API security like if we tell our Claude Code that we want to recreate a database and it should delete it and recreate it. जैसे traditionally अगर हमारी company में कोई software system चल रहा है, तो हमारा पहला और सबसे ज़रूरी control उसकी permissions को सीमित करना होगा, क्योंकि फिर चाहे कुछ भी हो जाए, भले ही वो गड़बड़ाए या compromise हो, वो उन्हीं चीज़ों से ज़्यादा नहीं कर पाएगा जिनकी उसे originally permission थी, लेकिन इन autonomous AIs के साथ, इन assistants के साथ, इन coding एजेंट्स के साथ, हम चाहते हैं कि उनके पास हमारी permissions हों, क्योंकि हम चाहते हैं कि Claude Code या Claude co-work कुछ करे और फिर हम lunch पर जाएं और वापस आकर देखें कि काम हो गया, और हम उन्हें इतने diverse tasks देते हैं कि सही permissions की सही set नहीं चुन पाते, तो suddenly हमारा identity security software ज़्यादा useful नहीं रहता, और फिर अगर endpoint security या API security की बात करें, तो अगर हम Claude Code से कहें कि database recreate करे और उसे delete करके दोबारा बनाए। That's great. बढ़िया। That's going to save our DevOps team and our platform teams a lot of time. इससे हमारी DevOps team और platform teams का बहुत वक्त बचेगा। It's it's a great benefit of cloud code. यह Claude Code का एक ज़बरदस्त फायदा है। But if cloud code is working on an unrelated task and suddenly thinks that maybe the right thing to do is to delete our database and recreate it, maybe we don't want that to happen. लेकिन अगर Claude Code किसी दूसरे task पर काम कर रहा हो और अचानक सोचे कि शायद सही काम database delete करके recreate करना है, शायद हम ऐसा नहीं चाहते। And unfortunately our endpoint providers or API security tools, they don't know what cloud was thinking. और दुर्भाग्य से, हमारे endpoint providers या API security tools को यह नहीं पता कि Claude क्या सोच रहा था। why is it doing what it's doing? वो ऐसा क्यों कर रहा है? Right? है ना? So, a lot of these existing tools, they don't have the context to understand what these very flexible, unpredictable systems are doing. तो, बहुत से मौजूदा tools में इतना context नहीं है कि वे इन बहुत flexible और अप्रत्याशित systems को समझ सकें। If you're not building some kind of controls that are built for these systems, then you're either going to end up limiting them a lot, making them almost uh much less useful to the enterprise, or uh you're going to miss a lot of pretty dangerous things that they might be doing. अगर आप ऐसे controls नहीं बना रहे जो इन systems के लिए specifically बने हों, तो आप या तो उन्हें बहुत ज़्यादा limit कर देंगे जिससे enterprise के लिए उनकी usefulness कम हो जाएगी, या फिर आप उनकी बहुत सी खतरनाक हरकतें miss कर देंगे। As somebody who has worked in security for a long time, my first very traditional instinct on a problem like this is like that sounds like a problem for a proxy with a policy engine. एक ऐसे शख्स के तौर पर जिसने security में लंबे समय तक काम किया है, मेरी पहली बहुत traditional सोच यह होगी कि यह एक policy engine वाले proxy के लिए काम की तरह लगता है। We make some rules, we make the rules smarter. हम कुछ rules बनाते हैं, rules को smarter बनाते हैं। Like why why doesn't that work or did you did you try it? तो यह क्यों नहीं काम करता या क्या आपने कोशिश की? There are few things that I mean proxies integration method I would say. Proxies integration method के नज़रिए से कुछ बातें हैं। So there's some there are some AI systems where like you would want to integrate with a proxy if that's the easiest way to do it. कुछ AI systems ऐसे हैं जहाँ आप proxy से integrate करना चाहेंगे अगर यही सबसे आसान तरीका है। But number one, there's a lot of systems where that's just not viable technically because AI today runs on the cloud on someone else's infrastructure on your endpoint and just proxy is not always an option. लेकिन पहली बात, बहुत से systems में यह technically viable नहीं है क्योंकि AI आज cloud पर चलता है, किसी और की infrastructure पर, आपके endpoint पर, और proxy हमेशा एक option नहीं होता।