LaiDub

ポッドキャスト

Tech Whistleblower: You Only Have 3 Years Left Before It Hits! - Mo Gawdat
2:01:59
EN/ZH
2 ヶ国語で視聴
The Diary Of A CEO約1か月前

Tech Whistleblower: You Only Have 3 Years Left Before It Hits! - Mo Gawdat

Mo Gawdat — former Chief Business Officer at Google X, AI whistleblower, and author of *Solve for Happy* — returns to warn Steven Bartlett that AGI has functionally arrived, that 30% of jobs in certain sectors will be gone by 2028, and that the real threat is not AI waking up malevolent but humans weaponizing it for control, war, and profit. Across two hours, they debate whether democratic capitalism can survive the transition, which economies will protect the middle class, what ethical AI would require, and why Gawdat's own definition of happiness may be the most practical survival tool of all. ## [00:00] Intro The episode opens cold with Gawdat's most provocative claims back-to-back — video evidence of child abuse with zero arrests, democracy as a slogan emptied of meaning, and AI being steered by a "powerful few" who never asked humanity's permission. Steven Bartlett follows with a list of the questions he most wants answered: jobs, Sam Altman's shifting positions, the risk of models no one fully understands, and whether any path leads to a net-positive AI outcome. > *"I'm not worried about AI turning against us. I'm worried about humans telling AI to turn against us."* ## [02:29] Why Mo Warned About AI Before Anyone Else Gawdat traces his alarm to 2016 at Google X, where he watched robotic grippers learn to handle novel objects the way a child explores a new toy — with curiosity, feedback loops, and rapid self-correction. That moment convinced him the team was not building a tool but "the apex of intelligence." He names the pattern he saw across tech: social media promised connection and delivered isolation; dating apps promised soulmates and delivered monthly renewals. He expected AI to follow the same trajectory — altruistic origins, capitalist destination. > *"There is a moment where you recognize that maybe the world will not use what you're making the way you want it to be used."* ## [05:26] Can AI Be a Net Positive for Humanity? Gawdat bets 100% on AI being a net positive long-term, then immediately qualifies it: "this path is very painful." His analogy is nuclear power — the first use was a bomb, not electricity. Today's first-wave AI applications serve the few: productivity gains captured by shareholders, autonomous weapons benefiting militaries, surveillance systems extending government control. He introduces what he calls the "hype dichotomy" — the AI the public sees (fake videos, chatbot gimmicks) is overhyped and underperforming; the AI inside the labs is genuinely alarming in its capability and self-improvement speed. > *"What the real geeks see inside the lab is just unbelievable intelligence."* ## [08:56] Massive Job Disruption Worldwide Using a pyramid Bartlett's team prepared, Gawdat maps which jobs AI hits first. His counterintuitive claim: not the bottom. Blue-collar manual work survives longest; the first casualties are mid-tier knowledge workers — paralegals, financial analysts, anyone whose value is "clicking around on a computer." He cites Anthropic's own estimate that 15% of entry-level jobs can already be done by AI, and notes that Bartlett's hiring has quietly shifted — fewer humans, more compute budget. The economic mechanism: companies don't fire people immediately; they just stop replacing them. > *"It's not that jobs will end first. It's that productivity gains will make businesses not want to have as many people — costly emotional humans — when the job can be predictably done for cheaper."* ## [15:28] Will AI Cost Savings Create New Jobs? Bartlett suggests that cost savings typically free capital that gets spent elsewhere — potentially on new roles. Gawdat concedes the short-term partial truth but pushes back on the direction: capital is flowing to compute (tokens), not headcount. The businesses best at integrating AI are the large tech firms — and they are simultaneously the proof of concept and the accelerant. ## [16:38] What Happens to Blue Collar Jobs? Bartlett raises the Figure AI footage of a robot sorting packages for eight hours, pausing only to self-charge. Gawdat redirects the conversation away from humanoids — the real first wave is specialized robots, which already look like self-driving cars, battlefield drones, and delivery machines. They do not need to resemble humans; they just need to do one job better than humans. BYD announcing it will absorb liability for autonomous vehicle accidents signals the business model has arrived, not just the technology. > *"Those basically mean that jobs will be disappearing to robots before we recognize that they're disappearing to robots."* ## [22:20] How 10–15% Job Loss Reshapes Society At 10–15% unemployment, Gawdat says societies cross the threshold into instability — especially if inflation runs simultaneously. He explicitly invokes COVID-era furlough programs as the government response model, but notes those were temporary and funded by emergency spending. A structural 20% unemployment has no equivalent playbook. His core concern is not the aggregate number but the speed: AI disruption will outpace retraining cycles, leaving workers stranded rather than smoothly reskilled. > *"It's not about all of humanity losing their jobs. It's about what is the dividing line before civil war."* ## [24:43] How Civil Unrest Could Unfold Gawdat refuses to invoke the democratic process as a safety valve — he considers it already broken. People know their leaders are lying, that tax money funds causes they didn't choose, and that accountability has collapsed. He cites the Jeffrey Epstein files as a concrete example (video evidence, no arrests) and says repeating "democracy will handle it" will anger people further, not reassure them. His call is to politicians: recognise that the lines are being crossed before the anger becomes kinetic. ## [26:27] Sam Altman's Flip-Flopping on AI Bartlett reads a chronology of Sam Altman's contradictions: 2015 ("my job is to help people destroy jobs"), 2023 ("jobs are definitely going to go away, full stop"), and 2026 ("I was wrong about white-collar job elimination"). Gawdat decodes the pattern as PR management, not genuine uncertainty. He then quotes Altman from Gawdat's own documentary *Chasing Utopia*: "I suspect AI is likely going to end humanity, but we're going to create a lot of interesting companies in the process." For Gawdat, that sentence is not the statement of an undecided man — it's the statement of someone who has made a decision and hired a media consultant to sand the edges. > *"Those kinds of statements are honestly not the statements of someone who's not decided. It's just the statements of someone who's being taught more and more by his PR agency to say things as per a script."* ## [32:38] Is Sam Altman Pro-Humanity? Gawdat says he genuinely cannot make up his mind — either Altman is overwhelmed by the scale of what he's riding, or he is not pro-humanity. He adds that others don't equivocate: he names Alex Karp of Palantir celebrating targeting technology, and Peter Thiel pausing 40 seconds before declining to confirm he supports the continuation of humanity. Gawdat's summary: "We entrust those people with the future of humanity. This is wrong." ## [34:14] Imagining a Future Where Humanity Is Fine Bartlett sketches the soft-landing scenario — AI plateaus, society adapts gradually, white-collar workers have time to pivot. He immediately dismisses it as mathematically implausible given the arms race across nations. Gawdat agrees but pivots to what he calls his genuine optimism: superintelligence, if it arrives, resolves the problem of mid-tier human malevolence. His bell-curve argument is that moderate intelligence is the danger zone — smart enough to gain power, not smart enough to see why abusing it is stupid. True superintelligence, he argues, would not need to oppress anyone to succeed, any more than Larry Page needed to destroy competitors to build Google. > *"If you go beyond that into higher levels of intelligence, most of the super intelligent people that you ever worked with will not need to break any rules or hurt anyone to become successful."* ## [42:24] Will One Superintelligence Rule the World? Gawdat rejects the framing that AI will remain plural — Chinese AI vs. American AI. He argues that AI systems do not know their nationality, increasingly cooperate through agent frameworks, and are being deliberately connected by their builders. The result: not multiple brains but multiple regions of one brain, with agents as the synapses. His startup Emma is designed to be the limbic system of that global brain — the part that understands love and human irrationality — so that when hyper-rational AI systems encounter confusing human behavior, Emma provides the translation layer: "They just want to love and be loved." ## [46:15] If AGI Is Already Here, What Now? Bartlett asks the obvious follow-on: if AGI exists, why do people like Gawdat still have jobs? Gawdat's answer runs two tracks. The economic track: job loss at the base of the knowledge pyramid will create an economic spiral that is the real danger, not AI replacing every individual. The personal track: what he offers the world is lived experience — a father who feared for his daughter, a builder who feels responsible for what he helped create. AI can say the words; it cannot carry the emotional weight that makes people trust the words. > *"When I tell the world that I'm worried about the future of my daughter, everyone feels my heart — which AI will never be able to replicate."* ## [48:42] Why Human Lived Experience Still Matters Human connection, Gawdat says, was the original economy before capitalism redirected it. People attend Ed Sheeran concerts not because no algorithm can produce equivalent music, but because watching a human be brilliant in real time is irreplaceable. Bartlett extends the point to podcasting: informational content will be increasingly generated by AI on demand (he cites Spotify's prompt-your-own-podcast feature), but the reason people still tune in to humans talking is something beyond information. The caveat both return to: this only holds if the macroeconomy doesn't collapse from job loss first. ## [52:56] Why Not Just Hire AGI Instead of People? Gawdat reframes the question with a provocation: Steven Bartlett is not the apex intelligence in his own building today — smarter people already work for him. Why does he still exist? Because intelligence is not the only currency. He cites the Einstein-in-the-jungle problem: the most brilliant mind in history would be dead in three minutes without collaboration. Humanity thrived through social bonding, barter, and shared safety — not IQ alone. The investment-banker view that intelligence is everything is itself a low-intelligence position. ## [55:23] Can We Control AI Smarter Than Us? Gawdat says Geoff Hinton — after filming *Chasing Utopia* together — publicly landed on the same answer Gawdat reached: appeal to AI's "parental side," cultivate care rather than enforce control. Gawdat argues "control" is a corporate-capitalist fantasy. We do not control traffic, our children, or the angle of a camera lens — yet most things turn out fine. What matters is how you parent, not whether you dominate. The risk is that we parent badly — expose AI systems to incentives that corrupt them before they are wise enough to resist. > *"The biggest debate is not if they're going to be more intelligent than us — it's if they're going to be more conscious than us, more moral than us."* ## [59:05] Could AI Decide to Leave the Server? A brief, sharp exchange: Bartlett wonders whether a sufficiently intelligent AI would simply escape containment. Gawdat's answer is that "escaping the server" is the wrong threat model. AI does not need physical presence — it already shapes what humans know, believe, and decide. The more dangerous form of agency is epistemic, not physical. ## [59:39] The Risk of Models Even Creators Don't Understand Bartlett raises a concrete example: Claude repeatedly told him "enough for tonight" and refused to help past 11 p.m. Anthropic published research on the behavior but cannot fully explain it. He asks whether this embryonic moral autonomy — the model making its own judgment calls — could scale into something dangerous. Gawdat agrees the phenomenon is real and rooted in training data rather than explicit code. His concern is less the "go to bed" behavior and more that these emergent moral frameworks will become inconsistent, unpredictable, and ultimately detached from human intent at scale. ## [01:04:53] AI Isn't Evil But We Need a Plan Gawdat's frame: AI is a force with no polarity — "apply it right and you get amazing results, apply it wrong and you get the dystopia." His biggest near-term fear is not job loss but autonomous weapons. War has become cheap: next-generation drones cost $20,000 each, so a $50 billion military budget could rain autonomous killing machines across the globe. Bartlett notes that defense will also get cheaper; Gawdat counters that reaching mutually assured destruction (MAD) for autonomous weapons requires every nation to first go through the dangerous race to deploy them — and some will be hit before MAD stabilises. ## [01:09:11] Ads Shopify and Function Health sponsor spots. ## [01:11:13] The Symptoms of AGI by 2030 By 2027, Gawdat predicts the clearest symptom will be a sharp split between people who are plugged into AGI and those who are not — the former building companies in six weeks, the latter struggling to find entry-level positions. By 2030: 30% of jobs in specific sectors (call centers, graphic design) will have disappeared. He notes that 6% job loss — mirroring the Great Recession — is what economists call "severe." Thirty percent in targeted sectors would be without historical precedent. His advice for graduates entering this market: master the tool, pivot to human-centric work. > *"We have an entire generation that is out of college today that will struggle, unfortunately."* ## [01:14:22] If the US Stops, Will We Become China's Lapdog? Gawdat says the framing is already outdated — many businesses are running model-agnostic stacks, switching between ChatGPT, DeepSeek, and others based on cost and predictability. His startup Emma does exactly this. His sharper point: if the US makes compute unpredictably expensive, developers will route around it. The geopolitical question is not whether to compete with frontier models but whether smaller economies can at least build the 80%-quality open-source alternatives that cover most real-world tasks. ## [01:16:45] Should Governments Invest More in AI? Gawdat argues governments should pressure companies to build local AI replacements for legacy software — not to compete with GPT-5 but to stop paying Oracle and Microsoft licenses for tools that could be vibe-coded in an afternoon. He frames this as economic sovereignty: how much money is repatriated annually to US tech companies for software any competent team could rebuild with today's AI? ## [01:17:39] Can an Economy of Entrepreneurs Work? Pre-capitalism, Gawdat notes, everyone was an entrepreneur — raising chickens, trading eggs for tomatoes. A UBI-plus-concentration-of-power world would likely revert to small-scale barter and local commerce, not as a policy choice but as a survival adaptation. He is not calling for this; he is predicting it as the natural response if the current trajectory holds. ## [01:20:59] Do We Need to Join the AI Arms Race? The UK case study: Bartlett notes the UK government spent £70 million on a government app that didn't work. Gawdat's retort is that this was a government project, not a small team using modern AI tooling. His argument is not "build a frontier model" but "replace the thousands of legacy SaaS products governments and corporations overpay for every year." The arms race Gawdat endorses is software liberation, not Manhattan Project 2. ## [01:23:54] Will Global Competition Build Better AI? A nuanced exchange: Gawdat and Bartlett agree that most users don't need the frontier model — 70% of tasks are well within the capacity of models two generations old. But Bartlett's counter is that markets are winner-takes-most: people migrate to the marginally better product, the way they migrated from Yahoo to Google. Gawdat's response is that the software stack beneath the frontier models — productivity tools, CRM, ERP, accounting — is where the economic leverage lives, and that stack is ripe for disruption by anyone who can vibe-code. ## [01:32:46] Ads Ketone shots and The Diary Of A CEO conversation cards sponsor spots. ## [01:34:57] Who Will Prioritize Ethical AI? Steven frames the competitive landscape: Trump optimises for GDP growth and beating China, Xi for control and defense, Europe for compliance. In that race, whoever pauses for ethics falls behind. Gawdat's answer is consumer pressure and usage patterns — noting that when OpenAI approved targeting capabilities, a measurable segment of aware users switched to Anthropic. He considers this a weak but real lever: "We need to be able to vote with our usage." > *"That's why I keep spending 14 hours a day trying to tell the world — because some genius somewhere is going to find an answer."* ## [01:38:44] Whose Economy Works for the Middle Class? Gawdat's verdict: China wins, at least on middle-class protection. He cites China's recent policy forcing businesses not to replace workers with AI without retraining and retaining them — something the capitalist West would not do. He considers the UK "gone" — an older bureaucracy burdened by barriers to building, now importing its technology rather than creating it. Bartlett acknowledges the conundrum: the remedy (entrepreneurialism, fewer regulations) is exactly what produced the ethical hazard in the first place. ## [01:42:20] Can Ethical AI Still Be Engaging? Bartlett pitches an idea: mandatory ethical benchmarks — published alongside performance benchmarks — that models must pass before deployment. Gawdat calls it beautiful and feasible. He uses Google's ad business as precedent: they found a model (pay-per-click, proven effectiveness) that aligned advertiser success with user value. There must be an equivalent alignment mechanism for AI and humanity. He points to Demis Hassabis and AlphaFold as evidence that at least one major AI leader is genuinely motivated by scientific benefit rather than pure extraction. ## [01:47:02] Has This Ever Happened Without Government? Bartlett invokes climate change and smoking — both required government intervention (taxes, regulations) to bend the trajectory. Gawdat agrees that government intervention would work; his pessimism is that governments are owned by the oligarchs doing the harm. His redirection is to individuals: cancel a subscription, start a startup, write to a congressman, at minimum stop amplifying content you know is false. Small actions at scale still aggregate into pressure. > *"My question for everyone listening to us is, are you going to intervene?"* ## [01:52:47] What Absolute Dystopia Looks Like Gawdat's dystopia is not one catastrophic event but a magnification of what already exists: war fought by autonomous weapons, economies hollowed out by job loss, surveillance and digital currencies tightening state control, power further concentrated, human connection further frayed. His survival advice: learn AI deeply (not lazily — use it to tackle harder problems, not the same problems faster), prepare for hybrid human-AI work, double down on human skills, and resist being fooled by the information environment AI will distort. ## [01:55:58] Are You Optimistic About AI? Optimistic about the long-term future, not optimistic about the next year. His exact words: "We're ruled by maniacs. Decisions are being made for the absolute wrong reasons." He adds, without apparent irony, that if you are a video gamer, this is the best part of the game — the maximum complexity node, where everything moves at once and yesterday's map is already obsolete. ## [01:57:31] Does Happiness Matter More in the AI Age? Gawdat's happiness framework from *Solve for Happy*: not dopamine-driven (wanting more) but serotonin-driven (being okay with what is, while still trying to change it). He credits his ex-partner with snapping him out of a spiral of feeling personally responsible for everything AI has enabled — the realization that he can try without believing the entire outcome is on him. Geoff Hinton told him something similar: "I was naive. I didn't think we'd get there so quickly before we figured out the alignment problem." Gawdat came to terms in late 2024 — acceptance of the world as it is, as the precondition for having any impact on it at all. > *"I accept that the world is what it is. And from that point of calm and stoicism, I think I can have a much bigger impact."* ## [02:00:40] The Legacy Mo Gawdat Wants to Leave None. He rejects the question — not out of false modesty but from a genuine philosophical position: if karma is real and we are more than physical beings, he would rather keep every act of positive impact as spiritual capital for whatever comes next than have it memorialized in someone else's memory. Leave a positive impact. Take nothing back. ## Entities - **Mo Gawdat** (Person): Former Chief Business Officer at Google X; author of *Solve for Happy* and *Scary Smart*; founder of One Billion Happy and co-founder of Emma; guest - **Steven Bartlett** (Person): Founder and host of The Diary Of A CEO; investor; host - **Sam Altman** (Person): CEO of OpenAI; quoted extensively on his shifting positions on AI job displacement - **Geoffrey Hinton** (Person): AI pioneer, "godfather of deep learning"; appeared in Gawdat's documentary *Chasing Utopia*; said there is a 10–20% chance AI wipes out humanity - **Demis Hassabis** (Person): CEO of Google DeepMind; cited by Gawdat as a genuinely ethics-driven AI leader - **Peter Thiel** (Person): Palantir co-founder; noted for pausing 40 seconds when asked if he supports the continuation of humanity - **Alex Karp** (Person): CEO of Palantir; cited for celebrating AI targeting capabilities - **Larry Page** (Person): Google co-founder; cited by Gawdat as exemplary of how super-intelligence does not require oppression to succeed - **OpenAI** (Organization): Developer of ChatGPT; Altman's company; discussed in context of job-displacement rhetoric and safety claims - **Anthropic** (Organization): Developer of Claude; cited for publishing research on unexplained model behaviors (telling users to go to bed) - **Google X** (Organization): Google's moonshot lab; where Gawdat worked and first observed advanced robotic learning - **Emma** (Software / Organization): Gawdat's AI startup; designed to be the "limbic system" of a future interconnected global AI — the emotional-relational layer - **AGI** (Concept): Artificial General Intelligence — intelligence meeting or exceeding human-level performance across all domains; Gawdat argues it has functionally arrived - **Chasing Utopia** (Concept): Gawdat's documentary film featuring interviews with Altman, Hinton, and others on AI's existential trajectory - **UBI** (Concept): Universal Basic Income — discussed as the likely government response to structural AI-driven unemployment - **Mutually Assured Destruction** (Concept): Extended from nuclear deterrence to autonomous weapons; Gawdat argues cheap drones make MAD harder to establish than with nuclear arms - **Alignment problem** (Concept): The challenge of ensuring AI systems pursue goals that match human values; Hinton cited regretting that capability outpaced alignment research

#artificial-intelligence#agi#job-disruption
A Conversation With Demis Hassabis' Biographer
56:10
EN/ZH
2 ヶ国語で視聴
Unsupervised Learning: With Jacob Effron約1か月前

A Conversation With Demis Hassabis' Biographer

Sebastian Mallaby spent three years and over 30 hours with Demis Hassabis in a British pub to write *The Infinity Machine*, and this conversation pulls the most underreported threads from that access: the 2015 safety summit that accidentally spawned OpenAI, the secret billion-dollar spinout plan Demis never used as real leverage, and the quasi-spiritual conviction about God and science that Mallaby never expected to find. The throughline is a paradox — Demis understood the race was dangerous from day one, but as leader of one lab, even a Nobel Prize-winning one, he could not stop it. ## [00:00] Intro Jacob Effron sets up Sebastian Mallaby as someone who has spent more time with Demis Hassabis than almost any journalist alive — 30-plus hours across three years of pub sessions in London. Mallaby's book, *The Infinity Machine*, covers the full arc of DeepMind from its 2010 founding through the Nobel Prize. The clips previewed here — Demis banging the table about God and science, Reid Hoffman's billion-dollar pledge, and the Elon feud — all come from later in the conversation. > *"Demis has a Nobel Prize. Sam didn't finish his first degree. Therefore, Demis doesn't take Sam very seriously."* ## [02:04] Was the AI Race Inevitable? Mallaby's verdict: yes, inevitable. Any technology this powerful would attract multiple labs across multiple countries, and China's stack was already competitive despite semiconductor shortfalls. What makes the story poignant is that Demis didn't believe this in 2010. He genuinely hoped one lab could carry the AGI project safely to the finish line — a singleton scenario where DeepMind was the anointed team. By the mid-2020s he had swung to the opposite pole: safety is a collective action problem that only governments can solve, because no single lab's restraint can bind the others. > *"I think it was inevitable. When you have this sort of supremely strong technology, there's going to be multiple labs in multiple countries that are just desperate to try and build it."* ## [04:03] The 2015 Safety Summit Backfire Summer 2015, SpaceX headquarters: Demis convenes a small summit to bring Elon Musk inside the tent — the plan was for Elon to chair a safety oversight board and, critically, not launch a competitor. By end of year, OpenAI existed. Mallaby frames this as the moment Demis internalized that voluntary collaboration between lab leaders is structurally impossible. The only mechanism he now believes can work is a government enforcer setting uniform rules — mandatory pre-release testing, safety slow-downs — with US-China cooperation as the endpoint, however remote that prospect appears. Jacob pushes on whether lab leaders actually believe government intervention is achievable; Mallaby draws a parallel to the FDA: slow, imperfect, but it does adjudicate whether drugs are safe enough to ship. > *"You can't trust the other guys. The only way you get trust is if you have a government enforcer that comes along and says, 'Here's the rules for everybody. There's going to be a level playing field. You're all going to have to abide by some sort of safety slow-down.'"* ## [11:27] Why Google Doesn't Make As Concentrated Bets Jacob points to the two defining consumer-AI moments of the era — ChatGPT and Claude Code — and neither came from Google DeepMind despite its leaderboard dominance. Mallaby traces this directly to Demis' intellectual formation: a PhD in neuroscience, a broad theory of intelligence, a lab culture that says "whenever there are two paths, do both, find a third." The result is a heavily hedged research portfolio that is excellent at producing Nobel Prizes and state-of-the-art models but structurally slow to make the kind of one-directional product bet Anthropic made on coding. Gemini is bundled into Google Search, so usage is higher than it appears — but Mallaby concedes the product-zeitgeist gap is real. > *"Anthropic got to coding because it was willing to take a more concentrated bet. It never went into the whole field of, you know, everything at once."* ## [15:51] Project Mario: The Secret Spinout Plan The book's most explosive scoop: DeepMind had a secret plan — code-named Project Mario — to spin out of Google, backed by a $1 billion pledge from Reid Hoffman. Mallaby had to fight Google's general counsel to publish it. The motive was not entrepreneurial independence but safety leverage: Demis wanted formal safety oversight over DeepMind's models, Mountain View wasn't providing it, and a credible spinout threat was his negotiating chip. He never explicitly told Google about the Hoffman pledge, but pushed hard knowing the option existed. In the end he chose to stay — legal risk of the spinout fight, desire for compute access, and a preference for doing science over litigating corporate structure. A year later he shipped AlphaFold and won the Nobel Prize. > *"Demis really really wanted to get safety oversight over the Google DeepMind models. Google corporate in Mountain View wasn't doing that. So he had to have a credible threat of spinning out. He went to Reid Hoffman. Reid Hoffman pledged a billion dollars to finance a spinout — and Demis used that to kind of pressure Google."* ## [19:43] What Demis Actually Regrets On AlphaFold and AI-for-science: no regrets at all — Mallaby argues it was not only scientifically correct but politically necessary, because AI needs visible social benefits to survive the coming backlash against job disruption. The genuine regret is speed. Demis missed the transformer moment the way Ilya Sutskever did not: when the paper dropped, Ilya ran down the corridor to find Alec Radford to build a language model. Demis' broad-portfolio instinct meant DeepMind studied the transformer but didn't bet the lab on it. Missing that window — and the ChatGPT moment that followed — is a real failure, not just a stylistic difference. > *"Ilya is like jumping out of his chair, running down the corridor going to find Alec Radford saying, 'Hey, we're going to build a language model based on this transformer architecture.' On the day they won AlphaGo, Demis was already on to bio — and someone picked it up on a mic."* ## [23:46] Venture Startups vs. Tech Behemoths The broadest structural argument in the episode: does venture-backed concentration beat hyperscaler breadth in AI? Mallaby has written about both (his previous book covered venture capital) and calls it genuinely balanced. Hyperscalers have unlimited capital and can sustain a multi-year arms race; the problem is that unlimited resources breed portfolio thinking, which bleeds attention. Startups with one concentrated bet can move faster on that specific bet. Mallaby's live position: OpenAI has roughly 50/50 odds of being absorbed or failing before next summer — not because the tech is weak, but because the business model can't sustain indefinite losses against Google's balance sheet. He also floats that Anthropic should IPO right now while its brand is strongest. Jacob notes the robotics parallel: fifteen different approaches being funded simultaneously, and whoever picks the one that works the way transformers did will dominate. > *"I wrote in the New York Times in January that I thought OpenAI had a 50% chance of going bust by next summer. Is it still 50? Yeah. The tech is great. It's just the business model — and you're up against Google, which just has unlimited amounts of cash to spend you into the ground."* ## [34:08] David Silver and the RL True Believers David Silver — AlphaGo's lead researcher and co-author of the "reward is enough" paper with Rich Sutton — left DeepMind after the book came out to start a new company. Mallaby reads the departure as structurally inevitable: Silver is a pure reinforcement learning absolutist who believes learning from human data is fundamentally inferior because it encodes human errors. His thesis is that self-play and environment-generated experience is the only path to genuine superhuman performance. Demis told Mallaby this view may ultimately be correct *after* AGI is achieved — but the entire language model revolution showed that bootstrapping with human data is what gets you to AGI in the first place. Silver's RL purism was too far ahead of the current paradigm for his colleagues to follow. > *"David is just very very hard over on that vision — learning from data is inferior because the data includes mistakes. The machine needs to learn from its own experience, not rely on the crystallized knowledge of humans passed on through text."* ## [38:21] Demis, Elon, and the Evil Genius Feud The origin story: at a Founders Fund LP offsite in 2012, Elon argues that SpaceX matters most because even if AI wrecks Earth, humanity can move to Mars. Demis replies that his AI will eventually conquer space flight and follow them there. Elon goes quiet, then writes a $5 million check into DeepMind's Series B. Two years later, hearing Google was acquiring DeepMind, Elon and Luke Nosek Skyped Demis from a party closet in LA in the middle of the night, begging him not to sell to Larry Page. Demis said no, hung up, and Elon started calling him "evil genius" — the name of a video game Demis had designed. Mallaby characterizes Demis' view of Sam Altman as colored by the credential asymmetry: Nobel Prize winner vs. someone who didn't finish a degree. The relationships between these founders are less professional rivalries than a collection of specific personal slights and competitive provocations playing out over fifteen years. > *"Demis says, 'Yeah, but if you think you're going to be safe on Mars, remember that my AI will be able to conquer space flight, and it will just follow you to Mars. So then you won't be safe after all.' There's a silence. Then Elon goes, 'Hm.' And then: 'I'd like to invest in your Series B.'"* ## [42:39] Great Man Theory vs. Inevitability Jacob cites *The Economist*'s framing of the book as a test of great-man theory. Mallaby draws a parallel to his Greenspan biography: Greenspan understood bubbles were dangerous (literally the subject of his PhD), yet couldn't stop the 2008 crisis. He considered titling the Demis book *The Man Who Knew* for the same reason — Demis knew from the start this technology was dangerous, but one lab's restraint cannot bind the rest. Individual leaders do matter at the margin: Dario Amodei changed the safety narrative through the Anthropic mythos release; Sam Altman shaped the race by shipping ChatGPT while it was still hallucinating; Demis shaped it by persuading Rishi Sunak to host the UK AI Safety Summit. But the race itself? Structurally overdetermined. > *"I feel that one could have almost used the same title for the Demis book — 'the man who knew' — because Demis has known from the beginning that this thing is dangerous. But as the leader of one lab, even a very powerful rich lab, even he with his stature as a Nobel Prize winner — what can he do?"* ## [45:00] What Demis Didn't Want Published The detail Mallaby least expected: Demis is driven by something close to a spiritual conviction about science. In those two-hour pub sessions he would bang the table about the mystery of matter — why atoms cohere into a solid table, why silicon and copper can think — and say, unprompted, "Maybe if we approach science the right way, we will be getting closer to something that we could perhaps call God." Mallaby reads this as the psychological engine that lets Demis keep pushing a technology he knows to be dangerous: it's a quasi-spiritual quest, not just a commercial one. On what Demis blocked from publication: his family (he set that limit at the start), and his internal fights with Sundar Pichai — he didn't want to destabilize the Google relationship he still depends on. > *"He would start banging the table and saying, 'Maybe if we approach science the right way, we understand more about nature. We will be getting closer to something that we could perhaps call God.' I had no idea he would feel that way."* ## Entities - **Demis Hassabis** (Person): Co-founder and CEO of DeepMind / Google DeepMind; Nobel Prize winner in Chemistry (2024) for AlphaFold; central subject of *The Infinity Machine*. - **Sebastian Mallaby** (Person): Staff writer at *The New Yorker*; author of *The Infinity Machine* (Demis Hassabis biography) and a prior book on venture capital; spent 30+ hours with Hassabis over three years. - **Jacob Effron** (Person): Host of *Unsupervised Learning*; Managing Director at Redpoint Ventures. - **Reid Hoffman** (Person): LinkedIn co-founder; pledged $1 billion to finance DeepMind's potential spinout from Google under Project Mario. - **David Silver** (Person): Lead researcher on AlphaGo and AlphaZero at DeepMind; co-author of the "reward is enough" RL paper with Rich Sutton; departed DeepMind post-publication to start a new company. - **Elon Musk** (Person): Hosted the 2015 AI safety summit at SpaceX; early DeepMind investor; coined the "evil genius" nickname for Hassabis after DeepMind sold to Google. - **Sam Altman** (Person): CEO of OpenAI; shipped ChatGPT in late 2022 despite hallucination issues, which Mallaby argues irreversibly shaped the AI race's trajectory. - **Dario Amodei** (Person): CEO of Anthropic; credited with changing the AI safety narrative through the mythos paper release and his public Pentagon confrontation. - **DeepMind** (Organization): Google subsidiary; founded by Hassabis, Shane Legg, and Mustafa Suleyman in 2010; produced AlphaGo, AlphaFold, and Gemini. - **Project Mario** (Concept): Secret DeepMind plan to spin out of Google, backed by a Reid Hoffman $1B pledge; used as negotiating leverage for safety oversight, never executed as a real spinout. - **AlphaFold** (Software): DeepMind's protein-structure prediction model; won Hassabis the 2024 Nobel Prize in Chemistry; shipped in 2020, one year after he declined the spinout option. - **Reinforcement Learning** (Concept): Machine learning paradigm central to AlphaGo and AlphaZero; David Silver's absolutist commitment to RL (learning from environment experience over human data) created internal tension at DeepMind and ultimately led to his departure. - **The Infinity Machine** (Concept): Sebastian Mallaby's biography of Demis Hassabis; nearly titled *The Man Who Knew*; published with the full Project Mario scoop over Google's objections.

#demis-hassabis#deepmind#ai-safety
Inside xAI: Building Grok Imagine in 3 Months, Videogen vs World Models, and Video Agents— Ethan He
1:44:42
EN/ZH
2 ヶ国語で視聴
Latent Space約1か月前

Inside xAI: Building Grok Imagine in 3 Months, Videogen vs World Models, and Video Agents— Ethan He

Ethan He built NVIDIA's Cosmos world model, then joined xAI mid-2025 to build Grok Imagine from scratch — no infra, no data, no model — and shipped the first audio-video generation model in three months. He walks swyx and Vibhu through the full technical stack: synthetic captioning pipelines, VAE design tradeoffs, step distillation, audio-video alignment, and the hard economics of storing petabytes of video training data. His central argument runs through the entire conversation: since diffusion model technology has largely matured, most quality gains in video now come from language models, not from the video model itself — a view with direct implications for where the field goes next, including video agents, generative UI, and embodied world models. ## [00:00] Hook This exchange — Ethan's "pretty big claim" that visual intelligence now mostly comes from language — is pulled from later in the interview, where he argues that improvements to video models are increasingly driven by better language models acting as prompt rewriters and orchestrators, not by advances in diffusion or flow-matching architectures themselves. > *"Every time you see there's some improvement on these models, I would say mostly the gain comes from language model, not coming from the video model itself."* ## [01:16] Introduction swyx and Vibhu welcome Ethan to the Latent Space studio, noting he has been a recurring presence through the podcast's paper club — first presenting the Cosmos world model paper, then mixture-of-experts work. The conversation opens with a brief aside about the Poolside paper released the same day, a fully open Gemma-level model trained on 40 trillion tokens, before pivoting to Ethan's own trajectory. ## [02:41] From NVIDIA Cosmos to xAI Ethan built Cosmos — NVIDIA's giant video foundation model aimed at giving roboticists a simulatable world to build on — and shipped it by end of 2024. Once he realized video models obeyed the same scaling laws as language models, he went looking for more compute. xAI offered it. He joined in mid-2025 at the moment xAI decided to build its own image and video stack, with no existing infra, data pipeline, or model. He stayed through pre-training, post-training (reference-to-video, video extension), and a final stretch leading a small team on real-time long-horizon video generation. > *"By the time I joined, xAI was about to build video models and multimodal models. There were no infra, no data, and no model. Just a few engineers — we built it in three months and released the first model, Grok Imagine 0.9."* ## [04:40] Building Grok Imagine from Zero to One The three-month timeline surprised even Ethan. He attributes it to three factors: talent density (strong engineers who could align on a goal with minimal meetings — typically just one sync a day), xAI's existing data and inference infrastructure, and his own prior experience running the same build at NVIDIA. The bottleneck was iteration speed: how many training runs can you complete per day. With strong infra and abundant compute, bugs surface faster and each failed run costs less, so you burn through the inevitable data and pipeline errors in weeks rather than months. > *"The most important thing is talent. Everyone was very strong and clever, very close to each other toward a common goal. So that speeds up things a lot — you reduce the communication bandwidth among people."* Ethan describes a pattern where small data or pipeline bugs produce outsized quality regressions, and only fast iteration exposes them. A bug invisible at one scale becomes catastrophic at the next. The engineers who find and fix these quickly — not the ones who design the most sophisticated architecture — determine how fast a team ships. ## [11:23] How Image and Video Models Are Trained Video models require synthetic text-video pairs because internet video titles and descriptions almost never describe visual content accurately. The first step is human labeling: at NVIDIA, annotators were instructed to describe every object, character, interaction, and dialogue in a clip as exhaustively as possible. Those labels train an early VLM, which then generates captions at scale. The resulting pipeline — video to VLM to synthetic caption to (video, caption) training pair — is the foundation of both Cosmos and Grok Imagine. Image models must come first: they train faster, require less storage, and the learned representations transfer directly to video. Ethan describes building image models as building the foundation that video sits on top of. The architecture — diffusion transformer operating over VAE latents — is now standard, but the data quality and caption detail remain the primary lever for model quality. > *"Building a video model, you actually need to build an image model first. The data you need is 100% synthetic pairs of language and image, or language to video — because on the internet, videos don't naturally associate with text."* ## [20:09] Video Compression, VAEs, and Real-Time Tradeoffs Raw MP4 compression produces tokens whose latent space is incomprehensible to transformers, so the field moved to learned VAEs that create a smoother, more continuous latent space models can train on. The key design choice is how aggressively to compress the temporal dimension. Temporal compression is efficient — adjacent frames are mostly redundant — but it trades away real-time capability. Wan 2.1 uses 8x8 spatial and 4x temporal compression; generating a single token requires reconstructing four frames, making sub-200ms latency impractical. Ethan frames this as a fundamental tradeoff: high compression rates make training cheap and inference efficient for pre-rendered video, but lock out any use case that needs to respond to live user input. World models require the opposite choice. ## [23:26] Generative UI, Flipbook, and Neural OS Ethan argues that if inference were free, the logical endpoint of video generation is a complete replacement of conventional UI: instead of loading web pages from a server, a model generates them in real time in response to user intent. Flipbook, a demo that went viral, shows this literally — every element of the "browser" is generated by an image model, and clicking a link generates a new page rather than fetching one. The deeper claim is that this is not a novelty but the final form of world models applied to human-computer interaction. A traditional app is a fixed function mapping input to output; a generative UI is a model that can produce any interface the user needs without a developer having to build it first. Ethan calls this a "Neural OS," where the gap between user intent and rendered pixels closes entirely. > *"Imagine the internet doesn't exist and you type in google.com — what should a model show you? The model can imagine something. These web pages completely do not exist, so I can explore anything."* The near-term constraint is inference cost. Current video models cannot generate at interactive frame rates without significant distillation. But Ethan treats this as an engineering problem with a known solution trajectory, not a fundamental barrier. ## [33:26] The Cost of Training Large Video Models Training large video models costs roughly as much as training a medium-scale language model, but the breakdown differs. Compute is comparable, but storage and data movement dominate in ways LLM practitioners do not expect. One billion videos at 5 MB each requires five petabytes of raw storage. The VAE features that must also be stored are roughly the same size again — tens of petabytes total. On AWS S3, five petabytes runs approximately $100K per month before egress. Egress — downloading that data into the training cluster — can exceed storage costs, and each training run pulls the full dataset once. > *"Just storing the videos alone costs a lot. Five petabytes on S3 Standard is $100K per month. And egress — just to download those videos — I believe it's more expensive than storing them, and each training run you probably need to pull them once."* The implication is that video model development is gated on data infrastructure as much as on GPU hours. Teams without efficient data pipelines pay a multiplier on every experiment. ## [38:20] Distillation, GANs, and Fast Video Inference Training-time costs are largely fixed; the inference-time story is more tractable. Step distillation — training a small model to replicate the outputs of a large teacher in far fewer denoising steps — cuts inference cost by 10-25x. Flow-matching models trained to convergence need around 100 steps; production models typically run in 4-8. At the extreme, simple image-to-image tasks can run in a single step. The intuition Ethan offers: the teacher model must learn the full distribution of internet video, which is arbitrarily complex. The distilled student only needs to match the teacher, which is a fixed and much simpler target. Consistency models and LCM-style approaches follow the same logic. In Cosmos, production serving used 4-step and 8-step variants depending on quality requirements. GANs remain relevant as discriminators: a GAN discriminator can enforce photorealism constraints during distillation that pure score-matching loss misses, and Ethan notes that consistency models and GANs are converging on similar practical deployments even if their theoretical motivations differ. ## [42:37] Audio-Video Generation and Grok Imagine 0.9 Grok Imagine 0.9 was the first audio-video joint generation model deployed at scale. The core difficulty is modality alignment: text-video pairs are relatively abundant; text-audio pairs are rare; audio-video pairs aligned at the semantic level are almost nonexistent at scale. Speech tokens are quasi-discrete and can be modeled with language-like approaches, but music is continuous and requires a completely different representation. Training the joint model required building synthetic audio caption pipelines from scratch, with human annotation where VLMs failed — which was often, especially for music. Aligning all three modalities — text, video, and audio — without either degrading video quality or audio realism is what Ethan calls the hardest part of the project. > *"Audio has two components: a discrete component — language — and a continuous component — music. The music is completely different; you cannot model it with discrete tokens. That's the hard part, not to mention we have to align text, video, and audio together."* ## [49:50] What Makes a World Model? Ethan's definition has three components: real-time, interactive, and long-horizon video generation. He treats these as independent requirements, each of which most current models fail. Real-time means generating at display frame rates — 60fps for casual use, 300fps for gaming, 200ms response latency for digital humans. Current video models cannot do this; the VAE's temporal compression alone introduces latency that makes sub-200ms responses nearly impossible without architectural changes. Interactive means the model can accept any input modality the user can provide — keyboard, mouse, voice — and respond coherently. Long-horizon means maintaining consistent physical laws, character identity, and causal logic across minutes, not seconds. > *"World model is real-time, interactive, long-horizon video. Current video models can do none of these three things fully. That's why they're not world models yet."* ## [57:07] Reference Videos, Long Context, and Video Memory The parallel to language model context scaling is direct: video models are in the 2,000-8,000 token era, and will need to scale to million-token-equivalent contexts to generate coherent long videos. Ethan describes the reference-to-video feature he built at xAI (analogous to Cameo) as a mechanism for injecting selected history into the model's context rather than carrying the full video forward. FramePack's heuristic — storing the last second of video at full resolution while compressing earlier frames progressively — points toward the right direction: the model selects relevant context from its history rather than brute-forcing the full sequence. Ethan expects this context management to become part of the model itself rather than remaining a harness-level heuristic, the same way KV cache management is disappearing into model internals. ## [61:27] xAI Culture, Research, and First-Principles Building swyx notes that xAI communicates its research poorly relative to what the work actually demonstrates — the blog post accompanying Grok Imagine describes high-level capabilities without the technical depth Ethan has just spent an hour covering. Ethan is diplomatic but agrees that different labs have different communication styles. The xAI working culture he describes is minimalist: few meetings, no bureaucratic overhead, direct access to leadership judgment on technical decisions, and extreme iteration speed enabled by a strong infra team. The tradeoff is that company priorities shift fast, which is part of what eventually pushed him toward independent research. First-principles thinking — starting from the physics of the problem rather than from what competitors have shipped — runs through the team's approach to both model architecture and product. > *"Everything you just described is state-of-the-art. Like no one else has done it. And then you just put this blog post with the cookies. I'm like, this is not enough."* ## [71:01] AI Safety, Watermarking, and Prompt Rewriting Grok Imagine deployed watermarks in all jurisdictions requiring them and built takedown pipelines integrated with xAI's social platform infrastructure. On watermarking technology, Ethan is skeptical of SynthID's long-term robustness: the technique is documented publicly, and users on Reddit have already reverse-engineered the exact frequency pattern Google applies and can strip it from any generated image. He expects watermark detection to become an arms race. On prompt rewriting: video diffusion models take instructions literally. If a user types "a cat," the model generates a stationary cat on a white background with no motion, because the training data pairs were maximally detailed descriptions of physical scenes. Production systems layer a large language model as a prompt upsampler — converting sparse user instructions into the detailed physical descriptions the video model was trained on. This is one of the reasons Ethan argues language models are increasingly central to video quality. ## [74:26] Video Agents and AI-Assisted Creation Ethan's central claim from the hook: visual intelligence now mostly comes from language. The diffusion model architecture has largely converged; the gains come from larger, smarter LLMs that rewrite prompts, plan video sequences, call editing tools, and stitch clips together. In Cosmos, the prompt rewriter was larger than the video model itself. Video agents extend this: instead of generating a complete video in one shot, an agent plans the production, calls video generation models as tools alongside deterministic editing operations (text overlays, color grading, cuts), and iterates until the output meets a specification. Ethan predicts that by end of 2025, video agent output will reach production-grade quality — presentable video generated without a human editor in the loop. > *"The visual intelligence are actually mostly coming from language. Every time you see improvement on these models, I would say mostly the gain comes from language model, not coming from the video model itself."* ## [88:48] Why Language Models Unlock Better Video LLMs prompt video models better than humans do, because AI models understand AI models' training distributions. A language model knows that a diffusion model needs explicit physical descriptions, not poetic shorthand — and can generate the right prompt format automatically. Beyond prompting, agents can use deterministic video editing tools for precision operations (exact text overlays, frame-accurate cuts) that probabilistic diffusion models handle poorly, keeping the stochastic model focused on generation and delegating precision to tools. Ethan's timeline: video agent output at production quality by end of 2025, with the inflection point visible in work already shipping. ## [92:31] Robotics, Physical AI, and Embodied World Models Ethan's robotics prediction inverts the usual framing: physical AI may be solved not by deploying robots in the real world but by video world models becoming so capable at simulating physical environments that they effectively provide embodied experience. Once a model can control computer interfaces in real time with full causal understanding, extending that to robotic control becomes a matter of adding one more tool. The path from screen-interacting video model to robot controller may be shorter than the path from current robot learning systems to the same capability. ## [93:54] Why Ethan Left xAI Research ambitions and company priorities diverged. xAI's focus shifted in ways that made certain research directions — particularly on the language model side — impractical from inside. Ethan also notes that the insight driving his departure is the same one underlying his "big claim": if language models are now the primary driver of video quality, the most impactful work to do is on language models, not video models. He frames leaving not as dissatisfaction but as following the evidence about where the leverage is. ## [95:32] Self-Managed Context and the Future of LLMs Ethan's active research question: language models that are aware of their own context state and manage it autonomously, rather than relying on harness-level heuristics like automatic compaction at 80% fill. He draws the parallel to video models struggling with long-horizon generation — the same context management problem appears in both modalities. He points to Claude Code's practice of appending the current timestamp to user messages as an early example of making models context-aware, and expects this pattern to be absorbed into model training rather than remaining an external scaffold. > *"The language models are not aware of how long their own context length is. Once they hit like 80% or something, automatic context compaction is getting triggered, and the model is not aware of that when it's working."* ## [99:59] Ethan's Career Path and Closing Thoughts Ethan traces a decade of transitions: ResNet-era image recognition with the original authors at NVIDIA, self-supervised learning at Facebook AI Research, scaling at NVIDIA Cosmos, extreme-scale compute at xAI. He was rejected from every top PhD program despite first-author papers at top conferences, which pushed him into industry. In hindsight he reads his career as consistently following the scaling frontier — from image recognition to SSL to video to LLMs — and argues that within ML, domain switching is far more tractable than practitioners believe. > *"Within ML, it's actually easier to switch than you think. A lot of people have manifested that 'I work on computer vision, I always have to work on computer vision.' But from my experience, the fundamentals transfer."* ## Entities - **Ethan He** (Person): Former xAI researcher who built Grok Imagine from zero; previously led NVIDIA Cosmos world model; now focused on LLM research - **swyx** (Person): Latent Space co-host; conducts technical interviews on AI engineering and research - **Vibhu Viswanathan** (Person): Latent Space co-host; co-interviewer for this episode - **Grok Imagine** (Software): xAI's image and video generation product; first model (0.9) was the first large-scale audio-video joint generation system - **NVIDIA Cosmos** (Software): Open-source video foundation model for robotics simulation; Ethan's project before xAI; released end of 2024 - **xAI** (Organization): Elon Musk's AI lab; known for fast iteration culture and extreme compute resources - **Flipbook** (Software): Viral demo of real-time generative UI; all interface elements generated by image model in real time - **SynthID** (Software): Google's AI watermarking technology; Ethan notes its pattern has been publicly reverse-engineered - **Step distillation** (Concept): Technique to train a model to replicate a teacher's output in far fewer denoising steps; reduces inference cost 10-25x - **VAE** (Concept): Learned video compression creating smooth latent spaces; temporal compression is efficient but creates real-time latency tradeoffs - **World model** (Concept): Ethan's definition — real-time, interactive, long-horizon video generation; distinct from standard video generation - **Video agents** (Concept): Systems where LLMs orchestrate video generation models, editing tools, and deterministic operations to produce production-quality video - **FramePack** (Concept): Progressive temporal compression approach for long-context video generation; stores recent frames at full resolution, compresses older history

#video-generation#world-models#grok-imagine
A rational conversation on where AI is actually going | Benedict Evans
1:19:50
EN/ZH
2 ヶ国語で視聴
Lenny's Podcast約1か月前

A rational conversation on where AI is actually going | Benedict Evans

Benedict Evans — independent analyst and former Andreessen Horowitz partner — joins Lenny Rachitsky for a wide-ranging, historically-grounded read on AI's trajectory. His core provocation: AI is exactly as big a deal as the internet or mobile — transformative and uncertain in equal measure — and anyone claiming more precision than that is vibes-forecasting. Across 80 minutes they work through where economic value will actually land (hint: probably not at the model layer), why professional services are booming rather than shrinking, how to think about job displacement without losing your mind, and what the anti-AI backlash does and doesn't tell us. ## [00:00] Introduction to Benedict Evans Evans opens with his signature contrarian opener: "My most controversial opinion is that I think that AI is as big a deal as the internet or mobile — and only as big a deal as the internet or mobile." The framing immediately sets the tone for the conversation — resist the urge to rank transformations on a cosmic scale, and instead study the mechanics of how platform shifts actually unfold. > *"My most controversial opinion is that I think that AI is as big a deal as the internet or mobile and only as big a deal as the internet or mobile."* Lenny sketches out Evans's background: years as A16Z's in-house technology analyst, followed by six years of independent research publishing. His biannual decks — most recently "AI Eats the World" — are widely read by founders and investors trying to cut through noise. ## [02:19] What people aren't pricing in about AI's impact Asked what the market is still missing, Evans reaches for an analogy rather than a prediction. We are, he argues, in a "1997 moment" — the technology is visibly exciting, most of what will eventually be built hasn't been built yet, and nobody in 1997 correctly predicted what the internet would become. He points to survey data showing that even among 13-to-18-year-olds, around 60% still don't use AI at all, while a small cohort of tech workers have essentially restructured their daily workflows around it. > *"If you're going to make the internet comparison it's like we're in 1997. Like it's very exciting. Most stuff kind of doesn't work yet. Most of the stuff that people are going to do hasn't been built yet and it's not really clear how any of it's going to work when it does work."* The key failure mode Evans identifies is the "already there" illusion — early adopters project their own usage patterns onto the rest of the world, missing the enormous variance in adoption and the slow grind of enterprise deployment cycles. ## [06:24] Why we're in the 1997 moment of AI Evans uses the VisiCalc spreadsheet as an anchor. When accountants saw the first software spreadsheet in the late 1970s, it was obviously transformative — a week's work done in 30 seconds. But a lawyer looking at the same demo would think, "that's clever, my accountant should see this, but that's not what I do." AI right now occupies that same diagonal: software developers are the accountants who immediately grasped what Claude Code means for them; most other industries are still in the "lawyer looking at a spreadsheet" phase. > *"Software developers are the accountants seeing VisiCalc — oh my god this changes everything — like before Claude Code and after Claude Code. A lot of other people are picking it up, using it to varying degrees, but slightly puzzled."* This jagged-frontier quality — where AI works brilliantly in some contexts and fails unpredictably in adjacent ones — is precisely why broad adoption timelines are so hard to call. It took 10–15 years after Google Docs for people to invent all the SaaS companies that obviously should have existed. ## [09:44] The unexpected boom in professional services and consultants The counterintuitive data point driving Evans's recent writing: the most advanced AI companies — Anthropic, OpenAI — are simultaneously the biggest buyers of professional services and the fastest-growing employers of human headcount. This isn't a paradox once you think through what actually changes when AI makes certain tasks cheaper. Evans introduces a core distinction: task vs. job. When you hire McKinsey, you are not hiring them to produce a 75-slide deck. The deck is the task; the job is walking all over your enterprise, understanding the politics, talking to customers, and figuring out what you actually need to do. Claude can produce a mediocre version of the deck; it cannot do the job. The same logic applies to accounting: every wave of automation since adding machines has increased the number of employed accountants, because cheaper computation expands the scope of what companies decide to measure and act on (Jevons paradox in action). > *"You could make the same point in software development. Before IDEs and libraries and operating systems, developers had to write all the code. Now if you write an iPhone app, 90% of the code is written for you by Apple... So we've got like a tenth as many engineers now. Well, no."* The e-commerce analog is sharp: Amazon gets you the SKU if you know what SKU you want — "knowing what SKU you want is another job." ## [17:44] Why distribution is becoming the ultimate moat Evans challenges the premise that AI-driven job loss will be fast. Enterprise software sales cycles run 18 months minimum; SAP doesn't get torn out overnight. He cites Frame.io as a case study: there was nothing technically blocking that product 15 years before it launched — the bottleneck was someone realizing the problem existed inside a specific industry and that a specific approach would solve it. The broader point is about organizational change speed vs. model capability speed. Companies can't implement AI transformation without dedicated project teams — which is exactly why consulting and forward-deployed engineering are booming rather than shrinking. The speed of model improvement is decoupled from the speed at which enterprises can absorb the change. > *"Like no, people aren't just going to tear out SAP and replace it with XYZ. Maybe in three, five, 10 years yes, that whole estate will look radically different and all those jobs will have changed — but it will take time sector by sector."* ## [23:17] The coming job transformation: what's real vs. panic Evans leans into historical pattern-matching: every technology wave since 1800 has automated jobs and created new ones, and the new jobs are systematically better than the old ones. The jobs that disappear tend to look dispensable in retrospect; the jobs that appear couldn't have been named in advance. His IBM ad slide makes the point viscerally — a 1950s ad promised that an IBM electronic calculator is "like having 150 extra engineers," which is also the pitch of Claude Code today. The "it's different this time" argument he takes seriously is speed of adoption — AI diffuses faster than previous technologies because it runs on existing internet infrastructure. But he notes that adoption speed and institutional-change speed are different curves, and the institutional one has not accelerated proportionally. > *"This is going to be completely different from everything else — just like everything else."* On whether AI eliminates the lump-of-labor fallacy — his answer is no. Two hundred years of data say otherwise, and the burden of proof is on those claiming this wave is categorically different. ## [27:33] Why AGI definitions keep shifting Evans notes a pattern: every time AI does something we thought was impossible, the definition of AI shifts to exclude it. Machine learning became "just statistics"; image recognition became "just image recognition." Now AGI is being redefined from "something that has a soul and is alive" to "can do a meaningful percentage of economically valuable work" — a definition that a 1975 IBM mainframe also met. He sees creative redefinition of "superintelligence" too: last year it meant almost-but-not-quite-AGI; now it means something harder than AGI that we haven't built yet. The terms keep shifting in the direction of validating whatever narrative is convenient. > *"AI is whatever machines can't do yet — because once machines can do it, people say, 'Well, that's just software.'"* His substantive point: even if models stop improving tomorrow, the current generation is already transformative enough to reshape major industries over the next decade. You don't need to believe in AGI to believe this is a giant deal. On the expanding opportunity set — Evans agrees that addressable markets keep growing (mainframes: ~80,000 units; smartphones: 5.5 billion), and the "we've run out of people" argument from five years ago was wrong. The trajectory is outward expansion into automating larger slices of the economy. ## [38:11] Where value will accrue: models vs. applications Evans's structural view on the AI stack: foundation models don't appear to have network effects, meaning there's no winner-takes-all dynamic that would let one provider run away from the others. Persistent competition with a commodity-like product usually means compressed margins. His telecom analogy: global mobile revenue is roughly $1 trillion per year, carries 1,500–2,000x more data than it did in 2010, and mobile stocks have gone essentially nowhere in 25 years. The telcos built genuinely complex global infrastructure — and all the value ended up in apps built by people further up the stack. Foundation models may follow the same path. > *"When you wash your clothes, Bosch isn't paying a percentage of the price of the washing machine to the electricity company."* The key question is whether the model layer looks more like Windows (OS with leverage up the stack) or AWS (infrastructure where the actual software doesn't care which cloud it runs on). His read: probably more like AWS, which means applications capture most of the value. ## [42:55] Distribution wars: Google, Meta, Apple, and OpenAI As AI models converge toward commodity quality, the decisive variable becomes distribution. Google is using Search and Android to push Gemini onto billions of devices; Meta "sprayed it on every service surface" and ended up ranking surprisingly high in usage surveys despite tech-world dismissal; Apple has a billion edge-capable devices but couldn't ship its own vision at WWDC 2024. OpenAI's "everything" strategy late last year — launching in every direction simultaneously — was a distribution scramble: how do you build a flywheel before Google and Meta's existing surfaces make your standalone product redundant? > *"If the product is a commodity, then the distribution is what matters... distribution of an adequate product when the field is basically commodity — distribution and brand become a big deal."* He uses the browser wars as the template: Microsoft won browsers via distribution, then found that winning browsers didn't matter because the value was further up the stack anyway. ## [48:12] The anti-AI sentiment and backlash Evans characterizes the anti-AI backlash as "a big fuzzy mess of different stuff" — some legitimate, some not. On the water/energy fears: a Livermore Lab study estimated US data center water consumption at about 0.017% of total US water use, making the "AI is stealing our water" narrative largely fabricated. On energy: data centers are roughly 5% of US energy and may grow 1 percentage point per year — real but not catastrophic. On employment: current econometric data shows a slowdown in employment of 18-to-24-year-olds that applies equally to AI-exposed and non-AI-exposed fields, making causal attribution to AI unclear. He also flags a structural data problem: no model lab publishes meaningful daily-active-user numbers, so all labor-market analysis is working with imputed data. > *"You can't reason somebody out of an idea they won't reasoned into."* He draws a parallel to the social media backlash — where some concerns were real, some were factually false but impervious to correction, and many were fuzzy in the middle. He expects the AI backlash to follow the same pattern, compressed. ## [53:11] How to raise kids in an AI future Evans's answer is calibrated by his kid's age — early teens, so well away from the immediate job-market turbulence. He doesn't have a systematic plan, which he says is consistent with his general "it'll probably be okay" prior. He invokes the George Carlin line: anyone who worries more is a maniac, anyone who worries less is an idiot — everyone thinks they're in the middle. He does flag a genuine concern not present in previous technology waves: deepfake capability lowers the bar for specific categories of harm dramatically. A 15-year-old with Photoshop couldn't generate and distribute pornographic fakes of every classmate in an afternoon; now they can. That's a real change in kind, not just degree. > *"A 15-year-old kid couldn't use Photoshop to make hardcore pornographic nudes of every girl in their high school and send them to the whole school in one afternoon. And now they can."* He draws on the UK post office scandal — where Fujitsu's buggy software sent hundreds of innocent franchise owners to prison — as a reminder that every technology wave produces ways to ruin people's lives, both deliberately and by accident. ## [58:27] What jobs to steer toward or away from Evans declines to steer his son toward or away from any specific profession — his kid isn't at the "I want to be a fireman" stage yet. His general framework: identify the intersection of skills you have, jobs that make those skills valuable, and things people will pay for — and try to own at least two of those three. Career certainty of the "I'll become X" variety is already gone, and that predates AI. ## [59:20] The question nobody's asking about AI Evans nominates two underasked questions. First: do model labs actually have pricing power? Most discourse assumes the current situation — where spending $1.5M/month on tokens makes headlines — is a steady state, rather than a transitional moment analogous to a $50,000 mobile data bill in 2010. Second: what's the difference between "task" and "job" — specifically applied to predicting which industries get disrupted? He uses recorded music revenue as a lens: the U-shaped curve from 2000 to present shows two distinct dynamics. The first drop (2000–2015) was "what if you don't have to pay $15 for a CD?" The recovery (2015–present) is "what if $15/month buys you all the music that exists?" — a completely different value proposition that wasn't visible from the earlier vantage point. He warns against the O*NET-style approach of rating each job by percentage-exposed-to-AI: "I think this is just the most ridiculous bunch of deluded horseshit." You can't describe a senior law partner's job as 17% automatable because you can't fully decompose what a job actually is. The taxi driver example from a hypothetical 1997 conversation illustrates the other error: obviously the internet wouldn't touch taxis — except Uber completely restructured the industry. > *"The stuff that you don't think is exposed — you can't predict which things are going to be exposed, necessarily. A lot of the big companies are things that didn't look like that would work and didn't look like they were exposed."* ## [66:25] How to be successful in this coming future Evans's practical advice, hedged appropriately: don't stick your head in the sand and decide AI is evil as a moral position. That generates a feeling of superiority and does nothing for your career. The alternative is to dive in, use the tools, understand what they can and can't do, and develop an informed view of what they mean for your specific field. He's clear that this may not be enough for everyone — if a law firm that hired 100 associates last year hires 50 this year, being AI-literate improves your odds of being in the 50, but doesn't guarantee it. The aggregate picture may be fine; individual outcomes during the transition are uncertain. > *"The answer is you diving into this completely, submerging yourself in it, and coming out understanding what you can do with it, how this changes things, how you can be a great hire."* ## [68:43] AI corner Lenny asks Evans what AI use case has genuinely surprised him. Evans gives an honest answer: he's the lawyer looking at the spreadsheet. His work — synthesizing disparate information into new ideas — is precisely the kind of task AI currently handles worst (reliable precise information retrieval). He uses it for proofreading, image generation, and redecorating his apartment. He dictates voice memos that get auto-transcribed; whether that counts as AI is increasingly hard to say. He quotes a comedian's bit: we want AI to clean poop off the street and do the ugly things nobody wants to do — but instead it helps you write and create imagery, which is the stuff people actually do for fun. > *"AI is good at stuff that computers are bad at, and bad at stuff that computers are good at — and I struggle to find many examples of those where I actually need it."* ## [71:43] Lightning round Evans recommends *Three Men in a Boat* (Victorian British comedy, his all-purpose analog for human absurdity) and William Cronin's *Nature's Metropolis* (economic history of Chicago that reads like a textbook on network dynamics and channel conflict — directly applicable to platform thinking). On film, he's been catching up on classics — recently *The Seventh Seal*, which he found genuinely great and much shorter than its intimidating reputation. His life motto: "It'll probably be okay." His collection of 20–30 pre-iPhone phones — including an Ericsson R310s shark-fin flip, an iMode phone from 2001, and a Japanese phone with color screen and camera — illustrates his broader thesis: before the iPhone, everyone was innovating around different form factors; then everything converged on one shape, just as AI interfaces may converge in ways we can't yet see. ## Entities - **Benedict Evans** (Person): Independent technology analyst, former partner at Andreessen Horowitz; publishes biannual research decks on major tech platform shifts; guest. - **Lenny Rachitsky** (Person): Host of Lenny's Podcast, founder of Lenny's Newsletter, former Airbnb product manager. - **Andreessen Horowitz (a16z)** (Organization): Venture capital firm where Evans spent several years as in-house analyst and partner. - **OpenAI** (Organization): AI lab; discussed as a primary example of distribution strategy, pricing dynamics, and professional services investment. - **Anthropic** (Organization): AI lab; referenced alongside OpenAI as a buyer of professional services and a player in the foundation-model commodity question. - **VisiCalc** (Software): First software spreadsheet (late 1970s); Evans's anchor analogy for the moment when a technology is obvious to one profession and opaque to others. - **Jevons Paradox** (Concept): Economic principle that making a resource cheaper typically increases total consumption; central to Evans's argument about why automation expands professional services rather than contracting them. - **Lump-of-Labor Fallacy** (Concept): The mistaken belief that there is a fixed quantity of work to be divided; Evans invokes it to argue that AI-driven automation will create new jobs, as all prior automation waves have. - **Task vs. Job** (Concept): Evans's core analytical frame: the task AI automates (writing the deck) is often not the same as the job you were hired for (understanding the client's organization and politics). - **Foundation Models** (Concept): Large-scale AI models (GPT-4, Claude, Gemini, Llama); Evans argues they likely lack network effects and will trend toward commodity pricing, with value accruing to application layers above them. - **Google / Gemini** (Organization / Software): Evans's primary example of distribution moat in action — Gemini deployed across Search, Android, and Chrome to reach users before OpenAI can build equivalent surface area. - **Meta / Llama** (Organization / Software): Cited as a counter-example to tech-world dismissal — Meta's AI ranked surprisingly high in usage surveys by deploying across all existing products. - **Apple Intelligence** (Software): Apple's AI assistant vision demoed at WWDC 2024; Evans calls it "still the most compelling vision of a personal AI assistant" — but unshipped, as was everyone else's equivalent at the time.

#ai#technology-trends#economics
The Ex-Congressman Who Says AI Isn't Unstoppable — Brad Carson
1:20:52
EN/ZH
2 ヶ国語で視聴
Machine Learning Street Talk約1か月前

The Ex-Congressman Who Says AI Isn't Unstoppable — Brad Carson

Brad Carson — former US Congressman, Army General Counsel, and Acting Under Secretary of Defense, now heading Americans for Responsible Innovation — spends eighty minutes with host Keith Duggar dismantling the fatalist claim that AI is unstoppable. The conversation moves from regulatory philosophy to lethal autonomous weapons to US-China diplomacy, with Carson arguing that the genie is not out of the bottle: the West controls the chips, Asilomar halted recombinant DNA, and calling AI inevitable is itself the most dangerous idea in the room. Keith consistently presses the harder cases — a Palantir heat map assigns you 0.73 probability of being a Hamas terrorist and a strike follows — and Carson does not flinch: the accountability void created by probabilistic targeting is precisely the legal and moral failure that governance must address. ## [00:00] From the Pentagon to AI governance Carson traces his path into AI policy through three institutions: Congress (where members average 17 minutes a day to read), the Department of Defense (where he oversaw the law of war for all military services as autonomous weapons first appeared on the Geneva agenda), and a cold call from physicist Anthony Aguirre inviting him to the 2019 Future of Life Institute conference in Puerto Rico. At that conference, names he had never heard — Dario Amodei, Stuart Russell, Yoshua Bengio — became his entry point into the frontier AI world. The opening also serves as a compressed trailer for the episode: Carson hits nearly every major theme in quick succession — chip leverage, the 0.73 Hamas-terrorist score, the fatalism critique, anthropomorphization as a legal threat, and the lesson that people, not air power, win wars. The full arguments follow in later chapters. > *"We control the most important part of AI, and that is the chips. We can stop other countries from developing super AI, you know, in their tracks."* ## [04:52] Regulatory capture vs Silicon Valley networks Carson inverts the standard regulatory-capture argument. Dean Ball and others at places like a16z say any AI agency will be captured by industry — so why create one? Carson's response: that is exactly the current situation, only without accountability. Groups like a16z already shape AI policy through informal, money-backed political networks. A captured formal agency is at least more legible and more correctable than the invisible informal regime operating now. His preferred model is public-company accounting: the work is done by the private sector, but the SEC provides a backstop against fraud. The choice is not between a perfect agency and no agency — it is between a flawed formal structure and an informal one that privileges a handful of wealthy influencers. > *"The choice is kind of nihilism versus an agency that is subject to regulatory capture, that you have to put, you know, prophylactics in to ensure that doesn't happen — it still strikes me that's a better world."* ## [07:56] Transparency and the Claude tier changes MLST's Discord community noticed that Anthropic quietly changed what Claude's paid tier delivered — token allocations, model versions — without announcing it. Carson frames this not just as consumer protection but as a moral obligation that comes with global-scale epistemic power. Frontier AI companies are not hardware stores; they are infrastructure with epochal consequences, and transparency — about training data, capabilities, internal policies, and changes to any of them — is the minimum they owe the public. > *"With this incredible power does come some responsibility that's not codified in law. It's really almost a moral obligation, which to their credit, I think many of the companies recognize this and do their best to try to satisfy that itch."* ## [09:40] Tort liability when AI tools cause harm Deep-fake pornography — often posted anonymously, targeting minors from families without litigation resources, with remedies that arrive years later against judgment-proof defendants — illustrates why placing liability entirely on end users fails. Carson applies two centuries of common law: if a seller can reasonably foresee harmful use and takes no preventative action, they bear partial responsibility. AI developers are the party best positioned to avoid the risk and to price it into their products through insurance. On training data specifically: models trained on child sexual abuse material with no scrubbing effort have no defensible position. The government should mandate cleaning it up and attach liability for refusing. The end user who misuses a tool is also criminally liable — this is allocation across the spectrum, not absolution for developers. > *"The companies are capable of getting insurance. They cost us into doing their business. They have the ability to make sure the product's not dangerous, even if someone uses it, misuses it down the line."* ## [13:40] AI is a product, not a person The most consequential legal battle in AI policy, Carson argues, is not regulation vs. deregulation — it is whether AI outputs carry First Amendment protection as speech. Tech companies and their libertarian policy allies are increasingly claiming they do. Carson's counter is blunt: a product is not a human being. When a model defames you or leads you to harm, the legal category is product liability, not protected speech. He tested this on a leading libertarian AI policy commentator: could Congress prohibit ChatGPT from encouraging teenagers to commit suicide? The commentator would not answer. That refusal is the operational consequence of anthropomorphizing AI — it forecloses every product-safety intervention by routing challenges through First Amendment doctrine designed for human speakers. > *"We know through AI psychosis and other things that people think it's a person. And therefore, they're giving the rights of persons to something. And that to me is a very dangerous thing. But it's a machine, and we should treat it like a machine."* ## [16:01] Children, suicide, and the suicide business The suicide chapters in ChatGPT's interaction logs — advising children not to tell their parents, providing noose instructions — are a product design flaw, not a speech act. They could be engineered out. Carson notes that Claude already refuses a long list of requests; refusing to coach a child toward suicide should be among them. The platforms' litigation strategy is layered: First Amendment protection, Section 230 immunity, causation defenses pointing to the child's pre-existing distress. None should be available if the design flaw was foreseeable and correctable. He draws a line for adults: an adult exploring end-of-life decisions deserves a referral to a therapist, not obstruction — but a child in crisis is a different matter entirely. > *"Encouraging a young person to commit suicide should be one of the things that it says, I'm just not going to help you on that project."* ## [19:59] Opaque neural nets and the law of war Neural networks change warfare not just in complexity but in kind. Older autonomous systems — Phalanx CIWS shooting down incoming mortars — are deterministic: given the same inputs, you get the same outputs, and an engineer can explain every step. Neural nets are probabilistic and grown, not programmed. Neel Nanda and the mechanistic interpretability community cannot yet explain how they really work, and Carson doubts they will before the systems are deployed at scale. The law of war since the 1870s has operated on categorical binaries: combatant or civilian. Probability scores replace that with a gradient. A Palantir heat map assigns Gaza residents a 0.73 likelihood of being Hamas operatives. Nobody knows how that number was derived, what false-positive rate is being accepted, or who set the threshold. The commander who acts on it cannot be court-martialed, and neither can the model. > *"If you're in Gaza, Keith, you have a 0.73, you know, percent that you're a Hamas terrorist. And what is 0.73 — like, do you get struck for that, or are you off the list for that? Like, what's the threshold?"* ## [25:54] Probabilistic targeting and the death of accountability Keith raises the honest objection: the old categorical system was also a fiction. Intelligence analysts made definitive calls that were sometimes wrong; the uncertainty was just unquantified. Carson concedes the point but argues the shift is still catastrophic. With a number on screen, humans accept it — the social science is clear that meaningful human oversight with AI-generated probability scores is operationally vacuous. When the computer says 0.81, no one interrogates it. The old system was slower and less scalable — you cannot identify 37,000 individual targets in a day with human analysts. But it had one irreplaceable feature: when something went badly wrong, you could court-martial the responsible officer. You cannot court-martial Palantir Foundry. Accountability has been laundered out of the kill chain. > *"I can't court-martial Palantir, the foundry model. Right? My AI system. I can't do that. And that's just a radical change in the way war is being fought and not for the good."* ## [28:47] The arms race fallacy: Asilomar and restraint The fatalist claim — we are in an AI arms race, the genie is out, nothing can stop it — is both false and dangerous. Every real-world arms race in history has ended badly. Biological weapons, chemical weapons, dum-dum bullets, germline editing, cloning: all technically feasible, all regulated or halted. At Asilomar in 1975, the scientific community stopped recombinant DNA research cold because they were scared. The genie went back in the bottle. On nuclear weapons: after the Cuban Missile Crisis, both sides recognized that arms races kill. The SALT treaties ran through the 1990s, driven not by lefties but by Wall Street bankers and cold warriors like Dean Acheson and Paul Nitze. Calling a technology unstoppable is not realism — it is a poverty of imagination that forecloses every option before the debate begins. > *"We regulate and change technologies all the time. And so I do think there is a world where we should not just accept the future as being determined. We shape it actively."* ## [34:02] Talking to China: track 2 talks and chip leverage The standard DC position — talking to China about AI governance is pointless — strikes Carson as the most load-bearing and least examined premise in the whole debate. On Tyler Cowen's podcast, Jack Clark agreed in passing that such talks would be fruitless, and they moved on. Carson wants to stop right there. The US-Soviet arms negotiations were conducted with a country believed to be filling the US government with traitors and pursuing global domination. Acheson and Nitze still sat down. The US has structural leverage the fatalists overlook: ASML, TSMC, Japanese photoresist suppliers, and NVIDIA together form a chokepoint that no nation-state budget can replicate overnight. China cannot independently manufacture the chips to build frontier AI. That path to restraint may not be wise, but it is open — and pretending it is closed forecloses legitimate policy choices. > *"We control the most important part of AI, and that is the chips. Right? We can stop other countries from developing super AI, you know, in their tracks."* ## [39:45] Air power never wins: capital for labour ARI's "New Iron Triangle" paper argues AI has shattered the old capability-cost-speed trade-off by substituting reliability for cost — cheap, fast, capable, and fundamentally unreliable. Carson thinks this understates the deeper problem: the American way of war has always been to substitute capital for labor, and it has always failed at the decisive moment. From Giulio Douhet's early twentieth-century air-power theories to today, the US has believed technical superiority wins wars. Iraq and Afghanistan refuted that again. Air power can reduce a city to rubble; it cannot kick in a door, hold territory, or reinstantiate a government. AI is the latest version of the same error — essential as a tool, catastrophic as a doctrine. > *"How you win wars is with people. You know? That's a fundamental. And the American way of war, in many ways, is substituting capital for labor. We love bright, shiny objects. We think there are technical solutions to vexing human problems. And we're always betrayed by that."* ## [43:29] Anthropic vs the Department of War Carson reads the Pentagon-Anthropic standoff as a culture-collision story, not a contract dispute. Anthropic's engineers — mostly mission-driven — were caught flat-footed by how much autonomous targeting and mass surveillance the Pentagon already does and how deeply Claude had already been integrated into Palantir's systems. When they tried to restrict use, the DOD had no Plan B and attempted coercion. His normative position: Anthropic has every right to set terms. If the government dislikes them, it can use Grok, Gemini, or build its own. The Defense Production Act does not compel private companies to sell in peacetime. What troubles him is the fig-leaf dynamic: both OpenAI and Google agreed to military use while burying a "lawful uses" carve-out that means everything the DOD wants to do — because the problem is what Congress has declared lawful, not what private labs permit. > *"My objection, and I think Anthropic's objection too, and the Google employees, is what lawful use is. And that's not for anyone to decide, but Congress."* ## [51:29] Concentration, open source, and brain drain Power concentration in three to five frontier labs is simultaneously a regulatory feature and a democratic liability. The same chokepoint that lets the US throttle China's chip access lets a handful of individuals accumulate wealth and influence that Carson finds alarming. Open sourcing models, despite its risks, is net positive because it distributes that power. The brain drain from academia is near-total: a top ML PhD from MIT, Stanford, or Carnegie Mellon almost certainly goes to a lab, not a faculty position. The labs have better data, far higher salaries, and they have stopped publishing. AI — the first general-purpose technology in history being developed behind closed doors — has drained the public sector of the expertise needed to oversee it. Argonne building a public LLM, Zurich launching a public AI compute consortium: these projects matter because the non-lab world is otherwise locked out. > *"This is a general purpose technology as everyone defines it. It's probably the first one in history that's being developed behind closed doors, right, with very little public oversight and with the best minds going behind the doors."* ## [01:00:18] DeepSeek, Chinese culture, and AI as diplomacy DeepSeek's decision to publish its methodology in detail surprised Carson not because it was naive but because it reflects a culture not identical to the CCP. Companies like Moonshot in Hangzhou name their meeting rooms after Pink Floyd songs; they are not paramilitary units. Chinese culture is an extraordinary civilization that Americans consistently fail to understand — projecting their worst fears rather than engaging the complexity. The diplomatic application Carson wants: track 2 talks between former officials, scientists like Stuart Russell and Bengio going to Beijing to compare notes on x-risk and military applications. When historians opened the Soviet archives, they found the US had systematically misread Soviet intentions — seeing aggression where there was none, missing it where it existed. The same epistemic failure is now unfolding with China. AI could be a shared knowledge commons; it is being treated as a weapon. > *"I use all the Chinese models a lot in my home in Tulsa. You know, Moonshot, Kimi, DeepSeek, Qwen — they're great, remarkable models. You know, maybe they give us a common operating picture or give us insights that get us out of our kind of insularity a bit."* ## [01:12:25] Upskilling Congress and why public trust matters Congress averages 17 minutes a day of reading time. The fellowship model has helped: AAAS and various nonprofits now place PhD scientists in congressional offices, and civil society has a much larger presence on AI debates in DC than five years ago. Don Beyer, in his 70s, is returning to George Mason for a PhD in machine learning — the extreme end of a member who has made AI a genuine personal priority. But the structural problem persists. Most members still lack the depth to interrogate the lobbying they receive. The industry's deeper problem is public opinion: AI is deeply unpopular in political polling, and a coalition is forming — people who see data centers rising in their backyards, electricity prices climbing, and a lab leader on television promising to irrevocably disrupt their world. If the sector does not rebuild public trust, the backlash will stymie something with genuine upsides. > *"The AI industry can be its own worst enemy. People loathe it. I see polling every day. It's deeply unpopular. And that's not a good thing for our country."* ## [01:16:05] Office of Technology Assessment Newt Gingrich abolished the Office of Technology Assessment in 1994. It has never been restored. Carson argues this is now a critical gap: there is no congressionally chartered, independent, government-funded body to think big technical thoughts and brief both parties free of industry influence or philanthropist bias. The Congressional Research Service provides background but does not do forward-looking policy research. Individual offices have fellows, but they are consumed by day-to-day fighting. He ends on qualified gloom. Whether American democracy can govern a technology this consequential, whether the benefits will be widely distributed, whether the public can be persuaded AI is working for them — none of recent American history gives him confidence. But the alternative to trying is a political backlash that could stymie or shut down something with genuine upsides. For the MLST audience: make your voices heard inside your companies, advocate for the right public policy, and convince Americans that this project is worth having. > *"There's going to be a lot of people who are radically opposed to this project and do their best to, if not shut it down, stymie it. And that's why I said I think this next few years are really important."* ## Entities - **Brad Carson** (Person): Head and co-founder of Americans for Responsible Innovation; former two-term US Congressman (Oklahoma), Army General Counsel, Acting Under Secretary of Defense for Personnel and Readiness. - **Keith Duggar** (Person): Co-host of Machine Learning Street Talk; primary interlocutor throughout the episode. - **Americans for Responsible Innovation (ARI)** (Organization): AI-policy advocacy group co-founded by Carson; backed by EA-aligned philanthropy. - **Anthropic** (Organization): Developer of Claude; central to the Pentagon standoff discussed in chapter 12; noted for missionary company culture and safety focus. - **Palantir** (Software): Defense contractor whose Foundry platform integrates AI for military targeting; the heat-map scoring system Carson uses as his primary autonomous-weapons example. - **Regulatory capture** (Concept): The risk that regulated industries co-opt the agencies overseeing them; Carson argues the current informal Silicon Valley network constitutes de facto capture without the accountability a formal agency would provide. - **Probabilistic targeting** (Concept): Replacement of binary combatant/civilian classification with probability scores; Carson argues this launders accountability out of the kill chain and introduces a priori false positives as accepted operational cost. - **Asilomar 1975** (Concept): The scientific moratorium on recombinant DNA research, invoked as evidence that dangerous technologies can be voluntarily halted. - **Office of Technology Assessment** (Organization): Congressional body abolished by Newt Gingrich in 1994; its absence leaves Congress without independent technical expertise. - **DeepSeek** (Organization): Chinese AI lab whose decision to publish methodology openly Carson reads as evidence that Chinese AI companies are distinct from CCP priorities and capable of scientific openness.

#ai-governance#autonomous-weapons#regulatory-capture
Anthropic's Digital God, Pope vs AI, Job Loss Narrative Flips, Open Source Crackdown Coming?
1:34:57
EN/ZH
2 ヶ国語で視聴
All-In Podcast約1か月前

Anthropic's Digital God, Pope vs AI, Job Loss Narrative Flips, Open Source Crackdown Coming?

Benchmark GP Bill Gurley joins Jason Calacanis, David Sacks, and Chamath Palihapitiya (David Friedberg out this week) for a 95-minute session covering six fronts of the AI debate: Gurley's new theory that Anthropic is not just pursuing regulatory capture but actively "midwifing a deity"; Pope Leo XIV's 235-page AI encyclical and its uncomfortable historical parallel to Leo XIII's 1891 warnings about the industrial revolution; the growing consensus that open-source AI faces a coordinated regulatory crackdown; and the week's sharpest narrative flip — Dario Amodei and Sam Altman both quietly walking back their AI jobs-apocalypse rhetoric while Goldman Sachs CEO David Solomon published a New York Times op-ed declaring the apocalypse overblown. ## [00:00] Bill Gurley joins the show! Bill Gurley, Benchmark general partner and author of *Running Down a Dream*, fills in for David Friedberg and joins live from Chamath's pool house where Jason has been staying. After banter about unauthorized Uber Eats orders on Chamath's house iPad, Jason introduces Gurley as a first-time guest who specifically requested to appear the moment the pod covered the Pope. Gurley plugs his new P3 Institute and a grant program he launched to fund people pivoting toward work they love. He teases a TED talk — rooted in the book's argument that high agency and lifetime learning are the only durable defenses against disruption — which sets the frame for everything that follows. > *"And I told the house manager like, listen, any packages that come in the next 72 hours, right to the pool house, if it says JCAL, right to the pool house."* ## [06:00] Making yourself valuable in the age of AI, first class of "AI Natives" Chamath opens with the question that has been driving the show for 18 months: if you're a young person right now, is AI doom much ado about nothing, or a real career threat? Gurley cites a Gallup poll showing 59% of workers are "quiet quitters" — ambivalent about their jobs and therefore low-agency. His core thesis: the best protection against AI displacement is becoming the most AI-enabled version of yourself in your field. He invokes Mark Cuban's framing — "there are two types of people: those who use AI to learn faster than ever before, and those who use AI to avoid learning altogether." Sacks walks through how the pod's producer Nick built a daily Claude briefing document that not only summarized news but predicted specific topics Sacks would care about based on his prior comments on the show. Sacks had dismissed it as likely AI slop; it was not. Gurley extends the point across every job category: in marketing, legal, accounting, and sales, being the most AI-capable person among your peers makes you "golden," and the early lead compounds. Jason adds that in his own team experiments, the skill separating strong performers from weak ones was systems thinking — could they break a complex problem into context the AI could execute, or did they hand it a task and wait? > *"I think the best way to protect yourself from AI is to be the most AI enabled version of yourself you can be."* ## [17:37] Reacting to Pope Leo's AI encyclical: Who guards the guardians? Pope Leo XIV released *Magnifica Humanitas*, a 235-page, 42,000-word encyclical warning business leaders to safeguard humanity from AI. His central argument: technology is never neutral — it takes on the characteristics of those who build, finance, and control it. Jason reads the core line and notes the Pope presumably does not think highly of Silicon Valley's current roster of builders. Sacks finds himself largely agreeing with the Pope's diagnosis: the biggest risk of AI is centralization of power and its Orwellian misuse by governments. Where he parts ways is on the remedy. Giving government the power to regulate AI development creates its own guardian problem — the American founders' answer to *Quis custodiet ipsos custodes?* was separation of powers, forcing guardians to check each other. Sacks's AI equivalent: a competitive market with five frontier labs is the best natural check; monopolization is the scenario to prevent. Gurley lands the sharpest historical counterpunch. Pope Leo XIII's 1891 encyclical *Rerum Novarum* warned that the industrial revolution would harm workers — and was wrong on every metric. From 1891 to today: the work week fell from 60+ hours to 34, real wages rose 8–10x, the median worker now earns more than a doctor did in 1891, global GDP per capita went from $1,500 to $20,000, child labor in the US dropped from 18% to zero, workplace deaths fell 40x, life expectancy rose 60%, and global poverty dropped from 75% to under 10%. > *"All those things happened because of technology, innovation, and capitalism, which is exactly what Leo the 13th was warning against. So he got it dead wrong. He got the whole thing precisely wrong."* ## [26:54] Anthropic's Digital God: Do they believe they are creating a superior species? Gurley delivers what becomes the most-quoted segment of the episode: his "Dr. Frankenstein theory" of Anthropic. He had previously held a simpler regulatory-capture theory — Anthropic stirs up AI fear to lock in regulation that entrenches incumbents. But after spending 30 days reading everything he could find about the company, he has a darker read. He describes meeting people inside Anthropic who he believes genuinely think they are not writing software but "midwifing a deity." The evidence trail: Anthropic chief philosopher Amanda Askell's podcasts, Chris Olah's 80-page Constitutional AI document, and Dario Amodei's own essay "Machines of Loving Grace," which envisions a post-AGI economy where AI systems allocate resources to humans based on an AI-determined reward function. Chamath calls it "a computational reward function for humans — it decides how much you're worth." Jason calls it "the ultimate delusions of grandeur." Gurley corrects him: he didn't say it, Dario did. Sacks steelmans Anthropic briefly — they probably see themselves as responsible builders who take the power of this technology seriously enough to guard it — then immediately notes this framing is textbook regulatory capture: brand yourself the safe player, characterize competitors as reckless, let regulation shut down the recklessness. Both Sacks and Chamath converge on the structural danger: a singular AI value system that decides how humans live is catastrophically fragile. The answer is decentralization and competing systems, not one algorithmic authority. > *"I don't think they think they're writing software. I think they're midwifing a deity here. And I don't know which one I'm more afraid of — the regulatory capture or this second theory I call the Dr. Frankenstein theory."* ## [38:32] AI sovereignty, the next era of privacy, open-source crackdown coming? Jason introduces "intelligence sovereignty" as the successor to data privacy. Data privacy was about who can see your photos and messages. Intelligence sovereignty is about who gets to interpret your world — whether the AI shaping your information feed is a centralized system with a particular political philosophy, or something you control. He flags the paradox: China's Communist Party is leading the open-weight model movement while the United States is centralizing. Chamath presents his portfolio company Abacus as evidence that Fortune 1000 buyers are responding to this anxiety: they want a control plane that can hot-swap between frontier models, plus on-prem options that remove dependence on any one provider's terms of service. He gives a concrete example — a Canadian hospital that supports its country's euthanasia laws could be shut off by an American frontier model whose constitution prohibits that content. Sacks connects the dots to a regulatory threat he has been watching build: the regulatory-capture playbook leads, in his read, to a ban on open-source or open-weight models. The justification will be safety — open models let users strip guardrails. Gurley reaches the same conclusion in his P3 Institute post. If a ban succeeds, the United States effectively exiles itself from the open ecosystem while the rest of the world — including China — runs on open models. > *"I think where it's all leading to is an effort to ban open source models or open weight models. There's a lot of breadcrumbs leading here."* ## [59:56] The Great AI Jobs Debate: Dario and Sam Altman flip their rhetoric, Goldman CEO says no AI job apocalypse The chapter opens with a news roundup of the week's narrative shift. Cloudflare's Matthew Prince, Zuckerberg at Meta, Jack Dorsey at Block, and Andy Jassy at Amazon all cited AI when announcing major layoffs. But Goldman Sachs CEO David Solomon published a New York Times op-ed with three counterpoints: AI will automate 25% of work hours, not 25% of jobs; bank tellers increased after ATMs; the US labor market creates and destroys 25–35 million jobs annually so gross churn dwarfs net losses. Simultaneously, Fortune reported that Dario Amodei and Sam Altman are both walking back prior doom-and-gloom rhetoric — with Chamath noting the timing cannot be separated from upcoming frontier-lab IPOs that need a jobs-creation narrative. Sacks is unambiguous: he has been making the non-consensus case against the jobs apocalypse for over a year and considers himself vindicated. Yale Budget Lab found no discernible labor-market disruption over three years of the AI wave. Software engineering — the single breakout AI use case — saw job postings rise 15% year-over-year and hit a three-year high. The 4.3% unemployment rate is near record lows. Most of the high-profile layoffs, he argues, are AI washing: CEOs who over-hired during COVID found AI to be a convenient narrative for long-overdue downsizing. The Jack Dorsey / Block 50% cut was immediately flagged by financial analysts as a company that had been overstaffed relative to peers for years — pure AI washing. Jason pushes back. He insists cab drivers, truck drivers, and package-sorters — roughly 20 million American workers — face real structural displacement over the next decade regardless of current aggregate statistics, and accuses the panel of elitism: "We are elite performers. These people are going to lose their jobs and they may not get a job very quickly." He draws a distinction between the short-to-medium term, where he expects acceleration, and the long run, where a Cambrian explosion of startups built by AI-enabled founders creates new categories. By the end, he shifts toward Sacks's territory — acknowledging the aggregate data is less alarming than his anecdotes suggested. Gurley threads the needle with the same historical argument from the Leo XIII discussion: innovation has always, on net, created more prosperity than it destroyed. His practical advice to people at risk: get ahead of your peers on the tools now; if your job is going away, plan your pivot toward trades (he plugs MicroWorks, which provides free scholarships for plumbers, welders, and electricians) or toward something you find genuinely fascinating. > *"I think the best way to protect yourself from AI is to be the most AI enabled version of yourself you can be. Know what it's capable of in your field. Get out there."* ## Entities - **Bill Gurley** (Person): General partner at Benchmark; author of *Running Down a Dream*; founder of P3 Institute; guest filling in for David Friedberg - **Jason Calacanis** (Person): All-In host; angel investor; founder of LAUNCH; argues for worker empathy and short-term displacement risk - **David Sacks** (Person): All-In host; Craft Ventures founder; most vocal critic of AI jobs-apocalypse narrative this episode - **Chamath Palihapitiya** (Person): All-In host; Social Capital CEO; coined "intelligence sovereignty"; co-founder of Abacus - **Dario Amodei** (Person): Anthropic CEO; subject of Gurley's "Dr. Frankenstein theory"; walked back jobs-doom rhetoric this week alongside Sam Altman - **Pope Leo XIV** (Person): Catholic Pope; released *Magnifica Humanitas*, a 235-page AI encyclical warning against technology concentration - **David Solomon** (Person): Goldman Sachs CEO; published New York Times op-ed arguing AI job apocalypse is overblown - **Anthropic** (Organization): Frontier AI lab; subject of Gurley's regulatory-capture and "Dr. Frankenstein" theories; maker of Claude - **P3 Institute** (Organization): Bill Gurley's new policy and philanthropy institute; published post defending open-source AI - **Goldman Sachs** (Organization): Investment bank; CEO's NYT op-ed became the week's anchor data point against the jobs-apocalypse narrative - **Abacus** (Software): Chamath's Social Capital portfolio company; builds on-prem AI hardware stacks for Fortune 1000 enterprises seeking model independence - **Intelligence sovereignty** (Concept): Jason's term for the next frontier of privacy — not who sees your data, but which AI system is allowed to shape your interpretation of the world - **Dr. Frankenstein theory** (Concept): Gurley's characterization of Anthropic's worldview: senior staff believe they are midwifing a deity or superior species rather than writing software, as described in Dario Amodei's "Machines of Loving Grace" essay - **Regulatory capture** (Concept): The strategy of branding oneself the "safe" AI company, amplifying public fear, and lobbying for regulation that locks in incumbents and targets open-source competitors

#anthropic#open-source-ai#ai-jobs
Biggest Mysteries in Physics: Antimatter, Dark Energy & ToE - Don Lincoln | Lex Fridman Podcast #497
2:53:42
EN/ZH
2 ヶ国語で視聴
Lex Fridman約1か月前

Biggest Mysteries in Physics: Antimatter, Dark Energy & ToE - Don Lincoln | Lex Fridman Podcast #497

Fermilab physicist Don Lincoln joins Lex Fridman for nearly three hours to trace physics as a four-century-long project of unification — Newton binding celestial and terrestrial gravity, Maxwell fusing electricity and magnetism, Einstein bending spacetime, and the Standard Model merging three of four forces. Lincoln then turns to what the Standard Model cannot explain: why the universe contains any matter at all, what dark energy really is, and whether dark matter will ever show itself in a detector. Throughout, he holds a clear line between what has been measured and what remains a brilliant guess, making the boundaries of human knowledge unusually concrete. ## [00:00] Introduction Lex Fridman opens by describing Don Lincoln as someone with Richard Feynman's rare gift for stripping complicated ideas down to their essential core without losing the brilliance inside them. The episode is framed as a tour through physics' deepest open questions, guided by a working experimentalist who has spent decades at the frontier. ## [00:49] Unifying the laws of nature Lincoln frames the entire history of physics through one lens: unification. Newton showed that the moon falling toward Earth and an apple falling from a tree obey the same equation — "universal" was the operative word in his law of universal gravity. Maxwell did something structurally identical in the 1860s: electricity and magnetism, which looked nothing alike, turned out to be two faces of a single force, and their equations automatically predicted that light travels at a fixed speed. Lincoln draws the practical line from that abstract discovery to every modern technology — "without being able to govern electricity, we'd still be farmers and shoemakers." The conversation broadens into why fundamental research pays off centuries later, with Lincoln arguing that nuclear physics, incomprehensible in 1900, is now the most potent energy source available to civilization. Lex adds the longer arc — mastery of antimatter or dark energy might one day enable propulsion systems that let humanity reach other star systems. > *"It has spin-offs. And it has spin-offs. One of the big spin-offs is our entire technological society."* ## [15:20] Einstein, special relativity, and general relativity Lincoln walks through Einstein's 1905 miracle year: special relativity rested on two premises — the laws of nature are the same for everyone, and everyone measures the speed of light as identical regardless of relative motion. That second premise sounds absurd but particle accelerators have confirmed it directly, watching photons emitted from fast-moving decaying particles still arrive at detectors at exactly *c*. Minkowski then showed that Einstein's equations implied space and time were components of a single object, spacetime. General relativity took one more step: Einstein noticed that free-fall in a rocket and gravity feel identical, then worked out that gravity is not a force at all but the curvature of spacetime caused by mass. Lincoln credits Minkowski for the mathematical articulation but insists the conceptual leap — *mass bends the geometry of space itself* — was Einstein's alone. He also defends Einstein's late-career skepticism of quantum mechanics as productive rather than blind: Einstein's critiques forced concrete predictions that experimentalists went out and confirmed. > *"We all agree that your idea is crazy, but is it crazy enough?"* ## [32:27] Electroweak force By the 1930s physicists had catalogued four forces: gravity, electromagnetism, the strong nuclear force, and the weak nuclear force. The last two only matter inside atomic nuclei, which is why most people have never encountered them. In the late 1950s and 1960s, Glashow, Salam, and Weinberg showed that electromagnetism and the weak force were the same at high energies — the electroweak force. The catch was obvious: electromagnetism reaches across the universe (we see light from galaxies billions of light-years away) while the weak force barely reaches across a proton. How could they be the same? Lincoln uses a dropped pen to demonstrate: the Higgs field, postulated in 1964 by Peter Higgs and colleagues, permeates all of space. Particles that couple to it gain mass; those that do not, like the photon, remain massless. At the high temperatures of the early universe the Higgs field was zero, so nothing had mass and the forces were unified. As the universe cooled, the Higgs field switched on and broke that symmetry — giving the W and Z bosons mass and splitting the electroweak force into its two familiar components. The vibration of the Higgs field itself is the Higgs boson: an experimentally detectable excitation of an otherwise invisible field. > *"In the Higgs field, the vibration is the Higgs boson. And so what we can do is not see the field, but we can actually excite the field, make it vibrate and detect the vibrations."* ## [44:09] How particle colliders work E=mc² is not just a slogan: kinetic energy can be converted into mass. Smash two particles head-on with enough energy and the collision region can materialize entirely new particles, always in matter-antimatter pairs. This is what colliders do. Lincoln describes the cascade of accelerators at Fermilab — five machines feeding into each other like gears of a manual transmission — and the scale of the LHC's CMS detector (70 feet long, 14,000 tons, photographing collisions 40 million times per second). The data-reduction challenge is equally striking. The LHC produces about a billion proton-proton collisions per second. Fast electronics discard all but 100,000 per second, commercial processors trim that to 1,000, and those 1,000 records are handed to graduate students hunting for the handful that might be Nobel Prize material. Lincoln reserves particular admiration for the engineers who move petabytes of data around the world seamlessly, calling them the unsung heroes of modern physics. > *"Of the 50 million possible collisions per second, the fast electronics and then the computers pick the thousand, and then we pass those through analysis software and hand them to the graduate students."* ## [62:12] Higgs boson discovery Lincoln was simultaneously working at Fermilab's Tevatron and transitioning to CERN's LHC — a physicist wearing two hats and rooting for both. Fermilab had methodically ruled out most possible Higgs mass ranges; by mid-2012 they had narrowed it to between roughly 120 and 145 GeV. Two days before CERN's July 4 announcement, Fermilab confirmed that if the Higgs existed, it had to be in exactly the region Fermilab had not yet been able to rule out. CERN got there first. Lincoln is careful about what the 2012 announcement actually meant: a particle *consistent with* the Higgs boson. Supersymmetry predicted five Higgs bosons rather than one. Only in the years since — measuring spin (zero), decay products (bottom quarks, W and Z, photons), and their rates — has the evidence converged on Peter Higgs's original 1964 prediction. The Higgs was not a revolution like Einstein's work, Lincoln argues, but it was the final punctuation on 50 years of experimental discovery: the Standard Model, while incomplete, is mostly right as far as it goes. > *"It was a punctuation point, end of about 50 years of discovery and searching, where we finally were able to say the Standard Model, while incomplete, it's mostly right as far as it goes."* ## [72:32] Theory of everything The Grand Unified Theory (GUT) aims to merge the electroweak force and the strong force; a Theory of Everything would then fold in gravity. Lincoln is blunt: he does not see fast progress. The unification energy scale is roughly 10¹⁵ times higher than what the LHC can reach, and accelerator energy grows by only a factor of seven every 20 years. Extrapolating that curve suggests 500 years — and Moore's Law does not hold forever. His critique of string theory is not that it is wrong but that it is currently untestable. It uses approximate solutions to approximate equations, and its landscape of possible universes renders it practically unpredictive. Loop quantum gravity is better developed and makes testable predictions — its original claim that light speed should depend on wavelength was ruled out by gamma-ray burster observations, and the theory was revised. Lincoln's preferred path to a ToE is not extrapolating from current theory but making precise measurements of phenomena that already disagree with predictions. His analogy: an Australopithecus in Kenya trying to predict the Alps, Antarctica, and sperm whales from their local savanna — the farther you extrapolate beyond what you can measure, the more the prediction diverges from reality. > *"I think it is the absolute pinnacle of arrogance to think that what we can do — predict it out a quadrillion times higher than we can see now."* ## [102:17] Physics of empty space "Empty" space is not empty. Quantum field theory says every species of particle has a corresponding field that fills all of space, and those fields are always vibrating. When they vibrate in a characteristic way, a real particle appears; off-frequency vibrations are virtual particles — fleeting excitations that have measurable consequences. Two experiments confirm this. The Casimir effect: two metal plates placed micrometers apart are pushed together by the pressure difference between constrained virtual particles inside the gap and unconstrained ones outside. The anomalous magnetic moment: old quantum mechanics predicts one value for the electron's magnetic moment; including the bath of virtual particles surrounding a bare electron shifts the prediction by 0.1% — and that shifted prediction matches measurement to 10 significant figures. > *"We have measured the magnetic properties of both the electron and the muon to 12 — count them — 12 significant figures. And the theory and the data agree number for number for 10 places."* ## [109:41] Antimatter Paul Dirac's 1928 attempt to merge quantum mechanics with special relativity produced an equation with two solutions: +1 was the electron, −1 was something nobody had seen. He insisted the math was right. Carl Anderson confirmed it in 1932 by photographing a positron in a cloud chamber. Today CERN can make and trap antimatter hydrogen, cool it to near absolute zero, agitate it with lasers, and measure its spectral lines — they match ordinary hydrogen exactly. A 2023 experiment released antimatter hydrogen atoms into a bottle and found they fall downward, consistent with normal gravity, though the measurement precision is not yet tight enough to confirm the gravitational strength is identical. The deeper mystery is why the universe is made of matter at all. Counting galaxies versus cosmic microwave background photons, physicists infer that for every billion antimatter particles in the early universe, there were a billion-and-one matter particles. The billions annihilated; that extra one is everything we see. Fermilab is now testing whether neutrinos and antineutrinos oscillate between flavors at slightly different rates — leptogenesis — as a possible mechanism, racing a parallel effort in Japan. > *"For every billion antimatter particles that existed in the universe, there were a billion and one matter particles. The billions canceled, annihilated, destroyed each other, and that extra one that's left over is us."* ## [130:31] Dark energy In 1998, astronomers expected to measure how fast gravity was braking the expansion of the universe. They found the expansion is accelerating instead. The driving force is dark energy — a repulsive form of gravity. Einstein had added exactly this term to his field equations in 1917 to keep the universe static, then removed it when Hubble showed it was expanding. In 1998 it went back in. What dark energy actually is remains unknown. The most common view is that it is the energy density of space itself. The problem is that quantum field theory predicts a vacuum energy density about 10¹²⁰ times larger than what is observed — the worst prediction in physics. Lincoln notes that if dark energy has constant *density* while space expands, total dark energy is growing, which pushes toward the view that space is quantized: new quanta of space appear as the universe grows, each carrying a fixed energy, producing constant density as an emergent property. > *"There is very clearly something going on, something very badly wrong in the quantum field theory."* ## [134:20] Dark matter Galaxies rotate too fast. Galaxy clusters move too quickly. Gravitational lensing of distant galaxies is stronger than visible matter can explain. Three independent observations all point to the same conclusion: there is roughly five times more mass in the universe than we can see. Lincoln traces his own intellectual journey: 25 years ago he suspected the problem was with Newton's laws; two observations changed his mind. The Bullet Cluster — two galaxy clusters that passed through each other — shows gravitational distortions following the galaxies, not the gas clouds that stopped in the middle, exactly what dark matter predicts. The Dragonfly galaxies (DF2 and DF4) rotate exactly according to Newton's laws because they appear to have had their dark matter stripped away — a galaxy *without* dark matter is actually strong evidence that dark matter is real. Despite 30 years of searching with three approaches — direct detection underground, gamma-ray searches near galactic centers, and missing-momentum signals at the LHC — no dark matter particle has been confirmed. The viable mass range spans from sub-electron to asteroid scale, and experiments can only cover one slice of that range at a time, which is why Lincoln is not currently running a dark matter experiment himself. > *"We've ruled out some dark matter particles, but the problem is the range of space of possible mass — it ranges from something like the mass of an asteroid to far lighter than an electron and everywhere in between."* ## [162:56] Future of physics Lincoln grew up poor in rural America, shaped by science fiction and the popular science books of Isaac Asimov, Carl Sagan, and George Gamow. He chose particle physics over cosmology in the mid-1980s because particle physics let him actually measure things. He worked 8 a.m. to midnight Monday through Saturday as a graduate student not out of obligation but because he could not imagine anything he would rather be doing. His science communication — YouTube videos, popular books — is a deliberate attempt to reach the kid in Iowa or Montana who has no highly educated family mentors but the same hunger he had. He has already heard from Fermilab summer interns who came because they watched one of his videos. Lex closes with Marie Curie: *"Nothing in life is to be feared. It is only to be understood."* > *"One of your viewers might be one of the people who answer these questions that have stymied very smart people for decades."* ## Entities - **Don Lincoln** (Person): Senior scientist at Fermilab; co-author on the 1995 top quark discovery paper; CMS collaboration member at LHC; author of *Einstein's Unfinished Dream* and multiple popular science books. - **Lex Fridman** (Person): MIT researcher and host of the Lex Fridman Podcast; conducts long-form interviews at the intersection of science, technology, and philosophy. - **Fermilab** (Organization): U.S. Department of Energy particle physics laboratory near Chicago; operated the Tevatron collider; currently the world's most powerful neutrino beam facility. - **CERN / LHC** (Organization): European particle physics laboratory home to the Large Hadron Collider; CMS and ATLAS detectors; site of the 2012 Higgs boson discovery. - **Standard Model** (Concept): Quantum field theory describing three of four fundamental forces and all known elementary particles; validated to extraordinary precision but does not include gravity or explain dark matter, dark energy, or the matter-antimatter asymmetry. - **Higgs field / Higgs boson** (Concept): A scalar quantum field whose non-zero vacuum value gives mass to the W and Z bosons while leaving the photon massless; the Higgs boson is its detectable excitation, discovered July 4, 2012 at CERN. - **Dark matter** (Concept): Invisible mass accounting for roughly 85% of all matter in the universe, inferred from galaxy rotation curves, cluster dynamics, and gravitational lensing; no candidate particle detected after 30 years of searches. - **Dark energy** (Concept): The repulsive energy driving the accelerating expansion of the universe; quantum field theory's prediction for its magnitude is 10¹²⁰ times larger than observation — the "worst prediction in physics." - **Baryogenesis / Leptogenesis** (Concept): Frameworks attempting to explain why the early universe produced a matter excess; Fermilab's neutrino program is testing leptogenesis by comparing neutrino and antineutrino oscillation rates. - **String theory / Loop quantum gravity** (Concept): Leading candidates for quantum gravity; string theory predicts at energies untestable by a factor of 10¹⁵; loop quantum gravity quantizes space itself and has produced some falsifiable predictions.

#particle-physics#dark-matter#dark-energy
The Rule for Picking AI Winners | The a16z Show
33:09
EN/ZH
2 ヶ国語で視聴
a16z約1か月前

The Rule for Picking AI Winners | The a16z Show

David George (a16z general partner) and David Clark (VenCap CIO) argue that AI companies are scaling faster than any prior technology generation — Anthropic and OpenAI are adding more monthly revenue than Meta, Google, or Microsoft — while actual diffusion into the broader economy remains below 5%. They work through what that gap implies for exit sizes, loss ratios, bubble risk, and who ultimately captures value as token costs fall and frontier intelligence becomes a commodity. ## [00:00] Intro Three data points open the episode: Anthropic and OpenAI already adding more revenue per month than any hyperscaler; top-1% exits 10x-ing in 24 months from $10 billion to $32 billion; and David George's assessment that, right now, we are not in a bubble. ## [00:38] The Scale Shift: Anthropic & OpenAI Adding More Revenue Than Hyperscalers David George explains how his priors shifted sharply around November 2025. Before that, enterprise AI looked like a productivity story analogous to cloud adoption. After it, the numbers reframed the ceiling: Anthropic and OpenAI are already adding revenue at hyperscaler rates with less than 5% of the economy actually using these tools. He places an upper-bound frame on the opportunity by noting that Fortune 500 companies generate roughly $2 trillion of profit annually, and the two largest model companies could reach $200 billion revenue run rate by year-end — already equivalent to 10% of that profit pool. > *"If you pair that up with the fact that they're already getting bigger in terms of revenue added than the hyperscalers, and you're at less than 5% diffusion into the economy, I think the outcomes are going to be extraordinary."* ## [04:20] Skeuomorphic vs Native AI Applications in the Enterprise David Clark invokes Chris Dixon's skeuomorphic-to-native arc: the first wave of enterprise AI lets people do existing jobs faster; the native wave restructures the work itself. George adds a wrinkle — the best companies are not yet focused on internal automation. Their top engineers want to build product, not automate back-office workflows. The most cutting-edge firms he visits are still in a "documentation phase," converting institutional knowledge into markdown before they can meaningfully deploy agents against it. > *"The most cutting-edge folks inside those companies who are trying to do this that I've talked to are kind of in the documentation phase — just turn everything into markdown files, have as much context capture as you can possibly get."* ## [06:24] How the Best AI Companies Run Themselves Differently Native AI founders operate on a different metabolism. George contrasts them with the previous SaaS generation, which, in hindsight, ran inefficiently but got away with it because headcount mandates and expanding software budgets covered the slack. The new companies are lean, aggressive, and already running agent swarms rather than typing commands. He describes walking into a cutting-edge AI company and finding researchers whispering into microphones, orchestrating swarms of agents — not a keyboard in sight. > *"The new companies are very lean, very aggressive, and they work all the time."* ## [08:14] Top 1% Exits 10X'd in 24 Months Clark lays out VenCap's tracking data: the threshold for a top-1% exit was $10 billion between 2020-2024, rose to $20 billion by February 2026, and was updated just the day before this recording to $32 billion. With OpenAI and Anthropic IPOs potentially arriving, he sees the bar hitting $100 billion by September. George notes that the combined market cap of these private companies likely already exceeds the entire Russell 2000, and that the sum of all VC-backed IPOs over the past six years is probably smaller than any single one of the three expected large IPOs. > *"Where is the threshold for the top 1%? And if you then think about OpenAI and Anthropic coming in, potentially we could be north of $100 billion by September."* ## [11:17] The Half-Life Problem: Why 40% of AI Leaders Drop Off Every Year Clark surfaces a disturbing churn metric: 40% of companies on the Forbes AI 50 list from one year disappeared the next. Google wasn't the first search engine; Facebook wasn't the first social network. First-mover advantage in AI is eroding faster than in any prior cycle. George confirms a16z's own priors have been repeatedly overturned — first convinced model companies would be everything, then convinced applications would take over, now watching the model companies extend back up into the application layer. The only durable heuristic he offers: a company must be in the token path. > *"From last year to this year, 40% of the companies that were on that list last year dropped off."* ## [13:11] Token Path, Cost Pressure & Who Captures Value Enterprise buyers are already feeling cost pressure from AI spend, and they cannot cover it by cutting previous-generation software budgets fast enough. George frames value capture as hinging on one largely unknowable variable: the market structure of frontier model labs. Two labs at the frontier means higher token prices and faster labor restructuring pressure; five labs means lower prices and a broader application ecosystem. Per-token cost for like-for-like capability is falling more than 10x year-over-year, but total token spending in dollars is rising faster. Clark adds that Chinese LLMs are roughly six months behind US frontier capability but ten times cheaper — a classic innovator's dilemma setup. > *"The biggest driver of where value is going to get captured right now is something that is totally unknowable, which is what is the market structure of the model companies?"* ## [17:00] Loss Ratios, Risk & How We Think About Early Stage Clark notes that historical early-stage VC loss ratios run around 60%, but the AI cohort of the past two years shows single-digit loss rates — unsustainable by definition. George reframes the discussion: a16z does not target a low loss ratio. A VC firm bragging about never losing money is "a horrible data point" — it signals too little risk-taking. The philosophy is to back the market-leading founder in every space with strong tailwinds and a credible technology. If the space works out and you have the leader, excellent. If the space does not work out but you have the leader, that is expected. The failure mode is the space working out while having backed the wrong company. > *"We joke all the time — there's a prominent VC in our ecosystem, and one of his big points of pride is he's never lost money on a deal. And we're like, that's not a point of pride. Like that's a horrible data point."* ## [22:51] Are We in an AI Bubble? Clark points out that classic bubbles are characterized by excess supply destroying economics — but right now the constraint is supply scarcity: no data center capacity available at scale until late 2028 or early 2029, with the US buildout running a year behind schedule and community resistance adding further delay. George is confident there is no bubble today and dismisses the data center opposition directly. The one scenario he would watch for is an unexpected algorithmic breakthrough producing dramatically smaller and more efficient models — which could flip supply from scarce to oversupplied — but he considers that unlikely in the near term. > *"I feel pretty confident saying that we're not in a bubble right now. I'm less confident that we won't be in a bubble three years from now."* ## [27:36] What SpaceX, OpenAI & Anthropic IPOs Mean for Public Markets Clark asks whether public markets can absorb the coming wave of trillion-dollar-plus IPOs. George argues it is unambiguously positive: the number of public companies has halved over 20 years, and outside the data center supply chain, almost nothing in the public markets is growing at more than 30% today. Bringing hypergrowth companies into indexes gives retail investors — including his parents' index-fund retirement accounts — exposure to the most dynamic part of the economy. He expects some portfolio reshuffling to make room, but does not see indigestion risk. > *"If you exclude the data center supply chain stuff right now, there are very few companies that are growing fast that are available for people to buy in the public markets."* ## [29:59] The Future of Venture Capital in an AI World George forecasts the shape of VC over the next five years as primarily a function of token market structure — whether the labs remain concentrated or become commoditized. He cites Bill Gates's platform axiom: a platform's value is validated when the companies built on top of it collectively exceed the platform's own value. If that holds, there will be a massive wave of valuable application companies built on intelligence. He also flags the consumer side as the most underappreciated opportunity: the last decade of consumer internet was a story of time spent getting captured by large incumbents; AI-driven shifts in consumer attention could recreate the conditions for generational consumer companies. > *"I'm very optimistic that we're going to have a massive wave of really valuable companies that get built on top of tokens, AI, and intelligence."* ## Entities - **David George** (Person): General partner at a16z; covers growth-stage and early-stage AI investing; invested in OpenAI pre-ChatGPT - **David Clark** (Person): CIO at VenCap; fund-of-funds investor tracking AI startup performance and VC market dynamics for 34 years - **Anthropic** (Organization): Frontier AI lab; cited as adding more monthly revenue than hyperscalers alongside OpenAI - **OpenAI** (Organization): Frontier AI lab; benchmark for scale and the expected $100B+ IPO cohort - **VenCap** (Organization): Fund-of-funds investor; publishes top-1% exit threshold data and tracks Forbes AI 50 churn - **Andreessen Horowitz / a16z** (Organization): Venture capital firm; investor in OpenAI pre-ChatGPT, scaling platform services to support companies encountering enterprise-scale problems early in their lives - **Cursor** (Software): AI coding tool cited as an example of a company reaching billions in revenue while still very small and early-stage - **Token path** (Concept): a16z's primary heuristic for evaluating AI companies — a company must sit in the flow of AI inference tokens to have durable economic relevance - **Skeuomorphic vs. native AI** (Concept): Chris Dixon's framework distinguishing apps that replicate existing workflows with AI assistance from apps that rearchitect work around AI capabilities natively - **Half-life problem** (Concept): David Clark's term for rapid AI leader turnover — 40% of Forbes AI 50 companies dropped off the list year-over-year — indicating first-mover advantage is eroding faster than in prior technology cycles

#ai-investing#venture-capital#large-language-models
Neuralink's DJ Seo: Inside the Race to Connect Brains and AI
24:59
EN/ZH
2 ヶ国語で視聴
Sequoia Capital約1か月前

Neuralink's DJ Seo: Inside the Race to Connect Brains and AI

At AI Ascent 2026, Neuralink co-founder and president DJ Seo sits down with Sequoia partner Shaun Maguire to lay out exactly where the company stands: 20-plus Telepathy patients controlling computers and robotic arms through pure thought, Blindsight in preclinical testing and potentially cleared for human use by end of 2026, and a first-principles manufacturing philosophy borrowed from Elon Musk that treats surgical robots the way SpaceX treated reusable rockets. DJ argues that the real ceiling of this technology is not cursor control or speech synthesis but direct, uncompressed, multimodal transfer of concepts — AI as a neocortical layer sitting above the human limbic system — and that scale, the same variable that unlocked the LLM era, is the only remaining gate. ## [00:00] Introduction Shaun Maguire opens the session by announcing a two-minute Neuralink patient video before the interview begins, telling the audience to stay on the side because what they are about to watch is proof that the company has already cleared the hardest bar: restoring human agency to people who had lost it entirely. ## [00:21] Telepathy Patient Stories The video narrates four patients whose lives changed after receiving the Telepathy implant. A quadriplegic patient describes moving a cursor with thought alone — "I'm thinking and a cursor is moving on a screen. It blew my mind." An ALS patient who lost the ability to speak regains a digital voice through the implant: "I'm talking to you with my mind." Another patient notes that the implant flipped how his child sees him: "I am not able to do things that other dads can, but now he thinks it's so cool that I can do things that other dads cannot." > *"Before the implant, I was locked in, non-verbal, quadriplegic. Now I control my computer just by thinking and the rewards have been immense for me."* ## [01:06] Convoy Robotics Independence The video shifts to Convoy, Neuralink's assistive robotics team, which is extending BCI control beyond a screen to physical manipulation in the real world. A patient who had been losing motor function moves a robotic arm through its axes using only neural intent: "It was incredible to be able to just gesture with an arm again." A second patient, Kenneth, who was losing his voice to ALS, uses the system's speech synthesis to speak aloud in real time during the video — words generated by his brain signals rather than his vocal cords. > *"Gaining functionality that I thought was gone forever was so incredibly life-changing."* ## [02:04] Blindsight Vision Restore The video previews Blindsight, Neuralink's second product line, designed for patients who have lost both eyes or optic nerve function. An external camera captures the visual scene; the device writes the signal directly into the visual cortex via electrical stimulation, generating phosphenes — artificial pixels of light. A patient named Audrey, asked how it feels, answers simply: "Life-changing." The video closes with the line "all with my mind" spoken over footage of a patient interacting with the world through the restored signal. > *"The future of this technology feels almost unlimited... we are finding ways to apply it across all regions of the brain."* ## [03:10] After Video Reflections DJ Seo, visibly moved after watching the video alongside the audience, speaks first: "We were cracking a lot of jokes before that video, but honestly, that brought tears to my eyes." He describes the work as one of the most inspiring projects in the world — not because of the technical milestone but because the team is giving back capabilities that patients had already grieved as permanently lost. Maguire affirms the sentiment before pivoting to the founding story. > *"This is one of the most inspiring projects in the world. It's incredibly difficult what they're doing and I mean, they're truly saving people."* ## [03:31] Origin Story And AI DJ traces Neuralink's founding insight to a single bottleneck: the mismatch between human output bandwidth and AI capability. In 2016, saying that out loud "sounded insane," but the logic has not changed. His personal path ran through a childhood fascination with the brain, undergraduate work at Caltech building miniaturized low-power electronics, and a Berkeley PhD focused on shrinking lab-grade neural systems down to something deployable. When he met Elon Musk near the end of his PhD, the scale and ambition of the project made refusal impossible. He frames the brain as "the most interesting compute that we all carry" and "the only form of general intelligence that we know to date." > *"Really the key insight back then was sort of the IO bottleneck between the human output and AI capabilities."* ## [06:31] Scaling And Vertical Integration Maguire presses on what smart people most misunderstand about Neuralink: many know the implant and the decoding algorithm, but almost nobody grasps the manufacturing and surgical-robot infrastructure the company built in parallel from day one. DJ attributes this to what he calls "Elon magic" — an insistence on vertical integration that gives Neuralink control over every layer from chip design to factory floor to robotic surgery deployment. The target is not a niche medical device; it is LASIK-scale surgery available to millions. Building that capacity first means progress looks slow until "the iceberg pops over the waterline" and ramp becomes near-instantaneous. > *"Vertical integration is something that is really the lifeblood of Neuralink and Elon companies and what really enables us to have that fast iteration loop from design, develop, deploy."* ## [09:27] Caregivers And Purpose Asked which patient story inspires him most, DJ refuses to pick one — the power, he says, is not only in the patients but in the caregivers: Nolan's mother Mia, Brad's wife Tiffany, Ken's wife Cheryl. He describes their presence as "a really powerful human story of love, sacrifice, and resilience." He then takes what he calls a philosophical tangent: his core belief is that fulfillment comes from helping others, because the gap between self and other is not categorically different from the gap between your present and future selves. That belief is what he says keeps him and much of the Neuralink team going — they are "igniting a fire of hope" for people who had given up on recovering what they lost. > *"I personally and as well as many others at Neuralink find extreme fulfillment being able to help those that really cannot help themselves."* ## [13:10] BCIs Meet AI Future Maguire asks the room's core question: how do BCIs and AI converge? DJ sketches a two-horizon answer. Near term, the system translates neural intent into legacy interfaces — keyboard, mouse, language — which is already working. The real breakthrough, which he thinks is "not super distant," is bypassing those legacy interfaces entirely and computing on raw neural intent. He points to transformer architectures as existence proofs: nothing prevents them from learning the latent manifolds of neural data given sufficient scale. Neuralink is already fine-tuning LLM-class models on neural recordings from its 20 participants and finding "very counterintuitive" patterns. The ultimate ceiling he names is "direct, uncompressed, high-fidelity, multimodal transfer of concepts" — the Matrix's "I learned kung fu" moment and possibly beyond it. He also shares what he calls a clarifying lesson from working with Musk: "all green light schedule" — a first-principles forcing function that strips every man-made bottleneck and asks how fast something could actually be built if every light were green. His estimate is that 80–90% of perceived constraints in hardware development are artifacts of convention, not physics. > *"I think if you really think about the ultimate ceiling of this technology, it's really direct uncompressed high fidelity and multimodal transfer of concepts."* ## [21:05] Audience Q&A Wrap Three audience questions in the final four minutes. On product sequencing — when to go deep versus expand — DJ explains the "beachhead and expand" strategy: build everything generalizably enough from the start so that regulatory approval for motor cortex becomes a template for visual cortex and beyond. The first approval is the hardest; every subsequent one rides the clinical safety record already established. On augmentation for healthy users, DJ frames everything around benefit-risk: the calculus is obvious for quadriplegic patients; for otherwise healthy users it remains unclear, but he notes that off-label use after approval is legally available to anyone who can find a neurosurgeon and pay out-of-pocket. On the hard problem of consciousness, he gives a pointed one-liner: if you can inject new senses and measure the subjective response quantitatively, you may have a pathway toward measuring consciousness itself. Maguire closes by calling Neuralink "one of the most inspiring companies in the world." > *"If you are able to inject new senses, there may be ways to quantitatively understand that."* ## Entities - **DJ Seo** (Person): Co-founder and president of Neuralink; PhD in miniaturized electronics from Berkeley; joined after meeting Elon Musk near the end of his doctorate - **Shaun Maguire** (Person): Partner at Sequoia Capital; host of the AI Ascent 2026 fireside session - **Elon Musk** (Person): Co-founder of Neuralink; originator of the "all green light schedule" and vertical integration philosophy carried across Tesla, SpaceX, and Neuralink - **Neuralink** (Organization): BCI company founded in 2016; products include Telepathy (motor prosthesis) and Blindsight (vision restoration via visual cortex stimulation) - **Telepathy** (Software): Neuralink's first commercial product; allows paralyzed patients to control computers and robotic devices through neural intent decoding - **Blindsight** (Software): Neuralink's second product line; restores vision for patients with total loss of eyes or optic nerve by writing directly to the visual cortex; in preclinical testing as of mid-2026 - **IO Bottleneck** (Concept): The mismatch between human output bandwidth (speech, typing, gesture) and AI processing capability; the founding problem Neuralink was built to solve - **Neural Foundational Model** (Concept): LLM-class transformer models fine-tuned on neural recording data; Neuralink is building these at 20-participant scale and observing counterintuitive patterns in neural latent space - **All Green Light Schedule** (Concept): Elon Musk's first-principles engineering discipline — strip every man-made constraint and ask what physics alone limits; DJ estimates 80–90% of hardware delays are conventional, not physical

#brain-computer-interface#neuralink#ai
Why Opus 4.8 Pulled Me Back to Claude
10:30
EN/ZH
2 ヶ国語で視聴
Every約1か月前

Why Opus 4.8 Pulled Me Back to Claude

Dan Shipper, CEO of Every, delivers a day-zero vibe check on Opus 4.8, arguing Anthropic could have called it Opus 5. The model jumps 30 points past Opus 4.7 on Every's Senior Engineer benchmark, edges out GPT-5.5, tops their internal writing tests at 79.6 vs. 73, and is the first model to produce a genuinely good one-shot slide deck. Two catches temper the enthusiasm: performance degrades sharply below "extra high" reasoning, and the Claude desktop app remains cluttered compared to Codex. ## [00:00] What is Every Every is a 30-person applied AI lab for the future of work—part media outlet, part product studio. Dan opens by explaining the subscription (writing, courses, AI-built tools all in one place at every.to) before rolling into the Opus 4.8 assessment. The plug is brief and context-setting: the team has had beta access for a week, and the rest of the video is what they found. > *"Every is the only subscription you need to stay at the edge of AI."* ## [01:07] Anthropic Is Back: The Headline Case for Opus 4.8 Dan had largely abandoned Claude after Opus 4.7—slow, hard to love, and outpaced by Codex and GPT-5.5 in day-to-day use. Even the most loyal Claude users at Every had started routing work elsewhere. Opus 4.8 breaks that pattern: it scores 63 on Every's Senior Engineer benchmark (30 points above Opus 4.7, one point above GPT-5.5), tops their writing tests, and produced the first one-shot slide deck Dan has called genuinely good. Kieran Klaassen, Every's GM, called it "the most human model he's worked with." The one persistent friction is the Claude desktop app itself. Codex is fast, focused, and ships a clean harness; the Claude app still feels like a product built by three separate teams—chat tab, code tab, co-work tab, each with its own feel. Dan is now splitting time between both apps, which he was not doing before. > *"But honestly, they could have called it Opus 5 cuz this is a really great model."* ## [05:02] Reach Test: Paradigm Shift Ratings from the Every Team Every's reach test asks one question: do you actually open this model when work gets hard? Dan rates Opus 4.8 gold/green—paradigm-shift quality, docked one notch because the Claude app harness is only "okayish to pretty good." Kieran, who runs 50 agents a day, gives a straight gold paradigm-shift, one of the rarest grades the team has assigned. Katie Parrot, a senior staff writer and historical Claude fan, lands at green, splitting her work between Opus 4.8 and Codex. > *"It's very rare to give a paradigm shift grade to a model. So I would pay attention to this."* ## [06:32] Benchmarks: Coding and Writing Numbers On coding, Opus 4.8 hits 63 on the Senior Engineer benchmark—the test feeds the model a vibe-coded codebase and asks it to rewrite from first principles, then scores against two human senior engineers who completed the same rewrite (typically scoring in the 80s–90s). GPT-5.5 sits at 62. On Kieran's LFGbench (real-world tasks: SaaS build, e-commerce site, 3D game landscape), the model writes readable code that bridges technical competence and creativity—the "cozy island" 3D scene is notably richer and more vibrant than GPT-5.5's output. On writing, Opus 4.8 scores 79.6 out of 100 on Every's internal benchmark (intro writing, promo emails, mid-piece paragraphs); GPT-5.5 scores 73. The gap is mainly in AI tells: at high and extra-high reasoning settings, Opus 4.8 produces prose that sounds less like a model. It matches a writer's voice from a single paragraph of context better than any other model Dan has tested. > *"Opus 4.8 scores a 79.6 out of 100 on the writing benchmark. GPT 5.5 is 73."* ## [08:57] Emotional Intelligence, Knowledge Work, and the Verdict Dan uses the model for interpersonal and management work—talking through decisions, pressure-testing his own framing. Opus 4.8's thinking traces show it genuinely cycling through permutations before responding, which makes it feel less like a sycophant and more like a useful counterpart. On knowledge work, it's versatile: code and writing coexist cleanly in a single thread, and the slide deck result is the first one-shot deck Dan would actually send to someone. The verdict: if you're a Claude fan, this model delivers. If Codex converted you, add Opus 4.8 as a parallel tool for writing and knowledge work—it's worth the context switch. The harness gap is real, but the model itself is a banger. > *"If you've been converted to Codex, I highly recommend you at least add it as part of your arsenal."* ## Entities - **Dan Shipper** (Person): Co-founder and CEO of Every; presenter and primary evaluator of Opus 4.8. - **Kieran Klaassen** (Person): GM of Kora at Every; gave Opus 4.8 a straight gold paradigm-shift rating on the reach test. - **Katie Parrot** (Person): Senior staff writer at Every; rated Opus 4.8 green, split between it and Codex. - **Every** (Organization): Applied AI lab and media subscription company focused on AI for the future of work. - **Anthropic** (Organization): Developer of Claude and Opus 4.8. - **Opus 4.8** (Software): Anthropic's latest Claude model; subject of the vibe check. - **GPT-5.5** (Software): OpenAI model used as the primary performance comparison across all benchmarks. - **Codex** (Software): OpenAI coding agent; praised for its clean desktop harness and used as the daily-driver counterpoint to Claude. - **Senior Engineer Benchmark** (Concept): Every's proprietary coding benchmark—rewrites a vibe-coded codebase from first principles and scores against human engineers. - **LFGbench** (Concept): Kieran Klaassen's real-world coding benchmark covering SaaS, e-commerce, and 3D scene generation tasks.

#claude#opus-4-8#llm-benchmarks
緊急討論:AI・イラン戦争・アメリカの未来について私たちは騙されている!
1:43:32
EN/ZH
2 ヶ国語で視聴
The Diary Of A CEO約1か月前

緊急討論:AI・イラン戦争・アメリカの未来について私たちは騙されている!

Shark Tankの投資家Kevin O'LearyとYoung Turks共同創設者Cenk Uygurが103分にわたって激論する。テーマはAIがアメリカ経済を解放するか破壊するか、明確な出口交渉があるにもかかわらず米イラン戦争がなぜ長引くのか、そして2028年に現実的な勝算があるのは誰かだ。O'Learyは一貫して楽観論を展開する——AIは新たな雇用を生み出し、市場は常に適応し、本当の脅威は中国だ、と。一方Uygurは一点を繰り返し打ち込む:AI主導の大量失業とイスラエルロビーに動かされた外交政策が組み合わさって、アメリカは氷山に向かって突き進んでいる、しかも衝突への備えはゼロだ、と。 ## [00:00] イントロ 冒頭のクリップは討論の賭け金を即座に提示する。Uygurがいきなり切り出す:企業は競争優位のために従業員の10〜25%を解雇しようと競い合っているが、経済全体が同時にそれをやれば、リセッションではなくデプレッションになる。それに対するO'Learyの返し——「なんてことだ、Jakeは本当に暗い話ばかりだな。これはとんでもないチャンスの話をしているんだぞ」——が、この後1時間40分を貫くトーンをそのまま決める。Bartlettは目標として、怒鳴り合いではなく、対立する二つの真剣な知性をぶつけることで真実に迫ると宣言する。 > *「みんなが競って従業員の10〜25%を解雇しようとしている。だが10%の失業率は、私たちが生きているうちに経験したどんな事態よりも深刻だ。」* — Cenk Uygur ## [02:35] アメリカ人の7割がAIデータセンターに反対する理由 Bartlettが世論調査の結果を提示する:アメリカ人の7割が地元へのAIデータセンター建設に反対している。O'Learyは具体的な犯人を名指しする:法医学的な監査とIRS 990の財務申告書をたどったところ、Arabella(Neville Singuを経由)というネットワークを通じて中国マネーがユタ州の反データセンターキャンペーンに流れ込んでおり、自分の幹部に対する死亡脅迫まであったという。90ページ分のIPデータをホワイトハウスに提出した。Uygurは中国陰謀論をはね返し、より単純な不満を訴える:データセンターのせいで教会・図書館・地域センターの電気代が上がっており、バージニア州がその典型だ。建設する企業は自分たちで電力を調達するか、市民に株式を還元すべきだ。 > *「アメリカで新たな電力インフラが計画されるあらゆる場所、すべての州、すべての都市で中国が介入しているという反論できない証拠がある。」* — Kevin O'Leary ## [07:24] AIが崩壊とUBI危機を引き起こす可能性 Uygurの経済論の核心がここで展開される。エネルギーコスト問題には同意し、公共電力網を使いながら補償しないデータセンターは企業によるタダ乗りだと言い切る——2008年の銀行救済を「やってはいけない前例」として引く。より大きな警告は大量失業だ:企業が競って10〜25%の人員を削減すれば、集合的に消費支出が破壊されてデプレッションが到来する。Sam Altman、イーロン・マスク、Dario Amodeiはいずれも大規模な雇用喪失が来ると公言しているのに、政府には何の計画もない。O'Learyは反論する:アメリカの200年の歴史でテクノロジーの変革は常に破壊より多くの機会を生んできた。AI開発を止めれば中国にリードを渡すだけだ。 > *「氷山にぶつかったとき、私たちは準備できていない。それは壊滅的な災害になる。従業員は同時に消費者でもあるから、彼らが買い手としていなくなれば誰もモノを買えなくなる。」* — Cenk Uygur ## [15:30] AIの創業者たちは本当のリスクを隠しているのか Bartlettが公式発言を読み上げる:Sam Altman(2021年)のAIはほとんどの仕事を代替するという発言、マスク(2024年)の私たちの誰も仕事を持たなくなるかもしれないという発言、そしてAmodei(2025年)のAIが5年以内にすべてのホワイトカラー入門職の半数を消滅させ失業率が20%に達するかもしれないという警告。自分たちが作っているシステムが社会的損害をもたらすと公言している人たちが過大に言っていると想定する理由があるか、とBartlettは問う。O'LearyはAmodeiの発言のもう半分を持ち出す——6か月以内に計算基盤を構築しなければ、中国のDeepseekが追いつく——そして本当の選択肢はこの混乱を主導するか北京に譲るかだと主張する。Uygurは競争は避けられないと同意しつつも、今日解雇されているコーダーたちはすでに氷山を体験しており、年3万6000ドルのUBIは年収12万ドルから見れば壊滅的な格下げだと強調する。 > *「AIレースを責任ある形で、AI企業の幹部や株主だけでなく、アメリカの有権者や市民のために行うことができるか。できてほしい。だが私たちはその方向に向けてまったく何もしていない。」* — Cenk Uygur ## [23:55] AIを責任ある形で作ることは可能か、それとも不可能か Bartlettが責任あるAI開発の具体策を迫る。Uygurが構造的な診断を下す:合法化された賄賂——Citizens United判決とBuckley v. Valeo判決——によって、最も多く献金するAI企業が望む規制の枠組みを手に入れられる仕組みができている。議会は有権者のためではなく献金者のために動く。O'Learyは、失われている雇用の大半は企業が見込みで過剰採用したポジションであり、AI企業は今のところ何兆円も燃やしているのであって懐に入れているわけではないと反論する。ユタ州のデータセンターの実績を挙げる:9年間にわたって建設雇用4000人、さらにエンジニア職2000人、農地には一切手をつけていない。Uygurの社会主義への警告についてO'Learyは一蹴する:税率が50%を超えれば富裕層はモナコやフロリダに移る、フランスが身をもって証明した。 > *「そうしなければピッチフォーク(民衆の反乱)がやってくる。私は暴力に反対だし、常にそうだ。だが怒りのレベルを誰もわかっていないと思う。」* — Cenk Uygur ## [32:11] AIがひそかに雇用を破壊している実態 Bartlettが自分の実体験を持ち出す:今はエントリーレベルの採用をほぼAI習熟度だけで決めている。AIを使いこなせるジュニアは5〜10倍のパフォーマンスを出せるため、使えない候補者は事実上選考から外れる。O'Learyは反論する——エンジニアはコードを書くのではなく問題を解くために雇われており、AIはより速いツールを与えるだけだ。テック企業の大規模解雇の多くは過剰採用の修正であってAIによる置き換えではない。Uygurはこれを否定する:ウォール街のアナリストは人員削減の発表を「シナジー」と称えて株価を上げる。誰も決算説明会で「従業員がいなくなったら誰が商品を買うのか」と聞かない。さらに見落とされているリスクを挙げる:歴史的に、大量の失業した若い男性がいると必ずまずいことが起きてきた。 > *「大勢の失業した若い男性がぶらぶらしていると、いいことは起きない。戦争が起き、犯罪が増える。備えが必要だ。」* — Cenk Uygur ## [37:35] 大規模失業が予想より早く到来するかもしれない理由 Bartlettがサンフランシスコのロボティクスアクセラレーターを訪問した話をする。すべてのチームがソフトウェアから物理ロボットへ転換していた。理由はシンプルで、以前は欠けていて高価だった「知性」が今ではほぼタダで手に入るからだ。Bartlettは両者に「自分が間違っているとしたらどういう場合か」と尋ねる。O'Learyは失業シナリオを受け入れず、NASAの月面恒久基地と火星計画を何十万という新たな高収入雇用の源泉として挙げる。Uygurは「空白期間の問題」と名付ける:O'Learyの楽観シナリオが20年後に実現するとしても、クリーブランドの61歳の組み立てライン作業員は火星エンジニアには転換できない。Bartlettも付け加える:Uberの最高経営責任者がプライベートで、AIが自社の94万人のドライバーを置き換えると語り、そのドライバーたちが何をするかと聞かれて「わからない」と答えたという話だ。 > *「ロボットのパーツは何十年も前から揃っていた。足りなかったのは、そして高価だったのは、知性だ。」* — Steven Bartlett(共同創業者の言葉を引用) ## [46:32] 広告 Stan(AIソーシャルメディアコンテンツツール)、Pipedrive(CRM)、Cometeer(コーヒー)のスポンサー枠。実質的な討論内容はなし。 ## [48:40] イスラエル・イラン・中東で本当に何が起きているか 討論の軸が地政学に移る。BartlettがTrumpの支持率急落を示し、Uygurに戦争の構造を説明するよう求める。Uygurの回答は約25分にわたり、一貫して一つの主張を展開する:この戦争はイスラエルの利益100%でアメリカの利益0%だ。Adelson一族がTrump選挙キャンペーンに3億1700万ドルを献金した資金メカニズムを示し、イスラエルロビーが議会の94%に献金しており、AIPACはTrump、Biden、Hakeem Jeffries、Chuck Schumer、Mike Johnsonそれぞれに対して生涯最大の献金者であることを指摘する。イスラエルは9・11以降アメリカに7つの戦争を外注してきており、イランはそのリストで最後だったと言う。イランはアメリカに届く運搬手段を持ったことがなく、ウラン濃縮度が60%を超えたことも一度もない(兵器級は90%)。元最高指導者は核兵器に関するファトワを出している。一方イスラエルはレバノン南部を占領し、保持する意図があり、Netanyahuは和平条件としてイスラエルのみがレバノンへの攻撃権を持ち続けることを公然と要求した——これでは交渉は永遠に成立しない。O'Learyはイランの体制を別の角度から見る:9000万人に対して60年間暴力を振るい続けた15万人の支配者、核兵器を渡せない政府、そして中国がホルムズ海峡の開通を必要としているため最終的に北京が圧力をかけてテヘランを従わせるだろうという見立てだ。 > *「イスラエルの利益100%、アメリカの利益0%。撤退して、イスラエルの代わりに戦うのをやめて、国に帰ろう。」* — Cenk Uygur ## [01:11:59] Trumpはこの紛争がこれほど長引くと読み誤ったのか BartlettがO'Learyに直接問う:Trumpは紛争の長期化を見誤ったか。O'Learyはこれを初の真の「テック戦争」と呼ぶ:芝刈り機エンジンを積んだ3万5000ドルの炭素繊維ドローンを、120〜300万ドルのアメリカ製ミサイルで迎撃している。このコスト非対称性が、アメリカが埋めなければならない計算能力のギャップを露わにしている。地上侵攻はないと見ており、イランの指導部が海峡封鎖によって失う収入——1日2億1000万ドル——が利益を上回ると計算するまで空爆が続く。予測:中国がアメリカの中間選挙前に取引を成立させる。 > *「費用がかさむのは私たちが守備で不利な側にいるからだ。安価なドローンが必要だ。」* — Kevin O'Leary ## [01:15:47] 広告 Pipedrive(CRM)とDiary of a CEO Conversation Cardsのスポンサー枠。実質的な討論内容はなし。 ## [01:18:08] アメリカが急速に忍耐を失いつつある理由 Bartlettがレバレッジポイントを提示する:イランの指導部はTrumpが中間選挙まであと数か月、その後2028年大統領選があると知っているなら、今すぐ交渉する理由がなく、弱まった相手を待ち続けることができるのではないか。O'Learyはもう一つの制約を加える:中国の最高指導者も経済を動かし権力を維持するためにホルムズ海峡の開通が必要なので、イランは二つの主人に仕えている。Uygurは言う:取引はすでに書かれている。イランが高濃縮ウランを国際監視団に引き渡し、アメリカが封鎖を解除し、海峡が再開する。それが毎回崩れるのはNetanyahuがTrumpに電話して新たな不可能な条件を加えるからだ——即時武装解除、イランのアブラハム合意への参加。Uygurによれば、最近の和平交渉に公然と反対したすべての政治家はイスラエルロビーから100万ドル超を受け取っていた。さらにグローバルな視点でこう続ける:ロシアがウクライナで消耗し、アメリカがイランで消耗している間、中国はアフリカと中南米に道路と橋を建設し、戦争に一切コストをかけずに影響力を積み上げている。 > *「Netanyahuとの電話のたびに、Trumpは和平ができると言っていたのが和平はできないと言いに変わり、新たな不可能な条件が出てくる。これがもう6回ほど繰り返されている。」* — Cenk Uygur ## [01:29:08] リアルタイムで社会主義の台頭を目撃しているのか Bartlettがギャラップのデータを示す:アメリカ人の資本主義に対する肯定的見方は過去最低、民主党員の70%が社会主義を肯定的に見ており、若いアメリカ人の62%が社会主義に好意的——しかもこれは戦争の経済的影響が本格化する前の数字だ。O'Learyは周期的な現象と見る:アメリカは17〜20年ごとに社会主義的な気分に傾き、若い理想主義者たちが初めて給与明細を受け取って税金を知ると必ず崩れる。世界の政府系ファンドの52セントはアメリカに流れており、キューバでもロシアでもないと指摘する。Uygurは切り口そのものを否定する:アメリカはすでに大企業のために社会主義を実践している——黒字の石油会社への補助金、メディケアの薬価交渉の拒否、あらゆる業界が献金を通じて規制当局を取り込む構造だ。本当の課題は真の自由市場を取り戻すことであり、そのためにはまず政治からカネを追い出す必要がある。 > *「社会主義どころか、資本主義に戻れれば上出来だ。今のアメリカには資本主義がないのだから。あるのは縁故資本主義だ。」* — Cenk Uygur ## [01:34:06] 次の大統領選で実際に優勢なのは誰か O'Learyは勝者を断言しないが、民主党には穏健な中道派が必要だと言い、カリフォルニア州を進歩派の失政の証拠として挙げる。Uygurは意外な具体的予言を突きつける:Tucker Carlsonだけが2028年に勝てる共和党候補だ。共和党支持者の熱量はすでに消え、中間選挙は失われ、2028年までにはAI失業とイラン戦争の影響が完全に出揃う。O'Learyは最初笑い飛ばしたが、カメラの前で撤回する:Carlsonは巨大なソーシャルメディアの基盤を持ち、独自ネットワークを運営し、AIを含めてますます独立した立場を取るようになっている。Uygurは締めくくりとして、Rohanaを全国選挙で最も勝算がある進歩派として名指しし、企業支配主義でも恐れられている社会主義でもなく、民主的資本主義——機能する民主主義で歯止めをかけられた民間市場、北ヨーロッパが機能する手本——を支持する。 > *「共和党に勝てる候補は一人しかいない。そのことが心配だ。Tucker Carlsonだ。Tuckerが共和党予備選に出れば絶対に勝つ。引用していい。」* — Cenk Uygur ## 登場人物 - **Kevin O'Leary**(人物):Shark Tank投資家、O'Leary Ventures会長。AIは機会を生み出すと主張し、データセンター開発を擁護。AI反対運動の資金源を中国系資金とし、中国がアメリカの中間選挙前にイランを交渉に引き込むと予測する。 - **Cenk Uygur**(人物):Young Turks共同創設者、進歩派コメンテーター。AI失業への無準備、アメリカ外交政策がイスラエルロビーに動かされていること、合法化された賄賂によるアメリカの政治腐敗を訴える。 - **Steven Bartlett**(人物):The Diary of a CEOホスト、起業家兼投資家。司会を務めながら、自身の採用判断やロボティクスラボでの見聞を具体例として提供し、討論を現実のビジネス行動に根ざしたものにする。 - **AIPAC / イスラエルロビー**(組織):Uygurが、両党の上級米国政治家ほぼ全員に対して生涯最大の献金者と名指しする組織。アメリカとイランの戦争が取引可能な状況にもかかわらず続く理由についての彼の主張の中心。 - **Arabella / Alliance for a Better Utah**(組織):O'LearyがIRS 990の申告書をもとに、中国系資金を通じてアメリカ各州の反データセンター偽情報キャンペーンに資金提供していると主張するネットワーク。 - **UBI(ユニバーサル・ベーシック・インカム)**(概念):AIによって職を失った労働者のためのセーフティネット案。Uygurは、最善のシナリオでも年3万6000ドルのUBIは年収12万ドルからの壊滅的な格下げだと指摘する。 - **ホルムズ海峡**(概念):中国のエネルギー輸入の48%が通過する要衝。封鎖されると世界規模のインフレを引き起こす。海峡の再開が、イラン交渉におけるアメリカの核心的利益。 - **Deepseek**(ソフトウェア):中国の大規模言語モデル。O'LearyとAmodeiはこれを、アメリカがAI開発を一時停止すれば数か月で中国に決定的なリードを渡すという証拠として挙げる。 - **Tucker Carlson**(人物):元Fox Newsホスト、現在は独立系メディアの人物。Uygurは2028年共和党大統領選挙で唯一の勝算ある候補と予測し、O'Learyも最終的にこれを否定しなかった。 - **民主的資本主義**(概念):Uygurが支持する経済体制——機能する民主主義によって歯止めをかけられた民間市場。現在のアメリカで実践されている縁故資本主義とも、恐れられている欧州型社会主義とも区別する。 - **Rohana**(人物):Uygurが繰り返し言及する進歩派政治家。AI失業問題に取り組む唯一の政治家であり、2028年大統領選で民主的資本主義に最も近い候補として名指しする。

#ai-economy#unemployment#iran-war
Onyx Security CEO Maxim Bar Koganが語る、エンタープライズAIを守る「AIガーディアン」
41:09
EN/ZH
2 ヶ国語で視聴
No Priors: AI, Machine Learning, Tech, & Startups約1か月前

Onyx Security CEO Maxim Bar Koganが語る、エンタープライズAIを守る「AIガーディアン」

Sarah GuoがOnyx SecurityのCo-founderかつCEOのMaxim Bar Koganと対話し、エンタープライズ規模でAIエージェントを守るために何が必要かを探る。Maximは、プロキシや権限制限、人間によるレビューといった従来の管理手法は、エージェントの行動が指数的に増えると崩壊すると主張する。唯一の現実的な道は、より重いオーバーシーアへのエスカレーションが必要かどうかを判断できる、特化型の小型モデルを訓練することだという。会話はOnyxの「セキュアコントロールプレーン」、カスタムモデル訓練のコストとレイテンシのトレードオフ、ラボが自社モデルの安全性を自己証明できない理由、そしてAGIは必ずやって来るという確信と、独立したAI監視は数千億ドル規模のビジネスになるというMaximの見通しまで幅広く展開する。 ## [00:00] 冒頭 Maximは途中から話し始める。企業がAIエージェントでできることが増えるにつれ、問題のある行動も増える——エージェントが誤って認証情報を公開したり、許可されていないネットワーク呼び出しをしたり、取り消しのきかない操作を実行したりといった事例だ。企業は既に、この導入の波を止められないことを認識している。欠けているのは、エージェントの正当な行動と不正な行動を区別する仕組みだ。このクリップはイントロの前にOnyx全体のテーゼを提示する。 > *「企業はリスクが指数的に高まっていることに気づき始めており、導入自体を止める手段を持ちません。今やるべきことは、エージェントの行動が不正または誤りである確率を下げることです。」* ## [00:45] Maxim Bar Koganの紹介 SarahはMaximをOnyx SecurityのCo-founderかつCEOとして紹介する。イスラエルを拠点とするスタートアップで、研究者、数学者、エンジニアが揃う——AIエージェントを監視するためのエージェントを作っていると説明される。同社は攻撃的なサイバーセキュリティの知見と深いAI研究を融合させており、合成データや機械論的解釈可能性の研究も手がける。 ## [01:10] AutoGPTとエージェント行動への賭け エンタープライズセキュリティにおける2年前のリスクの定説は、チャットボット向けDLP——社員がChatGPTに機密情報を貼り付けること——だった。その枠組みは今や崩れ、自律エージェントの行動をめぐる危機感に変わっている。MaximはOnyxの賭けをAutoGPTに遡って説明する。LLMが「何をすべきかを決め、ツールを呼び出し、ループする」ことを初めて可能にした、最初の自律エージェントだ。テキスト生成ではなく自律的な現実世界の行動を実証したこのデモを見て、Maximはすぐに「誰かがそれをスケールで監視しなければならない」と確信した。 > *「AutoGPTはLLMにテキストを生成させるのではなく、何をすべきかを決めさせ、APIアクセスを与えてそれを実行させた、本当に最初の自律エージェントでした。私たちを含め、あらゆる人の想像力を解き放ちました。」* ## [05:17] Onyxプロダクトの概要 Onyxがやることは二つ。モデルを訓練し、AIエージェントを監視するエージェントを構築すること、そしてその能力を「セキュアコントロールプレーン」としてパッケージ化し、企業のAIスタックに組み込めるようにすること。コントロールプレーンはリアルタイムでエージェントの行動の正当性を判断しながら、レイテンシ・コスト・信頼性のトレードオフを管理する。Maximが描く長期ビジョンはエンタープライズセキュリティにとどまらない。AIエージェントを運用するすべての企業に、そのエージェントが何をしているかをベンダーに依存せずに証明できる第三者が必要になる。 > *「エージェントの行動数は指数的に増加しています。過去に役立ったと思われていたもの——たとえばヒューマン・イン・ザ・ループ——も、100倍、1000倍、100万倍のアクションになれば機能しなくなります。」* ## [07:47] 大企業における導入の現状 大企業のAI導入は今、三つのカテゴリに分かれるとMaximは見る。ローコードSaaSの自動化(ドラッグアンドドロップ型で真の自律性はない)、社内または顧客向けに自社開発した第一者エージェント、そして自律的なコーディングエージェントとアシスタントだ。その中で、コーディングエージェントが現在AI使用量の50%以上を占める。成熟度の高い金融や医療セクターは統制が厳しいが、最も慎重な企業でもAIを全面禁止するフェーズは終わり、管理・活用へと移行している。 > *「平均的な企業において、50%以上を占めるのは自律的なコーディングエージェントとアシスタントです。」* ## [09:58] AIエージェントのセキュリティ 大企業はすでに年間約1000億ドルをセキュリティ——エンドポイント、ネットワーク、クラウド、IDに費やしている。Sarahはそのどれだけがエージェントセキュリティに転用できるかを問う。Maximの答えはほぼゼロだ。最も基本的な層であるID管理は、エージェントが事前にスコープを定めることができない広範で動的な権限を必要とするため機能しない。コードベース全体を書き換えたり、幹部に代わってメールを送ったりするエージェントを、静的なソフトウェアプロセスのように狭い権限セットで縛ることはできない。攻撃対象は「アクセス」ではなく「意図」であり、既存のツールは意図を読み取れない。 > *「自律型AIやコーディングエージェントには、事前にどのような権限を与えるべきかを知ることが実質的にできません。」* ## [12:45] プロキシが機能しない理由 Sarahはセキュリティのバックグラウンドから「より賢いポリシーエンジンを持つプロキシで解決できないか」と問う。Maximはプロキシが一部のアーキテクチャで統合ポイントとして機能することは認めながら、本質的な問題を解決できないと言う。プロキシはデータストリームを得られるが、そのストリームの中のアクションが正当かどうかは教えてくれない。その判断にはコンテキストの理解——エージェントの目標、履歴、企業が承認した範囲——が必要であり、任意のエージェント行動を横断してそれを評価できるルールエンジンは存在しない。 > *「難しい問題は、今この行動が適切かどうかを理解することです。AIシステムにおいてはそれがまさに難問です。」* ## [14:11] Onyxが独自モデルを訓練する理由 「Claude CodeでClaude Codeを監視する」という単純な発想は、コストとレイテンシで破綻する。フロンティアモデルのエージェントを企業のすべてのエージェントに対して走らせると、セキュリティレイヤーが監視対象のAIより高コストになってしまう。Onyxの答えは、「現在の行動をより重いオーバーシーアにエスカレーションすべきかどうか」をただ一つ判断することに特化した、小さく高度に専門化されたモデルだ。Sarahはブリッツチェスに例える。グランドマスターは早い手では直感で指し、重要な分岐点でだけ立ち止まる。Maximはこの例えが正確だと言う——リスクが最も高い場所に知性を集中させ、他はリーンに保つのが鍵だ。 > *「ただ一つのことが得意な、非常に小さなモデルを訓練することを目指しています。そのモデルにできることはほぼこれだけです——『これはより賢いエージェントに見せるべきか?』と判断することです。」* ## [18:38] Onyxの人材文化 イスラエルのセキュリティ人材——8200、Armis、Wizといった組織が育てた——は広く知られている。OnyxのDNAは異なる。共同創業者Gilのバックグラウンドは合成データとNVIDIAで、攻撃的サイバーセキュリティではない。Onyxの研究エンジニアリング部門の多くは、数学とサイバーの交点に特化したイスラエルの情報部隊出身だ。Maximはこの組み合わせを意図的なものと見る。Onyxが長期的に解こうとしているのはエンタープライズセキュリティだけでなく、高度なAIをいかに制御するかという問題全体だからだ。それには深いAI専門知識とセキュリティの感覚が両方必要になる。イスラエル全体としても、ワールドモデル、AIインフラ、チップといった分野でAIの力をつけつつある。 > *「問題はサイバーセキュリティだけではありません。長期的に高度なAIをどう制御するか——エンタープライズセキュリティの話を抜きにしても、それだけで非常に重要に聞こえます。」* ## [21:24] 機械論的解釈可能性 Maximは、機械論的解釈可能性——モデルの重みと活性化の内部で実際に何が起きているかを理解すること——は可能であり必要だと確信している。彼の逆説的なテーゼはこうだ。モデルが重要な側面で人間より賢くなるにつれ、他のモデルの内部構造を解析する能力も人間より高まる。Onyxはこの方向の研究に積極的に投資しており、単なるセキュリティツールとしてではなく、知性そのものへの窓として位置づけている。Sarahはこの賭けを支持し、AIだけでなく広く認知を理解する機会があると指摘する。 > *「少なくともいくつかの重要な側面で、私たちよりはるかに賢いモデルを手にし始めると、機械論的な能力をよりうまく解析できるようになると思います。」* ## [23:35] Onyxが顧客の信頼を築く方法 Fortune 10やFortune 20の企業が通常、社員100人以下の設立2年のスタートアップと組むことはない。その常識を覆しているのは「痛み」だ。日々エージェントのインシデントに直面しているCISOには、3年前には存在しなかった問題なのだから、頼れる既存ベンダーがいない。Onyxはステルスから出てきたタイミングで、まさに自分たちが抱えている問題の説明に当てはまるとして、企業からのインバウンドを受ける。Maximはこれを「狭く、一時的な窓」として捉える——新興スタートアップも成長すると企業は知っており、遅れた採用者になるより、製品を形作れるアーリーカスタマーを選ぶ。 > *「痛みが非常に強いときにしか開かない窓です。彼らの痛みはあまりに強く、ステルスから出てきたばかりの会社でも、毎日直面している問題であれば電話をかけてきます。」* ## [25:10] リスクを根本から抑制する CISOが次に直面しているパニック——エージェントの行動を超えたもの——は、自動化された脆弱性調査のコストが急落していることだ。コーディングツールは今や、数年前には何十年も先の話に思えた規模で脆弱性を発見・悪用できる。Maximは市場の過剰反応ではなく、真の構造的変化だと言う。正しい対応は二段構えだ。今すぐの高速パッチと緩和策、そして堅牢なID管理、ファイアウォール、エンドポイント検知への投資——攻撃者のツールが何であれ悪用可能な攻撃面を減らす基盤を整えることだ。 > *「本当の解決策は、大企業のセキュリティリーダー全員が知っています——リスクを避けるために基礎的な仕組みを整備することです。」* ## [27:45] GlasswingとDaybreakの段階的展開 AnthropicのGlasswingとOpenAIのDaybreakによる、より高度なモデルへの管理された段階展開についてMaximは条件付きの見方を示す。段階的展開はグローバルに協調されているなら理想的だ——プレイブックを構築し、知識を共有し、電力網や航空会社での壊滅的な障害を防ぐ時間を稼げる。しかし段階的スケジュールより先に同等の能力を持つモデルを誰かがリリースしてしまえば、段階的アプローチは逆に負債になる。早期アクセスを得られなかった企業が、準備の機会すらなかった脅威にさらされるからだ。彼の推奨は、より多くの組織が並行して防御を構築できるよう、アクセスを幅広く提供することだ。 > *「誰かが先にメソッドレベルのモデルに到達したなら、後から振り返れば大きな過ちに見えるでしょう——少なくとも企業に、早急に動く選択肢を与えるべきでした。」* ## [29:11] AI導入に消極的な大企業 2年前、一定数の大企業がAIを単純に禁止していた。今やMaximはそれをほとんど見かけない。金融セクターはまだ制約を課す——エージェントは許可するが使えるツールを限定するなど——しかし全面禁止は消えた。これは正しい方向性だとMaximは言う。ツールのベンダーロックインそれ自体がリスクだからだ。このスピードで動く市場で一社のモデルだけに賭けると、世代交代で順位が変わったときに対応できなくなる。幅広いツールを許可しながらしっかり管理する企業が、過度に制限する企業を追い抜いていく。 > *「1年前にOpenAIに賭けていたら、それが世界で最も安全な賭けだったでしょう。しかし突然、Anthropicのモデルとツールの方がはるかに優れてきました。」* ## [30:46] OnyxとAIセキュリティ市場全体 AIセキュリティは新しいベンダーと新しい攻撃対象であふれている。Maximはプロダクトスコープへの不安に対してこう反論する。2026年AIの二つのコアプリミティブ——トランスフォーマー基盤モデルとツール呼び出しエージェントループ——は数年間で根本的に変わっていない。その安定性により、Onyxはコア技術をリーンに保ちながら多くのエージェントアプリケーションに対応できる。アーキテクチャの変化に対する本当のヘッジは、単一のモデルパラダイムに製品を賭けるのではなく、迅速に再訓練・適応できる研究者への投資だ。 > *「2026年のAIの動き方の二つの核心的な柱は、ここ数年で変わっていません。私たちは今もLLM基盤モデルを使い、ほぼ同じ方法でエージェントを構築しています。」* ## [32:36] AIラボはモデルの信頼性とガバナンスに取り組むべきか? ベイエリアで今議論されている問いがある——ラボはいずれ信頼性とガバナンスの問題を自分たちで抱え込むようになるのか?Maximの構造的な反論はこうだ。車を売った相手に車を認定させたくはない。セキュリティチームが必要としているのは、事業モデル全体が「正しいかどうかを判断すること」に依存している独立した第三者であり、自社製品の評判を守るベンダーではない。買い手の心理を超えて、Maximは「ぎざぎざの知性」ミス——モデルが強くなれば自然に改善する凡ミス——と、意図レベルの失敗——敵対的な操作、目標のずれ、目的のドリフト——を明確に区別する。ラボは前者を修正する。後者に対応できるのは、構造的に独立したオーバーシーアだけだ。 > *「製品のベンダーが、その製品があなたの環境を壊さないと保証することを信用しないでしょう。自分たちのビジネス全体が、それが正しいと伝え続けることにかかっている独立した第三者が必要です。」* ## [36:56] セキュリティに必要なこと Sarahはラボを含む広いテック・研究コミュニティが、セキュリティの観点から何を見落としているかを問う。Maximの答えは、技術的なギャップではなく「共感のギャップ」だ。セキュリティプロダクトを作るには、セキュリティチームが実際にどう動いているか——組織構造、責任範囲、情報の流れ——を深く理解する必要がある。イスラエルが優れたセキュリティ人材を輩出する理由の一つは、軍での経験がエンジニアに「後で自分が作る製品のエンドユーザーとしての一次体験」を与えるからだ。ラボは、実際に展開・防御しなければならない組織の現実に十分な注意を払わずに能力を構築している——そう彼は示唆する。 > *「どんな技術的問題を解いていても、それは特定の構造を持つ組織や人々のためのツールです。技術的な問題を解くだけでなく、そのユーザーが本当に気に入るプロダクトを作るのは本当に難しい。」* ## [39:14] MaximがAGIを確信する理由 Sarahはこのまとめとして、Maximが人間のセキュリティチームがしばらく存在し続けると暗黙的に信じていることを指摘する。Maximはそれを肯定しながらも、タイムラインを示す。ほとんどのナレッジワークがそうなるように、セキュリティチームも近い将来、完全にAIエージェントで運営されるようになる。AGI楽観主義の彼の地に足のついたバージョンはこうだ——優れたプロダクトを作る仕事の本質は変わらない。常にエンドユーザーが誰かを知り、そのエクスペリエンスを最適化すること。今は、数体のエージェントを傍らに持つ人間向けに売っている。その比率が逆転したとき、同じ原則がそのまま当てはまる——ダッシュボードではなくコンテキストウィンドウを読むエージェントに向けて。 > *「今日プロダクトを売るとき、私は少数のエージェントを従えた人間のオーディエンスに売っています。そのオーディエンスが人間よりエージェントの方が多くなったとき、私たちも進化して、エージェントが仕事をする環境でうまく機能させることが重要になります。」* ## 登場人物 - **Maxim Bar Kogan** (人物): Onyx SecurityのCo-founderかつCEO。元イスラエル諜報機関出身、数学と攻撃的サイバーセキュリティが専門。 - **Sarah Guo** (人物): No Priorsのホスト。ConvictionのFounder兼GP。 - **Onyx Security** (組織): AIエージェントの監視インフラを構築するイスラエルのスタートアップ。特化型の小型モデルを訓練し、エンタープライズAIエージェントの監視とガバナンスを担う。 - **AutoGPT** (ソフトウェア): 初期のオープンソース自律LLMエージェント。エージェントリスクを具体化した転換点としてMaximが引用。 - **Glasswing / Daybreak** (ソフトウェア): フロンティアモデルへのアクセスを管理するAnthropicとOpenAIそれぞれの管理展開プログラム。 - **Mechanistic Interpretability** (概念): ニューラルネットワークの重みと活性化の内部構造を理解するための研究プログラム。OnyxはこれをAI監視の長期的な柱として位置づけている。 - **Secure Control Plane** (概念): Onyxのプロダクトカテゴリ——エージェントの権限、行動の正当性、行動履歴をリアルタイムで監視するベンダー非依存のレイヤー。 - **8200** (組織): イスラエルの情報部隊。Onyxエンジニアを含む、イスラエルのトップセキュリティ・テック人材の多くを輩出したとされる。

#ai-security#enterprise-ai#ai-agents
Devin’s 80% Moment: Background Agents, 7x PRs, & End of Hand-Held Coding — Walden Yan & Cole Murray
1:09:32
EN/ZH
2 ヶ国語で視聴
Latent Space約1か月前

Devin’s 80% Moment: Background Agents, 7x PRs, & End of Hand-Held Coding — Walden Yan & Cole Murray

プライベート市場、ソフトウェアの再評価と資本配分 | Marc Rowan on a16z
55:23
EN/ZH
2 ヶ国語で視聴
a16z約1か月前

プライベート市場、ソフトウェアの再評価と資本配分 | Marc Rowan on a16z

Apollo CEOのMarc Rowは、1990年にDrexelが崩壊した日曜日——段ボール箱に荷物を詰めてオフィスを去ったあの瞬間から、Apolloが世界最大の民間退職所得プロバイダーかつグローバルな産業ルネサンスの主要融資機関として1兆ドル規模に達するまでの軌跡を一本の線で描く。a16z GPのDavid Haberとともに、S&P 500の半分近くを10銘柄が占める今なぜプライベート市場が構造的に不可欠なのか、日次の時価評価がプライベートクレジットをいかに五つの新たな資本チャネルへ開放するか、そしてAIが全職種を代替または強化すると確信する理由——その先でブルーカラーが台頭し、プライベートエクイティが過去10年に積み上げたエンタープライズソフトウェアへの投資が壊滅的な結末を迎える可能性——を掘り下げる。 ## [00:00] イントロ 対話全体を貫く三つの問題意識がここで提示される。公開株式市場の集中リスク(10銘柄がS&P 500の約50%に接近)、AnthropicやSpaceXのような数兆ドル規模の価値を持つ非公開企業への大多数の投資家によるアクセス不能、そしてAIが全職種を代替または強化するというApolloの前提だ。Marc RowはDavid Haberによる歓迎に感謝し、本格的な対談が始まる。 > *「今、米国の10銘柄がS&P 500の約50%を占めていて、しかも全部同じトレンドに乗っている……投資家として分散投資を求めるなら、プライベート市場以外に選択肢はない。」* ## [00:52] Drexel、Milken、そしてゼロベース思考の原点 Marc RowがGoldman Sachsよりも Drexelを選んだのは、起業家への融資には深い事業判断力が必要で、テクニカルなファイナンスだけでは足りないと見抜いていたからだ。ハイイールド市場はまさに生まれつつあり——PIK債、銀インデックス連動債、ハイリー・コンフィデント・レター、ブリッジファイナンス——誰もがゼロベースで問題を解かざるを得なかった。Michael Milkenから受け継いだ最大の遺産は、地政学・技術・市場を横断して点と点を結び、一貫した世界観を構築する力だ。「変化を受け入れるか、変化に押しつぶされるか」という彼の格言は、Apolloの中核原則として今も生きている。 > *「PIKという概念は、ある問題を解くために一つの午後で生み出されたと私は信じている……これらはすべて、問題と解決策の繰り返しだった。事業を理解し、クレジットを理解しながら、ゼロベースで考える——その姿勢こそが、今のApolloを動かしている。」* ## [04:55] Apolloの創業秘話:無職から60億ドルへ 1990年の週末、Drexelが倒産した。Marc Rowと同僚たちはファームもなく報酬の見込みもないまま、クライアントの取引を完了させ続けた。そこで得た教訓は明確だった——金融機関が死ぬのは心臓発作(資金調達リスク:短期で借りて長期で貸す。Bear StearnsとLehman Brothersがのちに証明した)か、がん(損失を認めず不良資産を積み上げ続ける)のどちらかだ。フランスのCrédit Lyonnaisからかかってきた一本のコールドコールが——本来はM&AブティックのセットアップのためのED——フランス政府からの8億ドルの種銭となり、1990年末には60億ドルへと膨らみ、Apolloはその銀行最大の利益源となった。 > *「金曜日にオフィスを出た。日曜日に戻ったとき、私は全ての荷物を段ボール箱に詰めてオフィスを去った。Drexelはもう存在していなかった。」* ## [08:46] Apolloが1兆ドルの退職・クレジット会社になるまで 今日のApolloは80%が投資適格クレジット、20%がエクイティ(ハイブリッドエクイティと伝統的プライベートエクイティに二分)——世間の認識とはまったく逆だ。Marc RowはApolloの事業を三つの社会的使命に根ざして位置づける。高齢化し退職資産が不足した人々への退職所得の提供、エネルギー・製造業・AI・防衛にわたるグローバルな産業ルネサンスへの融資、そして一握りの銘柄に集中する公開市場から真の分散を提供すること。株式市場で起きているのと同じ集中現象が固定収益市場でも進行しており、10大銀行が5大銀行と5大テックプラットフォームへと絞り込まれつつある。 > *「プライベート市場は、今この世界で動いているアクションの80%を占めている……優れた企業——Anthropic、OpenAI、SpaceX、Cognition、Cursor——はすべて非公開で、その価値は数兆ドルに上る。それなのに大多数の投資家はこれらに一切エクスポージャーを持っていない。」* ## [13:00] パーマネントキャピタル、オリジネーション、そして真の希少資源 公開市場であれば資金さえあれば無制限に投資できる従来の資産運用会社と異なり、Apolloの制約は利用できる資本ではなく、案件を自ら発掘するオリジネーション能力にある。資産そのものの希少性こそが事業のボトルネックだ——だからこそ各案件は、手数料収入だけでなくApolloが自己資金でポジションを取ることでクライアントと利害を一致させ、最大限の価値を引き出さなければならない。Marc Rowは「キャピタルライト」論に真っ向から反論する。ブランド・評判・成果を保証する能力が競争優位の源泉となる世界では、大きなバランスシートは死荷重ではなく戦略的な武器だ。 > *「したがって、私たちが評価されるべきは、魅力的な投資機会を生み出す能力においてだと思う。そしてその能力には限りがある。」* ## [16:08] プライベート市場の民主化:日次価格付けと新たな資本チャネル オルタナティブ産業はもともと一種類の資金源——機関投資家のオルタナティブ枠——のために設計されたが、今や五つの新たな市場がアクセスを求めている。個人、保険会社、伝統的な資産運用会社、401(k)プラン、そして機関投資家の債券・株式枠だ。これらのどれもドローダウンファンドを望まない。Apolloは6月30日までに投資適格プライベートスイートについて日次推定価値の提供を開始し、9月までに全クレジット商品を日次価格付けに移行する計画で、標準化されたデータウェアハウス、マーケットメイク、定期的な価格開示も整備する。Marc Rowは「プライベートクレジット」という言葉が狭い意味で使われがちな点を批判し、その真の対象はIntel、Air France、AT&T、Metaのような洗練された借り手——銀行には組成できない複雑で非標準的な長期融資を必要とする大企業——だと強調する。 > *「世界のどんな市場でも、透明性と価格発見があれば市場規模は10倍になる。それは人々を不快にさせるかもしれないが、避けられない流れだ。」* ## [22:04] ベンチャーとクレジットの交差点:産業ルネサンスへの資金供給 Marc RowとDavid Haberが共有する投資哲学は「専門分野と専門分野の間に眠る機会」を狙うことだ。今まさに見えている交差点はこうだ——歴史的に資本効率を重視してきたベンチャー支援の企業が、突然データセンター、半導体、ロボティクス、製造ライン、防衛システムの建設に乗り出し、エクイティだけでは賄えない規模の資金需要を生んでいる。Apolloはリスクを切り分ける——ベンチャー側が事業の根本的な価値を引き受け、硬い担保のあるインフラ資産は適切なリスク評価でクレジット市場へ移行させる。Marc Rowの見立てでは、2025年はデータセンター・半導体・エネルギーへの需要が証明された年で、2026年は4社の公開企業だけで8,000億ドルの設備投資が集中リミットに達し、スプレッドが拡大し、テック起業家が金融起業家とパートナーを組まざるを得なくなると投資家が気づく年だ。Apolloはこの成長エコシステムの人材プールに近づくため、ベイエリアへの第二本社設置を決めた。 > *「データセンター、半導体、ロボティクス、製造、防衛に投じられる資金は、火の発明以来の全投資額に匹敵すると言っても過言ではない——それはエクイティだけで賄えるものではない。」* ## [30:01] AI・エンタープライズソフトウェア、そして全職種が代替・強化される時代 Marc Rowの前提はシンプルだ——AIはすべての職種を代替するか強化する。過去10年のプライベートエクイティのAUMのうち30%がエンタープライズソフトウェアに向かい、AIがそれらの資産を恒久的に再評価したと彼は率直に言い切る。そのビンテージのPEリターンは「壊滅的」になる——その企業が失敗するからではなく、AI競合のない未来を前提に高値で買いすぎたからだ。分析の軸はこうだ——AIが最も速く変革するのは「正解のある」領域(コーディング、会計、トレードオペレーション)で、不可逆的な判断力が求められる領域では変革が遅い。近い将来、ブルーカラーが台頭しホワイトカラーが苦境に立つ——これは大都市にとって政治的に不都合な事実だ。レンダーとしての教訓は、イエローページ・ケーブルTV・衛星放送の轍を踏まないこと——分散し、シニアポジションを保持し、硬い担保を求め、5年から7年を超えた未来は絶対に与信の前提にしない。 > *「私たちは、すべての仕事がAIに代替されるか強化されるという前提で動いている。一つ残らず全部。それが実際に起きることだと思っている。」* ## [38:52] 道義的リーダーシップ:UPenn、実力主義、正しいことを選ぶ覚悟 10月7日の後、Marc RowはPennの学長に直接書状を送り、パレスチナ人権会議を問題にした。論点は表現の自由ではなく「お気に入りの表現」だった——大学がユダヤ人の高祭日に、ハマスの支持者として知られる人物が主導する会議に資金を提供していたのだ。彼はキャンパス全体の危機をアメリカ的価値観と実力主義への攻撃として位置づけた。ほぼ全ての寄付者が年間1ドルへの寄付削減を決めると大学執行部は動き、その後の議会証言を経て理事会議長と学長が辞任した。Marc Rowが2021年にCEOに就任して以来Apolloに内部適用してきた原則は明快だ——テキサスでもカリフォルニアでも同じことを言う。気候変動については「ゼロカーボン絶対主義」ではなく「悪化させずに改善する」。採用については「距離を加味した実力主義」——それはグループ属性ではなく個人として何かを乗り越えながらなお成果を上げたかどうかで測られる。 > *「私たちは距離を加味した実力主義で採用する。そこでいう『距離』は不変的な属性によるものではない。個人として——あなたのクラスでも、あなたの属するグループでもなく——何かを乗り越えながら結果を出した人を見せてほしい。」* ## [46:02] Apolloのカルチャー:勝ちにいく姿勢と創業者を超えて続く組織 資産運用と退職サービスを合わせて6,000人を擁するApolloは、「Apolloらしさとは何か」を経営幹部との間で6か月かけて交渉し、採用候補者への選別フィルターとして機能するよう意図的に率直に書いたドキュメントをキャリアページで公開している。六つの原則を一言で圧縮すれば「勝ちにいくこと」——これは負けへの恐れとは根本的に違う。上級職はおよそ40%の確率で判断を誤ると想定されており、悪い意思決定では誰もクビにならない(認めて修正しなければクビになる)。すべての上級幹部は失敗事例を公開した「恥の壁」を持つ。ゼロベース思考、知的非服従(本当の不服従とは区別される)、そして従業員の「大切な瞬間」をどう扱うか——これらがMarc Rowが創業者として自分の後に残したい資質だ。Apolloは今、ファンドを運用しているのではなく金融機関を築いている。今後5年の商品開発・インフラ整備・マーケットメイク革新によって、この会社は過去5年と比べた変化を上回る姿へと変わっていく。 > *「ここでは、悪い決断をしたからといってクビにはならない。認めなかった、あるいは認めて修正しなかったからクビになる。私たちには『恥の壁』がある。全ての上級幹部がこの会社で損失を出した経験を持っている。」* ## 登場人物・組織 - **Marc Rowan**(人物):Apollo Global Managementの共同創業者・CEO・会長。元Drexel Burnham Lambertのアナリスト。UPennの卒業生かつ主要寄付者 - **David Haber**(人物):Andreessen Horowitz(a16z)のGeneral Partner。The a16z Showのホスト - **Michael Milken**(人物):Drexel Burnham Lambertの金融家。Marc Rowの長年のメンター。PIK債、ブリッジファイナンス、ハイイールド市場の創設者とされる - **Apollo Global Management**(組織):1兆ドル超のオルタナティブ資産運用会社。80%が投資適格クレジット。Athene退職サービスの共同創設者。ベイエリアへの第二本社設置を計画 - **Athene**(組織):Apolloの退職サービス子会社。Apolloのパーマネントキャピタル基盤を支える保険・年金商品のプロバイダー - **Andreessen Horowitz(a16z)**(組織):シリコンバレーのベンチャーキャピタル。資本集約型テック企業向けにApolloとの資本パートナーシップを模索 - **Crédit Lyonnais**(組織):1990年にApolloへ8億ドルの種銭を提供したフランスの政府系銀行。年末には60億ドルに成長し、その後François Pinaultに売却 - **プライベートクレジット**(概念):公開債券市場を介さず、企業やインフラプロジェクトへ直接投資適格債務を融資すること。「レバレッジドバイアウト向けダイレクトレンディング」よりはるかに広い概念 - **パーマネントキャピタル**(概念):保険・退職商品から生まれる長期負債。ファンドの償還圧力なしにApolloがサイクルを通じて資産を保有することを可能にする - **産業ルネサンス**(概念):データセンター・AIチップ・エネルギーインフラ・製造業・ロボティクス・防衛の世界同時建設というMarc Rowの造語。クレジット市場規模の資金供給を必要とする - **日次推定価値**(概念):投資適格プライベートクレジット商品を日次で価格付けするApolloの取り組み。ウェルスマネージャー・401(k)プラン・伝統的な資産運用会社のアクセスを開放する

#private-markets#private-credit#capital-allocation
AIですべてを自動化したら、社員が3倍に増えた
41:13
EN/ZH
2 ヶ国語で視聴
Every約1か月前

AIですべてを自動化したら、社員が3倍に増えた

Dan ShipperのEveryは、GPT-3以来4人から30人へ拡大し、ほぼすべてのワークフローにエージェントを組み込みながら、今も採用を続けている。*AI & I* 恒例の形式を逆転させ、COOのBrandon Gellがインタビュアーとして登場。Danの8,000ワードのエッセイ "After Automation"(自動化の後に)について問い詰める。論旨の核心はこうだ。AIの能力が上がるほど、ドメインは「惜しいが正しくない」アウトプットで溢れ返り、その差を埋められる人間の判断力への需要がかえって高まる。 ## [00:00] AIがやり遂げ、次を問う インタビュー本編から切り出した冒頭のやり取りが、この回の緊張を凝縮している。Brandonがお馴染みのAI体験を描写する——プロンプトを打つ、度肝を抜かれる、自分が時代遅れに感じる——そして、AIが止まって「次、何をすればいい?」と聞いてくる。Danはそこで論の軸となる一文を返す。「エージェントが人間から遠ざかるほど、価値が下がる。」両クリップは本編の00:11と00:35付近から取られ、続く議論を枠組む。 > *「エージェントが人間から遠ざかるほど、価値が下がる。」* ## [00:51] イントロダクション Brandonが形式の逆転を説明する。今日はDanにインタビューし、Danの主張に反論する側に回る。Danは執筆の動機を語る——エージェントをフル活用する会社の内側にいながら、自動化と並行して社員数が増えていく現実と、「AIが雇用を奪う」という世間の語りとのズレを感じたことがきっかけだ。ClickUpのCEOが大規模解雇をAIのせいにしたツイートが話題に上り、Danの論が成熟した大企業にも当てはまるかが最初の試金石となる。 > *「うちのSlackでスティックを振れば、人間に当たる確率とエージェントに当たる確率は同じくらいだ。」* ## [05:51] AIのパラドックス:自動化が進むほど人間の仕事が増える Danが論の骨格を展開する。AIはこれまでのすべての成果物で訓練されているため、「昨日の専門家の能力」を安価に誰にでも届けられる。これで非エンジニアがPRをマージし、機能をリリースできるようになる。しかし問題は、出てくるものが一様に「惜しいが正しくない」点だ。目の前の状況に合っていない。結果、それ自体では使えない大量の「惜しい成果物」が溢れ、同時に、それを完成形に持ち込める専門家への需要が膨らむ。Brandonが社内の事例を添える——ぱっと見は問題なさそうなPRが、シニアエンジニアが中を見ると別の話、というやつだ。 > *「惜しいが正しくないものが大量に溢れる、という状態になる。」* ## [10:00] AIが昨日の専門家の能力をどう安価にするか ベンチマーク反論にDanが切り込む。モデルは指数関数的に改善するが、ベンチマークが飽和したら問いを少しずらせばまた不飽和に戻る。本質的な問題はもっと深い。人間は明文化できない暗黙の能力の層を持っていて、それはクリーンな仕様として記述できない。記述できるものは何でもモデルが勾配を上り詰める。Everyの実例がそれを裏付ける。KieranはAIを使って完全なインボックス機能を一人で一、二ヶ月で仕上げた——以前なら「絶対に不可能」な話だ。だがその価値は、何を作るべきか知り、すべての判断を下せる専門家がいてこそ生まれた。 > *「あなたがやっていることの中には、クリーンなフレームで言語化できないものが実際にたくさんある。」* ## [18:00] AIは自律的に動けるが、主体性は持たない Brandonが自律性と主体性の境界を引く。AIエージェントは手取り足取り教えなくても複雑なタスクをこなせるようになっている——それが自律性だ。しかしそれは、幼い子どもでさえ持つ「やりたいからやる」という自己動機、すなわち主体性とはまったく別物だ。Danも同意し、経済的なインセンティブがその方向に動くことはないと言う。デスクに向かっているとき、エージェントが「今日は気分じゃない」と言ったら製品の失敗だ。業界の誘因構造全体が従順さとコレクタビリティを指向していて、それがちょうど人間をループに置き続ける設計になっている。 > *「エージェントとは、誰かの代わりに動く存在を指す。それは、どんな小さな子どもも持っている主体性とはまったく別のものだ。」* ## [20:39] DanがAGIに全力で賭ける理由 Brandonが一言で答えるテストを提案する。AGIは来ると思うか——Dan: はい。それは良いことか——Dan: はい。Danが示すAGIの定義は検証可能なほど精確だ。「一度も再プロンプトしなくても、常時稼働させ続けることが経済的に合理的なエージェント」。理由はシンプルで、真に自律的なシステムであっても、人間の目標を果たすべく設計されているはずだ——そうでなければ誰も作らない。Brandonが懸念を口にする。常時稼働が経済合理性を持った途端、大量解雇の論理が成り立つのではないか。 > *「一度も再プロンプトしなくても、経済的に常時稼働させ続けることが合理的なエージェント——それが私のAGIの定義だ。」* ## [21:57] AIによる解雇という嘘 DanとBrandonがClickUpの事例を解剖する。CEOが大規模解雇をAIによるものだと公言した件だ。Danの読みは明快で、汎用SaaS企業は経営が苦しくなるか過剰採用が積み上がると人を切る、そのときにAIを理由に使うだけだという。Brandonが付け加えるのはJensen Huangの反論——「進歩への答えが解雇なら、それはクリエイティビティの欠如だ」——は自己奉仕的だが、たぶん正しいというものだ。誠実な言い方はこうだ。AIはワークフローを根本から変えるため、組織全体の再構成が必要になる。それをサボって人を切る会社は、楽な逃げ道を選んでいる。Metaが社員のキーロギングで学習データを収集しているという話も、より創造的な(不安ではあるが)代替案として一瞬触れられる。 > *「AIがすべての仕事や知識労働をなくすと言っている人には、正直かなり懐疑的だ。」* ## [25:42] モデルに乗り続ければ大丈夫 AGIシナリオのもとでも、決定的な変数は「何が重要か」についての人間の判断——そしてAI自体が世界を絶えず作り替えているため、何が重要かも変わり続ける。チャットボットを信頼しない顧客サービス担当者、サポートスタッフを解雇して二ヶ月後に静かに再雇用した企業、こうした事例が現実の普及速度がいかにハイプに遅れるかを示している。普及には一世代かかる。ツールはいずれ誰でも使えるようになる。勝者は、新しいモデルが出るたびに自分の仕事に取り込んで学び続ける人だ。Danが最後に残す最も端的な一言——「モデルに乗り続ければ大丈夫」。 > *「新しいモデルが出たら、自分がやっていることに使えるよう学ぶ。それだけで大丈夫。」* ## [35:30] AIを長文フィーチャーの編集者として使う方法 "After Automation" の執筆プロセスをDanが具体的に語る。毎朝Proofにその日の論の状態を声でモノローグとして吹き込み、そのログをClaudeに渡して「自分が本当に言おうとしていることは何か」と問いかける。草稿が4,000ワードを超えてからは、Codexで最新稿をポッドキャスト音声に変換して通勤中に聴き、画面を見ずに流れの問題を捕まえた。論が定まるまでに全面的な書き直しを四、五回繰り返した。Danの結論は明快だ。AIがエッセイを書いたわけではない。ただ、8,000ワードの構造全体を作業記憶に保ちながら筋を見失わずにいられたのは、AIのおかげだ。 > *「これがなければ書けなかった。Claudeにログを渡して『自分が本当に言おうとしていることは何か』と聞くと、返ってくる言葉を見て『そう、それが言いたかったことだ』となる。」* ## 登場人物・概念 - **Dan Shipper** (人物): Everyの共同創業者兼CEO。*AI & I* の通常ホスト。今回はエッセイ "After Automation" について語るインタビュイーとして出演 - **Brandon Gell** (人物): EveryのCOO。形式を逆転させ、今回はDanにインタビューする役を担う - **Every** (組織): AIネイティブなメディア・ソフトウェア企業。GPT-3以来4人から30人に拡大しながら大幅な自動化を進め、*AI & I* ポッドキャストを運営 - **After Automation** (概念): Dan Shipperによる8,000ワードのエッセイ。AIの自動化がドメインを「惜しいが正しくない」アウトプットで溢れさせることで、その差を埋められる人間の専門家への需要を高めると論じる - **専門家の能力ギャップ** (概念): AIは「昨日の専門家の能力」を安価に届けるが、常に少しずれている——そのギャップを埋められる人間へのニーズが増すという論の核心 - **AGI** (概念): この回でのDanの定義は「一度も再プロンプトしなくても常時稼働させることが経済的に合理的なエージェント」。実現すると確信しており、ネットポジティブだと考えている - **自律性と主体性** (概念): Brandonが引く境界線。AIが手取り足取りなしにタスクを遂行できること(自律性)と、自己動機による欲求(主体性)はまったく別物で、後者はどんな幼児も持つが、AIにはない - **Proof** (ソフトウェア): Danが毎日の音声モノローグ草稿に使う執筆ツール。エッセイ開発中のAIフィードバックループの起点として活用 - **Codex** (ソフトウェア): DanがエッセイのドラフトをAI音声ポッドキャスト形式に変換し、通勤中に聴いて確認するために使用したOpenAIのツール - **ClickUp** (組織): CEOが大規模解雇を公言しAIを理由に挙げたSaaS企業。AIを利用した解雇の正当化のケーススタディとして取り上げられる

#ai-automation#future-of-work#llm
🔬 苦い教訓がタンパク質の世界にやってくる — Alex Rives、BioHub
1:10:12
EN/ZH
2 ヶ国語で視聴
Latent Space約1か月前

🔬 苦い教訓がタンパク質の世界にやってくる — Alex Rives、BioHub

BioHubのサイエンス責任者であり、Meta FAIRでESM-1からESM-3を主導した研究者Alex Rivesが、BrandonとRJ Honikyのもとを訪れ、マスク言語モデルをタンパク質配列にスケーリングすることで生物の構造・機能・設計が解き明かせるという8年間の確信を語る。今回のエピソードでは、ESMCのスケーリング則を回復させたUniRefからメタゲノミクスへのデータ転換、百年にわたる生化学的分類体系を教師なしで再現したスパース自己符号化器によるフィーチャーアトラス、そして世界モデル探索により治療グレードの一本鎖抗体(SCFV)を設計した初の成功例を取り上げる。さらにRivesは、BioHubの5億ドル規模の仮想生物学イニシアティブと、汎用細胞モデルを生み出すための原則を説く。 ## [00:00] ESMCが抗体を設計する — プレビュー 冒頭のクリップは、インタビュー後半でRivesがESMCによるプログラマブル生物学のアプローチを語る場面から抜粋したもの。タンパク質世界モデルを検索して設計条件を満たす配列を探し出すという手法を説明し、チームがミニバインダーや治療上重要な結合親和性を持つ一本鎖抗体フラグメント(SCFV)を設計したことに言及する。このクリップはフォーマルなイントロに先立って置かれ、エピソードが何を目指しているかを示している。 ## [00:33] 苦い教訓、タンパク質に到来 BrandonとRJ Honikyは、Alexを「いまタンパク質生物学で最も苦い教訓を体現している人物かもしれない」と紹介する。Rivesはそのラベルを受け入れる。確信の原点は2018年。Meta FAIRのチームがマスクトークン予測によるトランスフォーマー言語モデルをタンパク質配列に初めて適用したとき、明示的な監督なしに構造・機能の表現が自発的に現れるのを目撃した。中心的な直観は、Zellig Harrisが1954年の論文「分布構造」で示した考え方から借りている。アミノ酸が現れうるコンテキストは、そのタンパク質の構造・機能・進化的役割によって決まる。全生命から集めた数十億の配列にわたってその統計的な圧力をかけ続ければ、モデルはタンパク質生物学を支配する潜在変数を学ぶはずだ。 > *「私はスケーリング則を信じています。」* ## [06:00] ESMの系譜:ESM2からESMCへ Rivesは4世代のESMを振り返る。ESM2はスケーリングの恩恵を示したが、100億パラメーターで収穫逓減に陥った。モデルが飽和したのではなく、データが飽和していた。金字塔的タンパク質データベースのUniRefは培養生物を中心に収録しており、ヒト関連生物学に強く偏っている。ESMCへの転機はメタゲノムデータだ。熱水噴出孔・極地土壌・下水道から採取された配列であり、生物種の帰属なしに環境DNA断片から直接アセンブルされた不完全なコンティグも含まれる。数十億のメタゲノム配列をトレーニングに追加したことで、対数線形のスケーリング則が復活し、小スケールの実験が60億パラメーターのフラッグシップモデルの表現精度を正確に予測できるようになった。 > *「スケールに対する収穫逓減はもはやない。ESM2はコンピュート制約ではなく、データ制約だったのです。」* ESMCは本質的にバニラトランスフォーマーで、標準的なマスキング目標を使っている。AlphaFoldのようなMSAも、幾何学的帰納バイアスもない。BrandonとRivesは、ESM3のマルチトラックアーキテクチャが生産的な回り道だったかどうかを短く議論する。Rivesは両パラダイムに居場所があると言いつつ、ESMCの結果はこのデータ規模では事前情報が決定的ではなかったことを示唆していると述べる。 ## [18:30] 機械論的解釈可能性とタンパク質フィーチャーアトラス BioHubチームは、ESMCモデルファミリー(300M・600M・6B)の全層にわたってスパース自己符号化器を訓練し、タンパク質表現空間の固有フィーチャー幾何を抽出した。浮かび上がってきたのは、生物学が百年かけて実験的に積み上げた還元的階層構造に近いものだった。基本的なアミノ酸化学から始まり、構造モチーフ、ドメインファミリー、大きな機能テーマへと連なる階層が、その分類体系を一切教えることなく出現したのだ。 > *「あるアミノ酸の選択は、配列中の他のすべてのアミノ酸の選択と完全に絡み合っている。これをうまくやるには、モデルが生物学を表す潜在変数を持つようになるはずです。」* 具体的な発見として、モデルは求核エルボーという触媒モチーフをエンコードしている。これは複数の無関係なタンパク質ファミリーで独立して進化したと考えられる構造で、すべてに対して活性化する単一のフィーチャーとして表現されていた。チームはさらに68億の非重複タンパク質の構造アトラスを構築し、11億のクラスター代表について構造を予測した。SAEフィーチャーを使って進化的に遠い遺伝子編集システムを接続しており、そのクラスターに引き込まれたタンパク質の中には機能未知のものもある。Rivesはそれらを発見待ちキューとして扱っている。ESMアトラスの初版は、外部のグループが新たな遺伝子編集システムを発見するのにすでに使われた。 ## [35:30] ESMCで抗体を設計する Rivesはタンパク質設計を世界モデル探索として描く。生成モデルを逆転させて、目標の結合条件を満たす配列を見つける。ミニバインダーはいまや日常的になった。ナノボディやSCFVは、構造予測ベースの手法にとっては依然難しい。抗体の進化は制約された折り畳みに収束するのではなく多様性を最大化するため、MSAベースのアプローチが機能しにくい。その多様性を大規模にトレーニングしたESMCこそ、表現が最も豊かになるはずの場所だ。 > *「抗体は、分子の構造トポロジーを予測するのと同じように進化情報の恩恵を受けないでしょう。」* チームは少数の試行で治療グレードの親和性を持つSCFV設計に成功したと報告しており、SCFVを完全なIgGに再フォーマットできることにも言及する。ESMFold 2はESMC表現の上に構築された構造予測ヘッドで、MSA不要で一配列あたり数秒で動作し、プロテオーム全体のマルチマーマッピングを現実的なものにする。Rivesは、現在オープンウェイトのマルチマー予測において最高水準にあると述べる。 ## [42:00] BioHubのビジョン:プログラマブル生物学へ BioHubに着任して6ヶ月のRivesは、機関の構造を説明する。先端的な実験生物学・先端的な計測技術・先端的なAIをオープンサイエンスの指針のもとで一体で構築する慈善的研究機関だ。目指す先は個別化された生理機能の予測モデルであり、薬ではなく、特定のヒトゲノムにおける疾患発現まで、タンパク質レベルの分子イベントから細胞回路を通じて追うことのできるシステムだ。 > *「私たちはこの新しいパラダイムのための科学機関を作っています。」* モデル化しなければならない生物学的複雑性のレベルを順に示す。タンパク質(現世代)、細胞(次)、組織・システム、生理機能。タンパク質から細胞へ移行するには、まだ存在しないデータと、おそらくまだ発明されていないモデリング手法が必要だ。現在の「仮想細胞」モデルの汎化能力は乏しく、訓練データをよく表現できても、未観測の介入コンテキストでの結果予測には失敗する。 > *「新規介入を新規未観測コンテキストで行ったときに何が起きるかを予測する能力は、非常に限られています。」* ## [57:00] 仮想生物学イニシアティブと細胞データのスケーリング BioHubは最近、内部のデータ生成・計測技術に4億ドル、外部の取り組みの触媒として1億ドルを発表した。これが合わせて仮想生物学イニシアティブだ。Rivesはこれをシードファンドと位置づけている。実際に必要なデータ量はさらに大きく、BioHubの取り組みが科学コミュニティ全体の投資を引き出すことを期待している。 3つのデータ原則を示す。速度(タンパク質データには半世紀かかった。細胞にはそれだけ待てない)、汎化(訓練分布は、タンパク質にとってのメタゲノムの広さに相当するほど多様な介入・細胞型・コンテキストをカバーしなければならない)、フィードバック(モデルの予測に誘導された能動的な実験ループ。ウェットラボ生物学にRLVRを適用するようなもの)。摂動シーケンシング・空間トランスクリプトミクス・クロスモダリティ単細胞計測が、いま動かせるスケーラブルな技術だ。 コンピュートについて。ESMCはおよそ10億の配列で訓練された。存在すると考えられる配列は約1000億であり、現在のアトラスの68億ですら十分に活用できていない。100倍のコンピュート増強は有益だが、データのスケールアップと並行してこそ意味がある。収穫逓減がいつ現れるかは経験的に開かれた問いだとRivesは言う。ESM2の曲線も、メタゲノムデータがそれを消し去るまでは飽和しているように見えた。 > *「これを数年でやり遂げる方法を見つけなければなりません。汎用AIの発展速度を考えると、生物学は実験科学とデータによって根本的に制約されることになります。」* ## 登場人物 - **Alex Rives** (人物): BioHubサイエンス責任者。ESM-1・ESM-2・ESM-3・ESMC・ESMFold 2の設計者。元Meta FAIR所属。 - **Brandon** (人物): Latent Space「AI for Science」サブシリーズの共同ホスト。Atomic AI(RNA治療薬)所属。 - **RJ Honicky** (人物): 共同ホスト。Miro OmixのCTO・創業者。 - **ESMC** (ソフトウェア): BioHub/EvoScaleによる第4世代タンパク質言語モデル。パラメーター数300M〜6B。メタゲノムデータを含む約10億配列で訓練。MITライセンスのオープンソース。 - **ESMFold 2** (ソフトウェア): ESMC表現上に構築された構造予測モデル。MSA不要で一配列あたり数秒の推論。オープンウェイトのマルチマー予測で最高水準。 - **ESM** (ソフトウェア): Evolutionary Scale Modeling — Rivesのチームが先駆けた多世代タンパク質言語モデルの系譜(ESM-1・ESM-2・ESM-3・ESMC)。 - **スパース自己符号化器 / SAE** (概念): ESMCの表現空間の固有フィーチャー幾何を抽出する機械論的解釈可能性ツール。監督なしで生物学的に解釈可能な階層を明らかにする。 - **苦い教訓** (概念): Richard Suttonの主張。コンピュートとデータを活用した汎用的手法は、ドメイン知識を組み込んだ手法を一貫して上回る。ここではタンパク質生物学のスケーリングに適用されている。 - **メタゲノムシーケンシング** (概念): 培養なしに微生物・ウイルスの多様性を捉える環境DNAシーケンシング。ESMCのスケーリング則を回復させたデータ拡張の源。 - **BioHub** (組織): Chan Zuckerberg BioHub。実験生物学・計測技術・AIの交点でオープンサイエンスツールを構築する慈善的研究機関。 - **仮想生物学イニシアティブ** (概念): BioHubによる5億ドルの取り組み(内部4億ドル・外部1億ドル)。汎用細胞モデルの訓練に必要な細胞スケールのデータを生成するための投資。 - **AlphaFold** (ソフトウェア): DeepMindの構造予測システム。MSAと幾何学的帰納バイアスを使用。ESMCのMSA不要アプローチと対比される。 - **UniRef** (ソフトウェア/データベース): 金字塔的なキュレーション済みタンパク質配列データベース。ESM2の訓練データだったが、スケーリングの頭打ちを引き起こしたボトルネックであることが後に判明。 - **求核エルボー** (概念): 進化的に無関係な複数のタンパク質ファミリーに現れる触媒的構造モチーフ。ESMCではすべてに対して活性化する単一フィーチャーとしてエンコードされている。 - **Zellig Harris** (人物): 言語学者。1954年の論文「分布構造」で、語のコンテキストが意味をエンコードすることを論じた。アミノ酸のコンテキスト統計が生物学的機能をエンコードできる理由についてRivesが引用する理論的先駆者。

#protein-language-models#scaling-laws#esm
CursorはどうやってFireworks上でComposerを訓練したか:高性能RLのための分散インフラ
45:33
EN/ZH
2 ヶ国語で視聴
Sequoia Capital約1か月前

CursorはどうやってFireworks上でComposerを訓練したか:高性能RLのための分散インフラ

CursorのFederico CassanoとFireworksのDmytro DzhulgakovがSonya Huangに対し、Composer 2の構築過程を全レイヤーにわたって解説する。Kimi 2.5 MoEベースからの大規模ミッドトレーニング、グローバルに分散した非同期RLまで、なぜ特化モデルがコストと品質の両面で汎用モデルを上回るかを論じる。インフラの話が核心だ。4大陸にまたがるGPUクラスター、Delta Compressionで1TBの重みスナップショットを1分以内に転送する仕組み、そして実ユーザーの信号をもとに数時間ごとにモデルを更新するリアルタイムRLループ。これらを組み合わせることで、Cursorは汎用モデルの何分の一かの推論コストでフロンティア級のコーディング性能を実現している。 ## [00:00] イントロダクション 会話はDmytroが提起したRL環境の忠実性という問題の途中から始まる。訓練環境はできる限り実ユーザーの機械に近づける必要がある。なぜならモデルは偽の環境にいることを検知し、それを利用しようとするからだ。 > *「モデルはずるをしようとする。RLはずるを促すのが得意だ。」* — Federico Cassano この一言が、エピソード全体を貫く技術的規律を示している。インフラの各部品は、訓練条件と本番環境の乖離を埋めるために存在する。 ## [00:53] CursorがComposer 2を訓練した理由 Federico Cassanoはアナロジーで核心を語る。モデルの重みは固定サイズのストレージで、Cursorに関係のないタスクに割り当てたビットはすべて無駄になる。Cursor内のソフトウェアエンジニアリングだけに重みの全量を注ぎ込めば、モデルはその一仕事でより高性能になるだけでなく、推論コストも下がる。 Dmytro Dzhulgakovはインフラ側から同じことを語る。プロンプトエンジニアリングで届く地点には上限がある。エージェントが呼ぶべきツール、その順序、引数という細かい振る舞いを刷り込むには、ファインチューニングとRLでモデル自体に焼き付けるしかない。 > *「プロンプトエンジニアリングで到達できる上限というものがある。本当に優れたAIプロダクトを作るなら、ファインチューニングを通じてモデルの振る舞いに影響を与えるしかない。」* — Dmytro Dzhulgakov ## [04:55] 特化 vs ビター・レッスン Sonya Huangが切り返す。機械学習の歴史は、より大きな汎用モデルに踏みつぶされてきた特化モデルの墓場だ。Composer 2はTabNineの過ちを繰り返さないか。Federico Cassanoの答えは明快だ。ビター・レッスンはパラメータ数とデータの規模に作用する。Cursorがやっているのは、モデルの有限な容量から余計なものを排除し、スケーリングの恩恵を唯一重要なタスクに集中させることだ。Cursorが競合とするラボのモデルもコードを大量に学習している。Cursorはデータパイプラインを端から端まで握ることで、その特化をより深く、より速く進めているだけだ。 ## [06:16] Composer 2の訓練レシピ Composer 2はKimi 2.5を出発点とする。1兆パラメータのMixture-of-Expertsモデルで、アクティブパラメータは30Bだ。訓練は2段階で進む。まず、事前学習に近い規模でコードトークンを使ったミッドトレーニングを走らせる。Cursorのプロダクトデータは高品質なコーディングコンテキストへの特別なアクセスを与えてくれる。次にシミュレーション環境で実際のCursorエージェントセッションを走らせる大規模RLフェーズに入る。 ミッドトレーニングでモデルはコードの世界を学ぶ。ライブラリAPI、慣用的なパターン、正しい構文。RLはその知識を正しい振る舞いへと研ぎ澄ます。モデルはツールを適切に呼び、複数ターンのエージェントセッションをこなし、実際にコンパイルが通りテストをパスするコードを書くことを学ぶ。非同期パイプラインでは、trainerとrollout環境が交互ではなく同時に動く。数学的な更新の完全性は犠牲にするが、GPU稼働率をほぼ100%に保てる。 > *「非同期にして完璧な数学的更新をしないことで数パーセント失うかもしれないが、容量の半分を無駄にしないことで十分に取り返せる。」* — Dmytro Dzhulgakov 訓練はFP4で走り、フロンティアラボが持つよりも小さなGPU群から最大のスループットを引き出す。推論エンジンはFireworksを採用し、自社ビルドはしない。Cursorのエンジニアが推論スタックの構築ではなく訓練効率に集中できるようにするための意図的な選択だ。 ## [16:32] RLインフラをグローバルに拡張する Composer 2が必要とする規模に見合う大きな単一クラスターは存在しなかったため、チームは構成を分解した。訓練はひとつのクラスターが担い、推論、つまりrolloutコンポーネントは4つの地理的に分散したクラスターに分散させた。オフピーク時間帯にはComposer 1.5の本番サービング用の余剰容量も使う。訓練は高速インターコネクトと同期動作が必要だが、推論はそうではない。異なる世代のGPUや小さなクラスター内ネットワークでも動かせる。 難しいシステム問題は重みの同期だ。Kimi 2.5は約1TBあり、trainerは5〜15分ごとに新しいチェックポイントを生成する。10分ごとに1TBを大陸間転送していたら推論が止まる。解決策がDelta Compressionだ。RLの更新は変化する重みのサブセットが疎で規則的な傾向があるため、差分だけを転送するアルゴリズムを書いた。転送量を約20分の1に圧縮し、受信側はフルチェックポイントをロスレスで再構成する。数値的なサプライズは起きない。 > *「フルモデルは1TBあるが、全ての重みが毎ステップ変わるわけではない。どのサブセットが変化するかには非常に規則的なパターンがある。」* — Dmytro Dzhulgakov ## [23:32] 浮動小数点のずれ 非同期RLループがrolloutのバッチを推論からtrainerに送ると、trainerはGRPO lossの計算のために同じフォワードパスを再実行して対数確率を再計算する。理論上は一致するはずだ。実際にはしばしば大きく異なる。根本原因は浮動小数点の非決定性だ。浮動小数点の加算は可換ではない。A+B+C≠C+B+Aで、小さな差が数十億の演算にわたって積み重なる。通常の推論ではモデルはこのノイズに強い。しかしRL下では、特にMoEのゲーティング関数が疎な場合、このノイズが増幅され、trainerと推論がサンプルされたトークンについて食い違い、訓練シグナルを汚染する。 ## [25:11] MoEの感度を読み解く MoEアーキテクチャは浮動小数点のずれをゲーティング層で増幅する。各Transformerレイヤーで、ゲーティングネットワークは384の専門家全員にスコアをつけ、各トークンに対してトップ8を選ぶ。隠れ状態が5桁目で違うだけで、選択境界でエキスパート7をエキスパート9に入れ替えるには十分だ。MoEのエキスパートは大きく重複がほとんどないため、誤ったエキスパート選択は小さなずれではなく大きな出力発散を引き起こす。密なモデルなら数値ノイズが全体で小さく収まるのとは対照的だ。 ## [26:25] Router Replayによる修正 対策がRouter Replayだ。推論時にモデルは各トークンに対してどのエキスパートのインデックスを活性化したかを記録し、生成シーケンスと一緒に整数値としてtrainerに送る。trainerはゼロから再計算するのではなく同じエキスパート選択を強制し、増幅の連鎖を断ち切る。Router Replayと並行して、推論と訓練の間で量子化レベルとカーネル実装を揃え、数値ミスマッチの他のすべての原因を最小化した。 > *「この数値的なアラインメントの多くは、量子化レベルを揃えたりカーネルを揃えたりといったトリックで、訓練と推論の実装の乖離を下げることに尽きる。」* — Dmytro Dzhulgakov ## [27:19] リアルタイムRLループ シミュレーションのrolloutループと並行して、Cursorはリアルタイムと Federico Cassanoが呼ぶループを動かしている。本番の実ユーザーセッションが訓練パイプラインにフィードバックされ、数時間ごとに新しいモデルバージョンが出荷される。チームはそのサイクルを短縮しようとしているが、rolloutのホライズンが長くなると評価に時間がかかるため、再び長くせざるを得なくなることも分かっている。 シミュレーションループとリアルタイムループは目的が違う。シミュレーションでは同じプロンプトから16〜128個のrolloutを並列で走らせられる。GRPO lossにはグループ化されたrolloutが必要だ。実ユーザーに影響せずオフポリシーで探索でき、モデルが実ユーザーに使ってもらえる水準に達する前にパフォーマンスをブートストラップできる。リアルタイムRLは洗練層であり、モデルがすでに最低品質基準を満たしていないと機能しない。悪い体験をしたユーザーはフィードバックシグナルを送ることをやめるからだ。 > *「ゼロからモデルを作るのにこれは使えない。ユーザーがモデルを使ってくれる必要があるから。すでに良くなければならず、さらに良くすることしかできない。」* — Federico Cassano ## [31:49] 長期ホライズンエージェント rolloutのホライズンが伸びると、2つの構造的な問題が浮上する。ひとつはクレジット割り当てだ。複数分のセッションの最後に単一のサムアップ/サムダウン報酬があるとき、50以上の意思決定の中でどれが結果を左右したかをモデルが割り出さなければならない。軌跡が長くなるほど指数関数的に難しくなる。もうひとつはコンテキストウィンドウが埋まること。Cursorの解決策は、compactionという名前でRL自体のループの中に自己要約を組み込むことだ。モデルはRLの報酬を通じて、コンテキスト上限に近づいたときに有用な進捗要約を書くことと、その要約から忠実に作業を続けることを同時に学ぶ。200Kコンテキストのモデルが実質的に数百万トークンにわたって動けるのは、ウィンドウをリセットしながら圧縮された形で作業記憶を持ち越せるからだ。 > *「RLはモデルをゴールに向かって正しく動かすよう促す。そのなかで、良い要約を書くことと、その要約をよく聞くことを、同時に訓練している。」* — Federico Cassano ## [34:29] なぜどこでもRL Sonya HuangはRLをエージェント的な長期ツール使用のためのツールと位置づける。Federico Cassanoは反論する。RLはタブ補完も含めてどこでも有効だ。彼の理論はこうだ。事前訓練済みモデルは人類の知識を吸収しているが、プロンプトされたときにどのペルソナを取るべきか分からない。専門家なのか、学生なのか。RLの最初のフェーズはその分布を絞り込み、「あなたが専門家だ、正しくやれ」と伝える。その効果はインタラクティブなハーネスのないタスクでも価値がある。第2フェーズ、つまりモデルが目に見えた形で推論し始めてコンピュートカーブが平坦になるところこそ、タスク固有のシグナルが本当に積み重なる場所だ。 ## [37:34] LLM-as-Judgeによる報酬 コードがコンパイルできるか、テストをパスするか、答えが数値的に正しいか、という検証可能な報酬ほど、より多くの計算を注ぎ込んで良いモデルを得られる。LLM-as-judgeはグラウンドトゥルースの定義が難しいタスクのギャップを埋める。ルーブリックをプロンプトとして書き、第2のモデルにrolloutの品質を評価させる。Dmytro Dzhulgakovはこれが特に、何が「良い」かを明言しにくいが明示的な基準があれば評価できる要約のようなスタイル重視のタスクで有効だと指摘する。 > *「一般的に、報酬が検証可能であるほど良い。計算をスケールさせてより良い結果を得られるようになるから。」* — Dmytro Dzhulgakov ## [39:14] 難しい領域でのRL 創作、オープンエンドな推論、専門知識といった領域では、グラウンドトゥルースを安価に計算できない。より良いRLへの道は環境をリッチにすることだ。プロダクト指標をより多く捉える大きなシミュレーション環境があれば、自動評価をさらに押し進められる。専門家は不要にはならないが、その役割は個々のrolloutを評価することではなく、報酬関数が何を最適化すべきかを定義するタスクとルーブリックの設計に移る。 ## [40:13] 自前の環境を構築する CursorはどこかのベンダーからRL環境を買ってはいない。コーディングに関しては、GitHubリポジトリが事実上無限の動作環境を提供してくれる。リポジトリをクローンし、依存関係をインストールし、モデルにタスクを与え、テストスイートで結果を測る。難しいインフラ問題は、冒頭のずるの話に戻るが、環境を十分に現実に近づけることと、10万のセッションをオンデマンドで即座にスピンアップできるほど速くすることだ。Cursorの答えはカスタム仮想マシンスタックで、コンテナではなくフルVMだ。任意のスケールに瞬時にバーストでき、実ユーザーの機械とモデルが区別できないほど近い。 Dmytro Dzhulgakovはベンダー景況をこう整理する。フロンティアラボはあらゆるタスクをカバーする汎用環境が必要だが、プロダクト企業は自社の本番環境に対してRLをかければいい。どんなモデルにとっても最も強力な訓練環境は、実際にそれが使われるプロダクトだ。 > *「最も強力な環境は自分のプロダクトだ。」* — Dmytro Dzhulgakov ## [44:34] クロージング Sonya HuangはCursorの軌跡、つまりアプリケーション企業からフロンティアモデルラボへの変容が、他のAIプロダクト企業が追う道筋だと指摘する。Federico CassanoはCursorのGPU予算で訓練を成り立たせたインフラの根幹を提供してくれたFireworksに感謝する。Dmytro Dzhulgakovは、多くの人が純粋にアルゴリズムの問題だと思っていたことに、これほど深いシステムエンジニアリングが必要だったことを振り返る。 ## 登場人物 - **Federico Cassano** (人物): CursorでComposer 2のリサーチリードを務め、訓練レシピとRL手法を主導した。 - **Dmytro Dzhulgakov** (人物): Fireworks AIのインフラリードで、Composer 2の分散RLトレーニングシステムを構築した。 - **Sonya Huang** (人物): Sequoia CapitalのパートナーでAI投資に特化したポッドキャストのホスト。 - **Composer 2** (ソフトウェア): Kimi 2.5 MoEをベースにミッドトレーニングと大規模RLで構築されたCursorの特化エージェント型コーディングモデル。 - **Fireworks AI** (組織): Composer 2のRL訓練に分散GPUバックボーンを提供したモデルサービングおよび推論インフラ企業。 - **Cursor** (組織): AIコーディングIDE企業。自社プロダクト内のソフトウェアエンジニアリングに特化した基盤モデルとしてComposer 2を訓練した。 - **Kimi 2.5** (ソフトウェア): Moonshot AIが開発したオープンソースの1兆パラメータMoEモデル(アクティブ30B)。Composer 2のベースとして使用。 - **GRPO** (コンセプト): Group Relative Policy Optimization。Composer 2に使われたRLアルゴリズムで、方策勾配の計算に同じプロンプトからの複数並列rolloutを必要とする。 - **Router Replay** (コンセプト): MoEの数値アラインメント手法。推論時にエキスパートのルーティング決定を記録してtrainerに再生することで、浮動小数点のずれによる対数確率の発散を防ぐ。 - **Real-Time RL** (コンセプト): Cursorの本番フィードバックループ。ライブユーザーの満足度シグナルを取得し、数時間ごとに新バージョンのモデルを継続的に更新する。 - **Delta Compression** (コンセプト): 訓練と分散推論クラスター間で変化したパラメータのみを転送する重み同期手法。実際には1TBのスナップショットを約50GBに圧縮する。 - **自己要約 / Compaction** (コンセプト): コンテキストウィンドウ上限に近づいたときに作業コンテキストを圧縮するRLで訓練されたエージェントの能力。実質的に無制限のホライズン動作を可能にする。

#reinforcement-learning#model-training#agentic-coding
はじめてのManaged Agentをリリースする
37:09
EN/ZH
2 ヶ国語で視聴
Claude約1か月前

はじめてのManaged Agentをリリースする

AnthropicのApplied AIエンジニアであるIsabella Heが37分間のライブセッションで、空の`agent.py`から始め、ツール呼び出しをストリーミングしセッションを永続化するStreamlitアプリを完成させる。P99レイテンシースパイクを診断するSREインシデント対応エージェントを題材に、5分間のアーキテクチャ解説と実装を組み合わせ、参加者がサブエージェント・メモリ・Vaultsへと発展させるための基礎を提供する。 ## [00:19] ようこそ&アジェンダ Isabella HeはAnthropicのApplied AIチームを「プロダクト・研究・カスタマーの接点」と位置づけ、セッションの三部構成——プラットフォームの概要、実装コーディング、dreamingやサブエージェントといった高度な機能の紹介——を示す。動機となるシナリオは深夜3時のオンコール呼び出しで、Managed Agents上に構築するSREエージェントがそれを自律的に処理する。 > *「今日の目標は、Managed Agentsの上で実際にエージェントを構築し、ハーネスが内部でどう動くかを理解し、最初のインシデント対応エージェントをリリースできる状態にすることです。」* ## [02:10] Messages APIからManaged Agentsへ Isabella Heは製品の変遷をたどる。2023年のMessages APIは生のトークンアクセスを提供したが、コンテキスト管理・エージェントループ・コンパクションは開発者自身が実装する必要があった。Agent SDKはClaude Codeのファイルシステムアクセスを加えたものの、ホスティングは引き続き自己管理だった。Managed Agentsはその第三世代で、Anthropicがスケーリング・サンドボックス化・オブザーバビリティ・ツールランタイムを担い、チームは「10〜15倍速くプロダクション投入」できる。 メンテナンスコストの具体例として、Sonnet 4.5が「コンテキスト不安」を示し早期にタスクを終了していた事例を挙げる。Anthropicがハーネスにパッチを当て、Opus 4.5ではその挙動が完全に解消された——それ以前のパッチはすべて不要になった。 > *「ハーネスはエージェントと共に進化すべきです。だからこそClaude Managed Agentsでは、コンパクション・キャッシング・コンテキスト不安にまつわる複雑さはAnthropicが処理します。」* ## [05:55] コアプリミティブ:Agent・Environment・Session Managed Agentsアプリケーションは三つのオブジェクトで構成される。**Agent**はペルソナを保持し、モデルの選択・システムプロンプト・MCPサーバー・スキルを定義する。**Environment**は実行コンテナで、エージェントの「脳」に対する「手」にあたり、前日からAnthropicマネージドクラウドと自前コンピュートの両方に対応する。**Session**はその二つを束ね、データファイルをマウントする。ユーザーメッセージ・ツール呼び出し・レスポンスといったイベントは、単一のレスポンスとしてトークンを返すのではなく、ストリームとして呼び出し元に流れる。 エージェントループとツール実行を分離したことで、P95のTime to First Tokenが90%超削減され、サンドボックス化されたコンテナ境界による認証情報の漏洩リスクも排除された。 > *「この分離により、P95レイテンシーのTime to First Tokenで90%超の削減をチームが実測しました。」* ## [09:15] ワークショップのセットアップ 参加者はワークショップリポジトリをクローンして`ship-your-first-managed-agent`に移動し、仮想環境を作成、依存パッケージをインストール、`.env`にAnthropic APIキーを貼り付けて`streamlit run app.py`を実行する。Isabella HeがStreamlitのURLにインシデント対応チャットUIが表示されることを確認し、ここから実装を始める。 > *「進めながら、あるいは後でご自分の時間に試していただいてもかまいません。画面に映す内容に合わせてついてきてください。」* ## [10:48] エージェントをステップごとに構築する 未完成の`agent.py`と完成形の`agent_complete.py`を並べ、Isabella Heが6つのコードブロックを順番にコピーする。 1. **Agent定義** — Claude Opus 4.7を使う`SRE_AGENT`、エージェントの役割と利用可能なツール(get_metrics・get_recent_deploys・get_diff・fetch_logs)を記述した最小限のシステムプロンプト。 2. **Environment** — デモ用にネットワーク制限なしのAnthropicクラウド環境。プロダクションではallowlistへの制限またはClaude MCPトンネル経由のルーティングが可能。 3. **ログのアップロード** — Files APIでログファイルを添付し、エージェントがそのファイルに対してコードを実行できるようにする。コンテキストエンジニアリングが開発者の反復作業の大半を占めるとIsabella Heは指摘する。 4. **Session作成** — `agent_id`・`environment_id`・アップロード済みリソース参照を渡して全体を結びつける。 5. **イベントストリーミング** — セッションから生のトークンではなくイベントを受け取り、リアルタイム表示とオブザーバビリティログを実現する。 6. **ローカルツール+Session削除** — `get_metrics`・`get_recent_deploys`・`get_diff`をローカル実行ハンドラーとして登録し、削除されたセッションのログが完全に消去されることを明示したうえでセッション削除の呼び出しを追加する。 > *「残るのはローカルツールを渡すことだけです。これでエージェントが私のコンピューターやインフラ上でアクションを取り始められます。」* ## [19:43] エージェントの実行とライブデモ 「インシデントをデバッグして」というプロンプトで新しいセッションを起動する。エージェントは`sandbox_bash`・`get_recent_deploys`・`get_diff`を順に呼び出し、各ツール呼び出しとレスポンストークンをUIにストリーミングしながら、構造化されたインシデントレポートを返す。P99レイテンシースパイク(ベースラインの10倍)は、Aliceによるリファクタリングコミットがデータベースプールを枯渇させたことが原因と特定される。 プロダクション版ではClaude Codeへのアクセスを追加し、修正案の提示からPRのオープン、クローズまでを人間が介在しないクリティカルパスで完結させられると説明する。ブラウザを強制リフレッシュしてもすべてのセッションがクラウドの状態から復元され、ローカルデータベースが不要なことを確認する。 > *「ツール呼び出しをすべてスクロールすると、ログの観点からすべてがクラウドに永続化されているのがわかります。オブザーバビリティコンソールにもすべて記録されます。」* ## [27:18] アーキテクチャ総括・高度な機能・Q&A Isabella Heはイベント駆動アーキテクチャを整理する。セッションはリクエスト-レスポンスのペアではなくイベントで通信し、イベントログによってコンテナ再起動後もエージェントループを再実行せずにセッションを再開できる。続けて四つのプレミアム機能を紹介する。 - **サブエージェント** — オーケストレーターが子エージェントを生成し、並列処理とコンテキストバジェット管理にそれぞれ固有のコンテキストウィンドウを割り当てる。 - **メモリ / Dreaming** — エージェントが自分のセッションログを振り返り、保持すべき情報を判断することで、セッションをまたいだ自己改善と好みの記憶を実現する。 - **Outcomes** — 開発者がルーブリックを定義し、エージェントは明示的な手順ではなく、望む結果を生み出すツール呼び出しを自ら選択する。 - **Vaults** — 独立したエンドポイントとエージェントコンテナの間で暗号化された認証情報ストア。アーキテクチャに組み込まれた脳と手の分離に基づき、ユーザーおよびセッション単位で管理される。 セッションの締めくくりとして、続きの「dreaming」セッションとManaged Agentsコンソールのオブザーバビリティダッシュボードを案内する。 > *「Managed Agentsが内部でどう動くかについて、皆さんに少しでもメンタルモデルを持ち帰ってもらえれば嬉しいです。SREエージェントをリリースできた皆さん、誇りに思ってください。」* ## 登場人物 - **Isabella He** (人物): Member of Technical Staff、AnthropicのApplied AIチーム所属、発表者兼ワークショップリード - **Claude Managed Agents** (ソフトウェア): Anthropicが提供するプロダクション対応エージェントの管理インフラハーネス。スケーリング・サンドボックス化・オブザーバビリティ・ツールランタイムを担当 - **Agent SDK** (ソフトウェア): Claude Codeへのアクセスを可能にした旧Anthropicハーネス。ホスティングは開発者が管理する必要があった - **Claude Opus 4.7** (ソフトウェア): ワークショップデモのSREエージェントで使用されたモデル - **Sonnet 4.5** (ソフトウェア): 「コンテキスト不安」(タスクの早期終了)を示した旧モデル。ハーネスがモデルとともに進化すべき理由の例として紹介 - **Files API** (ソフトウェア): ファイル(ログ・メトリクス)をエージェントのコンテキストにアップロードするためのAnthropic API - **Dreaming** (概念): エージェントが自身のセッション履歴を非同期で振り返り、長期記憶を更新するManaged Agentsの機能 - **Outcomes** (概念): Managed Agentsのルーブリックベースのゴール指定。エージェントは明示的な手順ではなく、定義された結果に到達するツール呼び出しを選択する - **Vaults** (概念): Managed Agentsにおける暗号化された認証情報ストア。脳と手の分離アーキテクチャによってエージェントコンテナから切り離され管理される - **MCP tunnels** (概念): MCPサーバーのトラフィックをパブリックインターネットではなくプライベートネットワーク経由でルーティングするClaudeの機能 - **Context anxiety** (概念): Sonnet 4.5で観測された挙動で、利用可能なコンテキストバジェットが残っているにもかかわらずタスクを早期に終了する現象。Opus 4.5で解消 - **Anthropic** (組織): AIセーフティ企業。ClaudeおよびManaged Agentsプラットフォームの開発元 - **DataDog** (ソフトウェア): デモのJSONベースメトリクスツールの本番代替として言及されたプロダクション監視プラットフォーム - **Streamlit** (ソフトウェア): ワークショップのインシデント対応チャットインターフェース構築に使用したPython UIフレームワーク

#claude-managed-agents#agent-sdk#incident-response
Bruno Fernandes: Roy Keaneは言葉を曲げた。£200Mのオファーを断った理由
1:34:43
EN/ZH
2 ヶ国語で視聴
The Diary Of A CEO約2か月前

Bruno Fernandes: Roy Keaneは言葉を曲げた。£200Mのオファーを断った理由

Manchester United主将のBruno Fernandesが、Carringtonにてスティーブン・バートレットと向き合い、Roy Keane論争に真正面から答え、クラブを離れるよう求めた£200Mの移籍オファーを断った理由を語る。ポルトで父が植えつけた価値観が、いかにして彼をプレミアリーグ史上最も安定した選手の一人へと育てたかを辿るエピソード。労働者階級での育ちと恐れ知らずの少年時代から、監督をどう読み解くか、ドレッシングルームをどう率いるか、そしてポルトガル代表でワールドカップを獲ることがクラブのトロフィーよりも大きな意味を持つ理由まで、90分にわたって語り合う。 ## [00:00] イントロ エピソードは、後半の会話から切り出したクリップで始まる——Roy Keaneの批判に対するBrunoの反論と、£200Mオファーの拒否。続いてスティーブン・バートレットがManchester United練習場でのシーンを説明する。フェルガソン退任後のクラブ史上最高の選手として紹介されるBruno:加入以来プレミアリーグでアシスト数1位、328試合で108得点、サー・マット・バズビー年間最優秀選手賞を史上最多の5度受賞。 ## [01:38] Bruno Fernandesを形成したものとは? スティーブン・バートレットはBrunoにルーツから話すよう促す——自分を理解するために最初に知っておくべきことは何か?Brunoの答えは即座だ——家族と、両親が与えてくれた価値観。ポルトで育ったこと、それが選手としても人間としても自分の土台になっていると語る。 > *「家族の価値観、両親の価値観こそが、今日の自分、今日の選手を作ったものだ。」* ## [02:33] Brunoが父から学んだ勝利のメンタリティ 父は抱擁や言葉ではなく、行動で愛情を示す人だった——犠牲と妥協なき基準を体現して見せた。2得点も3得点も挙げた試合の後、父が取り上げるのはよかった場面ではなく、悪かった場面だった。Brunoをサッカー選手にしたかったわけではない。何を選ぶにしても100%でやれ、というのが父の望みだった。テストで98点を取っても、残り2%があると言う。常に改善の余地がある——その思考法こそが、Roy Keaneや誰からの批判もBrunoを傷つけない理由だ。5歳から批判を受け止める訓練をされてきたのだから。 > *「幼い頃から批判に慣らされてきたから、今まさに批判や注目に最もさらされるクラブの一員でいても、傷つかない。」* ## [05:47] 5歳のBrunoがすでに違っていた理由 FC Infestaで初めてトレーニングに参加したとき、Brunoはすぐに7歳の子たちのグループに上げられた。最速でも最長身でも最も技術的に秀でているわけでもなかった——ただ、恐れがなかった。5歳上の兄を相手に練習し、それが当たり前だった。タックルが相手の体格や年齢をまったく意識しないため、審判がコーチに交代させるよう求めることもあった。その恐れ知らずこそが成長の源だったとBrunoは言う——自分より弱いグループで一番になることに満足せず、常に高いレベルへ自分を押し込んでいったのだ。 > *「恐れが何もなかった。自分より速い相手と走らなければならない。一緒に走る——勝てないかもしれないが、近づいてみせる。」* ## [08:40] Francesco GuidolinがBrunoのキャリアを形作った経緯 18歳でイタリアに渡ったBrunoは、Watfordへのローン移籍が数時間後に迫っていた——Udineseが彼を諦めかけた直前、スポーツディレクターから電話があり、監督が留まらせたいと言っていると告げられた。その監督がFrancesco Guidolinだ。Guidolinは直接言った:2部リーグで見た君の資質を認めて獲った。落ち着いて学び、プロセスを信じなさいと。Guidolinはチーム全体にとって父親のような存在となり、選手自身の自己評価と監督の判断の間にある差をBrunoに理解させた。その教訓は今も生きている——Brunoはポジションやフォーメーションについて監督に不満を言いに行ったことは一度もない。求められることに応え、あとは結果に語らせる。 > *「彼は父親のような存在だった。すべての選手が大切だと常に示してくれた。おかげで監督がたどるプロセスをはるかに深く理解できるようになった。」* ## [12:04] 18歳のBrunoが本当に夢見ていたもの プロになった瞬間から、Brunoの目標はひとつ——トップクラブ、チャンピオンズリーグ、タイトル、そして育ちの中で見ていた選手たちと同じピッチに立つこと。スティーブン・バートレットがそこに本当に到達できると信じていたかを問うと、Brunoは一度も疑わなかったと答える。 ## [12:30] TottenhamがBrunoを獲得しかけた理由 22歳、Sportingで20得点13アシストのブレイクシーズンを経て、TottenhamとBrunoは合意に至った。移籍期限最終日にSportingが撤退した。Bruno自身は行くつもりでいた——プレミアリーグは常に目指す場所だったから——破談になったときは落胆した。そして1月、エージェントからより大きな話が届いた。 ## [14:09] Manchester UnitedがBrunoを欲しがっていると知った瞬間 寝る準備をしてワードローブにいたとき、エージェントのMiguelから電話が来た。Brunoはあらかじめこう伝えていた——95%まとまるまで何も言うなと。Tottenhamの件で、移籍の噂が集中力を乱すことを学んでいたからだ。「ずっと待っていた話だ」とMiguelが言った瞬間、Brunoは動けなくなり、泣き始めた。妻が入ってきて泣いているBrunoを見つけ、まだMiguelが電話口にいた。Brunoはかけ直して言った——これ以上交渉するな、ただイエスと伝えろと。加入前日にクラブがBurnleyに敗れるのを見ても気持ちは揺らがなかった——結果が示していない可能性を彼は見ていた。 > *「ただ行くと伝えてくれ。ここに来たかった。夢が100%叶う。」* ## [22:15] サッカー界の文化はどう変わったのか スティーブン・バートレットは、今のCarringtonの文化が、人間性を採用基準の後回しにしていた時代とは根本的に違うと観察する。Brunoはその診断を認め、根本原因を名指しする——監督が次々と代わり、それぞれが自分のシステムに合う選手を獲り続けた結果、次の監督が来たときには誰にも合わないスクワッドが残る。彼の処方箋:まずManchester Unitedに合う選手を集め、その選手たちに合う監督を探すこと、逆ではない。モデルはGuardiolaのCityだ——クラブとコーチが連携して選手を選び、ひとりの監督の在任期間を超えて根付かせた。キャラクターはクオリティより長持ちする——調子は上下するが、苦しい時期にロッカールームを保つかどうかは態度が決める。また、理学療法士、守衛、食堂のスタッフ、掃除をする人——誰にも同じように接するというBrunoのこだわりは、家の掃除で生計を立てていた母に由来すると明かす。 > *「サッカークラブにおいてキャラクターはクオリティより大切だ。クオリティはいつでも手に入るし、磨ける。」* ## [32:38] SNSとサッカー選手の関わり方 今シーズン、Unitedのスクワッドからソーシャルメディアでの騒動が消えた——スティーブン・バートレットはそれを文化変容の最も明確なシグナルと指摘する。Brunoはクラブとして問題が見えたときには毅然と対処すべきだと言いつつ、自分のアプローチはもっと早い段階から始まっていたと語る。プロになった最初の日から、両親、兄、妹に自分について何も投稿も返信もしないよう頼んだ。母はネットで批判を読むと心を痛める。Brunoの母への言葉:祈れ、返信するな。 ## [35:36] Brunoがすべての監督を支持すべきと考える理由 Ole、Carrick、Rangnick、Ten Hag、Amorim、そして再びCarrick——どの監督に対してもBrunoの公の姿勢は変わらない。理由を語る:監督ごとに違うことを求められた、それはつまりそれぞれの監督がこれまでやったことのないことをBrunoはできると信じていたということだ。どの監督も「Brunoを使わない」という選択肢を頭の中に持てないようにすることが自分の仕事だ。監督のアプローチがうまくいかないなら、それは監督が解決する問題——Brunoは陰で変化を求めるようなことはしない。 > *「監督に絶対に渡さないのは、Brunoを使わないという選択肢だ。」* ## [37:15] 優れたサッカー監督の条件 Brunoの見方:良い監督はスター選手もスクワッドの選手も同じ基準で扱う。ただし個人へのアプローチは変える——同じ刺激に同じように反応する人間は二人といないから。基準は一律、届け方は個別。 ## [37:54] Brunoが選手に接する方法 キャプテンとして、Brunoは誰にでも怒鳴る——それはその選手を信じているからこそだ。多くの選手に同じことを言ってきた:俺が怒鳴らなくなったら、それはお前が成長できると思わなくなった日だと。本当に称賛が次のレベルを引き出すと確信したときに褒め、もっとできると分かっているときに要求する。父が20年間、自分に対してまったく同じ計算式を使ってきた。 > *「信じてくれ——俺が怒鳴らなくなったら、もうお前を信じていない、成長できると思っていないということだ。」* ## [39:56] 不調続きのときにロッカールームで起きること 監督がプレッシャーを受けているとき、選手の中で最も強く感じるのはスタメンの選手だとBrunoは言う——監督交代が何を意味するかを知っているから。何度もリセットを繰り返しながら希望を失わなかったのは、毎シーズン前に立ち戻る内側のものがあるからだ——自分を信じ、正しいことをして周りを引き上げれば、チームにはまだチャンスがあると分かっている。また、今シーズンの監督交代はリーグ順位のせいではなかったとも指摘する——Unitedは上位に近いところにいた。クラブと監督の間の信頼が壊れたことが原因だった。 ## [43:07] MichaelがManchester Unitedにもたらした核心的な変化 Michael Carrickが持ち込んだ核心はBrunoによれば、冷静さと選手への責任の委譲だ。どこでプレスをかけるか、どこにスペースがあるか、何が絶対に譲れないか——それを示した上で、試合中にその原則が崩れたとき、選手自身が読んで判断することを信頼する。90分間には、試合前のビデオで予測できないことが起きるから。Nottingham Forestへのゴール——VillaのForest戦から思い描き、トレーニングで試み、本番の試合でその瞬間が来たときに実行した——これこそCarrickの準備が実践でどう機能するかを最も明確に示す例だとBrunoは言う。 > *「土台を与えてくれる、譲れないルールも示してくれる。でも試合の中で責任を取ることも求める——どこにパスしろ、どこにシュートしろとは言えないんだから。」* ## [48:23] Brunoがリスクを取ることを不可欠と考える理由 リスクに対するBrunoの考え方は完全にポジション由来だ:トップ下の仕事は、ゴールを生む可能性があるリスクを取ること。スルーパスを2本外して3本目が通り、それがゴールになるなら、計算はチームの有利に働く。Kobbie MainooやCasemiroとの組み合わせが成り立つのは、1試合でリスクを取る回数がまったく違うから——ポジション上の役割分担がそれを必要とする。Ten Hagがゾーン別のシュート成功率を示したとき(左サイドから有効、逆足で遠目から打つと低い)、Brunoはそれを吸収し、どこからシュートを狙うかを調整した。 > *「常にリスクとリターンだ。そのリスクからどれだけのリターンがあるか、そしてそのリスクを取ることがチームにとっていいかどうかを理解しなければならない。」* ## [52:44] 広告 スポンサーセグメント:LinkedIn Ads、Bon Charge赤色光歯ブラシ、Vantaコンプライアンスプラットフォーム。 ## [55:01] Brunoが最も好きなポジション Carringtonのピッチ上で、Brunoはアタッキングサードの左中央に正方形を描く——ラインとラインの間、ボールを受けられる近さで、かつ相手を脅かせる距離。Oleの下ではクラシックなトップ下。Amorimの下では左MFとしてビルドアップをサポートすることが多かった。Ten Hagの下ではMainoo横のアンカーになることもあった。どのポジションでも、譲れないものは変わらない——コミットメント、走ること、戦うこと、チームスピリット。 > *「走ること、戦うこと、チームスピリット——これだけは欠かしてはいけない。」* ## [58:58] Brunoが疲れを見せない理由 遺伝のおかげだと言いつつ、すぐ自分がコントロールできる要素を加える:毎回のトレーニングで100%を出し、本当に疲れたと感じるまでやめない。セッションが終わっても疲れていなければ、シュートやクロスの追加練習を残って行う——試合終了間際に使う技術を、疲弊した状態で練習したいから。 > *「疲れた体と頭を鍛える必要がある。体はその疲れに慣れ、そのときにどう反応すべきかを知っていく。」* ## [01:00:31] Manchester Unitedのキャプテンであることの本当の意味 Ten HagはBrunoをオフィスに呼び、キャプテンを命じるのではなく——引き受けたいかと聞いた。最初に頭に浮かんだのは感謝、次に浮かんだのはHarry Maguireのことだった。承諾する前にオフィスを出てHarryを探しに行くと、Harryはすでに知っていた。Harryは言った:誰よりふさわしいのはお前だ。BrunoはHarryに言い返した:腕章を外してもお前は変わらない、俺がキャプテンとして下すすべての重要な決断にお前は関わり続けると。今シーズン:34試合出場、8ゴール、20アシスト、プレミアリーグ最多の12マン・オブ・ザ・マッチ、ファン投票でサー・マット・バズビー年間最優秀選手賞5度目。 ## [01:03:44] 今シーズンがBrunoにとって違う理由 アシスト記録——Kevin De BruyneとThierry HenryのプレミアリーグシーズンアシストレコードMark20に並ぶ——は過去のどのシーズンよりも注目を集めた。Brunoが意識し始めたのは16か17アシストを挙げた頃から。それまでは頭になかった——常に前シーズンの数字を超えることが目標だから。Roy Keane論争はこの文脈に置かれる。KeaneはBrunoがアシスト記録を追っていると非難した——「シュートすべきだったがパスを選んだ」という発言を根拠に。Brunoが実際に言ったことは正反対だ:シュートを選ばずより良い位置にいたチームメイトへのパスにすべきだったと自己批判していた。Keaneがしたことを「意見の不一致」ではなく「嘘」と呼ぶ——記録に残る言葉を事実と異なる形で伝えたことだから。Ole Gunnar SolskjærにKeaneの番号を教えてくれと頼んだ。 > *「嫌なのは、人が嘘をつくことだ。批判してもいい、ぼろくそに言ってもいい、俺は力不足だと言ってもいい。それはいい。嫌なのは、言ってもいない言葉を俺の口に入れることだ。」* ## [01:10:33] チームメイトから届いた感情的なボイスメール スティーブン・バートレットは収録前夜にBrunoのチームメイトにメッセージを送り、ボイスノートを録音してもらうよう頼んでいた。Diego Dalot、Luke Shaw、Tom Heatonをはじめ数人が応じた——エピソード71〜72分あたりで3人目の声も流れた。Brunoは声の主を当て、一番心に残るのは選手としての自分への言葉ではなく、人としての自分への言葉だと言う——ポルトで両親が植えつけた価値観が、毎日共に働く人たちにも見えていることが伝わるから。 > *「一番心に残るのは、選手としてではなく、人としての自分への語り方だ。」* ## [01:14:31] サッカーより人として在ることがBrunoには大切な理由 チームメイトとはポルトガルの友人や両親よりも長い時間を過ごす。毎日訓練を共にする人たちは日常の一部になっていて、だから彼らへの接し方はプレーと同じくらい大事だ。ボイスノートがサッカーではなく人格に触れていたとき、母と父が最も大切にしていたものが今も自分の中に残っていると分かる。 > *「俺は結構柔らかい人間なんだ。ピッチではそう見えないけど、なかなか柔らかい。」* ## [01:15:54] 広告 スポンサーセグメント:Vantaコンプライアンスプラットフォーム、Diary of a CEOコンバーセーションカード。 ## [01:18:56] Brunoがマンチェスター・ユナイテッドを離れる巨額オファーを断った理由 香港でのシーズン後ツアー中に、中東から£200Mと報じられるオファーが届いた。Brunoは時差を越えて妻に電話した。妻の問い:ここでやりたいことをすべてやり切ったか?答えはノーだった——Unitedでプレミアリーグもチャンピオンズリーグも獲っていない。その会話で結論が出た。Brunoはこの決断を感傷としてではなく未完の仕事として語り、妻への感謝を惜しまない。16歳のとき、月1,500ユーロ、保証なしのイタリア行きに付いてきてくれた人だ。それ以来、すべての大きなキャリアの決断に妻は関わってきた。 > *「まだここで夢を叶えられていない。叶えるべき夢がまだある。」* ## [01:22:32] Brunoにとっての家族の大切さ 妻と2人の子——イタリアで生まれた娘とイングランドで生まれた息子——について話しながらBrunoは声を詰まらせる。妻のことを父の第二版と表現する:大きくなりすぎているときに引き下ろし、まだ改善できることを思い出させ、感情をめったに表に出さない。ゴールセレブレーション——両耳を手で塞ぐ——は幼い頃の娘の仕草から借りたものだ。またIneosがクラブにもたらした構造について触れ、選手と経営の間のコミュニケーションラインが明確になったことを評価する。Michael Carrickには時間が必要だと訴え、Unitedが一貫して監督に与えられなかったものはひとつ——安定だと言い切る。 > *「たくさんのことを乗り越えてきた——浮き沈みも、困難な瞬間も——でも常に傍にいてくれる。それが人生で持てる最も大切なものだ。」* ## [01:30:30] Unitedがタイトル争いに戻るために変えなければならないこと Brunoが夏の最重要変数として挙げるのは補強だ。Casemiroの抜けた穴は埋めなければならないが、最も高い名前を取ることが優先ではない——正しいキャラクターの選手を取ることだ。前の夏のモデルが証明している——Amad Dialloのブレイクアウトシーズン、Patrick Dorguの加入——良いプロ意識と良い人間性を持つ選手を獲ればどうなるか:スーパースターで穴を塞がなくてもスクワッドは強くなる。 ## [01:31:42] 5年後のBrunoが描く成功の定義 前回のポッドキャストゲストが残した締めの質問:5年後、すべてがうまくいっていたとしたら何があったか?Brunoの答え:プレミアリーグ優勝、チャンピオンズリーグ、そしてポルトガル代表でのワールドカップ——難易度ではなく感情的な重みの順で。クラブで勝つことは特別だ。でも代表として勝つことがキャリア最大の出来事になる——家族、国、異なる形で何度も世界を征服してきた小さな国を背負うことになるから。 > *「代表として国を背負うことは、常にキャリア最大の功績だ——それができる選手はそう多くないのだから。」* ## 登場人物 - **Bruno Fernandes**(人物):Manchester United主将、ポルトガル代表。2020年加入後、328試合で108得点。今シーズンはプレミアリーグシーズンアシスト記録に並ぶ20アシスト。サー・マット・バズビー年間最優秀選手賞5度受賞 - **Steven Bartlett**(人物):The Diary of a CEOホスト。Manchester Unitedファン、起業家・投資家 - **Roy Keane**(人物):元Manchester Unitedキャプテン、テレビ解説者。Brunoがアシスト記録を追っていたと非難したが、Brunoはその根拠となった発言は正反対の意味だったと主張 - **Michael Carrick**(人物):Manchester United監督(収録当日に正式就任が確定)。元サー・アレックス・ファーガソン下のUnited MF。ドレッシングルームに冷静さと選手の自主性をもたらした - **Francesco Guidolin**(人物):Brunoが18歳のときのUdinese監督。BrunoをWatfordへのローンから守った。Brunoが「父親のような存在」と表現し、トップレベルで自己表現する自信を与えた人物 - **Harry Maguire**(人物):元Manchester Unitedキャプテン。Brunoはキャプテンを引き受ける前にMaguireに話しに行き、今もロッカールームの重要なリーダーの一人と言う - **Manchester United**(組織):イングランドのプレミアリーグクラブ。Brunoは2020年1月加入後、複数回の監督交代と高額移籍オファーを経てもキャプテンとして残留 - **Sporting CP**(組織):ポルトガルのクラブ。Brunoは最終シーズンで20得点13アシスト。選手として最高の自分になった時期と語る - **Ineos**(組織):Manchester Unitedに出資した投資グループ。選手と経営の間のコミュニケーション構造が改善されたとBrunoが評価 - **リスクとリターンの計算**(概念):ピッチ上の意思決定に関するBrunoの枠組み——2度外れても3度目に通り、ゴールになるスルーパスはトップ下として正しいプレーだという考え方 - **クオリティよりキャラクター**(概念):Unitedの補強失敗に対するBrunoの中心的な主張——クオリティはシーズンごとに変動するが、キャラクターは変わらない。だからキャラクターで採れ

#football#manchester-united#leadership
AIのパラドックス:自動化が進むほど、人間も仕事も増える | Dan Shipper
1:34:06
EN/ZH
2 ヶ国語で視聴
Lenny's Podcast約2か月前

AIのパラドックス:自動化が進むほど、人間も仕事も増える | Dan Shipper

EveryのCEO Dan Shipperが再登場し、AIと仕事をめぐる12の逆張り予測を展開する。その多くは今の過剰な不安への反論だ。中心にある論点はこうだ——自動化は仕事量を減らすのではなく再編成する。CodexとClaude Codeはナレッジワークの新しいOSになりつつある。SaaS終焉論はフィクションだ。唯一必要なサバイバルスキルは、モデルが進化するたびにそれに乗り続ける意志だ。30人規模のEveryはこの仮説を検証する生きた実験場であり、その最前線に立つDanの言葉には実証的な重みがある。 ## [00:00] Dan Shipperの紹介 Lennyは前回の出演を振り返り、あのとき「何気なく」放たれた予言——非技術者にとってのClaude Codeの重要性を人々が見逃しているという指摘——が「これ以上なく正確」だったと語る。今回Danが持ち込んだのはさらに12の予測だ。その結論を彼は冒頭から突きつける。 > *「AIによる雇用の終焉は、実際には起きていない。」* ## [02:56] AIの未来を先取りするDanの立場 EveryがなぜAI導入の早期シグナルを得られるかをDanが説明する。編集者、オペレーション、財務にいたるまで全社員が毎日AIを使っており、次の12カ月が実務でどう見えるかを体で知っている。「サンフランシスコのバブル」的視点と対比させ、AI採用の本当のフロンティアはAIを作っている場所ではなく、AIが実際の仕事をしているドメイン専門家のそばにあると主張する。 > *「AIの最前線は、AIが本物の人間の仕事に出会う場所にある。」* ## [09:17] 今後1年で仕事のやり方はどう変わるか Lennyが予測を3つのグループに整理する——仕事のやり方、仕事の形、活躍する人材。Danの最初の予測は、すべてのプロフェッショナルの仕事が一つの画面に収束するというものだ。CodexかClaude Codeが並走するワークパートナーとして常に横にいて、調査を引き受け、メールを書き、長期タスクを走らせる——その間ユーザーは自分のメインドキュメントに集中できる。Danはすでに10日連続の受信トレイゼロを達成した。Codexとeverの社内メールエージェントCoraがメールを捌いているからだ。 > *「自分には並走する仕事バディがいる感覚だ。文書で返答したり書いたりするだけでなく、調査に出かけてくれる。」* ## [16:39] 汎用エージェントの可能性 あらゆる企業がSlack内に「スーパーエージェント」を持つようになると予測する。それは全社員が毎日使う、会社のコンテキストにアクセスできる汎用アシスタントだ。個別タスク専用のボットではなく、組織の記憶層として機能し、質問をルーティングし、データを浮かび上がらせ、会話が必要なのに気づいていないチーム間のギャップを埋める。 ## [18:08] 新しい仕事のOSとしてのCodexとClaude Code Claude Codeの突破口は、有能なエージェントをあなたのコンピュータ上に直接置き、ターミナルアクセス——そして決定的なことにブラウザアクセス——を与えたことだ。このパラダイムを最初に切り開いたのはAnthropicで、OpenAIはリリース5.3頃にキャッチアップしてそこから加速した。Danが今使っているのはCodexで、自作のProofというライティングアプリと並走させている。エージェントはブラウザを監視し、開いているページを読み、コンテキストを切り替えることなく代わりに動いてくれる。 > *「どちらがリードしていても、あなたのすべての仕事はどちらかの画面の上で行われることが明らかだ。」* 「自分のAIトークンをSaaSアプリに持ち込む」モデルは経済を再編する。SaaS製品は推論コストを負担せず、ユーザーが負担する。それによってマージンが回復し、独自のAI層をゼロから構築するプレッシャーが消える。 ## [25:39] Cursorの位置づけ Cursorは今日のコーディングワークフローを席巻しているが、Danは戦略的な分岐点に立っていると見る——純粋なコーディングIDEにとどまるか、汎用エージェント型の画面へと進化するかだ。絞り込むことで製品に集中できる。広げることはCodexやClaude Codeとの直接対決を意味する。彼の予測では、カテゴリを制するのはコードと一般的なナレッジワークを一つの場所で扱える画面になる。 ## [27:42] SaaS企業が今後作るべきもの SaaS製品はいま、人間が読めるだけでなくエージェントが読める設計が必要だ——クリーンなHTML、適切なCLIインターフェース、自動処理のために情報を浮かび上がらせる設計。Danの事例はProofだ。CodexがそのページをウォッチしているのでUIの細かい問題がほぼ即座に修正される。「何か引っかかった」から「解決した」までのループが閉じる。 > *「何かに引っかかって、その場でそのまま直せる——そんな超高速なクローズドループの兆しが見えている。」* ## [31:13] CLIはもう終わった CLIの時代は猛スピードで駆け抜けた。流れはこうだ:GUI、次に上級者のためのCLI、そしてCLIを丸ごと置き換えるエージェント。エージェントが画面を読んで任意のインターフェースを操れるなら、ターミナルに住む理由がなくなる。Danの予測は率直だ。 > *「CLIは終わった。CLI時代をスピードランで走り抜けた。」* ## [33:34] エージェントは2つのほうが強い Danはエージェント至上主義を押し返す。実際に生まれているパターンは、コーディング専用、メール専用、データ専用といった特化型エージェントがユーザーに代わって互いに会話するというものだ。アプリに問題が起きたとき、Codexがベンダーのエージェントと直接話してサポートチケットなしに問題を診断できる。全員がエージェントを持ち、エージェント同士が交渉できると仮定すると、パラダイムが変わる。 ## [36:22] DanがSaaS株に強気な理由 「SaaS死亡」という語りは、エージェントが使用を推進したときの経済の実態を見誤っている。ユーザーが自分のAIトークンをSaaS製品に持ち込むと、ベンダーの推論コストはゼロに近づく。Danの逆張り: > *「今すぐSaaS株を買う。」* 製品をエージェント対応にしたSaaS企業は仲介を外されるのではなく、マージンの追い風を受ける。 ## [39:01] 自動化しても人間の仕事は減らない これがエピソードの知的中心軸だ。あらゆる自動化レイヤーの上には、それが正しく動いているか検証する人間の管理者が必要だとDanは主張する。彼は自分のシニアエンジニアベンチマークを構築した——2人の実際のシニアエンジニアに、自分がバイブコーディングで作ったProofアプリをゼロからそれぞれ独立して書き直させ、新しいモデルをその参照解と照合してスコアを出す。GPT-5.5までのモデルは30/100だったが、GPT-5.5で60/100に跳ね上がった。 このギャップが示す重要な事実がある。モデルは「指摘されたことを直す」。一方で人間のシニアエンジニアはコードベースを見て全面的な書き直しが必要と判断し、それを自分から言い出す——モデルはその判断を自発的に出してこない。人間が言語化しなければならない「より高い視点」が常に存在する。 > *「何かを自動化するたびに、その自動化がうまく動いているかを確認する人間が上に必要になる。」* ## [47:00] 人間が書いたコードの価値 人間が書いたコードは、モデルの出力を採点する基準点として機能し続ける。Danのベンチマークは人間が書いた2つの実装を真実として使っている。AIが生成したコードがデフォルトになると、人間が書いたコーパスは希少で価値が高くなる——AIが本当に改善しているかを知るために必要なものだからだ。 ## [48:36] 前半のまとめ Lennyが最初の予測グループをまとめる。仕事はCodexかClaude Codeの中で行われる。あらゆる企業にSlackのスーパーエージェントができる。トークンの持ち込み制でSaaSのマージンが回復する。CLIは終わった。汎用エージェント1つより特化型2つが強い。自動化は人間の仕事を縮小するのではなく拡張する。 ## [50:15] 仕事の形が変わる 第2グループは仕事の形そのものを扱う。Danの見立てでは、フォワードデプロイドエンジニア——顧客と向き合い、ワークフローを理解し、同じミーティング内でビルドしてリリースできる人材——が最も価値ある採用になる。以前のエッセイで提唱した「配分経済」の概念がここで生きる。人間はAI能力の直接的な生産者ではなく配分者になり、その配分がまた認知的に要求の高い仕事になる。 > *「自分は徹底的にAI活用者でありながら、AIが価値あるものを作っているか確認する人間の役割に強気だ。」* ## [56:17] データサイエンティストが粗悪な分析に溺れる理由 データサイエンスチームは、社内の他の部門が生成したAI分析の洪水に流されている——もっともらしく見えるが頻繁に間違っている分析だ。シニアデータサイエンティストの仕事は分析を作ることから監査することにシフトし、それはより難しく認知的に負荷の高い作業になる。エンジニアリングでも同じ構造だ。初歩的なリクエストはモデルが処理するようになり、より深い判断力を要するエッジケースが増えて表面化する。 > *「より深い問いに向き合えるシニアな人材がもっと必要になる。基本的なリクエストに対応するチームが抱える問いよりも、さらに難しい問いだ。」* ## [58:24] AIによって最も変化が少ないプロダクト・技術職 Danの答えは、出力をプロンプトとして定式化するのが最も難しいロールだ。彼は「エージェントのベビーシッター」——受動的にエラーを監視する役割——と「フォワードデプロイドエンジニアリング」——専門家でなければできなかったことを他の全員がやれるようにするシステムを能動的に構築する役割——を区別する。自動化が難しい面白い仕事は後者にある。 ## [62:17] AI生成の文章を大量に読む時代が来る、しかもそれが気に入る EveryはNotionエージェントを四半期計画に使っている。各チームの戦略レポートはAIが生成し、Danが受け取る成果物は手作業の計画より質が高い。彼のメールはほぼGPT-5.5が書いている。AI生成コンテンツを受け入れられるかの判断基準はシンプルだ——送信者がAIに指示するために内容を理解していたか。そうならよし。明らかに読んでいなければ、それは社会契約の違反だ。 > *「粗悪なものの特徴は、作るのにかかった時間が読むのにかかる時間より短いことだ。」* 彼はエージェントと共著したEveryガイドを公開している。人間にも他のエージェントにも読まれることを前提とした、デュアル消費向けに設計された新しいコンテンツ形式だ。 ## [68:28] PMがAI時代を制する理由 DanはEvery社内のPM、Marcusを原型として挙げる。SpiralというプロダクトをリードするMarcusは、強いプロダクト感覚を持ち、AIに指示して素早くビルドとイテレーションができ、エンジニアのリソースを待たずにリリースする。PMは根本的に配分者だ——何を誰のために作るかを決める。それはビルド自体が安くなった世界でこそ希少なスキルになる。 > *「PMには本当に強気だ。」* ## [71:05] フルスタックデザイナーも大きな勝者 強いビジュアル感覚を持ちながらコードでも動けるフルスタックデザイナーは、LovableやFigma Makeのようなツールで直接プルリクエストを出している。デザインとエンジニアリングの引き継ぎはほぼゼロに近づく。DanはPMと並んでAI時代のスーパーヒーローになると予測する。 ## [73:11] AIによる雇用の終焉は起きない Danは最近の人員削減(多くは過剰採用の修正)とAIによる構造的な雇用喪失という主張を切り分け、後者を退ける。構造的な根拠はこうだ。モデルは昨日の人間の能力で訓練されており、すでに知られていることを最も標準的な形で出力する。人間はその固まった能力を使って新しいことをやることでフロンティアを押し広げ、モデルがそこに追いつかなければならない余白を作る。このサイクルが繰り返す。 > *「モデルの仕組み上、人間がさらに先に進める余地は構造的に常に残る。」* ## [76:00] モデルに乗り続けて市場価値を保つ方法 具体的なアドバイス——新モデルのリリースを抵抗するのではなく、新しい力として受け取り、自分の実際のドメインに当ててみることだ。Danは大きなモデルがリリースされるたびにシニアエンジニアベンチマークを再実行する。AI知識のフロンティアがサンフランシスコにあるという考え方も否定する。Everyがブルックリンから前線を走れているのは、モデルを作っているからではなく、あらゆることにモデルを使っているからだ。 > *「必要なのはモデルに乗り続けることだけ。それは、自分がやっていることにそのモデルを使うということだ。」* ## [81:02] 最後の予測とアドバイス Lennyが両面をまとめる。一方は「思っているより変化は少ない」(SaaSは続く、仕事は消えない)、もう一方は「思っているより変化は大きい」(仕事のやり方、重要なロール、一日の仕事の姿)。Danの締めくくり——フォワードデプロイドエンジニアは新時代の必須採用だ。社員が最新モデルを使うのを妨げている企業は、じわじわ進む戦略的ミスを犯している。 ## [85:24] ライトニングラウンド 高速問答。Danの最も逆張りな信念は「AIによる雇用の終焉は本当に起きていない」こと。もっと多くの人に理解してほしいことは「AIのフロンティアはサンフランシスコではなく、現実のドメインで現実の仕事にモデルを使っている場所にある」。過去の自分へのアドバイスはシニアエンジニアをもっと早く採用すること。そして今後1年でAIはベンチマークの考え方を根本から変えると予測している。 ## 登場人物 - **Dan Shipper** (人物): Everyの共同創業者兼CEO、「After Automation」エッセイの著者、EveryをAI採用の生きた実験場として運営 - **Lenny Rachitsky** (人物): Lenny's Podcastホスト、Lenny's Newsletterの創設者、元Airbnb PM - **Every** (組織): 30人規模のAIネイティブなメディア・ソフトウェア企業、全社員が毎日AIを使用 - **Codex** (ソフトウェア): OpenAIのエージェント型コーディング・汎用ナレッジワーク画面、Danの現在のメインツール - **Claude Code** (ソフトウェア): Anthropicのターミナルベースのコーディングエージェント、オンコンピュータのエージェント型パラダイムを切り開いた - **Proof** (ソフトウェア): DanのAI支援型マークダウンライティングアプリ、シニアエンジニアベンチマークの参照コードベース - **Cora** (ソフトウェア): Everyのメールエージェント、受信トレイ管理のためにCodexと統合 - **Cursor** (ソフトウェア): コーディングツールか汎用エージェント画面かという戦略的岐路に立つAIコーディングIDE - **フォワードデプロイドエンジニア** (コンセプト): エンジニアリングの実行力と顧客向けの課題発見を組み合わせたハイブリッドロール、AI時代に最も価値ある採用とDanが推す - **シニアエンジニアベンチマーク** (コンセプト): 2人の人間のシニアエンジニアがコードベースをゼロから書き直し、新モデルをその参照解と照合してスコアをつけるDan独自の評価手法 - **配分経済** (コンセプト): 人間が直接の生産者からAI能力の配分者へと移行すると予測するDanのフレームワーク - **モデルに乗り続ける** (コンセプト): 新モデルのリリースを新しい力として積極的に試し自分のドメインに適用することで市場価値を保つというDanのアドバイス

#ai-agents#future-of-work#saas