AI风险是滥用而非自主作恶

核心摘要

AI风险与英国科创生态：嘉宾认为主要威胁是技术滥用而非AI自主作恶；英国增长期公司缺资本，反对退出费，主张先让成功资金回流。

干货提炼

主题一：AI风险是滥用而非自主作恶

• 主要风险来自技术被误用，而不是AI产生自主意识并敌视人类：嘉宾说“more homegrown things that I'm worrying about, which is the misuse of this technology rather than this technology becoming autonomous and having a grudge against humans”。
• AI模型越来越强大、可及，改变了风险格局：他提到生物学领域模型的误用风险是五到十年前没有的，同时带来巨大机会。

主题二：生物安全风险近在眼前

• 不需要创造新病毒，改变现有病毒属性就足以构成威胁：他举例说可以让病毒更具传染性，或延长从感染到出现症状的潜伏期，这些都在今天技术能力范围内。
• AI公司已在主动干预：他提到Anthropic不久前发布过自己关闭危险AI事例的数量；BenevolentAI与政府合作，COVID期间用AI找到扑热息痛用于住院重症患者，约48小时完成筛选，但通过临床试验和获批花了约一年。

主题三：英国增长期公司缺资本

• 早期创业和超大规模融资相对有资金，但增长期公司资本稀缺：他说“if you're a growth company, there's precious little capital”。
• 缺资本导致公司被低价收购，利润外流：他卖掉自己的剑桥公司ProximaGen，约5亿美元，因为市场不支持扩张；产品后来被美国制药公司推向市场并赚了很多钱，但原本可以做得更好并让收益回流英国生态。
• 政府采购是潜在支持手段：他建议政府参与采购周期，给公司“a leg up”，并指出英国政府采购流程很难走。

主题四：反对退出费

• 退出费会让英国公司更不具竞争力：他明确说“I don't think so. I think that that may make it less competitive.”
• 正确路径是先积累成功案例，让资金回流再投资：他对比美国长期形成的“赚钱—退出—再投资”循环，认为英国需要先有足够成功，而不是用退出费限制公司流动。

高光金句

• ❝ I don't feel the existential threat that we're seeing so much in the media. Well, maybe I do, but there's more homegrown things that I'm worrying about, which is the misuse of this technology rather than this technology becoming autonomous and having a grudge against humans. ❞
• ❝ It doesn't take a lot. It doesn't necessarily take creating a new virus. You can change attributes of a virus, make it more contagious or have a longer latency period between when you are sick and infectious to when you start showing symptoms. ❞
• ❝ I used to say that publicly right until the point that I sold my Cambridge company. as a relatively small company. I sold it for about $ 500 million because the market really wasn't there. ❞

提及资源

• 公司/组织：Anthropic - 主持人提到其与OpenAI承诺对前沿AI模型进行第三方监督；嘉宾提到其发布过关闭危险AI事例的数量。
• 公司/组织：OpenAI - 主持人提到其承诺对前沿AI模型进行监督。
• 人物：Dario Amadei - 主持人提到其周末发表的关于AI风险的essay。
• 公司/组织：BenevolentAI - 嘉宾创办的公司，与政府合作应对生物风险，COVID期间用AI筛选出扑热息痛。
• 公司/组织：ProximaGen - 嘉宾此前创办的剑桥公司，以约5亿美元卖给美国制药公司。
• 活动：Cambridge Tech Week - 嘉宾担任主讲人的活动，节目以此为由头讨论英国科创生态。
• 人物：John Healey - 主持人提到英国新财政大臣希望将独角兽数量翻倍。