Retrieval After RAG: Hybrid Search, Agents, and Database Design — Simon Eskildsen of Turbopuffer

这期播客的核心信号是关于 AI 基础设施的成本结构问题和解决方案。

turbopuffer 的起源故事很有启发性：在 Readwise 的实验中，语义推荐效果很好，但成本是公司全部基础设施费用的 6 倍。这暴露了一个结构性问题——当前的向量数据库和搜索基础设施的成本模型不适合 AI 工作负载。

Simon 的解决方案是从底层重新设计：用对象存储（S3）和 NVMe 替代传统架构，避免共识层，利用只在近几年才成为可能的云原语。这帮 Cursor 降低了 95% 的搜索成本——这不是增量优化，而是数量级的改变。

关于 RAG 的判断值得关注：Simon 认为 RAG 不但没死，混合检索（语义+文本+正则+SQL 模式）反而变得更重要。agent 工作负载正在改变搜索模式——从一次前置检索变成一个 agent 同时发出大量并行查询。这对搜索基础设施的并发能力提出了全新要求。

对基础设施创业者的信号：AI 工作负载的成本结构问题仍然是一个巨大的机会空间。