SurgNarrator:用生成式检索打破手术视频理解的速度与推理僵局
生成式检索在通用视频领域已经展现出桥接推理与速度的潜力,但直接搬到手术场景行不通。原因在于,手术领域有自己独特的术语体系、细粒度的动作分类和严格的语义层级——通用的词汇表和检索策略根本无法适配。SurgNarrator的核心洞见是:将手术视频理解重新定义为在结构化临床概念空间上的查询条件化检索。它不生成自由文本,而是从一个精心构建的、按手术类型分层组织的手术中心词汇表中检索答案。
生成式检索在通用视频领域已经展现出桥接推理与速度的潜力,但直接搬到手术场景行不通。原因在于,手术领域有自己独特的术语体系、细粒度的动作分类和严格的语义层级——通用的词汇表和检索策略根本无法适配。SurgNarrator的核心洞见是:将手术视频理解重新定义为在结构化临床概念空间上的查询条件化检索。它不生成自由文本,而是从一个精心构建的、按手术类型分层组织的手术中心词汇表中检索答案。