HounsWorld：把CT理解与生成统一为隐式患者状态预测

快速导读：HounsWorld 将 CT 中心临床智能统一为共享隐式患者状态下的状态依赖预测问题，通过 Joint Understanding-Generation Learning 同时支持读取、重建与模拟。

HounsWorld 提出一个核心主张：CT 中心的临床智能——读取、重建与模拟——本质上是同一个隐式患者状态下的状态依赖预测问题。传统医学 AI 把这三类任务拆成独立模型，每个模型只学一个条件到一张图的映射，导致监督信号碎片化，无法共享患者表征。HounsWorld 用一个 3B 的共享 causal transformer 把 CT、语言、解剖掩码与条件描述符整合进统一工作空间，试图打破这种割裂。

文章围绕一个论证主线展开：先展示任务特定模型的失败案例，说明缺乏共享状态概念会导致语义漂移；再指出研究缺口——CheXWorld 已在二维 X 光上验证了影像世界结构，但体积 CT 与语言互补观测尚未统一；然后介绍 CSPC 联合约束机制与适配预训练接口的技术手段；最后用 HounsBench 的消融证据证明生成信号能迁移回理解能力，并诚实标注生成 CT 未经放射科医生验证的局限。

这篇论文解决什么问题？

现有医学 AI 系统以任务特定模型为主。低剂量 CT 去噪用 RED-CNN，虚拟对比增强用 SMILE 或 MedDiff，文本条件生成用 GenerateCT 或 MAISI，读取任务则依赖 OmniCT 等专用 LVLM。每个模型在自己的数据分布上优化，学到的表征无法跨任务复用。这种碎片化带来两个后果：一是每个任务都需要独立的数据、训练与部署；二是模型学到的只是条件到输出的映射，而非患者本身的隐状态。

世界模型提供了一种替代视角：隐状态解释多模态观测，并支持条件预测。在医学中这个视角尤为自然，因为临床智能本质上就是隐状态推断——医生从 CT 的稠密解剖证据和报告的稀疏语义观测中，推断出患者不可直接观测的病理状态。CT 与语言应当被视为同一隐状态的互补观测，而非两个独立模态。

最接近的概念先例是 CheXWorld，它把局部解剖、全局布局与采集变化建模为影像世界结构，但限于二维 X 光。HounsWorld 的贡献在于把这一思路扩展到体积 CT，并引入语言作为互补观测。体积 CT 带来两个新挑战：一是三维数据如何适配预训练视觉接口，二是采集与显示条件（如 HU 窗宽窗位、对比剂时相）如何与内容解耦，避免模型混淆'看起来不同'与'实际不同'。

核心创新

• 将 CT 中心临床智能形式化为多模态世界建模，统一读取、重建与模拟为状态依赖预测问题
• 提出 Clinically Structured Patient-State Completion (CSPC)，保持患者对应关系同时改变观测条件，联合约束理解与生成
• 引入 condition-explicit CT observations 与 HU-aware windows，显式编码采集/显示条件以减少内容与条件歧义
• 提出 Pseudo-Frame Construction (PSC) 将体积 CT 打包为伪 RGB 帧以适配预训练视觉接口
• 设计 branch-specific residual adapters（零初始化）以桥接语义编码器与 VAE 潜空间分布差异
• 构建 HounsBench，以患者不相交划分统一组织读取、重建与模拟三个任务族

方法概览

HounsWorld 使用共享 causal transformer 将 CT、语言、解剖掩码与条件描述符整合为统一患者状态工作空间；通过 Clinically Structured Patient-State Completion (CSPC) 联合约束语言读取、文本重建与条件 CT 补全；引入 condition-explicit observations、HU-aware windows、Pseudo-Frame Construction (PSC) 和 branch-specific residual adapters 以适配预训练多模态接口；CT 生成在 VAE 潜空间用 flow matching 完成。

• 共享工作空间：HounsWorld 使用一个共享 causal transformer，将 CT 观测、语言观测、解剖掩码与条件描述符整合为统一患者状态工作空间。所有任务都在这个空间内以状态依赖预测的形式表达。
• CSPC 联合约束：Clinically Structured Patient-State Completion 是核心训练目标。它保持患者对应关系不变，同时改变当前或请求的后续观测条件，联合约束三个方向——语言读取（从 CT 到文本）、文本重建（从文本到文本）与条件 CT 补全（从条件到 CT）。单一目标耦合理解与生成，使生成信号能反向强化隐状态表征。
• condition-explicit observations：将采集/显示条件与视觉观测联合呈现，显式编码'这张 CT 是在什么条件下获得的'。这减少了内容与条件的歧义，让模型学会区分真实的病理变化与条件引起的外观变化。
• HU-aware windows：按 Hounsfield 单位窗宽窗位裁剪强度，把 CT 的物理衰减值映射到适合视觉接口的显示范围。不同窗位突出不同组织，模型需要理解这种显示条件而非死记像素值。
• Pseudo-Frame Construction (PSC)：将相邻轴向切片打包为 RGB 通道，构造伪帧以适配预训练视觉接口。这解决了体积 CT 无法直接输入二维预训练编码器的问题。
• branch-specific residual adapters：零初始化的分支特定残差适配器桥接语义编码器与 VAE 潜空间的分布差异。零初始化保证训练初期不破坏预训练表征，随后逐步学习生成所需的适配。
• flow matching 生成：CT 生成在 VAE 潜空间用 flow matching 完成，而非像素空间的扩散。这降低了计算成本，同时保持生成质量。
• 两阶段优化：训练分两阶段进行，先建立基础的多模态对齐，再引入 CT 生成与 CSPC 联合约束。具体配置在论文附录 Table 10 中公开。

逐图理解论文

失败案例与直觉

三列定性对比分别对应去噪、对比增强、text+mask2CT。重点看任务特定模型的语义漂移（定位错误、病灶混淆）与 HounsWorld 的一致性修正。

研究缺口

观察 CSPC 如何保持患者对应关系不变、同时改变观测条件。注意 CT 与语言观测如何指向同一隐状态，以及三个补全方向如何共享约束。

证据与结论

观察从 UND 到 CSPC 再到 CO 的读取分数变化趋势。每一行新增的生成信号是否带来单调提升，是判断迁移效应的关键。

实验如何设计？

• HounsBench 以患者不相交划分统一组织三个任务族：Readout（读取）、Reconstruction（重建，t 时刻）、Simulation（模拟，t+Δt 时刻）。患者不相交保证训练与评估无患者重叠，避免数据泄漏。
• 生成对比：在 HounsBench-Reconstruction 和 Simulation 上与通用生成模型 InstructPix2Pix、CogVideoX、Lance 对比，覆盖去噪、对比增强、text+mask2CT 三个子任务。
• 任务特定对比：与 RED-CNN（去噪）、MaskDenoising、CyTran、MedDiff、SMILE（对比增强）、MAISI、GenerateCT（生成）对比，检验统一模型能否逼近各领域专用模型。
• 读取对比：在 HounsBench-Readout 的 M3D 与 CT-RATE 子集上，与通用 LVLM 和医学 LVLM（含 OmniCT）对比。
• 消融设计：从纯理解基线（UND）出发，逐步加入去噪（DEN）、对比增强（VE）、text+mask2CT（T2C）、三者联合（CSPC）与 condition-explicit observations（CO），测量读取性能的迁移效应。
• 迁移实验：冻结 HounsWorld 作为奖励模型，用 GRPO 训练独立的 Qwen3-VL-4B，检验隐状态表征能否迁移到外部模型。

关键结果与论文证据

• 生成任务全面领先：HounsWorld 在生成模型对比的 9 项指标中全部第一，PSNR 分别领先最强对手 7.465/5.573/5.807 dB（去噪/对比增强/text+mask2CT），见 Table 1（第 6 页）。
• 超越部分任务特定模型：对比增强 PSNR 31.343、RMSE 0.0295 超过 SMILE（30.736/0.0306）；text+mask2CT 的 CT-KID 0.075、LPIPS 0.3056 大幅优于 MAISI（0.826/0.3506），见 Table 2（第 6 页）。
• 读取接近最强专用模型：HounsWorld 综合 Avg. 58.96，仅次于 OmniCT 的 59.90，差距 0.931 分；在 Abnormality 46.45、Disease 37.97、Report 59.78、Simulation 59.18 四项最佳，见 Table 3（第 7 页）。
• CSPC 迁移效应显著：CSPC 相对纯理解基线平均提升 +1.98，加入 CO 后总提升 +2.16，见 Table 4（第 8 页）。这是全文最有力的证据——生成信号真实迁移回了理解能力。
• 稀疏观测鲁棒性：Sparse-1/8 下 CSPC 报告保留率比纯理解基线高 3.97 分，比 OmniCT-3B 高 10.66 分，见 Figure 3(a)（第 8 页）。CSPC 在观测退化时衰减最平缓。
• 奖励迁移有效：GRPO+HounsWorld 在闭式任务 79.29、开放式 QA 67.68，超过 SFT 基线，见 Figure 3(b)（第 9 页）。隐状态表征可作为外部模型的奖励信号。
• 定性一致性：Figure 4（第 9 页）展示去噪修正了椎体退变的误判、对比增强分离了血管与胰腺病灶、text+mask 条件生成了可识别的双侧钙化肺结节。
• 已知落后项：去噪 PSNR 落后 RED-CNN 1.186 dB，text+mask2CT PSNR 落后 MAISI 1.426 dB，综合读取 Avg. 仍低于 OmniCT 0.931 分。统一模型在个别指标上未完全追平最强专用模型。

阅读时需要注意

• 证据限于条件指定、短时程观测预测，不建立长期疾病演变、治疗响应或生成 CT 的诊断可互换性。
• 生成 CT 的语义一致性仅为内部一致性展示，未经盲法放射科医生或外部读者研究验证，生成体积不应作为独立诊断依据。
• 评估集为固定患者不相交子集，不代表完整源数据集测试划分；计数单位为物化记录/目标而非唯一患者数。
• 在去噪 PSNR 与 text+mask2CT PSNR 上分别落后最强任务特定模型，说明统一模型在纯像素精度上仍有差距。

关联工作

• CheXWorld（第 4 页）是最接近的概念先例，将局部解剖、全局布局与采集变化建模为影像世界结构；HounsWorld 扩展至体积 CT 与语言互补观测。
• OmniCT（第 3 页）提供 CT 指令数据构建协议，也是读取任务最强专用基线；HounsBench 的读取构造遵循其协议但额外保留父身份、canonical turn ID 与验证结果。
• CT-RATE 与 M3D（第 3 页）分别提供胸部 CT-报告配对与全身 CT 图文/VQA 数据，用于读取监督与评估。
• Lance（第 6 页）是统一多模态理解与生成基线，也是 HounsWorld 的初始化检查点，说明方法建立在已有统一模型之上。
• 任务特定基线群（第 6 页）：RED-CNN（去噪）、SMILE/MedDiff（对比增强）、MAISI/GenerateCT（生成）构成对比矩阵，检验统一模型能否逼近各领域专用模型。