方法贡献

PointEvent：用序列化运动证据积累做事件微小无人机检测

作者

快速导读：PointEvent 把稀疏事件排成保局部的时空序和保时序的时间戳序，用轻量状态空间扫描沿互补路径积累弱运动证据，在 EV-UAV / ES-UAV 上以极少参数达到作者报告的最高精度与最快推理。

远距微小无人机在图像里往往只占几个像素，外观几乎帮不上忙。事件相机能以微秒级时间分辨率抓住亮度变化，但目标事件又稀又碎，很容易被杂波、传感器噪声和相机自运动盖住。南京理工大学与厦门大学的 PointEvent 不把异步事件先堆成帧或体素，也不把推理锁在固定的局部三维邻域里，而是把同一条事件流排成互补的序列：保局部的时空序负责接上 x-y-t 里的短曲线，保时序的时间戳序负责跨更长间隔传递证据。代码见 https://github.com/wzz-z/PointEvent。

具体实现是一个很轻的事件级状态空间网络。Event Coordinate Embedding 先从坐标、极性和序上的转移线索做出 token；Serialized Evidence Block 交替做各向异性曲线位置编码和 Mamba 式扫描，让隐状态当可学习的证据累加器。高分辨率事件分支保住细弱响应，紧凑上下文分支在池化 token 上攒更大范围的运动，再经门控融回去压背景。作者在 EV-UAV 与 ES-UAV 上报告：相对所列对照，精度最高、参数最少、实测推理最快。

英文题目：PointEvent: Rethinking Event-based Tiny Object Detection via Serialized Motion Evidence Accumulation

论文出处：arXiv 每日论文精选 · arXiv:2609.20066

原始论文：PDF / 论文页面

这篇论文解决什么问题？

任务按近期基准写成事件级目标预测：给窗口内每个事件一个目标类概率，而不是先栅格化再回归检测框。挑战是从海量背景事件里找回弱但时间上一致的目标运动。

稠密路线把事件累成 event frame、time surface 或 voxel，于是可以接 SSD、Faster R-CNN、DETR、YOLO，以及 EMS-YOLO、Spike-YOLO 这类脉冲网络，或 GET、RED、RVT、SAST 这类 token/voxel 检测器。代价是时间戳被量化，空区域仍要算。

稀疏路线把事件当点。Ev-SpSegNet 在 x-y-t 里用稀疏卷积和相关损失抽曲线；SpTopoNet 加拓扑约束。它们证明运动连续性很关键，但感受野仍主要是预定义局部三维邻域：邻域小，弱轨迹被切碎；邻域大，建筑、行人、街道响应涌进来。把空间和时间完全拆开能缓解两难，却削弱区分目标与噪声所需的耦合 x-y-t 模式。

通用点云序列化（PointMamba、Point Transformer 等）把点当成无序几何样本。事件流还带时间戳、极性和非均匀密度，这些才编码异步运动。因此需要一种机制：既保住事件级时空相关，又能把证据传到固定邻域之外。

核心创新

  • 提出序列化运动证据积累：同一事件流走保局部时空序与保时序时间戳序，把运动连续性当成有序证据传播，而不是放大局部三维邻域。
  • PointEvent：轻量事件级状态空间框架，块间交替互补扫描，隐状态作为可学习证据累加器，线性复杂度做长程推理并保住事件级时空结构。
  • 高分辨率上下文引导结构：事件分支保分辨率，紧凑上下文经门控融回；ECE 与 ACPE 在长程扫描前提供坐标、极性与各向异性曲线先验。

方法概览

输入窗口内事件 e_i=(x_i,y_i,t_i,p_i)，对每个事件预测目标类概率。先在 (x,y,t,p) 空间抽样代表事件；训练时超上限则随机球裁，测试保留逆映射投回原事件。用数据集相关量化尺度把事件分到格子，再以 Z-order/Hilbert 及其转置构造保局部时空序，并以升/降时间戳构造时间序。ECE 融合 [x,y,t]、[x,y,p] 与沿基序的转移线索 q_i=(Δt_i, p_i p_{i-1}, exp(-Δt_i/Δt̄))，门控残差得到初始 token。每个 SEB：ACPE（空间 3×3×1 与时间 1×1×N 稀疏卷积加通道门）→ 按块交替的序列化 Mamba 式扫描（默认 d_s=16、扩张 2、深度卷积核 5）→ 反序列化残差 + MLP。事件级证据分支默认两块 8 通道、不下采样；紧凑上下文分支按步长 2 的时空码池化，max+mean 聚合后两块 16 通道扫描；按池化分配做门控融合，再四块 8 通道精炼，事件级两分类头。训练用加权交叉熵 (λ_0,λ_1)=(1,15)，扫描复杂度 O(N C d_s)。

  • 多阶序列化。事件先在 (x,y,t,p) 空间抽样。格子 c_i=(x_i/s_x, y_i/s_y, t_i/s_t)，保局部码把格子映成一维索引并排序，得到时空序；时间戳升序与降序构成时间序。实践中时空序来自 Z-order、Hilbert 及其转置。同一特征按序 π 序列化，扫描后再按逆序还原，所以不同 SEB 是在同一批事件上换传播路径，而不是各走各的互不相通。
  • ECE。原始事件维度低、局部歧义大。三路输入：[x,y,t]、[x,y,p]，以及沿基序的 q_i=(Δt_i, p_i p_{i-1}, exp(-Δt_i/Δt̄))。投影后做门控残差：几何残差保住坐标，门控再注入极性与转移线索。转移线索被当作序条件的局部连续信号，而不是绝对可靠度。
  • SEB 与 ACPE。图 4：空间稀疏卷积（示意 3×3×1）与时间稀疏卷积（1×1×N）分路，通道门控融合成曲线先验，再加回输入。随后按块索引选择时空序或时间戳序，LayerNorm 后送入轻量选择性状态空间：s_n=A_n s_{n-1}+B_n z_n，ẑ_n=C_n s_n+D z_n。展开后隐状态是沿该序的可学习累加器。默认状态维 16、扩张 2、深度卷积核 5；各块不共享 SSM 参数。反序列化残差后再接 MLP。
  • 上下文引导。事件级分支默认两块 8 通道、不下采样。上下文分支把序列化码右移实现各维步长 2 的分组，组内对投影后特征做 max 与 mean 再平均；两块 16 通道扫描后，按保存的分组下标把上下文门控加回对应事件，避免额外近邻搜索。精炼阶段默认四块 8 通道，最后两分类 Softmax。
  • 目标与复杂度。加权两分类交叉熵，背景/目标权重 (1,15)。长度 N、通道 C、状态维 d_s 的扫描为 O(N C d_s)，在构造好顺序之后对事件数线性。
  • 实现细节。单卡 RTX 3090，800 epoch，batch 48，余弦退火。EV-UAV / ES-UAV 量化尺度 (0.03,0.03,0.03) 与 (0.02,0.02,0.02)，训练事件上限 30K / 40K。测试不做球裁，用逆抽样映射把预测投回原事件流。

逐图理解论文

失败直觉

失败直觉
Figure 2: Motivation of serialized motion evidence accumulation. (a) Dense representations quantize asynchronous events into frames or voxels, leading to temporal information loss and redundant computation. (b) Local three-dimensional aggregation suffers from a spatiotemporal receptive-field dilemma: small neighborhoods fragment weak target trajectories, whereas large neighborhoods introduce clutter. (c) PointEvent decouples evidence propagation through complementary spatial-temporal and timestamp orders, enabling long-range motion evidence accumulation while preserving event-level spatiotemporal correlations.

第 2 页动机三连。左：(a) 事件帧量化，放大框里 UAV 轨迹发虚。中：(b) 局部三维聚合，小感受野把运动证据撕碎，大感受野引入背景。右：(c) 路径解耦，时空序与时间戳序交替扫描后接到更完整的红轨迹。按 (a)(b)(c) 读，不要把中间绿框示意图当成真实检测框。

方法贡献

方法贡献
Figure 3: Overall framework of PointEvent. Raw asynchronous events are first embedded by Event Coordinate Embedding (ECE), serialized into multiple spatial-temporal orders and timestamp orders, and processed by a compact hierarchical encoder-decoder. Each block alternates serialized state-space scans to accumulate weak motion evidence for event-wise tiny target detection.

第 3 页总框架。从左到右：原始事件流 → ECE（[x,y,t]、[x,y,p]、可靠性线索门控融合）→ 事件级证据分支（两块 SEB，蓝格时空扫描、紫格时间戳扫描交替）→ 步长 2 的序列化池化 → 紧凑上下文分支 → 门控融合 → 四块精炼 → 事件级分割头。右上角是单个 SEB：ACPE、序列化 SSM、FFN 残差。先跟主数据流，再看右上块内部。

关键机制

关键机制
Figure 4: Illustration of Anisotropic Curve Positional Encod- ing and State-Space Scan.

第 4 页 SEB 特写。输入 N×C 特征进 ACPE：空间 3×3×1 与时间 1×1×N 两路门控融合；再在空间序（6 方向 Z/Hilbert）与时间戳升/降序之间交替；Serialize 后做 SSM，公式 s_n=A_n s_{n-1}+B_n z_n；Deserialize 残差后 FFN。裁切较小，从左读到右即可。

实验证据

实验证据
Figure 1: Efficiency–accuracy comparison of event-based de- tection methods. Bubble size indicates parameters and color denotes event representation. Our method achieves the best ACC with the lowest runtime and fewest parameters.

第 1 页效率-精度气泡。纵轴 ACC，横轴 Runtime（毫秒，近似对数），气泡大小为参数（图例 1M/10M/30M），颜色为事件表示。红点 Ours 在最左上、气泡最小；蓝点方法整体优于灰/黄/绿的帧与体素方法。上沿是被裁进来的标题与作者，不是图内容。

核心结论

核心结论
Figure 5: Qualitative comparison on EV-UAV. Our method predicts complete target trajectories with fewer false positives.

第 6 页。上半 Table 1 数字表，Ours 一行加粗：75.56 / 81.61 / 91.75 / 0.12 / 0.06M / 29.7。下半 Figure 5 两行定性：对照轨迹断裂或旁有红噪，Ours 更接近最右 GT。先读表再对图，不要把上半表题当成定性图的一部分。

实验如何设计？

  • EV-UAV（Chen et al. 2025）是主基准：346×260，147 条序列，含正常光、过曝、低光，非目标干扰相对少。指标沿用 Ev-SpSegNet：IoU、ACC、Pd、Fa。
  • ES-UAV（Jia et al. 2026）用于更复杂杂波：1280×720，约 60 亿事件、3600 万标注。选序列 012、016、017 留一交叉验证，对照共用同一划分；补充材料给三条完整结果。
  • 对照按事件表示分组：Event Count 帧检测器、SNN、Group Token、Voxel Grid、Points。学习方法除非另说明，都按同一划分、同一事件窗和同一事件级协议重训。Ev-SpSegNet 在 ES-UAV 上因算力只能报 16× 下采样，表中用 † 标出。SpTopoNet 缺公开训练代码，引用 He et al. 2026 的同配置重训。
  • 消融在 EV-UAV 上进行：组件消融针对 ECE、ACPE、上下文分支与门控；序消融针对随机序、仅时间戳、仅时空、单时空+时间戳、多阶组合。

关键结果与论文证据

  • 表 1（第 6 页）：PointEvent IoU 75.56、ACC 81.61、Pd 91.75、Fa 0.12，参数 0.06M，推理 29.7 ms。次优 SpTopoNet 为 66.62 / 74.43 / 83.36 / 1.29 / 4.4M / 56.5 ms。作者据此写相对其 IoU/ACC/Pd +8.94 / +7.18 / +8.39 个百分点，Fa 从 1.29 降到 0.12。
  • 同表：PointMamba 46.30 / 58.89 / 66.39，说明通用点序列化会在邻近噪声上误报或轨迹不完整。Ev-SpSegNet 55.18 / 65.02 / 77.53 / 1.63，作者认为局部曲线建模丢掉了微弱但有效的目标事件。稠密帧/体素方法 ACC 多在 30–50、耗时数秒级。
  • 图 5：两行事件点云，列为 Input、RandLA-Net、COSeg、PointMamba、Ev-SpSegNet、Ours、GT。对照常出现断裂或旁边的红噪点；Ours 更接近 GT 的连续细曲线。裁切上半是表 1，数字以表为准。
  • 表 2（第 6–7 页）：ES-UAV 上 Ours IoU 71.4%、ACC 89.0%，相对最强对照 +5.1 / +8.8 个百分点。SMamba 高 IoU 低 ACC，MvHeat-DET 高 ACC 低 IoU，作者解释为“抓得紧但缺轨迹”对“留得多但易被边缘和自运动干扰”。
  • 表 3：去掉 ECE 使 IoU 从 75.6 掉到 55.7，说明坐标嵌入对初始化稀疏目标很关键；去掉上下文或门控分别到 66.6 与 68.4，说明宽上下文要自适应注入。仅序列化骨干 30.1 / 38.9。
  • 表 4：随机序 56.94 IoU；仅时间戳 64.85；仅时空 72.15；二者结合再加多阶达到 75.56。时空序接局部曲线，时间戳序保异步演化，二者互补。
  • 图 1 气泡：Ours 在约 30 ms、约 82 ACC 的左上角，气泡最小；点方法整体优于帧/体素方法。横轴 Runtime 近似对数，气泡大小为参数量。

阅读时需要注意

  • 没有独立 Limitations 节。实验只覆盖 EV-UAV 与 ES-UAV，不能外推到通用事件检测或非无人机微小目标。
  • ES-UAV 上 Ev-SpSegNet 为 16× 下采样，表 2 的领先幅度对这一对照并不公平。
  • SpTopoNet 数字来自他文重训，不是作者在同一代码库里复现。
  • 输出是事件级二分类，没有框级评测；类别不平衡主要靠权重 15，未展开更复杂采样。
  • 预印本。定性图 5 的裁切混有表 1，阅读时要分开。

关联工作

  • Ev-SpSegNet 把任务做成 x-y-t 曲线提取，是事件微小目标检测的基准方法之一；PointEvent 保留事件级设定，但把连续性从局部聚合改成有序扫描。
  • SpTopoNet 用拓扑约束保轨迹完整，是表 1 最强已有点方法；本文用更小模型超过其重训结果。
  • PointMamba 证明状态空间可以扫点云，但事件不是无序点。表 1 的大幅落后被作者用来支持“要互补时空序+时间戳序”。
  • RVT、SAST、GET 代表把事件量化进网格或 token 后再检测的路线，图 1 中更慢、更大、ACC 更低。
  • Mamba 提供线性序列建模；PointEvent 的贡献在于事件特有的多阶序列化、ECE/ACPE 与门控上下文，而不只是换骨干。

发表评论