跳至内容

pchao.org

SwiGLU

GTR:面向高效密集预测的门控 Token 递推

23 9 月, 2026 作者 PengChao
递推补全局,卷积补邻居

GTR 用无 softmax 的门控线性递推、四方向扫描和 Spatial SwiGLU 做单尺度骨干,只蒸馏教师最后一层 patch 特征,再换任务头覆盖六种密集预测。

分类 CVPR三分钟 标签 CUDA、 CVPR三分钟、 DINOv3、 SwiGLU、 人工智能、 深度学习、 计算机视觉 发表评论
© 2026 pchao.org • Built with GeneratePress