全景/360°/等距柱状投影图像数据集综合调研

全景图像（equirectangular/360°/omnidirectional）已成为计算机视觉研究的重要数据形式，涵盖目标检测、语义分割、房间布局估计、全景分割等核心任务。本报告系统梳理了 50+ 个关键数据集，按任务类型分类呈现，为基于 DETR/DINO 等 Transformer 架构在球面位置编码下的全景图像研究提供完整的数据集参考。室内场景以 Stanford2D3D、Matterport3D、Structured3D、ZInD 为基石，室外场景以 DensePASS、WildPASS、KITTI-360 为代表，而 360-Indoor 和 PANDORA 则是目前 360° 目标检测领域仅有的两个专用基准数据集。

一、360° 目标检测数据集

目标检测是 DETR 类架构最直接的应用场景。目前专门为全景图像设计的目标检测数据集数量有限，360-Indoor 和 PANDORA 是该领域最核心的两个基准。PANDORA 首次引入了旋转边界视场（RBFoV）标注，对处理等距柱状投影中极区附近物体的严重畸变至关重要。Sph2Pob（IJCAI 2023）等方法将球面框转换为平面旋转框，使得常规 OBB 检测器可直接应用于全景图像。

显著物体检测（SOD）相关数据集：

二、360° 语义分割数据集

全景语义分割是当前研究最活跃的方向之一。该领域形成了两大范式：Pin2Pan（针孔→全景域适应，代表工作 DensePASS/Trans4PASS）和 Syn2Real（合成→真实域适应，代表数据集 SynPASS）。室内场景以 Stanford2D3D 的 13类设置为标准基准，室外则以 DensePASS 的 19类（与 Cityscapes 兼容）为主要评测集。WildPASS 因覆盖全球65个城市的极端多样性，成为泛化能力评估的核心测试平台。

三、场景理解与房间布局估计数据集

房间布局估计是全景图像最成熟的研究方向之一，形成了从 PanoContext 的长方体假设到 ZInD 的任意形状布局的完整演进路径。ZInD 以 71,474 张全景图成为最大规模的真实世界布局标注数据集，且独特地包含长方体、曼哈顿和非曼哈顿三种布局类型的真实分布。标准评测指标为 3D IoU、2D IoU、角点误差和像素误差。近年来多视图布局估计（MVL）成为新趋势，MP3D-FPE 和 HM3D-MVL 提供了相应基准。

全景3D场景总体理解（Total Scene Understanding）：

四、全景分割（Panoptic Segmentation）数据集

全景分割（语义+实例）在360°图像上的研究起步较晚，但近两年快速发展。Waymo Open PVPS 是目前规模最大的全景视频全景分割数据集（10万张标注），而 JRDB-PanoTrack 首次将开放世界全景分割引入机器人场景，支持71个类别。WildPPS 虽然规模较小（80张），但作为首个专用全景全景分割数据集具有开创意义。

五、360° 深度估计数据集

深度估计是全景图像的另一核心任务，对 DETR 类架构的特征表示学习也有重要参考价值。Pano3D 作为全面基准已取代早期的 3D60 数据集，修复了已知的亮度信息泄露问题。2024年的”360° in the Wild”首次提供了大规模（25K张）的真实世界全景深度数据。

六、360° 视觉目标跟踪与视频分割数据集

这是2023年以来快速兴起的新方向。360VOT（ICCV 2023）开创了全向目标跟踪基准，其后续 360VOTS 和 PanoVOS 分别将任务扩展到视频物体分割领域。2025年的 Leader360V 以 10,000+ 标注视频序列成为迄今最大规模的真实世界360°视频数据集。

七、自动驾驶与城市场景全景数据集

自动驾驶领域虽然多数数据集使用多摄像头拼接而非原生等距柱状投影，但其360°视觉覆盖的设计理念与全景图像研究高度契合。KITTI-360 的两个180°鱼眼相机提供了完整的360°视觉覆盖，是目前少数在自动驾驶场景中原生支持全向视觉的数据集。

八、综合性/基础性全景数据集

这些数据集跨越多个任务类别，在全景视觉研究生态中起基础性作用。SUN360 作为最早的大规模全景数据库，至今仍被广泛引用；HM3D 以 1,000 栋建筑级3D重建成为具身智能领域最大的全景可渲染数据集。

九、对 DETR/DINO 类全景架构的实用建议

基于上述数据集调研，以下是针对基于 DETR/DINO + 球面位置编码架构的具体建议：

目标检测任务的数据集选择高度受限。 360-Indoor 和 PANDORA 是目前仅有的两个专用全景目标检测基准，且均以室内场景为主。PANDORA 的 RBFoV 标注（含旋转角 γ）与球面位置编码天然契合，建议优先使用。室外检测可参考 Pano-RSOD（4类道路目标）或将 FishEye8K 作为补充基准。

关键的标注格式差异需要注意。 全景目标检测使用 BFoV（Bounding Field-of-View）而非传统矩形框，定义为球面坐标 (θ, φ, α, β)，PANDORA 进一步扩展为 RBFoV (θ, φ, α, β, γ)。Sph2Pob（IJCAI 2023）提出的球面框→平面旋转框转换范式值得关注，可使 DETR 的 Hungarian 匹配直接适配全景场景。IoU 计算需采用球面 IoU（Unbiased IoU, AAAI 2022）或 FoV-IoU（2023）等专用指标。

预训练与域适应策略。 Structured3D（196K 合成全景图）是预训练的首选数据源；COCO-Stuff164k 可作为开放词汇全景分割的源域（参见 OOOPS, ECCV 2024）。Pin2Pan（针孔→全景）和 Syn2Real（合成→真实）两种域适应范式均已被验证有效。

完整的相关方法参考：

• Sph2Pob（IJCAI 2023）：球面框→平面旋转框，适配现有OBB检测器
• PanoFormer（ECCV 2022）：Transformer处理等距柱状投影的深度估计
• Trans4PASS/DPPASS（CVPR 2023）：形变感知Transformer全景语义分割
• OOOPS（ECCV 2024）：开放词汇全景分割，含RERP增强
• 360BEV / 360Mapper（WACV 2024）：全景→BEV语义映射

结论与展望

本调研覆盖了 50+ 个全景/360°数据集，揭示了该领域几个重要趋势。目标检测是当前最薄弱的环节——仅有 360-Indoor（37类）和 PANDORA（47类）两个专用数据集，且均集中在室内场景，这对 DETR 类架构的研究构成了显著的数据瓶颈。相比之下，语义分割和布局估计已拥有较为成熟的数据生态。2023-2025年的新兴趋势包括：开放世界全景分割（JRDB-PanoTrack 的71类开放世界设定）、全景视频理解（360VOT/PanoVOS/Leader360V）、多模态融合（360+x 的全景+第一/三人称+音频）、以及 BEV 语义映射（360BEV）。对于球面位置编码的 DETR 架构而言，PANDORA 的 RBFoV 标注体系和 Sph2Pob 的球面→平面框转换范式是最直接相关的技术参考，而 Structured3D 和 Matterport3D 则是预训练和多任务学习的核心数据支撑。