GH-ESD: Grounded Hypothesis-Driven Error Slice Discovery for Instance-Level Vision Tasks

AI 中文解读

苹果研究团队发布了一项名为GH-ESD的新技术，专门用来揪出AI视觉模型的“系统盲区”。过去我们评测AI识别图像，主要看它在整体上的准确率，但AI可能对某些特定场景“集体翻车”，比如总认不出雨天夜里的行人。这类问题被称为“错误切片”，以往寻找它们的方法，大多只能处理简单的图片分类，相当于看个大概；但对“找出图中所有物体并画出轮廓”这类更精细的任务，这些方法就力不从心了。 GH-ESD的精明之处，在于它懂得“带着假设去验证”。它会主动生成各种具体情境的猜测，比如“是不是物体被遮挡时就会出错”，然后去大量图片中验证，精准定位AI在哪些复杂关系或空间布局下会犯迷糊。这项技术就像给AI视觉系统装上了一台高倍显微镜。将来用到手机上，你拍照时背景杂乱，AI能更准确地识别主体，不会把远处的车误认为障碍物；用在自动驾驶上，它也能帮助系统在更刁钻的街角场景中提前规避危险。

Systematic failures of vision models on semantically coherent subsets, known as error slices, reveal limitations in robustness and evaluation. Existing slice discovery approaches largely model slices as clusters in representation space or combinations of predefined attributes. While effective for image-level classification, such formulations are insufficient for instance-level tasks such as object detection and segmentation, where failures often arise from contextual relational and spatially grounded visual patterns. We propose GH-ESD (Grounded Hypothesis-Driven Error Slice Discovery), a…