图像分割到底在分什么——从像素到语义,这活儿没那么神秘
2026/7/27 14:02:49 网站建设 项目流程

前两天组里来了个实习生,抱着键盘怯生生问我:"师兄,图像分割和图像分类到底有什么区别?不都是让机器看图吗?"

我盯着他看了三秒钟,然后把手里那杯美式放下——这问题问得,既蠢又深刻。蠢在"都是看图"这个类比太粗糙了,深刻在他触及了计算机视觉最底层的逻辑分野:分类是回答"图里有什么",分割是回答"什么在图里的哪里"。

图像分割的核心任务,说白了就一句话:给每个像素打标签。

你有一张图,几百万个像素点,每个像素你都要告诉机器"这是人""这是车""这是路""这是天"。这事儿听着简单,做起来能把你整崩溃——一张1080p的图有两百万个像素,你要标注员一个一个点去标?标一张图的时间够他刷三小时抖音。Cityscapes数据集里一张精细标注的街景图,标注员要花几个小时才能完成。这就是分割跟分类最本质的区别:分类只要一个标签,分割要几百万个标签。

分割分三种,千万别搞混了

新人最容易犯的错误就是把语义分割、实例分割、全景分割混为一谈。我整理了一个粗暴但管用的区分方式:

语义分割——同一类东西全部涂成一个颜色。图里有三条狗?全涂成"狗"的红色,不分彼此。你要的是"哪些像素属于狗"这个区域,不用管"这是狗1还是狗2"。

实例分割——同一类东西每个个体单独标出来。三条狗分别涂成红、蓝、绿,每条狗都有自己的ID。你要的是"每个独立物体"的精确轮廓。

全景分割——把前两者合在一起。可数的"物体"(人、车、狗)做实例分割,不可数的"stuff"(天空、草地、道路)做语义分割,最后合并输出。这是分割领域的"大一统"目标,但实现起来两边互相打架——语义分支想把所有天空标成"天空",实例分支想把每朵云单独标出来,合并的时候冲突一堆。

在实际项目中,三种任务的选择完全取决于你的业务需求。做自动驾驶的路面检测,语义分割就够了——你只需要知道"哪些像素是路",不需要区分"这条路是路1还是路2"。做细胞生物学分析,你必须用实例分割——每个细胞单独计数、单独追踪。做室内机器人导航,全景分割才有意义——机器人既要避开"椅子"这个实例物体,也要知道"地面"这个stuff区域可以通行。

分割的"祖宗"们,现在回头看都很糙

在深度学习统治之前,图像分割靠的是传统图像处理那一套:阈值分割、区域生长、边缘检测、分水岭算法。这些方法在简单场景下能用,但遇到复杂背景、光照变化、物体遮挡,基本就废了。我记得刚入行那会儿还用过分水岭算法分割细胞图像,参数调了三天,换个显微镜拍的照片又不灵了——那种无力感,至今记忆犹新。

2014年,Long等人提出了FCN(全卷积网络),第一次把端到端的深度学习用到了像素级预测上。这东西的意义怎么强调都不为过——它证明了"卷积网络可以用来做逐像素分类",为后面所有分割模型铺了路。但FCN的粗糙也是出了名的:上采样出来的结果边缘模糊得跟狗啃似的,后来U-Net用跳层连接才把这个问题缓解了一些。

分割为什么比检测难?——一个被严重低估的问题

我经常跟人说:检测是"框出物体",分割是"抠出物体"。检测只要画个矩形框,哪怕框得歪了一点,IoU掉得也有限。分割要求你沿着物体的每一条边缘、每一个凹陷精确地划分像素——边界上差一个像素,在医学场景里可能就是"肿瘤切干净了"和"肿瘤没切干净"的区别。

而且分割的输出维度比检测高得多。检测输出的是几个框的坐标(4个数值×N个框),分割输出的是跟输入图像一样大的标签图(H×W个数值)。这意味着分割任务的输出空间巨大,模型要学的映射关系比检测复杂得多。

还有一个容易被忽略的问题——分割的标注成本太高了。标注一个检测框只要几秒钟,标注一个精细的分割掩膜可能要几分钟到几十分钟。这就是为什么弱监督分割、半监督分割这几年这么火——大家实在标不起了。

分割的"评价指标",一个比一个坑

分类看准确率就够了,分割的评价指标那叫一个五花八门。

IoU(Intersection over Union)是最常用的——预测区域和真实区域的交集除以并集。取值范围0到1,越接近1越好。这个指标简单直观,但对小物体极其不友好——一个小物体如果预测偏了几个像素,IoU可能直接从0.8掉到0.2。

Dice系数在医学分割里用得特别多,跟IoU是近亲。它等于2×交集/(预测面积+真实面积)。Dice对小物体的惩罚比IoU温和一些,所以医学领域更喜欢用。

边界指标(Hausdorff距离、平均表面距离)专门评估分割边界的精度。在需要精确定位边界的场景(比如手术规划)里,光看Dice是不够的——Dice可能很高,但边界差了5个像素,这在临床上可能就是"能用"和"不能用"的区别。

我做项目的时候通常同时看三四个指标——mIoU看整体、Dice看小物体、HD95看边界。任何一个指标异常都得回头查原因,不能只看一个数字就下结论。

好了,第一篇先把"图像分割到底是什么"这个框架搭起来了。后面七篇咱们挨个深入——从FCN到U-Net到Transformer到SAM2,从医学到遥感到自动驾驶,从损失函数到评价指标到工程部署。这活儿水很深,一篇一篇来。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询