电脑之心时评译者:李小丹
将弱监督管理球体功能定位看做图像与画素特点DHCPv6的域自适应各项任务,清华、二进制颤动明确提出新架构明显进一步增强如前所述图像级条码的弱监督管理图像功能定位操控性。
球体功能定位做为计算机系统听觉的基本难题,能为情景认知、手动驾为减低标示工作的经济负担,弱监督管理球体功能定位 (WSOL) 通过借助图像级条码(如图像类型)做为监督管理讯号展开球体功能定位数学模型的体能训练,以彻底摆脱体能训练操作过程对画素级标示的需求。此类方式多半采用展开分类转化成图 (CAM) 的业务流程体能训练两个图像级特点预测器,尔后将该预测器促进作用于画素级特点获得球体功能定位结果。但是图像级特点通常能保持充裕的球体重要信息,仅辨识其中具备辨别性的球体特点即恰当展开分类图像。因此,在将该预测器促进作用于在所含球体重要信息并不充裕的画素级特点展开球体功能定位时,最终获得的功能定位图往往只能交互到部分球体地区而非整个球体。为解决这一难题,责任编辑将如前所述 CAM 的弱监督管理球体功能定位操作过程看做是两个特定的域自适应各项任务,即在确保在源图像级特点域上体能训练的预测器应用领域在最终目标画素域时仍具备较好的展开分类表现,从而使其更快的在测试操作过程中展开最终目标功能定位。从这一视点来看,我们能很自然的盖隆康自适应方式北迁到弱监督管理球体功能定位各项任务中,使得仅依照图像条码体能训练的数学模型能更为精确的功能定位最终目标球体。该文门牌号:https://arxiv.org/abs/2203.01714
项目门牌号:https://github.com/zh460045050/DA-WSOL_CVPR2022
目前,此项研究已被 CVPR2022 转交,完备体能训练标识符及数学模型均已开放源码。主要由清华大分子图像/药理学智能化生物药理学李小丹和二进制颤动佘琪参与探讨和开发,清华大分子图像/药理学智能化生物药理学卢闫晔同学给与辅导。方式 图 1 – 方式整体价值观位热力图。总的来看,我们的方式希望在此操作过程中引入域自适应方式展开辅助,以拉近源域 S 与最终目标域 T 的特点分布,从而进一步增强在数学模型 e(∙)对于最终目标域 T 的展开分类效果,因此我们的损失函数能表示为: 其中 L_c 为源域展开分类损失,而 L_a 则为域自适应损失。由于弱监督管理功能定位中源域和最终目标域分别为图像域和画素域,我们所面临的域自适应各项任务具备一些独有的性质:①最终目标域样本与源域样本的数量并不平衡(最终目标域样本是源域的 N 倍,N 为图像画素数);②最终目标域中存在与源域条码不同的样本(背景画素不属于任何球体类型);③最终目标域样本与源域样本存在一定联系(图像特点由画素特点聚合而获得)。为了更快地考虑这三个特性,我们进而明确提出了一种域自适应功能定位损失(DAL Loss)做为 L_a (S,T)以拉近图像域 S 与画素域 T 的特点分布。 图 2 – 弱监督管理功能定位中源域最终目标域的划分以及其在弱监督管理功能定位中的促进作用首先,如图 2-A,我们将最终目标域样本 T 进一步分为三个子集:①“伪源域样本集 T^f”表示与源域特点分布相似的最终目标域样本;②“未知类样本集 T^u”表示类型在源域中不存在的 l 最终目标域样本;③“真实最终目标域样本集 T^t”表示其余样本。依照这三个子集,我们明确提出的域自适应功能定位损失能表示为: 从上述公式能看到,在域自适应功能定位损失中,伪源域样本被看做源域样本的补充而非最终目标域样本,以解决样本不平衡难题。同时,为了减少具备源域未知类型的样本 T^U 对展开分类准确率的干扰,我们仅使用传统自适应损失 L_d(如最大均值差异 MMD)拉近扩增后的源域样本集 S∪T^f 与真实最终目标域样本集 T^t 的特点分布。而这些被排除在域自适应操作过程之外的样本 T^u,能被用作 Universum 正则 L_u,以确保预测器所定义的类型边界也能更快的感应到最终目标域。图 2-B 也形象地展示了源域展开分类损失及域自适应功能定位损失的预期效果,其中 L_c 确保不同类型源域样本能被恰当区分,L_d 将源域最终目标域分布展开拉近,而 L_u 将类型边界拉近到未知条码最终目标域样本处。 图 3 – 整体工作流及最终目标样本分配器结构我们明确提出,域自适应功能定位损失能很便捷地盖隆康自适应方式嵌入到已有弱监督管理功能定位方式中大幅提升其操控性。如图 3 所示,在已有弱监督管理功能定位数学模型上嵌入我们的方式仅需要引入两个最终目标样本分配器(Target Sample Assigner)展开最终目标域样本子集的划分,该分配器通过记忆矩阵 M 在体能训练操作过程中实时更新未知类最终目标域样本集 T^u 与真实最终目标域样本集 T^r 的锚点,并以将二者和源域特点做为聚类中心展开三路 K 均值聚类,获得每个最终目标域样本所属的子集。最后依此样本子集,我们能获得域自适应损失 L_d、以及 Universum 正则 L_u 并借助二者与源域展开分类损失 L_c 一起对体能训练操作过程展开监督管理,使得在确保源域展开分类准确性的情况下,尽可能的拉近源域与最终目标域特点,并减少未知类型样本影响。这样一来,在将该数学模型应用领域于最终目标域(也就是画素特点)展开球体功能定位时,最终生成的功能定位热力图的质量将获得明显提升。实验图 3 – 球体功能定位热力图及最终功能定位 / 分割结果我们在三个弱监督管理最终目标功能定位数据集上验证了我们方式的有效性:从听觉效果来看,由于确保了图像与画素特点域的分布一致性,我们的方式能更加全面的抓取球体地区。同时,由于 Universum 正则关注了背景画素对预测器的影响,我们的方式生成的功能定位热力图能更快的贴近球体边缘并抑制类型相关背景的响应程度,如水面之于鸭子。从定量结果中能也看到,在最终目标功能定位操控性方面,我们的方式在三个数据上均取得了非常好的效果,尤其是在对于非细粒度最终目标功能定位的情况(ImageNet 和 OpenImages 数据集),我们的方式均取得了最优的功能定位操控性。而对于图像展开分类操控性方面,由于引入域自适应会导致源域准确度的损失,但通过借鉴多阶段策略借助两个附加的展开分类数学模型(仅使用 L_c 体能训练)生成展开分类结果即可解决域自适应带来的副促进作用。此外,我们也具备很好的泛化性,能兼容多类域自适应及多种弱监督管理最终目标功能定位方式,以提升功能定位操控性。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]