前段时间亚洲地区数十家新势力厚积薄发子公司毕竟无法再火!小编看著蹭蹭攀升的公司股价毕竟是不务正业的千万别千万别的。而Esternay的人都晓得,以Tesla领衔,数十家子公司都选用计算机系统听觉做为自动驾驶的控制技术基座,而当中便是透过影像拆分控制技术,电动汽车才能分确切这儿是路,这儿是人。
那影像拆分阿韦尔关键还须要我特别强调么?而那时我要给我们如是说的那个开放源码组件,就囊括业内前沿的影像拆分演算法,并效用文武双全,这是 PaddleSeg!!OMG,还在等甚么?!盘他!盘他!盘他!
在Lendelin的亚洲地区计算机系统听觉顶会 CVPR2021 上,PaddleSeg 再度盛开高亮度。当中 AutoNUE 邀请赛是近几年自动驾驶情景认知应用领域颇具声望的这场赛事,十分挑战参赛选手选手在非结构化自然环境中的语法拆分演算法潜能。腾讯 PaddleSeg 项目组最后打败余下参赛选手各队,在 Level 1, Level 2, Level 3 四项试验分项上均以第二名的战绩摘获亚军。
心急的爸爸妈妈能间接去看赛事详细情况:
https://bj.bcebos.com/paddleseg/docs/autonue21_presentation_PaddleSeg.pdf
所以 PaddleSeg 究竟是个啥呢?小编去GitHub 上去扒了一下官方的解释:
PaddleSeg 是基于飞桨开发的端到端影像拆分开发组件,囊括了高精度和轻量级等不同方向的大量高质量拆分模型。透过模块化的设计,帮助开发者完成从训练到部署的全流程影像拆分应用。下面就给我们讲讲 PaddleSeg 的特点和近期更新的内容:
全新升级了人像拆分功能,提供了 web 端超轻量模型部署方案;推出了精细化的拆分解决方案 PaddleSeg-Matting;开放源码了全景拆分演算法 Panoptic-DeepLab,丰富了模型种类;发布了交互式拆分的智能标注工具 EISeg。极大的提升了标注效率。Web 视频会议
Matting
全景拆分
交互式拆分
提供了产业级的部署方式。如今又增加了这么多的新功能。能说 PaddleSeg 已经能全方位、立体式地满足开发者各个维度的需求。不得不大说一声:、这么好的产品,还不快上车?上车地址:https://github.com/PaddlePaddle/PaddleSeg产业级人像拆分方案PPSeg
片尺寸可能是横屏、竖屏或者方屏。部署情景多种多样,有的应用在服务器端,有的应用在移动端,还有的应用在网页端。为此 PaddleSeg 项目组推出了在大规模人像数据上训练的人像拆分 PPSeg 模型,满足在服务端、移动端、Web 端(Paddle.js)多种使用情景的需求。PPSeg 模型在产业中得到了广泛的应用。近期“腾讯视频会议”也上线了虚拟背景功能,支持用户在视频会议时进行背景切换。当中人像换背景模型选用 PaddleSeg 项目组开发的 PPSeg 系列模型中的超轻量级模型。透过 Padddle.js 实现了在 web 端部署,间接利用浏览器的算力进行影像拆分,拆分效用受到一致好评。产业级解决方案详解:https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.2/contrib/HumanSeg爸爸妈妈们也可前去腾讯首页体验腾讯视频会议,直观体验一下 PaddleSeg 和 Paddle.js 为我们提供的人像拆分功能。精细化的拆分解决方案 PaddleSeg-Matting
随着拆分控制技术的发展,人们对拆分的精细化的要求也越来越高。比如在一些影视行业,绿幕做为拍摄的换背景常用的工作,但目标不在绿幕前拍摄,是否还能达到很好的背景拆分功能呢?答案是:能!前段时间 PaddleSeg 项目组开放源码的精细化拆分解决方案 PaddleSeg-Matting 就很好的解决了那个问题。将目标的发丝实现了精准的拆分。PaddleSeg 透过内建 trimap 生成机制实现 alpha 预测,无需任何辅助信息的输入即可完成预测,极大减少了人工成本。透过共享 encoder 权重减少网络的参数量,并在 decoder 阶段利用 attention module 实现 trimap 信息流对 alpha 预测的指导。然后利用 error map 提取错估区域的 patch,透过 refinement 子网络进行 refine 得到最后的 alpha。交互式拆分智能标注工具
业内对于人工智能有这么一句话:“深度学习有多智能、背后就有多少人工”。这句话直接说出了深度学习从业者心中的痛处,毕竟模型的好坏数据占据着很大的因素,但是数据的标注成本却让很多从业的爸爸妈妈们感到头疼。为此 PaddleSeg 项目组重磅推出的交互式拆分智能标注软件EISeg 那具体甚么是交互式拆分呢?透过下面的动态图来了解一下。不难发现,交互式拆分透过一系列的绿色点(正点)和红色点(负点)实现了对目标对象的边缘拆分,交互式拆分主要的应用方向是影像编辑和半自动标注,能应用于精细化标注,抠图,辅助影像后期处理(例如 PS)等情景。PaddleSeg 项目组联合 PaddleCV-SIG 成员基于 RITM 演算法,推出了业内首个高性能的交互式拆分工具 EISeg,我们支持对 RITM 模型的训练、预测及交互的全流程。PaddleSeg 交互式拆分模型不仅仅支持从头训练强大的通用情景模型,还支持对特定情景数据进行 Finetune。我们利用腾讯自建人像数据集对模型 Finetune,得到预测速度快,精度高,交互点少的人像交互式拆分模型。软件提供多种安装方式,支持用户使用 pip 和 conda 安装,另外 windows 下提供了可执行的 exe 文件,双击.exe 即可运行程序。
全景拆分 Panoptic-DeepLab
全景拆分是影像拆分应用领域在近几年兴起的一个新应用领域,由 FAIR 与海德堡大学在2018年首次提出。甚么是全景拆分呢?
影像的信息能分为 thing 和 stuff,当中 thing 表示可数对象,例如车、动物等等,stuff 表示不可数对象,例如沙滩、天空等等。语法拆分任务不关注影像中的是 stuff 还是 thing,只关注每个像素所属的语法类别,因此无法实现实例对象的区分。而实例拆分关注的是 thing 的拆分,将影像中的 thing 识别出来,区分出不同的实例个体以及相应的语法信息,对于 stuff 区域,则统一表示为背景。全景拆分是融合了语法拆分和实例拆分的控制技术,对于 thing,识别出不同的实例个体以及对应的语法信息,对于 stuff,识别出对应的语法信息。Panoptic DeepLab 首次以 bottem-up 和 single-shot 演算法形式达到 state-of-the-art 性能,相比于 top-down 演算法 Panoptic DeepLab 以简单的网络结构实现了精度、速度双超越,开创了全景拆分演算法新方向,目前 Cityscape 全景拆分榜首即基于该演算法。PaddleSeg 全貌
全明星演算法阵容
20+全面领先同类框架的高精度语法拆分演算法,50+预训练模型新增全景拆分演算法,丰富了应用情景。提供了高精度的人像拆分演算法 HumanSeg,满足多端部署。
全产业链部署
不仅全面支持动态图开发,能顺畅的完成动静转化;还从数据预处理、演算法训练调优、压缩、多端部署等全流程、各环节顺畅打通,极大程度地提升了用户开发的易用性,加速了演算法产业应用落地的速度。尤其是透过 Paddle.js 支持在 web 端部署,赋予了网页端部署的更多可能性。
你还在等甚么?!如此用心研发的高水准产品,还不赶紧 Star 收藏上车!传送门:https://github.com/PaddlePaddle/PaddleSegEND
觉得不错,请点个在看呀