阿里安全摘下AI视觉“奥斯卡”双料冠军 突破行为检测技术瓶颈
摘要：从实战出发进行安全基建，让安全能力和业务数字化建设实现同步，是新一代安全架构的核心理念。
网商君
一场3个小时的直播结束后，由阿里安达实验室（达摩院和阿里安全联合实验室）和华中科技大学打造的顶级AI，在3分钟内精准检测最佳商品展示片段，自动进行视频剪辑并发布。不久前，在被誉为计算机视觉领域“奥斯卡”、AI领域规模最大的会议CVPR 2020上，这项行为检测AI技术超越百度、商汤、中兴等公司的同类技术，获得了双料冠军，并比去年微软、三星的参赛成绩高出约17个百分点。
在人工智能顶会拿下双料冠军
当前随着娱乐视频、直播平台的日渐成熟，直播视频数量也出现了井喷的趋势，自动化处理视频的需求日益增长。作为自动化处理视频的核心技术之一，行为检测AI也越来越受到学术界和企业界的共同关注。
阿里安达实验室高级算法工程师张士伟介绍，在CVPR 2020关于行为检测AI的两项赛道任务中，阿里和华科大联手提出的解决方案不仅获得了双料冠军，并以平均均值精度（mAP）42.788%的性能一举打破众多顶尖科技公司、科研院校去年无法突破“40%”的瓶颈，在AI视觉领域带来新的可能。
CVPR两个赛道的数据集分别有2万个视频和5万个视频，而且后者采用的是更贴近真实生活的视频数据。这次两个赛道任务目标是，给定一段无剪切的视频，参赛AI必须检测出目标行为发生的时间区间并正确预测该行为对应的类别。以一段跳水比赛视频为例，视频中有若干参赛选手的跳水动作，每个跳水动作约4秒，AI须准确定位某位或者多位参赛选手的跳水动作。
张士伟认为，CVPR的比赛任务还面临四大挑战：第一，目标行为时常分布广，从0.5秒到400秒不等，以赛道中一个200秒的测试视频为例，1秒采集15帧图像，AI必须在3000帧图像中精确定位；第二，视频背景复杂，通常具有很多不规则的非目标行为嵌入在视频中，比如一段集会场景的视频中有许多参会者，AI必须从复杂的背景中精准定位演讲者；第三，类间差大，行为的视觉效果会因人而异，比如专业舞者和业余舞者在跳同一段舞蹈，他们的动作必然有差异，AI要能识别这是同一段舞蹈。“此外，AI检测人体动作还面临人体之间的互相遮挡、视频分辨率不够、光照、视角等变化多样的其他干扰。”张士伟说。
虽然面临上述难题，两个赛道的数据属性也不尽相同，阿里安达实验室和华中科技大学还是创造性地提出了两项AI解决方案，出色地实现了比赛任务目标。
阿里安达实验室和华科大在CVPR两个赛道的获奖证书
技术能力得益于现实场景磨炼
技术的进步往往得益于复杂现实场景的磨炼和沉淀。行为检测AI经过长时间打磨，早在阿里安达实验室的多媒体AI和安全审核等系统中布局，成为安全AI的核心组件之一。阿里安达实验室负责人薛晖介绍，优酷、淘宝直播视频等早已受益于这项顶尖技术。
行为检测AI不仅可以准确定位、分析视频中的违规行为，甚至还能预测一些行为的趋势。同时，它还可以自动检测淘宝直播中某个商品的最佳动作展示片段，自动剪辑出精华视频用于橱窗展示。
“把行为检测AI应用在实际业务场景，并在业务的打磨和考验中不断成长，，这也是阿里安达实验室打造的这项AI技术能在CVPR 2020上取得双料冠军的原因。”薛晖说。
左为时长3小时的直播视频，右为行为检测AI识别出的某单件服装展示视频
打造数字基建“安全样板间”
今年3月，阿里发布数字基建新一代安全架构。从实战出发进行安全基建，让安全能力和业务数字化建设实现同步，是新一代安全架构的核心理念。
安全技术以往大多只应用于安全风控领域。阿里安全在20多年间的发展历程中，始终坚持立足于不断创新的业务场景打造安全技术。在保障业务安全的前提下，也在为一些商业难题提供新的解决方案，为业界打造安全基建的样板。
张士伟介绍，行为检测AI在体育、直播、影视传媒和安防领域有广阔的应用前景，比如精彩动作检测、智能集锦生成、介绍商品行为，以及通用动作检测识别、多模态搜索、异常动作检测等。在护航数字基建的同时，也为多个领域的创新和提效带来更多智能化助力。
核心关键字： 人工智能
相关文章
-
鉴茶院：中美暗搓搓谈好了，欧洲还蒙在鼓里
01 79岁的拜登生于1942年，按中国的生肖算，属马。 属马的人2021年不太顺，因为命犯太岁。 运程不济，小人作弄。 这不，拜登踌躇满志的《重建美好...
2021-12-24 17:51:08 中国美国欧洲 -
鉴茶院：中美暗搓搓谈好了，欧洲还蒙在鼓里
01 79岁的拜登生于1942年，按中国的生肖算，属马。 属马的人2021年不太顺，因为命犯太岁。 运程不济，小人作弄。 这不，拜登踌躇满志的《重建美好...
2021-12-24 17:51:08 中国美国欧洲 -
牛弹琴：我有一个想法，可破美国荒唐反华禁令！
这是一大清早的想法，刚才又看了看网上，不少朋友也有类似建议。 虽然半开玩笑半认真，但斗争嘛，就是要以变应变，感觉真可破了美国荒唐反华禁令。 慑于美国的淫...
2021-12-24 17:48:02 新疆美国才是 -
牛弹琴：我有一个想法，可破美国荒唐反华禁令！
这是一大清早的想法，刚才又看了看网上，不少朋友也有类似建议。 虽然半开玩笑半认真，但斗争嘛，就是要以变应变，感觉真可破了美国荒唐反华禁令。 慑于美国的淫...
2021-12-24 17:48:02 新疆美国才是 -
新财迷：北约“步步紧逼”，普京首提“军事回应”俄乌危机！火药味有点浓了...
2021/12/24星期五 农历十一月廿一 北约“步步紧逼”，普京首提“军事回应”俄乌危机！ 环球时报消息，普京日前表示，由于北约“步步紧逼”，俄罗斯已经“...
2021-12-24 17:36:39 画外音观察者日前 -
新财迷：北约“步步紧逼”，普京首提“军事回应”俄乌危机！火药味有点浓了...
2021/12/24星期五 农历十一月廿一 北约“步步紧逼”，普京首提“军事回应”俄乌危机！ 环球时报消息，普京日前表示，由于北约“步步紧逼”，俄罗斯已经“...
2021-12-24 17:36:39 画外音观察者日前 -
徐吉军：危机持续，局势一触即发，谁将打响第一枪？
近期，世界局势剑拔弩张，欧洲战场和亚太地区都呈现出临界点状态。其实，世界局势走到今天几乎不可挽回的地步，最主要的因素就是新冠疫情。 2021年新冠肺炎疫情夺走了...
2021-12-24 17:33:57 俄罗斯美国立陶宛 -
徐吉军：危机持续，局势一触即发，谁将打响第一枪？
近期，世界局势剑拔弩张，欧洲战场和亚太地区都呈现出临界点状态。其实，世界局势走到今天几乎不可挽回的地步，最主要的因素就是新冠疫情。 2021年新冠肺炎疫情夺走了...
2021-12-24 17:33:57 俄罗斯美国立陶宛 -
战忽智库：手握能源军事两张牌，谁不服就砸谁！普京开条件西方不接受都不行
俄罗斯卫星通讯社最新发布消息称，俄外长拉夫罗夫23日表示：“美俄首轮安全保障谈判将于明年初举行”。值得一提的是，在此之前，西方对由俄罗斯开出条件的安全保障谈判，一直持...
2021-12-24 17:31:46 俄罗斯欧洲莫斯科 -
酷玩实验室：这些人自杀、啃老、拒绝打工，可我骂不出口…
这两天，相信不少人都看到这样一条新闻——“实习医生轻生，被出租司机救回”。 从目前得到的信息看，该实习医生因为实习期间没有工资，并且身边的亲人还不能理解支持...
2021-12-24 17:28:36 自己的父母小鬼