爱奇艺论文入选ACM MM会议 提出全球最大卡通人物数据集

近日,爱奇艺关于卡通人物识别与检测技术的论文《Cartoon Face Recognition: A Benchmark Dataset》被国际顶级学术会议——国际计算机学会多媒体会议(ACM Multimedia)接收,进一步获得国际顶级学术组织认可。论文提出的卡通人物识别基准数据集iCartoonFace是目前全球最大的手工标注卡通人物数据集,将有效推动卡通识别领域技术突破,开启面向卡通内容的智能识别新世代。

ACM Multimedia是计算机多媒体技术领域的国际顶级学术会议,致力于推动全球范围内包括图像、文本、音频、传感器等方向的技术研究及应用。

目前,针对真人人脸识别的技术算法和应用日趋成熟,而卡通人物识别领域尚处于起步阶段,同时卡通识别技术的需求场景正随着动漫产业的发展迅速增长。除了面向视频的结构化分析,卡通人物识别技术也在图片搜索、广告识别等场景有着大量使用需求。然而,卡通人物的复杂程度和颜色纹理多样性都远超真人人脸,并存在类间差异小类内差异大的情况,这些复杂分布的数据决定了卡通人物识别的难度和挑战性都远远大于真人人脸识别。卡通数据集是实现卡通识别技术突破与应用的关键。绝大部分现有的卡通识别数据集存在着数据量小、噪声比例大的问题。在此次入选的论文中,爱奇艺技术团队提出了全新卡通真人相结合的多人物训练框架,半自动数据集构建框架,以及目前全球最大的手工标注卡通人物检测数据集与识别数据集iCartoonFace。该数据集包含超过5000个卡通人物、40万张以上的高质量实景图片。iCartoonFace数据集不仅能应用于针对视频的结构化分析和智能剪辑,还能应用于图片搜索、广告识别等场景,连恶搞讽刺漫画、卡通风格的人物等都进行辨识审核,满足不断变化增长的卡通人物检测与识别需求。

iCartoonFace与其他已有卡通数据集的对比 

目前,基于iCartoonFace数据集的卡通识别技术已经应用至爱奇艺多个创新业务与功能:AI服务中台支持自动搜集卡通人物素材,智能生成符合主题的混剪视频;通过AI识别功能“奇观”,用户可一键识别动漫作品中的卡通人物。

爱奇艺始终致力于研究前沿技术发展,并探索新技术在娱乐领域的应用。过去两年,爱奇艺已成功举办两届多模态视频人物识别挑战赛,推动多模态人物识别精准度大幅提升;今年,爱奇艺联合IJCAI PRICAI 2020共同举办国内首个大规模卡通人物识别竞赛,已经面向参赛者开放iCartoonFace卡通数据集资源,吸引了来自包括北京大学、复旦大学、浙江大学、上海交通大学、中国科学院大学等顶尖高校,以及阿里巴巴、腾讯、百度、京东、商汤科技等知名企业在内的近500支团队踊跃参与,进一步推动了卡通人物识别领域技术发展,并为技术与内容的深度融合拓展了更加丰富的场景。未来,爱奇艺将继续加强科研创新,不断探索技术赋能的下一代应用与体验。

相关新闻

评论

留言与评论(共有 0 条评论)
   
验证码: