立足娱乐圈·争做八卦帝!

江都在线

当前位置:主页 > 科技资讯 >

牛津大学联合DeepMind发布LipNet:用深度学习读懂你的唇语

来源: 网络整理 作者: 网络 发布时间:2016-11-08 17:03:15

牛津大学联合DeepMind发布LipNet:用深度学习读懂你的唇语

  新的调查显示 AI 能够轻松战胜人类,但还有很多工作要做。

  如何读懂唇语对人类来说是一个难题,据数据显示,大多数人平均只能读对一句唇语的十分之一。唇读很困难,不仅是因为你要观察对方嘴唇、舌头和牙齿的轻微运动,而且大多数唇语信号十分隐晦,难以在没有语境的情况下分辨。

  现在,研究人员表示人工智能技术,比如深度学习或许能够解决这个难题。人工智能侧重于大数据运算,已经帮助改善了机器语音识别,甚至能达到人类的水平。那么机器学习技术是不是也能运用到读懂人类的唇语上?

  据国外媒体报道,牛津大学人工智能实验室、谷歌 DeepMind 团队 和加拿大高等研究院(CIFAR)就在近日联合发布了一篇论文,介绍了结合深度学习技术的唇读程序 LipNet。在 GRID 语料库上,LipNet 实现了 93.4% 的准确度,超过了经验丰富的人类唇读者和之前的 79.6% 的最佳准确度。研究人员还将 LipNet 的表现和听觉受损的会读唇的人的表现进行了比较。平均来看,他们可以达到 52.3% 的准确度,LipNet 在相同句子上的表现是这个成绩的 1.78 倍。除此之外,该模型将可变长度的视频序列转换成文本的过程几乎是实时的。

  不过,当你沉醉在科幻电影《2001: 太空漫游》里,幻想着像 Hall 一样能读懂人类唇语的飞船主控计算机出现之前,雷锋网(公众号:雷锋网)小编必须要给你敲响一个警钟——牛津大学的这一实验很可能具有局限性。这一实验首先是基于 GRID 语料库完成的,这其中包含 34 个志愿者录的短视频,所有的视频都长 3 秒,使用 DLib 面部检测器和带有 68 个 landmark 的 iBug 面部形状预测器进行处理。每个句子都是以这样的模式出现的:命令、颜色、介词、字母、数字、副词等。例如“set blue by A four please”或者 " place red at C zero again " 这样的句式。由于这一模式下的词句是有限的,只包含了四种不同的命令和颜色。这导致人工智能领域的一些专家认为,牛津大学这篇论文的研究结果被夸大了,尤其是当他们看到其中一位研究人员在接受采访时煽情地表示这项成果意味着人们将“没有秘密。”

  “事实并非如此,” 研究人员 Yannis Assael 和 Brendan Shillingford 在接受国外科技媒体 The Verge 采访时说道,他们正在努力地突破“有限的词汇和语法” 。Assael 表示,“现在的数据集虽小,但它却是一个好的迹象,将来我们会使用更大的数据集执行任务。”

  除此之外,Yannis Assael 和 Brendan Shillingford 都在强调这一成果不会用于窥探他人的隐私。很简单,因为唇读需要看到对方的舌头,所以你必须在光线很好的地方才能够完成这一行为。“这在技术上来说是非常困难的。” Assael 表示,任何唇读软件都很难做到监视他人的地步,所以大家可以放心。而且帧率也是一个重要的因素。“除非你拿着一个技术很高的相机对准目标对象,同时还要举着一个麦克风指向他。”

  相反,两位研究者认为在深度学习的帮助下,这种唇读方式可以帮助有听力障碍的人,尤其是在嘈杂的环境中。例如在聚会上,LipNet 就可以录制实时通话,并将信息清晰准确地送到人们的耳中。“只要你有语音识别和摄像头,在任何地方都可以实现这项服务。” Assael 说。他还提到苹果的 Siri 或谷歌语音助理或许也会用到这样的技术。那么在未来,如果你不想亲自和计算机对话,只要动动嘴巴它就能知道你在说什么了。

    责任编辑:网络
    怎么做一个狠心的人?遇到狠心的男人怎么办

    2018-10-17 16:22:05

    说到狠心,很多女人都做不到,看看生活中那些妇仁之仁,再看看金庸小说里的穆念慈,影视剧里更是多的不可数,常常看到 ... [详细]

    2023-01-03 17:23:10

    就是防晒指数,一般都在30,你要是在太阳大的地方,还是建议你出门打伞,物理防晒更管用,就是麻烦点。h2 id=polaar ... [详细]

    2022-03-08 14:38:52

    喜欢的女生如果说自己心情不好,怎么安慰她?我相信大部分男生都会说没事儿,别难过了这样做说明你还是不懂女人。今天 ... [详细]

    2023-01-13 11:09:19

    雅诗兰黛anr眼霜是它家的热门经典款,可修复各种眼部肌肤问题,身边的好友经常性回购。那么雅诗兰黛anr眼霜怎么样雅 ... [详细]

    女生为什么喜欢排骨男,一般多瘦可以叫排骨男?

    2019-04-15 13:51:03

    不同的时代,人们的审美也一直在发生着变化。在唐朝时,以胖为美的审美眼光,相信现在绝大多数的男人肯定是接受不了的 ... [详细]

    图酷

    图说天下

    资讯排行

    首页 - 娱乐圈事 - 体育圈事 - 两性情感 - 星座命运 - 奇闻怪事 - 历史故事 - 科技资讯 - 图说天下 - 知识百科 - 图酷
    电脑版 | 移动端
    Copyright © 2002-2019 江都在线 版权所有 鲁ICP备19047752号-1 公安部备案:37020302371586
    网站邮箱:yyseye@hotmail.com

    返回顶部