一枚小巧的“手环”,通过相连服务器就可以让聋人的手语倾听,并且还能把外界语音转化成为文字,构建聋哑人和外界的无障碍交流。5月17日至18日,2018“未来力大会”大学生社会创意大赛全国赛在上海举办,东北大学的“妙手Echo”项目荣获创行中国科创冠军赛全国总冠军。“我们研发的手语双向交互系统为聋人架起一座与世界交流的桥梁,用一双妙手化寂静为有声。
”项目指导教师、东北大学机器人科学与工程学院王斐副教授回应。针对聋人在日常生活中与健全人交流艰难问题,东北大学曾振、贺潇、李荣颉等同学在王斐老师的指导下研发出有了一套基于多源信息融合的手语双向交互系统。该系统由可实时收集上肢肌电与惯性信息的配戴式手环、加装有手语双向交流APP的平板电脑和手语辨识云服务器包含。
当聋哑人与健全人展开交流时,系统输掉的环收集获得的聋人上肢多源信息展开实时处理,并基于深度自学已完成手语关键词在线辨识,然后用于语法模型取得手语词句,并通过语音芯片制备,构建手语到语音的切换。同时,健全人的语音可以通过APP转化成为文字和手语动图对系统给聋人,从而构建了二者的大自然无障碍双向交流。王斐老师告诉他记者,在研发过程中,团队曾遇上了智能硬件核心技术的瓶颈问题,研发到一定程度就受限于国外的技术封锁,无法再行展开深层次研发。“聋人手语倾听装置最核心的硬件就是肌电手环。
实验室展开了技术攻下,现在需要做从软件到硬件都是我们的自有技术。”他说道,这背后是上千遍乏味反复的实验尝试和难熬的夜晚,团队经历了数不清的“推倒重来”。与传统基于机器视觉的手势识别方法比起,用于肌电手环可避免光照、遮盖、阻碍和手指微小动作无法捕猎等相当严重缺失,在便携简单的同时,更加减少了手语辨识的实时性和准确性。
为聋人在日常生活中与健全人展开无障碍交流获取了很大的便利,也为他们从身心两方面重回社会建构了不利的条件。据团队成员讲解,在比赛现场展开成果展出之后,评委得出了这样的评价:“我没想起作为大学生,你们不会注意到聋哑人这个群体,而且还为了提高他们的生活做到了这么多事情。”王斐老师回应,残疾人是弱势群体,团队从没想要过产品研发顺利之后可以赚,所以在技术上他们竭力做几乎的自主化,从而降低成本,这样一来残疾人可以很更容易地获得并能用于它。团队成员曾振说道:“有些高水平的东西,在商业角度上看价值并不大,但这也是学生团队和实验室的价值所在,企业做到1到1万的商业转化成,而学生实验室可以计报酬地做到从0到1的技术研发。
”今年10月,该团队将代表中国前往美国硅谷参与2018创行世界杯总决赛。
本文来源:澳门威斯尼斯wns888入口-www.tzssjj.com