Menu
0 Comments

东大学生研发手语双向交互系统

5月21日,沈阳晚报、沈报融媒记者从东北大学了解到,不久前在上海举行的2018“未来力大会”大学生社会创新大赛全国赛中,东北大学的“妙手回声”项目荣获创行中国科创冠军赛全国总冠军。“手语双向交互系统为聋人架起一座与世界沟通的桥梁,用一双妙手化无声为有声。”项目指导教师、东北大学机器人科学与工程学院王斐副教授表示。

针对聋人在日常生活中与健全人交流困难问题,东北大学曾振、贺潇、李荣颉等同学在王斐老师的指导下研发出了一套基于多源信息融合的手语双向交互系统。该系统由可同步采集上肢肌电与惯性信息的佩戴式手环、安装有手语双向交流APP的平板电脑和手语识别云服务器构成。在与健全人进行交流时,系统对手环采集得到的聋人上肢多源信息进行实时处理,并基于深度学习完成手语关键词在线识别,然后使用语法模型获得手语词句,并通过语音芯片合成,实现手语到语音的转换。同时,健全人的语音可以通过APP转化为文字和手语动图反馈给聋人,从而实现了二者的自然无障碍的双向交流。与传统基于机器视觉的手势识别方法相比,使用肌电手环可避免光照、遮挡、干扰和手指细微动作无法捕捉等严重缺陷,在便携实用的同时,更增加了手语识别的实时性和准确性。今年10月,该团队将代表中国前往美国硅谷参加2018创行世界杯总决赛。

Related Post

标签:

发表评论

电子邮件地址不会被公开。 必填项已用*标注