在我国，听障人数多达2780万，手语是他们沟通的方式，却难以在日常交流中被健听人理解，这为听障者融入社会生活造成了阻碍。
今年7月举办的三星“Solve for Tomorrow探知未来”第七届全国青少年科普创新实验暨作品大赛（以下简称SFT大赛）中，由天津理工大学聋人工学院师生们研发的手语实时翻译系统，荣膺全国二等奖、天津赛区一等奖。该系统不仅有望为聋健人群的沟通带来助益，而且凭借对前沿技术的创新应用与实践，引起广泛关注。
以科技之力解决聋健沟通难题
乌力杰是天津理工大学聋人工学院一名大四的学生，小时候的他因发烧失去了听力，因此他对与健听人沟通时存在的障碍有着深刻的体会，“具体阻力还要归因于手语自身的特殊性”乌力杰认为。因此参加三星SFT大赛，他希望能够设计一款真正帮助听障人士沟通无阻的翻译系统。
作为“无声的语言”，手语的文法、语序甚至表达方式均与正常语言体系不同，听障人士在“表情达意”时还要运用面部表情及肢体动作，这些都是构成手语的重要组成部分。但以往很多手语翻译系统都只能捕捉到简单的手势，并通过机械式翻译呈现出单独的词汇，内容上极不完整，又无法进一步展现具体沟通交流时的语气，没有解决聋健人群之间交流难的痛点。
“复杂场景下中国手语实时翻译系统”的项目负责人之一乌力杰
对此，乌力杰与他的团队借助三星SFT大赛的资源支持，在聋人工学院袁甜甜院长及老师们的指导下，提出了“多模态融合”的科研解决方案，通过多项技术整合，实现了对听障人士使用手语时多方位信息的采集，并借助计算机的深度学习功能，让手语动作可以被翻译成有语气的完整语句，为无障碍化的聋健沟通开辟了发展新向。
该系统拥有四个核心技术亮点，分别是自然手语自动标注、高质量数据筛选的智能建模，连续手势或姿态的识别，多视觉表情的精准捕捉与动态识别，多信道手语数据融合与翻译。其中，对视觉表情及肢体动作的捕捉是项目中最大的亮点，通过这一技术的应用，手语实时翻译系统将通过面部信息的识别，“读懂”被采集对象细微的表情特征，进而构筑对语气及语调的进一步判定，从而使经过该系统翻译后的内容更符合日常交流中的语言习惯，让健听人更易理解手语者通过手语动作表达的具体含义。
手语实时翻译系统通过在三星SFT大赛中的出色表现，吸引了来自社会各界更多的关注，并已成为国家工信部“新一代人工智能产业创新重点任务”的揭榜项目，天津市政府领导及市残联相关领导都对该项目给予认可和关注，中央电视台新闻联播、新华社等多家中央媒体均先后对这一研发成果进行了报道。
“大赛让我们真正能够从社会需求出发，发现问题，运用学到的科技知识和创新思维来解决问题。三星也为我们提供了平等的、可以展示自我的舞台”谈到在SFT大赛的成长与收获，乌力杰说。
技术应用加速实现无障碍沟通
2018年，《国家通用手语常用词表》正式颁布，作为世界听障人数最高的国家，它的出现将为我国手语普及工作带来具体的指导方向。而手语实时翻译系统的顺势而生，更将为实现全社会的无障碍化交流拓宽前行之路。
目前，乌力杰及其伙伴研发的手语实时翻译系统已和中国聋人协会国家手语数字推广中心签署了战略协议，将在未来的手语翻译考试平台中得以应用，这不仅为推动国家“十四五”发展时期，手语规范化工作提供了一定技术支持，也为加大通用手语推广力度，加强国家通用手语规范标准建设、应用与人才培养等多方面工作贡献了力量。
第七届SFT大赛决赛答辩环节
对于手语实时翻译系统今后的发展前景，天津理工大学聋人工学院网络工程系老师杨学，作为该系统研发团队的指导教师给予了更多期待。“按照团队的研发设想，这一系统将呈现多元化、普及化的发展趋势。如同大家已经可以在城市中大街小巷看到的盲道一样，随着系统及相关技术的进一步完善，它将有可能成为很多公共设施中的一个功能子模块，被广泛使用于车站、饭店、医院、学校等各类应用场景中，帮助聋健人群之间进行更好的无障碍化交流”。
杨学老师认为，当这一构想能具体实现时，整个社会的无障碍化综合水平也将达到新高度，因过去的沟通障碍而带来的歧视与不便将大幅减少，听障人士会更加勇敢的面对生活。
在今年三星SFT大赛全国总决赛现场，中国科学技术协会科普部副部长廖红女士深有感触地表示：“比赛中，我们看到了听障学生的积极参与，即便无法与他们用语言进行交流，但通过作品，能真挚感受到他们对科学的热爱……”作为重视人才培养的跨国科技企业，三星对人才的培养选拔一直秉持着开放、平等的态度。未来，三星将通过对社会责任的践行，为青少年继续搭建更多学习、展示的平台，让每一个梦想得以成真。
扫一扫关注微信