感觉替代
感觉替代(Sensory Substitution)指把通常由某一感觉通道获取的信息,经传感器采集后转换成另一完好感觉通道能够接受的刺激,使使用者经过训练获得相应环境信息的一类技术与方法。最典型的情形是把视觉信息转为触觉或听觉:摄像头拍下的画面被编码为皮肤上的振动或电刺激阵列,或被编码为随时间展开的"声景",盲人借此完成定位、识别与导航。它的着力点既不是修复受损感官,也不在神经系统中植入电极,而是绕过失效通道、借用另一条通道把信息送进大脑;因此与依靠植入器件刺激听神经、视网膜或体感皮层的神经假体属于不同的技术路线。相应地,感觉替代设备通常由三个部分构成:采集环境信息的传感器、按特定编码与算法完成转换的处理单元,以及把结果施加到皮肤、舌面或耳朵的传递系统。
定义与边界
感觉替代设备(Sensory Substitution Device,SSD)的目标被表述为"把原本经某一感官获得的信息,转换为与另一完好感官相兼容的表征",从而利用大脑的跨通道处理能力。它既不同于把信号直接写回原通路的神经假体(如人工耳蜗刺激听神经、视网膜假体刺激视网膜神经节细胞),也不同于单纯的感官放大(助听器、放大镜)或多感官提示叠加;判断标准在于信息是否发生了"跨模态的重新编码"。
这一边界也决定了理论上的争论:使用者究竟是"用耳朵看见",还是"用耳朵听见了一套关于视觉世界的编码"?文献通常区分"感觉"(sensation,单一模态)与"知觉"(perception,跨模态整合的结果),并指出知觉体验会随使用者经历而变——先天盲者更多报告听觉或触觉性质的知觉,蒙眼的明眼被试在主动探索后则更容易报告物体位于外部空间的"类视觉"体验。因此该领域常把感觉替代同时当作一种助残技术与一套研究知觉可塑性的实验范式。
跨通道映射的原理
映射的核心约束是带宽。经典估计把人眼的信息容量估为每秒约430万比特,指尖约每秒100比特,其余皮肤区域仅每秒5至56比特,耳朵约每秒1万比特;视觉比触觉高出约四个数量级,且具备其他通道难以比拟的并行处理能力。任何视觉—触觉或视觉—听觉系统都必须先把海量画面压缩成另一通道能承载的少量维度,这从根本上决定了替代只能是低分辨率、任务导向的,而非视觉的等价复制。
编码规则正是围绕"保留哪些维度"设计的。视觉—触觉系统利用皮肤表面与视网膜在空间布局上的拓扑对应:把图像的像素位置映射到背部、腹部、前额或舌面上的振动针或电极阵列位置,亮度映射为刺激强度。早期的触觉视觉替代系统(TVSS)把振动针阵列装在背部或腹部;现代版本改用前额、舌尖等更敏感的部位。视觉—听觉系统则常用时间换空间:The vOICe 把二维灰度图像从左到右扫描,纵向位置编码为音高、亮度编码为响度、扫描顺序编码为时间,形成可被听觉解析的"声景";EyeMusic 等系统还用音色或乐器来携带颜色与形状信息。针对导航等三维任务,一些设备改用超声或调频声呐,把物体距离与方位直接编码进频率变化,以减少需要跨通道传输的信息量。
传递方式主要有电触觉与振动触觉两类。电触觉通过表面电极直接刺激皮肤神经末梢引发动作电位,感觉可为压、痒、痛或烧灼,取决于刺激电压;振动触觉则靠微型振子产生机械振动。皮肤中的帕西尼小体、迈斯纳小体、鲁菲尼末梢、梅克尔末梢与游离神经末梢对刺激类型与变化速度各有偏好,其中快速适应的受体需要不断变化的刺激才能有效激活,帕西尼小体对数十赫兹至数千赫兹的振动最敏感。综述据此把电触觉显示按作用部位分为舌、前额、前庭以及手掌与前臂等类型:舌尖灵敏度高、活动性好,也用于前庭平衡反馈;前额与手掌便于佩戴;前庭显示则以触觉线索提供头部运动信息,辅助姿态控制。
映射能否奏效还取决于"信息选择"。有研究援引的框架把设备失败归结为四个因素:感觉转译规则能否有效传达相关信息、被转码的信息是否最适合当前任务、设备是否实用、以及形态是否为使用者接受。这一框架把设计重心从"尽可能还原画面"移向"为特定任务挑选最该保留的信息",也解释了为何面向导航的系统往往放弃通用视觉替代、转而只编码距离与方位。
神经基础:跨模态可塑性
感觉替代之所以可能,是因为大脑并非把各感官封成互不相通的模块。神经影像研究显示,先天盲或早盲者的视觉皮层会被触觉、听觉乃至嗅觉任务"征用":布莱叶盲文阅读、触觉物体识别、声源定位与声音辨别都可激活枕叶;触觉的运动信息与形状信息分别进入背侧与腹侧视觉通路。这种跨模态重组在早盲者中比晚盲者更显著,且与训练密切相关。有研究报告,先天盲者在使用替代设备仅数小时后表现即明显提升;在虚拟迷宫的路线识别中,他们激活的枕叶与海马及旁海马复合体,与明眼人睁眼完成同一任务时的大致吻合,而与蒙眼明眼对照不同。
训练的作用还有更细的证据。一项以 The vOICe 为对象的实验让蒙眼、从未使用过该设备的明眼被试判断字母朝向,初始表现已显著高于随机,仅重复一次测试作为最低限度训练,第二次即明显改善;敏锐度与被试的音乐训练经历正相关,却与视觉想象能力无关。研究者据此提出,使用初期主要依赖"被使用的通道"(听觉)本身的机制,而非"被替代的通道"(视觉)的想象。这一结论也提示,替代设备的学习效果与个体经验、训练量、失明年龄与病因紧密交织,难以用单一指标预测。
代表性系统
触觉路线以 TVSS 为起点。Bach-y-Rita、Collins、Saunders、White 与 Scadden 于1969年报告的系统,用装在背部或腹部的振动针阵列把摄像头图像投到皮肤上,被试能分辨平行线朝向、简单几何形状与大写印刷字母;后续把刺激部位迁移到前额与舌尖,形成舌部电触觉显示(TDU),商业化的 BrainPort 即属这一脉络。综述把 BrainPort 与 The vOICe 并列为"把视觉信息重定向到另一完好感觉系统"的助盲设备。
听觉路线中,Meijer 于1992年提出的 The vOICe 被称作首个通用型视觉—听觉替代系统;EyeMusic 等则把图像编码为带音色信息的声景。更早的超声路线由 Leslie Kay 的 Sonic Torch 开创,其后一系列设备用调频超声扫描环境提供声景,最初只是把盲杖的探知距离向远处延伸,后来发展为更完整的空间声呐。相关综述还把触觉听觉替代与远程触觉反馈(teletouch)纳入同一谱系,后者可为假肢操作与遥操作提供本应来自肢体的接触信息。
按目标通道与部位,现有系统大致可归为三类:视觉转触觉(TVSS、TDU 与 BrainPort、前额及手掌、前臂、腹部电触觉或振动触觉阵列)、视觉转听觉(The vOICe、EyeMusic、Kay 系声呐、超声与红外导盲)、以及前庭与平衡替代(舌或足底电触觉提供头部运动线索)。这些系统共享"传感器—编码单元—刺激器"结构,差别主要在编码规则与刺激部位。
发展脉络
概念与原型出现于20世纪60年代:1969年的 TVSS 首次系统证明皮肤可以承载"视觉"空间信息。20世纪70年代,Kay 的超声声呐与针对电触觉、振动触觉显示的综述,把路线从触觉扩展到听觉与工程化显示。1992年 The vOICe 借助通用计算把视觉—听觉编码做成软件化、可普及的系统;1998年前后舌部电触觉显示把刺激部位收敛到灵敏度最高的区域之一。20世纪90年代中期以来,脑功能影像陆续证实先天盲视觉皮层的跨模态重组,为"训练为何有效"提供了神经机制解释。进入21世纪,EyeMusic、智能手机与可穿戴设备降低了硬件门槛,研究范式也从静态物体识别扩展到虚拟现实中的导航与三维空间任务;近年的讨论进一步引入三维环境重建与语义提取,主张先由算法挑出对任务最重要的视觉特征,再交给有限的替代通道,以缓解带宽瓶颈。
应用与效果证据
主要应用是视障康复:物体识别与定位、抓握与指向、避障与导航、空间布局与路径学习,以及先天性盲者的空间能力训练。此外也被用于艺术展示、游戏、增强现实、遥操作与虚拟现实的触觉或听觉反馈,甚至前庭平衡康复。效果证据需分层看待:在受控任务中,初始表现高于随机、少量训练即显著改善、训练诱导的脑可塑性可被影像观测,这些都有报告;但证据多来自小样本、短时程、实验室或虚拟现实任务,且高度依赖训练量与个体差异。
最关键的反证来自采用率。一篇关于视觉—听觉映射的综述明确指出,尽管该领域研究活跃、学术环境下结果令人鼓舞,感觉替代设备在视障群体中用于出行的实际采用率仍然很低,并把原因归于转译规则、信息选择、实用性与形态四项。另一综述则强调,训练经历与视觉剥夺的病因(先天或后天、早盲或晚盲)会显著影响设备表现,因此建立使用者筛选标准与预后指标,本身仍是康复研究待解决的问题。与植入式视觉假体相比,感觉替代无创、成本较低、风险小,但分辨率受替代通道带宽硬性限制,更适合作为任务限定的辅助工具,而非视觉的普遍替代。
局限与争论
带宽与分辨率是根本局限:把每秒数百万比特的视觉压进每秒百余比特的触觉或万余比特的听觉,必然丢失大量细节,现有系统多只能支持形状、方位、大字与简单运动,难以承担阅读、面孔识别等精细任务。训练负担与学习曲线、设备佩戴的舒适性与社会可接受度,共同压低了长期使用意愿。任务特异性强也意味着在某一任务上练出的能力未必迁移到日常独立出行。此外,个体差异(失明年龄、残余视觉、音乐训练、空间经验)使效果难以预测,缺乏大规模、长期、真实世界的对照研究。
理论上的争论则围绕"这算不算看见"。若知觉由跨通道整合而成,那么使用者报告的是听觉或触觉知觉、还是某种被重新组织出的视觉样体验,取决于定义而非设备本身;这一争论又牵出感知与感觉的区分、感觉运动权变理论,以及对"感官是否彼此离散"的重新审视。实践上更务实的共识是:感觉替代的价值不在复制视觉,而在以可接受的成本为特定任务提供可用的空间信息;把它与神经假体、传统定向行走训练并列比较,按其真实证据强度与适用边界加以取舍,比争论"是否等于看见"更有意义。
参见
- 人类增强
- 神经假体
- 认知增强
- 侵入式脑机接口
- 辅助技术
参考资料
- Chebat D R, Schneider F C, Ptito M. Spatial Competence and Brain Plasticity in Congenital Blindness via Sensory Substitution Devices. Frontiers in Neuroscience, 2020-07-30.
- Frontiers in Psychology. How well do you see what you hear? The acuity of visual-to-auditory sensory substitution. Frontiers Media, 2013.
- Frontiers in Virtual Reality. Electrotactile displays: taxonomy, cross-modality, psychophysics and challenges. Frontiers Media, 2024.
- Frontiers in Human Neuroscience. Brain-Machine Interfaces to Assist the Blind. Frontiers Media, 2021.