2025-11-25T06:46:17.363267

Sensorimotor Contingencies and The Sensorimotor Approach to Cognition

Pak
4E views of cognition seek to replace many of the long-held assumptions of tra- ditional cognitive science. One of the most radical shifts is the rejection of the sandwich model of cognition [8], which holds that mental processes are located be- tween action and perception. Subversion of such a long-held assumption requires an accessible theoretical alternative with firm experimental support. One unifying thread among the emerging 4E camps is their shared insistence that sensorimotor contingencies (SMCs) are such an alternative.
academic

Sensorimotor Contingencies and The Sensorimotor Approach to Cognition

基本信息

  • 论文ID: 2510.14227
  • 标题: Sensorimotor Contingencies and The Sensorimotor Approach to Cognition
  • 作者: Denizhan Pak
  • 分类: q-bio.NC (神经科学)
  • 发表时间: 2023年11月11日
  • 论文链接: https://arxiv.org/abs/2510.14227

摘要

4E认知观试图替代传统认知科学的长期假设。其中最激进的转变是拒绝"三明治模型"认知观，该模型认为心理过程位于行动和感知之间。颠覆这样一个长期持有的假设需要一个可接近的理论替代方案，并有坚实的实验支持。新兴4E阵营的一个统一线索是他们共同坚持认为感觉运动偶联性(SMCs)就是这样的替代方案。

研究背景与动机

核心问题

  1. 传统认知科学的挑战: 传统认知科学的"三明治模型"将心理过程视为位于感知和行动之间的独立层次，但越来越多的证据表明感知、认知和行动无法如此清晰地分离。
  2. 神经科学证据的挑战: 研究发现，大脑深层视觉流神经元的感受野会根据行动情境发生变化。例如，当手臂处于不同位置时，同一神经元对视觉刺激的响应模式会发生改变，甚至可以扩展到工具使用时的工具位置。
  3. 行为证据的支持: Held-Hein经典实验证明，被动运动不足以支持感知学习，需要主动行动才能让猫在视觉悬崖实验中识别边缘。类似结果在人类的感知适应和感觉替代实验中也得到证实。
  4. 人工智能的启发: 人工智能研究表明，许多复杂任务(如物体分类、导航等)并不需要抽象的物体或场景表征，简单的感知/行动循环就足够了。

研究动机

本文旨在为4E认知科学提供一个统一的分析单元，以替代传统的被动认知表征概念，并展示感觉运动偶联性(SMCs)如何成为理解认知的新框架。

核心贡献

  1. 提出了SMCs的完整理论框架: 统一了感觉运动约束(SM constraints)和感觉运动习惯(SM habits)的概念体系
  2. 建立了SMCs的数学形式化理论: 提供了线性和非线性SMCs理论的数学基础
  3. 构建了SM环境和SM栖息地的概念模型: 为理解智能体-环境系统提供了新的理论工具
  4. 提供了调谐(attunement)的计算模型: 探索了不同的生理空间模型及其对调谐机制的影响
  5. 整合了哲学与科学视角: 将SMCs的科学研究与心灵哲学联系起来

方法详解

核心概念定义

感觉运动偶联性(SMCs)

SMCs是行动与其感觉后果之间的可量化规律性。例如，海绵的柔软性来自于人用手挤压它的行动，只有通过挤压行动才能感知到柔软性。

两类SMCs

  1. 感觉运动约束(SM Constraints): 行动的直接物理后果，由物理定律决定
  2. 感觉运动习惯(SM Habits): 通过时间展开的行动结果，涉及行动/感知循环

系统组件

  • SM环境: 包含智能体的环境，含有SM约束
  • 智能体: 由生理空间(大脑和身体)、感觉系统和运动系统组成
  • SM栖息地: 智能体在SM环境中的终生轨迹

数学形式化

线性SMCs理论

  • 智能体拥有表示当前感觉状态的向量
  • 每个时间步选择一个行动(用矩阵表示)改变感觉状态
  • 行动矩阵与感觉向量的乘法代表SM约束
  • 时间序列上的向量-矩阵乘法序列构成SM习惯

非线性扩展

  • 考虑到真实感觉和运动系统的非线性特性
  • J.L. Gordon的论文奠定了非线性SMCs理论的基础

感觉体积(Sensory Volume)概念

  • 视觉系统: 从眼睛射出的视觉锥体构成三维感觉体积
  • 电场感知: 电鱼周围的电场圆柱体
  • 一般原理: 感觉体积大小与决策时间相关，影响神经网络的复杂性

实验案例分析

蜜蜂导航研究

研究者: Mandyam Srinivasan等

实验设计:

  1. 在走廊中放置垂直标记，操控标记间距
  2. 通过改变间距控制蜜蜂飞行轨迹
  3. 固定颜色饱和度以控制对比度变化

发现:

  • 蜜蜂使用光流SM环境进行视觉导航
  • 依赖标记间距而非对比度进行轨迹控制
  • 基于边缘扩张的SM约束机制

四步研究模式:

  1. 识别SM习惯(进入蜂巢)
  2. 确定SM环境(光流)
  3. 识别使用的SM约束(边缘扩张)
  4. 建立生理机制模型

物体分割研究

研究者: Doris Tsao等

贡献:

  • 提出基于SM约束的分割算法
  • 发现不同物种使用不同策略：灵长类使用边缘不连续性，而树鼩和大鼠使用纹理策略
  • 展示了SM环境的跨物种比较价值

SM栖息地的三大原理

1. 低维结构原理

  • 特征行为(Eigenbehaviors): 动物运动可用少数抽象维度预测
  • 特征模式(Eigenmodes): 大脑活动存在核心网络，可用低维描述
  • 意义: SM栖息地比表面看起来更有结构，存在共同的降维特征

2. 音节结构原理

  • 行为音节: 动物行为由半固定的小行动模式序列构成
  • 大脑吸引子: 大脑在能量景观中导航，落入对应特定感觉运动习惯的吸引子盆地
  • 普遍性: 音节结构是适应性行为的普遍特征

3. 级联原理

  • 定义: 各种现象共同发生导致系统长期显著变化的标志性事件
  • 婴儿发展: 照顾者注视、声音与婴儿SM习惯的协调是名称学习和共同注意发展的基础
  • 神经雪崩: 在生理和大脑领域也存在级联现象

调谐机制的计算模型

强化学习模型

  • 核心思想: 智能体通过最大化奖励学习行动-感觉配对
  • 发现: 复杂身体的多任务智能体自然发展出网络状SM栖息地结构
  • 哲学含义: 将奖励视为与感觉不同的环境输入

内在动机模型

  • 核心思想: 奖励来自生理过程本身，而非环境
  • 机制: 通过最小化预测误差进行学习
  • 理论基础: 自由能原理的统计力学解释

稳态控制模型

  • 核心思想: 维持内部平衡而非优化外部目标
  • Egbert-Barandiaran模型: 智能体学会弹球并避开钻石，因为球提供可预测的交互模式
  • Kelso-Fuchs模型: 将婴儿手臂建模为自维持振荡器，预测了两种稳定的游戏模式

哲学考量

历史渊源

  • O'Regan和Noe: 引入SMCs概念解决意识的难题
  • MacKay: 强调感知中行动后果的冗余信息
  • Ryle: 提出认知thimble不依赖心理表征，而是对视网膜图像变化的调谐

知识本质的争论

核心问题: 人类是否拥有关于世界的知识？

传统观点: 认知表征构成世界知识的基础

SMCs观点:

  • 抽象知识建立在低级SM习惯之上
  • 知识不是关于世界，而是关于我们与世界的交互方式
  • 如果调谐可以在没有世界表征的情况下实现，那么传统意义上的知识可能不存在

结论与讨论

主要结论

  1. 理论统一: SMCs为4E认知科学提供了统一的分析单元，将重点从无身体的计算心智转向适应环境约束的物理有机体
  2. 跨学科桥梁: SMCs展示了哲学如何为科学提供可严格研究和测试的概念
  3. 实证支持: 从蜜蜂导航到婴儿发展的多项研究验证了SMCs框架的有效性

局限性

  1. 数学理论限制: 当前假设只有智能体行动改变感觉状态，动态环境的整合仍是开放研究领域
  2. 非线性挑战: 真实感觉和运动系统的非线性特性需要更一般的理论框架
  3. 完整表征困难: 任何有机体SM栖息地的完整表征尚未实现，可能无法实现

未来方向

  1. 技术发展:
    • VR技术用于SM环境操控和研究
    • 自动化工具用于SM习惯的分析和识别
    • 实时记录技术与VR结合的控制饲养实验
  2. 理论扩展:
    • SM环境的数学技术发展
    • 特征模式的跨物种研究
    • 调谐机制的计算建模
  3. 哲学整合: 继续科学家与哲学家的对话，澄清知识在SM环境与生理空间之间的定位

深度评价

优点

  1. 理论创新性: 提供了认知科学的全新理论框架，挑战了传统的表征主义观点
  2. 跨学科整合: 成功整合了神经科学、行为学、人工智能和哲学的洞察
  3. 实证基础: 基于大量实验证据，从神经元记录到行为实验都有支撑
  4. 数学严谨性: 提供了形式化的数学理论框架，使概念可操作化和可测试
  5. 写作清晰度: 复杂概念解释清楚，术语定义明确，逻辑结构清晰

不足

  1. 理论完整性: 非线性SMCs理论仍在发展中，限制了在复杂现实情境中的应用
  2. 实验验证: 虽然有多个案例支持，但需要更多系统性的实验验证不同物种和情境
  3. 计算复杂性: SM栖息地的高维性质使得完整建模在实践中困难
  4. 哲学争议: 关于知识本质的哲学立场仍有争议，科学实验难以完全解决

影响力

  1. 学术贡献: 为4E认知科学提供了重要的理论工具和研究方法
  2. 实用价值: 对机器人学、人工智能和神经工程有潜在应用价值
  3. 范式转换: 可能推动认知科学从表征主义向embodied cognition的范式转换

适用场景

  1. 神经科学研究: 理解感觉运动整合和神经可塑性
  2. 发展心理学: 研究婴幼儿认知发展和学习机制
  3. 机器人学: 设计更自然的感觉运动控制系统
  4. 康复医学: 开发基于感觉运动原理的治疗方法
  5. 人机交互: 设计更直观的交互界面和虚拟现实系统

参考文献

论文引用了41篇重要文献，涵盖了从经典的Held-Hein实验到最新的计算神经科学研究，体现了该领域的深厚理论基础和广泛的实证支持。关键文献包括O'Regan & Noë (2001)的开创性工作、Buhrmann等人(2013)的动力系统解释，以及众多神经科学和行为学的实证研究。