← 返回学习

过程信息论

Process Information Theory —— 一种基于时间比特的过程编码框架。这份论文不是发明新数学，而是提供一个 representation layer：把过程变成可标注、可沟通、可编码、可计算的离散语义结构。

核心问题

现代 AI 已经非常擅长从数据中学习 关系。Embedding、Attention、RLHF、RAG、Agent 都是关系计算的成功范式。但当一个持续任务跨数小时、数天、数周发生关系变化时，机器仍然缺少一套统一、稳定、可追踪的方式来表示 —— 关系怎样随过程发生变化。

状态信息回答"是哪一个"。过程信息回答"如何变成"。一份程序从正常变成故障、一个学生从不会变成会、一个 Agent 从一个计划切换到另一个计划 —— 这些过程中间发生了什么，比最后状态更重要。

核心结构：IAO

IAO = I → A → O，过程的基本观察结构：

• I（Input / Cause）：使过程开始或改变的条件
• A（Action）：主体形成并实施的行动
• O（Output / Outcome）：行动后产生的新状态

IAO 不是固定工作流，而是一种最小过程观察结构。一个 AI 编程 Agent 收到"修复登录失败"的任务 —— 用户目标、当前错误、新进入的日志构成 I；模型形成方案并真实调用工具属于 A；测试、程序状态、用户目标是否真正实现属于 O。

六位置展开：I1·I2·A3·A4·O5·O6

为了更精细计算，IAO 进一步展开为六个观察位置：

位置	域	定义	典型内容
I1	I	Self 内部驱动	目标、Gap、内部需要、已有判断
I2	I	环境作用	用户新输入、工具证据、环境变化、外部主体行为
A3	A	决策 / 规划	选择方案、决定停止、决定调用工具
A4	A	执行 / 现实动作	命令真实执行、文件真实修改、机器人真实移动
O5	O	局部结果	测试通过、文件生成、API 返回
O6	O	全局影响	整个 Self 是否完成、目标是否闭合、后续是否仍有 Gap

时间比特：过程进入数字空间

六位置各取主动 / 被动二值，形成六个"时间比特"。6 位二元组合给出 2⁶ = 64 种确定编码，形成一个有限的过程状态空间。

这一建模选择的关键不是"64"这个数字，而是一种表示思想：现实过程可以先经过语义归约，再进入稳定、可比较的离散空间。就像 Embedding 把复杂对象投影到有限维向量空间一样，过程编码把复杂变化投影到有限的关系状态空间。

论文本身给出了明确边界：六阶段与二元取值都是建模选择，不是自然定律；真实世界中主动 / 被动可能是连续谱，二元压缩一定会丢失信息。这个简化是否有用，必须由真实数据、评分者一致性和可证伪实验检验。

主体投影 P 与环境投影 E

六位置自然分成三对内外关系：（I1, I2）、（A3, A4）、（O5, O6）。从同一个六位 Process 编码可以读取两个三位投影：

• 主体投影 P = (I1, A3, O5)
• 环境投影 E = (I2, A4, O6)

主体与环境不是两套互不相干的模型，它们来自同一次完整过程。这种区分对 AI 尤其重要：Agent 内部"决定删除文件"与操作系统真实删除文件不是同一件事；模型认为任务成功，与用户目标在现实中真正完成也不是同一件事。把主体内部关系与外部现实关系分开，能减少 Agent 把自己的语言输出误当成事实。

过程信息度量

过程信息论没有声称重新发明熵、互信息或转移熵。它明确借用信息动力学工具，并把其锚定到过程语义结构上。

一个基本形式是：

I_proc = H_state − h_proc = I(X_t ; X_{t+1})

它表达的是：即使两个序列使用完全相同的状态集合和相同的边际频率，它们的时间顺序仍可能完全不同。把一条强结构轨迹随机打乱，状态熵几乎不变，而过程信息显著下降。

三视图与 18 个关系分析位置

RelVectors 对六个 IAO 位置使用三个独立关系视图，每个视图在 I1、I2、A3、A4、O5、O6 上各做一次判断，因此形成 3 × 6 = 18 个关系分析位置。三视图不是三个新的 IAO，而是观察同一 IAO 的三个坐标系。

位置判断与关系判断是两层问题。知道某条信息属于 I2，只说明它来自外部并作用于当前过程；仍不知道它是确认目标、改变目标、补充未知还是造成冲突。位置是坐标，关系判断才描述变化方向。

Unknown ≠ 0 ≠ Not Applicable

过程判断的三态必须严格区分：

• 0：已确认属于关系轴一侧
• Unknown（*）：当前不能判断
• Not Applicable：该关系轴对当前对象不适用

三者不可混同。把 Unknown 偷换成 0 会伪造确定知识；把不适用错判为 0 会污染编码。

过程判断与 AI 组件的边界

不是所有 AI 组件都适合直接用于过程判断：

组件	适合做什么	不应直接替代什么
LLM	开放语义理解、候选解释	最终 Process ID
Embedding	候选词条 / 历史检索	关系位真值
Classifier	位置概率、候选类别	无证据的确定事实
RAG	取回规则、历史、证据	Process Judgment 本身
Tool Evidence	证明现实动作 / 结果	语义解释全部责任

正确链路应是：Reality → Semantic Analysis → IAO Position → Relation Judgment → Bits → Deterministic Encoding。LLM 可以参与语义理解，但数字编码必须由明确判断经过确定规则产生。

可证伪预测

过程信息论不是一套不可证伪的描述语言。它提出以下可以接受实验检验的预测：

• 不同标注者能否对同一真实 Process 稳定地识别 IAO 及其展开位置（评分者间信度）？
• 二元关系压缩是否保留了足够信息？在哪些任务上损失过大？
• Process Memory 是否真的比普通 Conversation Memory 或 RAG 更有利于长任务恢复？
• 显式 Frontier 与 O5 / O6 区分是否能减少 Agent"过早宣布成功"？
• Process Skill 能否在相似但不相同的新任务中提高复用效果？

过程信息论明确不主张什么

过程信息论不宣称替代 Transformer、神经网络、强化学习、RAG 或 Agent。
过程信息论不宣称过程数学此前不存在；状态机、控制论、动力系统、马尔可夫过程和信息动力学都是重要基础。
六位置与二元关系是建模选择，必须接受真实数据检验。
模型生成的解释不能自动成为 Reality Evidence。
未来预测必须和已经发生的历史严格分离。

读完之后

学生不需要先相信过程信息论。真正应该建立的是几个基本判断：现代 AI 已经非常擅长关系计算，过程信息论不是"关系的发明者"；过程信息论研究重点是关系进入时间以后怎样发生 Change 并形成 Process；IAO 是过程的上位基本结构，I1、I2、A3、A4、O5、O6 是 IAO 的展开；Self 使过去、现在和未来属于同一个持续主体；Evidence 使过程重新连接现实。带着这些判断进入教材其余部分，会看到计算机史其实一直在把越来越复杂的关系变成机器能够处理的信息。