Process Information Theory —— 一種基於時間比特的過程編碼框架。這份論文不是發明新數學,而是提供一個 representation layer:把過程變成可標註、可溝通、可編碼、可計算的離散語義結構。
現代 AI 已經非常擅長從數據中學習 關係。Embedding、Attention、RLHF、RAG、Agent 都是關係計算的成功範式。但當一個持續任務跨數小時、數天、數週發生關係變化時,機器仍然缺少一套統一、穩定、可追蹤的方式來表示 —— 關係怎樣隨過程發生變化。
狀態信息回答"是哪一個"。過程信息回答"如何變成"。一份程序從正常變成故障、一個學生從不會變成會、一個 Agent 從一個計劃切換到另一個計劃 —— 這些過程中間發生了什麼,比最後狀態更重要。
IAO = I → A → O,過程的基本觀察結構:
IAO 不是固定工作流,而是一種最小過程觀察結構。一個 AI 編程 Agent 收到"修復登錄失敗"的任務 —— 用戶目標、當前錯誤、新進入的日誌構成 I;模型形成方案並真實調用工具屬於 A;測試、程序狀態、用戶目標是否真正實現屬於 O。
為了更精細計算,IAO 進一步展開為六個觀察位置:
| 位置 | 域 | 定義 | 典型內容 |
|---|---|---|---|
| I1 | I | Self 內部驅動 | 目標、Gap、內部需要、已有判斷 |
| I2 | I | 環境作用 | 用戶新輸入、工具證據、環境變化、外部主體行為 |
| A3 | A | 決策 / 規劃 | 選擇方案、決定停止、決定調用工具 |
| A4 | A | 執行 / 現實動作 | 命令真實執行、文件真實修改、機器人真實移動 |
| O5 | O | 局部結果 | 測試通過、文件生成、API 返回 |
| O6 | O | 全局影響 | 整個 Self 是否完成、目標是否閉合、後續是否仍有 Gap |
六位置各取主動 / 被動二值,形成六個"時間比特"。6 位二元組合給出 2⁶ = 64 種確定編碼,形成一個有限的過程狀態空間。
這一建模選擇的關鍵不是"64"這個數字,而是一種表示思想:現實過程可以先經過語義歸約,再進入穩定、可比較的離散空間。就像 Embedding 把複雜對象投影到有限維向量空間一樣,過程編碼把複雜變化投影到有限的關係狀態空間。
論文本身給出了明確邊界:六階段與二元取值都是建模選擇,不是自然定律;真實世界中主動 / 被動可能是連續譜,二元壓縮一定會丟失信息。這個簡化是否有用,必須由真實數據、評分者一致性和可證偽實驗檢驗。
六位置自然分成三對內外關係:(I1, I2)、(A3, A4)、(O5, O6)。從同一個六位 Process 編碼可以讀取兩個三位投影:
主體與環境不是兩套互不相干的模型,它們來自同一次完整過程。這種區分對 AI 尤其重要:Agent 內部"決定刪除文件"與操作系統真實刪除文件不是同一件事;模型認為任務成功,與用戶目標在現實中真正完成也不是同一件事。把主體內部關係與外部現實關係分開,能減少 Agent 把自己的語言輸出誤當成事實。
過程信息論沒有聲稱重新發明熵、互信息或轉移熵。它明確借用信息動力學工具,並把其錨定到過程語義結構上。
一個基本形式是:
I_proc = H_state − h_proc = I(X_t ; X_{t+1})
它表達的是:即使兩個序列使用完全相同的狀態集合和相同的邊際頻率,它們的時間順序仍可能完全不同。把一條強結構軌跡隨機打亂,狀態熵幾乎不變,而過程信息顯著下降。
RelVectors 對六個 IAO 位置使用三個獨立關係視圖,每個視圖在 I1、I2、A3、A4、O5、O6 上各做一次判斷,因此形成 3 × 6 = 18 個關係分析位置。三視圖不是三個新的 IAO,而是觀察同一 IAO 的三個座標系。
位置判斷與關係判斷是兩層問題。知道某條信息屬於 I2,只說明它來自外部並作用於當前過程;仍不知道它是確認目標、改變目標、補充未知還是造成衝突。位置是座標,關係判斷才描述變化方向。
過程判斷的三態必須嚴格區分:
三者不可混同。把 Unknown 偷換成 0 會偽造確定知識;把不適用錯判為 0 會汙染編碼。
不是所有 AI 組件都適合直接用於過程判斷:
| 組件 | 適合做什麼 | 不應直接替代什麼 |
|---|---|---|
| LLM | 開放語義理解、候選解釋 | 最終 Process ID |
| Embedding | 候選詞條 / 歷史檢索 | 關係位真值 |
| Classifier | 位置概率、候選類別 | 無證據的確定事實 |
| RAG | 取回規則、歷史、證據 | Process Judgment 本身 |
| Tool Evidence | 證明現實動作 / 結果 | 語義解釋全部責任 |
正確鏈路應是:Reality → Semantic Analysis → IAO Position → Relation Judgment → Bits → Deterministic Encoding。LLM 可以參與語義理解,但數字編碼必須由明確判斷經過確定規則產生。
過程信息論不是一套不可證偽的描述語言。它提出以下可以接受實驗檢驗的預測:
過程信息論不宣稱替代 Transformer、神經網絡、強化學習、RAG 或 Agent。
過程信息論不宣稱過程數學此前不存在;狀態機、控制論、動力系統、馬爾可夫過程和信息動力學都是重要基礎。
六位置與二元關係是建模選擇,必須接受真實數據檢驗。
模型生成的解釋不能自動成為 Reality Evidence。
未來預測必須和已經發生的歷史嚴格分離。
學生不需要先相信過程信息論。真正應該建立的是幾個基本判斷:現代 AI 已經非常擅長關係計算,過程信息論不是"關係的發明者";過程信息論研究重點是關係進入時間以後怎樣發生 Change 並形成 Process;IAO 是過程的上位基本結構,I1、I2、A3、A4、O5、O6 是 IAO 的展開;Self 使過去、現在和未來屬於同一個持續主體;Evidence 使過程重新連接現實。帶著這些判斷進入教材其餘部分,會看到計算機史其實一直在把越來越複雜的關係變成機器能夠處理的信息。
參與 RelVectors 研發的人,獲得 AI 時代紅利的機遇。