# Forward–Forward Algorithm 的后续改进：领域全貌与路线地图

> 覆盖等级：L2；声明范围内的结构化扫描、证据审计、严格验证和真实浏览器回归均已完成。检索截止：2026-08-13。这里的“全面”指覆盖原始机制、主要后续路线、现代架构外延、直接负面证据、硬件实现和相邻范式，而不是声称穷尽所有应用论文。

## 一句话结论

Forward–Forward（FF）最重要的变化是把全局损失的反向信用分配改成每层的正/负 goodness 判别：训练时做两次同构前向，当前层提高正样本好度、压低负样本好度，再把归一化活动送往下一层。[原始 FF](https://arxiv.org/abs/2212.13345) 之后，研究者主要在三处修补它：更好的负样本/好度函数，更强的层间协调与深度稳定，以及 CNN、ViT、图网络和物理器件外延。

截至截止日，没有一条证据链证明纯 FF 已在通用深度学习中全面替代反向传播。最有解释力的直接负面结果来自同一六层 CNN：BP 的 CIFAR-10 准确率为 85.4±0.4%，两种纯 FF 设置为 60.9±0.6% 与 68.6±0.5%。[Scientific Reports 2025](https://doi.org/10.1038/s41598-025-26235-2) 近期改进确实缩小了局部目标与深度协调的差距，但通常伴随监督对比、层级标签、多层融合或有限范围反向；这必须在论文中单独记账。

## 范围合同

本地图纳入 2022 年原始 FF 之后，直接修改或直接评测 FF 的工作：正/负相、goodness、负样本、层间协作、训练深度、CNN/ViT/图任务扩展、硬件实现，以及对 FF 扩展性和公平预算的反证。原始 FF 是奠基条目。为解释边界，另纳入 ForwardGNN、Forward Projection 和 NoProp 三个相邻 forward-only/局部目标工作；它们在页面上标为“桥接”，不被称为严格 FF 变体。

排除项包括：只把 FF 当作未改造基线的应用论文；只因标题出现 forward-forward 的词面重合；仍保留端到端反向传播的深监督；以及纯零阶或反馈对齐方法。论文题名保留原文，出版状态与证据等级分开记录。

## 六条主要路线与四级系统层级

| 路线 | 主要修补点 | 代表条目 | 严格性边界 |
|---|---|---|---|
| 好度与正负/自对比目标 | 让局部 goodness 携带更可靠的任务结构，减少负样本捷径 | [原始 FF](https://arxiv.org/abs/2212.13345)、[SCFF](https://doi.org/10.1038/s41467-025-61037-0)、[BiCovG](https://arxiv.org/abs/2605.04346) | 自对比、协方差和特征对齐增加了目标设计；BiCovG 的 Hybrid Goodness Blocks 允许块内 BP，不能和纯局部结果合并 |
| 深度稳定与层间协作 | 解决独立层的语义错位、深度退化和信息协调 | [Trifecta](https://openreview.net/forum?id=a7KP5uo0Fp)、[Layer Collaboration](https://ojs.aaai.org/index.php/AAAI/article/view/29324)、[HCL-FF](https://openaccess.thecvf.com/content/CVPR2026/html/Yao_HCL-FF_Hierarchical_and_Contrastive_Learning_for_Forward-Forward_Algorithm_CVPR_2026_paper.html) | Trifecta 的 OLU 是两层截断反向；HCL-FF 用层级目标、监督对比和融合改善，但尚未同预算超越 BP |
| 架构与任务外延 | 把局部目标带到 CNN、ViT 和图消息传递 | [CFF-ViT](https://doi.org/10.1016/j.neunet.2025.107867)、[ForwardGNN](https://openreview.net/forum?id=Abr7dU98ME) | CFF-ViT 的局部目标内部仍可求梯度；ForwardGNN 是 forward-learning 桥接，不是原始 goodness 变体 |
| 公平评测与反证 | 用同骨干、真实数据和全栈资源审计扩展性 | [卷积 FF 对照](https://doi.org/10.1038/s41598-025-26235-2)、[DTG-FF](https://arxiv.org/abs/2606.06539) | 负面结果约束主张，不等于证明所有未来目标都失败；必须随方法改变更新审计 |
| 物理器件与硬件部署 | 把正/负或竞争更新写入忆阻器，检查保持性与闭环 | [忆阻器前向式学习](https://arxiv.org/abs/2601.09903) | 多层矩阵乘仍为软件仿真，完整硬件闭环只到单层；编程能耗不是全训练能耗 |
| 相邻前向无反馈范式 | 以随机目标投影、闭式回归或独立去噪块绕开跨层通信 | [Forward Projection](https://www.nature.com/articles/s41467-026-69161-1)、[NoProp](https://proceedings.mlr.press/v330/li26a.html) | 不是严格 FF；NoProp 块内仍使用 BP，Forward Projection 的目标生成与 FF goodness 不同 |

第二轴是“改进所处系统层级”，不是论文质量：

1. 局部目标与好度：直接改正/负相、goodness 或自对比信号。
2. 网络深度与层间协作：解决层级协调与深度稳定，核对是否重新引入截断反向。
3. 现代架构、任务与公平评测：进入 CNN、ViT、图任务或匹配预算比较，但不等同于基础模型规模。
4. 物理实现与部署：把更新真正放入器件或硬件闭环，并核查读写、控制和保持性。

## 发展时间线

- **2022：定义范式。** Hinton 将两次前向、正/负样本和逐层 goodness 组合成 FF；原文明确这是少数小问题上的初步研究，并承认速度、泛化和负样本仍是缺口。[原始 FF](https://arxiv.org/abs/2212.13345)
- **2024：从可行性转向深度协调。** Trifecta 以 SymBa、批归一化和 OLU 把可用深度推进到约 12 层，但 OLU 使完整方案不再是严格纯局部；Layer Collaboration 则把“独立层不能协作”作为显式机制问题。[Trifecta](https://openreview.net/forum?id=a7KP5uo0Fp)、[Layer Collaboration](https://ojs.aaai.org/index.php/AAAI/article/view/29324)
- **2025：负样本、自监督与架构迁移。** CFF-ViT 进入 ViT，SCFF 用自对比关系扩展到 Tiny-ImageNet 与序列，卷积 FF 同骨干实验则给出纯局部深度协调的直接负面证据。[CFF-ViT](https://doi.org/10.1016/j.neunet.2025.107867)、[SCFF](https://doi.org/10.1038/s41467-025-61037-0)、[卷积 FF 对照](https://doi.org/10.1038/s41598-025-26235-2)
- **2026：层级目标、好度统计、预算审计与器件化。** HCL-FF 将粗到细层级目标和监督对比引入 FF；BiCovG 转向协方差感知好度；DTG-FF 检查真实数据和 GPU 系统成本；忆阻器工作把监督 FF/Competitive Forward 写入物理阵列。[HCL-FF](https://openaccess.thecvf.com/content/CVPR2026/html/Yao_HCL-FF_Hierarchical_and_Contrastive_Learning_for_Forward-Forward_Algorithm_CVPR2026_paper.html)、[BiCovG](https://arxiv.org/abs/2605.04346)、[DTG-FF](https://arxiv.org/abs/2606.06539)、[忆阻器前向式学习](https://arxiv.org/abs/2601.09903)

## 机制对比：改进到底改变了什么

### 1. 负样本从外部构造转向自对比与层级目标

原始 FF 的负数据是核心设计变量：监督场景可以把错误标签并入输入，无监督场景则需要构造破坏长程结构的混合样本。[原始 FF](https://arxiv.org/abs/2212.13345) SCFF 把其中一部分负样本设计转成自对比关系，减少对人工负样本的依赖，但仍需要增强和读出协议；HCL-FF 则把目标从“所有层同一标签”改成由粗到细的层级目标，并加入监督对比。[SCFF](https://doi.org/10.1038/s41467-025-61037-0)、[HCL-FF](https://openaccess.thecvf.com/content/CVPR2026/html/Yao_HCL-FF_Hierarchical_and_Contrastive_Learning_for_Forward-Forward_Algorithm_CVPR_2026_paper.html)

这类改进的共同代价是：局部目标越来越像一个精心设计的监督/对比学习系统。它们可能更好地把标签信息送到早期层，却也削弱了“只靠简单本地 goodness 就能自然形成深层语义”的强主张。

### 2. 深度问题不是简单的优化器问题

Trifecta 的结果说明，归一化、对称化损失和局部更新窗口可以缓解深度退化；Layer Collaboration 的问题诊断更直接：各层独立优化时，层间缺少协作。[Trifecta](https://openreview.net/forum?id=a7KP5uo0Fp)、[Layer Collaboration](https://ojs.aaai.org/index.php/AAAI/article/view/29324) HCL-FF 继续用层级目标和多层融合改善协调，但论文仍报告收敛慢、泛化弱，且参数匹配的宽残差基线领先。[HCL-FF](https://openaccess.thecvf.com/content/CVPR2026/html/Yao_HCL-FF_Hierarchical_and_Contrastive_Learning_for_Forward-Forward_Algorithm_CVPR2026_paper.html)

因此，判断“纯 FF 是否扩展”不能只看层数或单次准确率，还要问：后层目标是否能反过来影响前层、是否增加了重叠块、融合或额外读出、以及这些通道是否已经恢复了某种有限范围的信用传播。

### 3. 好度函数正在从标量活动量走向二阶结构

BiCovG 的路线不再把 goodness 限定为活动平方和，而是引入协方差感知统计和局部对齐；它在 ImageNet-100 上给出 73.01% 的纯局部结果，但允许块内 BP 的 Hybrid Goodness Blocks 才把与 BP 的差距缩至 3.6%。[BiCovG](https://arxiv.org/abs/2605.04346) 这是一条有价值的机制改进，也正好说明必须把“好度更强”和“块内 BP 更强”分开计数。

### 4. 架构迁移扩大了适用面，但没有自动带来规模化

CFF-ViT 说明局部对比 FF 可以进入 Vision Transformer；ForwardGNN 说明更宽的 forward-learning 局部目标可以进入图消息传递。[CFF-ViT](https://doi.org/10.1016/j.neunet.2025.107867)、[ForwardGNN](https://openreview.net/forum?id=Abr7dU98ME) 但两者都不能直接支持“原始 FF 已经适用于所有现代架构”：CFF-ViT 的局部目标内部仍求梯度，ForwardGNN 也没有被本地图误标为原始 goodness 变体。

## 负面证据、争议与空白

### 直接负面结果

- **同骨干卷积比较：** BP 85.4±0.4%，纯 FF 60.9±0.6% 或 68.6±0.5%，并观察到标签捷径和更慢收敛。[Scientific Reports 2025](https://doi.org/10.1038/s41598-025-26235-2)
- **真实数据与全栈预算：** DTG-FF 报告 CIFAR-10/100 中 BP 分别高 2.40/5.93 个百分点，ImageNet-100 层局部训练约 49.4%；8GB GPU 记录中 DTG-FF 约 7.90GB、138 图像/秒，BP+梯度累积约 4.18GB、157 图像/秒。[DTG-FF](https://arxiv.org/abs/2606.06539)
- **改进仍有边界：** HCL-FF 的相对 FF 提升并不等同超过 BP；BiCovG 的最佳差距缩小依赖混合块内 BP；Trifecta 的 OLU 也不是纯局部更新。[HCL-FF](https://openaccess.thecvf.com/content/CVPR2026/html/Yao_HCL-FF_Hierarchical_and_Contrastive_Learning_for_Forward-Forward_Algorithm_CVPR2026_paper.html)、[BiCovG](https://arxiv.org/abs/2605.04346)、[Trifecta](https://openreview.net/forum?id=a7KP5uo0Fp)

### 仍未解决的研究问题

1. **纯局部协调：** 能否让后层语义影响前层，而不把 OLU、跨层融合或局部反向重新命名为“纯 FF”？
2. **负样本与标签捷径：** 能否在自然数据流中自动形成稳定、任务相关而非投机的负样本？
3. **现代规模：** 是否能在 ImageNet-1K、长序列、开放词汇或大语言模型上，以同骨干、同数据和同调参预算比较？
4. **总成本：** 两次前向、负样本生成、层级标签、额外读出、局部融合和训练轮数的总 FLOPs、墙钟、显存和通信是多少？
5. **硬件闭环：** 忆阻器工作已经显示单层或部分多层可写入，但多层矩阵乘、器件漂移、校准、写入随机性和外围控制仍需一起测量。[忆阻器前向式学习](https://arxiv.org/abs/2601.09903)
6. **可复现性：** 后续论文应同时发布负样本构造、层冻结/解冻协议、局部读出、训练轮数和完整资源账本，避免用合成任务或不同骨干制造虚假的可比性。

## 推荐阅读路径

- **先建立机制：** [原始 FF](https://arxiv.org/abs/2212.13345)，再读本地图中的逐条详情，尤其是正/负相、goodness、层归一化和监督推理。
- **理解深度瓶颈：** [Trifecta](https://openreview.net/forum?id=a7KP5uo0Fp) → [Layer Collaboration](https://ojs.aaai.org/index.php/AAAI/article/view/29324)。这条路径把“更深”与“层间协作”区分开，并明确 OLU 的混合边界。
- **看现代架构与自监督：** [CFF-ViT](https://doi.org/10.1016/j.neunet.2025.107867) → [SCFF](https://doi.org/10.1038/s41467-025-61037-0) → [HCL-FF](https://openaccess.thecvf.com/content/CVPR2026/html/Yao_HCL-FF_Hierarchical_and_Contrastive_Learning_for_Forward-Forward_Algorithm_CVPR2026_paper.html)。
- **必须读反证：** [卷积 FF 对照](https://doi.org/10.1038/s41598-025-26235-2) → [DTG-FF](https://arxiv.org/abs/2606.06539)。它们防止把局部更新直接等同为更强性能或更低总成本。
- **看好度与部署：** [BiCovG](https://arxiv.org/abs/2605.04346) → [忆阻器前向式学习](https://arxiv.org/abs/2601.09903)。前者检查目标统计，后者检查器件闭环；两者都要保留预印本状态和边界。
- **理解相邻路线：** [Forward Projection](https://www.nature.com/articles/s41467-026-69161-1) → [NoProp](https://proceedings.mlr.press/v330/li26a.html)，用于区分“FF 后续”与“更宽的无跨层反向训练范式”。

## 覆盖闸门与限制

| L2 闸门 | 本项目状态 |
|---|---|
| 范围与来源 | 已完成：范围合同冻结；14 个工作族均有 T1 一手入口，邻接桥接单独标注。 |
| 分支代表性 | 已完成（声明范围内）：覆盖奠基、深度/协作、负样本/好度、现代架构、公平反证和硬件部署；硬件分支的直接 FF 文献仍稀疏，已明确记录。 |
| 边际收敛 | 已完成（继承本地独立审计）：两轮互补饱和后未新增一级机制；本项目专项补漏主要新增版本和边界，而非新路线。 |
| 深读 | 已完成但有边界：多数核心条目完成正文/附录级记录；Advancing FF 保守为正式摘要级，并未把未核验组件写入详情。 |
| 证据审计 | 已完成：核心数字、比较、出版状态、纯局部/混合边界和预印本状态写入 `planning/claim_ledger.csv`；没有把“未发现”写成绝对不存在。 |

研究证据闸门已具备 L2 所需的结构化材料。2026-08-15 从最终位置复跑真实浏览器验收，14 条详情与 8 个非空聚合组在桌面、键盘、375 像素手机和 `file://` 下全部通过，因此关闭早期环境限制并将交付提升为 L2。

本地图不声称绝对穷尽。当前外部 web 搜索接口返回网络错误，应用内浏览器重新打开 arXiv 与 AAAI 页面也被安全策略拒绝；这些失败入口已经写入 `planning/search_ledger.jsonl` 和 `docs/SEARCH_AUDIT.md`。地图因此继承了工作区内 2026-08-12 的一手来源审计和原始 PDF 深读，不把本轮访问受限包装成新检索结果。后续更新应优先复核 2026 年预印本的正式版本、代码、数据和新的真实大规模 FF 评测。