1.1 拓扑优化与 GAN 加速#

拓扑优化（Topology Optimization）的目标是在给定设计域、载荷和边界条件下求最优材料分布。传统 SIMP 方法 [2] 每次迭代需要完整的有限元分析，计算成本随分辨率呈超线性增长。

GAN-based 拓扑优化 [1] 将这一过程转化为条件生成：以载荷场、体积分数等作为条件输入，生成器单次前向传播直接输出优化拓扑。推理速度比传统方法快 2–3 个数量级，但代价是生成的拓扑往往物理性能不可靠——它学的是「看起来像」，而非「满足力学方程」。

1.2 物理微调的本质：一个持续学习问题#

自然的改进思路是给预训练 GAN 添加物理损失（柔度最小化 + 体积分数约束）进行微调。从持续学习（Continual Learning）的视角看 [4]，这是典型的双任务场景：

• 任务 A（预训练）：学习从边界条件到合理拓扑的映射
• 任务 B（物理微调）：在任务 A 的基础上，满足力学性能约束

两任务的参数更新方向存在竞争——任务 B 的梯度可能覆盖任务 A 习得的关键表征。实证结果印证了这一担忧：全量微调（Full Fine-tuning）使 MSE 下降 18.3%，但 IOU 从 0.357 跌至 0.301（-15.6%）。像素更准确了，结构拓扑却崩塌了。

1.3 此前的推测及其问题#

在 4 月的文章中，我对此机制提出了一个几何解释：

「物理约束的梯度方向在生成器参数空间的主方向上有显著投影，导致优化过程不可避免地干扰了生成器原有的生成能力。」

基于这一推测，我提出用 SVD 分解将权重矩阵分解为主成分和残差成分，冻结主成分以保护预训练知识。但我当时未能回答一个根本问题：物理梯度在主子空间上的投影到底有多强？它是均匀分布的噪声，还是结构性的偏向？

正是这个未被回答的问题，导向了本文的核心发现。

2.1 权重的 SVD 分解及其物理含义#

对生成器第 $l$ 层的权重矩阵 $W^{(l)} \in \mathbb{R}^{m \times n}$ 做奇异值分解：

其中 $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$ 为奇异值，$u_i$ 和 $v_i$ 分别为左右奇异向量。按能量阈值 $\tau$ 截断：

为什么 SVD 在这里具有特殊的物理意义？考虑 GAN 的训练数据——它们是一个弹性力学 PDE 系统在不同边界条件下的解样本。生成器在学习 $x \to y$ 的映射时，本质上是在拟合一个由 PDE 系统决定的算子。线性代数的经典结果告诉我们：一个算子的 SVD 奇异向量按能量递减顺序编码了该算子作用最显著的模式。对于弹性力学 PDE，这些模式恰好对应低阶本征模态——弯曲模态、主应力路径、整体变形模式。大奇异值方向对应全局结构特征，小奇异值方向对应局部细节和噪声。

2.2 核心预测#

如果上述理论成立，那么可以导出一个可验证的预测：

物理损失（柔度最小化）是对弹性力学 PDE 能量的直接优化，它的梯度方向应与 PDE 的低阶本征模态对齐——换言之，物理梯度应高度集中于 SVD 主子空间。

定量化这一预测：定义 $\eta = \|\mathbf{G}_{\text{res}}\|^2 \,/\, \|\mathbf{G}_{\text{phy}}\|^2$，即流向残差子空间的梯度能量占比。如果梯度在参数空间均匀分布（无结构性偏向），则 $\eta \approx 1 - \tau$。取 $\tau = 0.80$（保留 80% 谱能量），零假设预测为 $\eta \approx 0.20$。如果物理模态对齐的理论成立，$\eta$ 应远低于 0.20。

3.1 实验设计#

对预训练 GAN 的 9 层卷积/反卷积权重（$e_1$–$e_3$, $d_1$–$d_6$）逐一做 SVD，按 $\tau = 0.80$ 截断。在物理微调（$\lambda_{\text{comp}} = 100$, $\lambda_{\text{vf}} = 1$）的每一步，计算总物理损失梯度在各层残差子空间上的投影能量占比 $\eta$。

3.2 实测结果：40 倍异常#

1
零假设（均匀分布）:   η ≈ 0.20
2
实测:                η = 0.005
3
偏差:                40×

$\eta \approx 0.005$，在全部 50 个 epoch 中恒定不变。

3.3 这意味着什么#

第一，此前推测被推翻。 物理梯度并非「均匀地干扰主子空间」，而是 40 倍于均匀分布地集中于主子空间。这不是”干扰”，而是”精确打击”。之前认为 OSFT 通过「正交约束将梯度隔离在主子空间之外」——实际是，梯度天然就想冲进主子空间，OSFT 的作用是阻挡它。

第二，理论预测被证实。 物理损失梯度确实与 SVD 主方向存在结构性对齐。$\eta = 0.005$ 不是噪声，而是一个物理信号——弹性力学 PDE 的低阶模态编码在 GAN 的大奇异值方向中，柔度最小化天然激活这些方向。

第三，这解释了 Full FT 的灾难性遗忘。 全量微调允许梯度自由更新所有参数，99.5% 的更新能量倾泻在编码结构知识的主子空间上——结果就是 IOU 崩塌 15.6%。

4.1 从机制到方法#

上述分析给出了一个清晰的因果链：

1. 编码事实：GAN 的大奇异值方向编码了 PDE 的低阶本征模态（结构知识）
2. 梯度事实：物理损失梯度 99.5% 冲向这些方向
3. 推论：允许梯度自由更新 = 允许物理损失覆盖结构知识 = 灾难性遗忘
4. 对策：冻结大奇异值方向（保护结构知识），仅更新小奇异值方向（适配当前工况）

OSFT 不是经验性的”试一试 SVD 微调”，而是上述因果链的逻辑必然结论。

4.2 方法描述#

对预训练 GAN 的每一层权重 $W^{(l)}$：

1. SVD 分解，按 $\tau = 0.80$ 截断得到 $W_r^{(l)}$（主子空间）和 $W_{res}^{(l)}$（残差子空间）
2. 将 $W_r^{(l)}$ 的参数注册为不可训练（冻结）
3. 将 $W_{res}^{(l)}$ 注册为可训练
4. 总可训参数：523K / 79.3M = 0.7%

1
预训练权重 W (79M)
2
    ↓ SVD (τ = 0.80, 保留 80% 谱能量)
3
┌─────────────────────────┬──────────────────────┐
4
│   Wᵣ 冻结（99.3%）        │   ΔW 可训（0.7%）      │
5
│   PDE 低阶本征模态         │   工况特定的局部适配     │
6
│   全局结构 / 连通性        │   柔度 / 体积分数约束    │
7
└─────────────────────────┴──────────────────────┘

5.1 主性能：合成悬臂梁，3 seeds × 50 epochs#

OSFT 在所有四个维度上均最优。特别值得注意的是 IOU 从 Full FT 的 −15.6% 恢复到与预训练持平——这直接验证了「冻结主子空间保护结构知识」的理论预测。

5.2 CKA 逐层分析：破坏的精确位置#

$d_2$ 层（解码器浅层）在 Full FT 后 CKA=0.090，几乎随机初始化。该层的大奇异值恰好对应拓扑结构的高层表征（材料如何连接、孔洞如何分布）——与理论预测一致：全局结构由大奇异值方向编码，当这些方向被物理梯度覆盖时，结构表征首先崩塌。

5.3 $\tau = 0.80$ 的理论地位#

$\tau$ 扫描（$\tau \in [0.10, 0.99]$）揭示了三阶段相变：

• $\tau < 0.30$：保护不足，$\beta_1 > 0$（连通性完好）但 MSE 高
• $\tau = 0.30$：$\beta_1 \to 0$ —— 持久同调结构在中等 $\tau$ 下最先崩溃 [8]
• $\tau = 0.55$–$0.60$：$\beta_0$ 短暂反弹后崩溃
• $\tau = 0.80$：MSE 最优。此时 $\beta_0 = \beta_1 = 0$，拓扑结构在像素层面已无可检测残留，但残差子空间有足够容量做物理适配和拓扑重建

$\tau = 0.80$ 对应 80% 谱能量保留。这个值恰好使残差子空间的维数（平均每层剩余约 20% 的奇异向量）与物理适配所需的自由度匹配——不是调出来的，是理论预测的自然最优。分层 $\tau$、梯度投影、课程学习三种变体均未超越此配置，进一步支持这一解释。

5.4 真实数据与跨域分析#

同域微调（真实 300ep PT → 真实数据）：

• OSFT IOU 0.415 vs Full FT IOU 0.413，MSE 差距 < 2%
• 0.7% 参数实现与 Full FT 相当的 IOU

跨域微调（合成 → 真实）：

• OSFT IOU 仅 0.22，Full FT 可达 0.40
• 理论解释：合成数据不满足真实弹性力学 PDE——它的 SVD 主方向编码的不是 PDE 本征模态，而是人工平滑场的统计模式。冻结这些方向保护的是错误的知识

预训练质量 Scaling：

• 7 个预训练 checkpoint（5–300ep）的评估呈 U 型：低预训练下 OSFT 保护脆弱模型；中等预训练下 Full FT 更灵活；高预训练下 OSFT 重新胜出（知识足够珍贵，保护优于全量更新）

6.1 形式对比#

EWC [4] 用 Fisher 信息矩阵的对角线近似评估参数重要性，在微调时对 Fisher 高的参数施加二次惩罚。这引出一个自然的问题：SVD 谱能量和 Fisher 信息是否在捕获同一件事？如果是，OSFT 就是 EWC 的一个特例。

6.2 定量区分#

对 11 层分解层的 SVD 主方向（$\tau = 0.80$ 定义的主子空间指示向量）与 Fisher 对角线方向（微调 50 epoch 的梯度平方期望）计算 Pearson 相关系数：

接近零相关。两个量度捕获的是形式不同的对象：

6.3 理论含义#

$\rho = 0.117$ 不是一次失败的近似，而是两种独立知识保护范式的实验证明。OSFT 和 EWC 正交于它们保护的知识类型：一个保护「结构重要」的方向，一个保护「损失敏感」的方向。两者互补，共同构成更完整的持续学习策略空间。