第21章 你们看懂了吗？
⚡ 自动翻页
开启后阅读到底自动进入下一章
⚡ 开启自动翻页更爽
看到章尾自动进入下一章，追书不用一直点。
  第5次回看题干。
  齐物盯著题干里设置的核心障碍：退化临界子流形s以及海量零特徵值的hessian矩阵。
  “高维鞍点陷阱……”
  齐物已经猜出阿力八八遇到的难题了。
  阿力八八在ai大模型的训练中，应该是梯度趋近於零时，导致优化器失效，然后ai死锁。
  自2018年，openai发布gpt-1以来，ai正式进入大模型时代，全世界的网际网路巨头都在开发自己的大模型。
  阿力八八自然也不意外。
  “阿力八八肯定遇到了梯度消失和loss停滯的问题，並且迟迟无法解决。”
  齐物看穿一切，“这道题就是在求救。”
  “常规的加速器，不管是加动量还是adam，本质上还是依赖歷史梯度的惯性。但是在这种绝对平坦的鞍点陷阱里，歷史梯度早就消耗殆尽了，所以ai才会被死锁。”
  第6次回看题干——
  “题目要求构造一个纯几何的拓扑补偿项Ω(x)，不能改变全局极优解，还要能指数级逃逸……”
  齐物陷入沉思，“不能顺著梯度走，那就必须製造一个和梯度正交的力？
  引入空间的內蕴曲率，用拓扑扭矩把系统强行甩出去！”
  齐物开始在草稿纸上推演。