第431章 男朋友越来越变态了

  罗伯茨教授说道：“我们刚好遇到个难题，不知道你有没有兴趣一起研究。”

  “当然。”

  许青舟点头，来之前本来就想着看看罗伯茨教授他们研究到哪一步了。而且，他还挺喜欢这种大家在一起头脑风暴的感觉。

  罗伯茨教授指着一侧的白板：“是分布式计算的一个环节，分布式集群中节点故障概率随规模增大而升高，重新计算故障节点的分片数据就会有显著延迟训练进程。”

  于是，许青舟一天时间都呆在办公室和罗伯茨教授他们讨论计算问题。

  “这里可以利用历史梯度估计丢失参数，设节点k在时间( t )故障，其隐向量( u_k )可通过相邻节点梯度插值恢复。”

  许青舟在白板上写下几个公式。

  【[ u_k^{t+1}= u_k^t -\eta \left(\frac{1}{|n(k)|}\sum_{j \in n(k)}\nabla u_j^t \right)]】

  “嗯，允许滞后节点直接拉取最新全局参数( w^t )，跳过中间梯度。”

  罗伯茨教授微微点头，在旁边补充：“[ w_{lag}^{t+1}= w^t -\eta \nabla \m”

  霍尔恩望着两人你一言我一语，表情古怪，怎么自己成配角了？

  他瞅了瞅许青舟，又是一阵叹息。

  好吧，在这个人面前，当个配角也无所谓。

  “嗨，霍尔恩，不介意的话，去隔壁借块白板来。”

  “没问题！”