上节课我讲了并行计算的基础，以及如何用MapReduce实现同步的并行计算。这节课我讲另外两种编程模型和架构：Parameter Server（参数服务器）和Decentralized Network（去中心化网络），以及如何用这两种架构实现梯度下降。 这节课的主要内容： 1:02 Parameter Server（参数服务器），以及用Parameter Server实现异步梯度下降。 8:27 Decentralized Network（去中心化网络）， 以及用Decentralized Network实现梯度下降。 15:39 Parallel Computing（并行计算）和Distributed Computing（分布式计算）的异同。