分布式机器学习：算法、理论与实践经典语录及段落句子摘抄

好书网为大家整理了经典好书《分布式机器学习：算法、理论与实践》中的经典语录，精彩段落及优美句子，重读经典，感悟人生。让读者沉浸在自己的阅读世界里，忘记周围的世界， 与作者一起在另外一个世界里快乐、悲伤、愤怒、平和，欢迎大家阅读~

对模型参数更新进行通信，往往有利于提高分布式机器学习的效率，因为在很多机器学习任务中，参数以及参数的更新任务往往是稀疏的。同时随着模型趋于收敛，参数的更新也会越来越小，另外可以使用量化或者过滤的方法进一步减少通信数据量。

如果每个小批量训练的计算量很大，而模型规模又不大（CNN），通信开销可以忽略。反之，无法忽略。