Vibe News

反向传播为什么非要倒着算，而不是顺着一路算到底直接拿到梯度？文章用链式法则推出答案：顺着算，同一个中间导数会被反复算很多遍，计算量随节点数量的平方往上涨。倒着算不一样，每个节点只把自己那部分导数往上传一次，整个过程是线性时间。想通这一步，误差反向传播这个名字就顺理成章：每个节点在告诉上游，自己算错了什么。评论区有人说文章把效率高偷换成了最优，举了个四层网络的反例：标准反向传播要做三倍N次乘法，理论最优只要两倍N次，而找那个最优排序，在一般计算图上已被证明是NP难问题。