Computation graph

你已经学过神经网络的计算过程 由正向传播来进行前向计算 来计算神经网络的输出 以及反向传播计算 来计算梯度或微分 计算图解释了为什么以这种方式来组织 在这个视频中，我们来看一个例子 为了演示计算图 我们用一个简单的逻辑回归或单层神经网络 我们试图计算一个函数J 它有三个变量a，b和c 函数为3(a+bc) 计算这个函数分为三个步骤 首先你需要计算bc 设bc=u 然后你需要计算V=a+u 设V=a+u，最后 输出则变为J=3V 这是最终你需要计算的函数J 接下来我们可以将这三个步骤画作计算图 先画出三个变量a，b，c 首先，计算U=bc 画一个矩形代表它 他的输入是b和c 然后计算V=a+u 它的输入是 刚刚计算的u和变量a 最终我们得到J=3V 举一个具体的例子 a=5，b=3，c=3，u=bc=6 V=a+u=11，J=3V，所以J=33 事实上，你也可以验证 3(5+32) 如果你展开它 就得到J的值是33 所以，计算图用起来很方便 当有一些特殊的输出变量时 例如这个例子中 你想要优化的J 在逻辑回归i的情况下 当然，J是我们试图最小化的cost函数 我们在这个例子中看到的是 从左到右传播 可以计算J的值 在下一组幻灯片中，我们可以看到 从右向左的这个过程 和这个蓝色箭头的过程相反 这会是用于计算导数最自然的方式 因此概括一下，流程图 是用蓝色箭头画出来的，从左向右的计算 看看下一个视频怎么做 这个反向红色箭头，也就是从右到左的导数计算 我们下一节再见