d******4
发帖数: 132 | 1 从来没有用过neural network. 我看了一下back propagation算法，好像就是用chain
rule从后向前算gradient,每一个neuron的 的参数的gradient重用用下一个neuron的
gradient的结果。对不对？
还有什么会问的？这个玩意我感觉很神秘，比如选择多少hidden layer, 每层hidden
layer 选择多少neuron，这些是不是都根据经验来？会问到这方面的问题吗？
实际工作中，neural network目前一般用来干嘛啊？手写识别？ |
w***g
发帖数: 5958 | 2 1. gradient越propagate越小怎么办？
2. gradient越propagate误差积累越多怎么办？
我随便问问，都是实际应用中立刻会碰到的问题。
chain
【在 d******4 的大作中提到】
: 从来没有用过neural network. 我看了一下back propagation算法，好像就是用chain
: rule从后向前算gradient,每一个neuron的 的参数的gradient重用用下一个neuron的
: gradient的结果。对不对？
: 还有什么会问的？这个玩意我感觉很神秘，比如选择多少hidden layer, 每层hidden
: layer 选择多少neuron，这些是不是都根据经验来？会问到这方面的问题吗？
: 实际工作中，neural network目前一般用来干嘛啊？手写识别？
|
d******4
发帖数: 132 | 3 大牛你好，太感谢了。
请问你说的这些问题实际中如何解决呢？
【在 w***g 的大作中提到】
: 1. gradient越propagate越小怎么办？
: 2. gradient越propagate误差积累越多怎么办？
: 我随便问问，都是实际应用中立刻会碰到的问题。
:
: chain
|
w***g
发帖数: 5958 | 4 答案我也不怎么清楚。但是我觉得问这些问题可以区分出来一个人是不是真正用过
neural network还是只是在书上读过。用过的人可能会说这个问题我们做什么什么的时
候碰到过，是这么解决的，或者这个问题解决不了，最后neural network不干活。
【在 d******4 的大作中提到】
: 大牛你好，太感谢了。
: 请问你说的这些问题实际中如何解决呢？
|
l*****9
发帖数: 49 | 5 你好，你用什么软件包呢？pybrain？参数有这么详细吗？
用R中的neuralnet，nnet感觉内存很吃力。
自己编写我觉得要做好内存优化什么的很难啊。
【在 w***g 的大作中提到】
: 答案我也不怎么清楚。但是我觉得问这些问题可以区分出来一个人是不是真正用过
: neural network还是只是在书上读过。用过的人可能会说这个问题我们做什么什么的时
: 候碰到过，是这么解决的，或者这个问题解决不了，最后neural network不干活。
|
a**********0
发帖数: 422 | 6 backtrack try a different (smaller) step size
【在 w***g 的大作中提到】
: 1. gradient越propagate越小怎么办？
: 2. gradient越propagate误差积累越多怎么办？
: 我随便问问，都是实际应用中立刻会碰到的问题。
:
: chain
|
l******n
发帖数: 9344 | 7 这些问题想想背后的数学原理，其实就是求极值的过程，或者复杂点叫优化。当然都是
最基本的情形
【在 w***g 的大作中提到】
: 1. gradient越propagate越小怎么办？
: 2. gradient越propagate误差积累越多怎么办？
: 我随便问问，都是实际应用中立刻会碰到的问题。
:
: chain
|
