S*******e
发帖数: 525 | 1 下面是两个例子： 第一个是建立了Neural Network Model， 然后activate something
like 'softmax'. 第二个是Spark 的多维回归。 是不是第二个根本没有涉及NNM? 我
是斧头帮的...就想借借大杀器...还想唬外行.这两个算法是不是风马牛不相及,还是有
些内在联系? 是不是第一个算法通常会更好? 当然不管哪种方法,俺认为俺至少会把程
序给运行起来.
http://machinelearningmastery.com/multi-class-classification-tutorial-keras-deep-learning-library/
https://spark.apache.org/docs/latest/ml-classification-regression.html#
multinomial-logistic-regression |
w***g
发帖数: 5958 | 2 第二个本质上是没有hidden layer的NNM。
softmax + logloss (cross entropy) == logistic regression。
something
【在 S*******e 的大作中提到】
: 下面是两个例子： 第一个是建立了Neural Network Model， 然后activate something
: like 'softmax'. 第二个是Spark 的多维回归。 是不是第二个根本没有涉及NNM? 我
: 是斧头帮的...就想借借大杀器...还想唬外行.这两个算法是不是风马牛不相及,还是有
: 些内在联系? 是不是第一个算法通常会更好? 当然不管哪种方法,俺认为俺至少会把程
: 序给运行起来.
: http://machinelearningmastery.com/multi-class-classification-tutorial-keras-deep-learning-library/
: https://spark.apache.org/docs/latest/ml-classification-regression.html#
: multinomial-logistic-regression
|
S*******e
发帖数: 525 | 3 多谢大师...稍明白一些了。根据你的提示，又看了看http://stats.stackexchange.com/questions/63152/what-does-the-hidden-layer-in-a-neural-network-compute。 第一个例子加了一层hidden layer。加一层或多层hidden layers (什么样的hidden layers)看样子要懂一些问题的特殊性（domain knowledge). 这就难了。
【在 w***g 的大作中提到】
: 第二个本质上是没有hidden layer的NNM。
: softmax + logloss (cross entropy) == logistic regression。
:
: something
|
S*******e
发帖数: 525 | 4 这里有个推荐。。。说对大多问题一个hidden layer就充分了。不过这个答案是好多年
前的（2010），不知现在还适应吗？
【在 S*******e 的大作中提到】
: 多谢大师...稍明白一些了。根据你的提示，又看了看http://stats.stackexchange.com/questions/63152/what-does-the-hidden-layer-in-a-neural-network-compute。 第一个例子加了一层hidden layer。加一层或多层hidden layers (什么样的hidden layers)看样子要懂一些问题的特殊性（domain knowledge). 这就难了。
|
x****u
发帖数: 44466 | 5 一个hidden layer是保证表达力而已，但通常你没办法把这个超高维函数搞到完美收敛啊
有一种说法是局部极值和鞍点数是随着网络宽度而不是深度增加的，所以今天认为深的
比宽的有优势啊
【在 S*******e 的大作中提到】
: 这里有个推荐。。。说对大多问题一个hidden layer就充分了。不过这个答案是好多年
: 前的（2010），不知现在还适应吗？
|
w***g
发帖数: 5958 | 6 神经网络训练已抽取的特征数据，多余一hidden layer效果就会变差。
2000年左右被SVM打得满地找牙的就是这种一个hidden layer的神经网络。
【在 S*******e 的大作中提到】
: 这里有个推荐。。。说对大多问题一个hidden layer就充分了。不过这个答案是好多年
: 前的（2010），不知现在还适应吗？
|
s******e
发帖数: 114 | 7 wdong大神, Deep learning在特征抽取之后用fully connected NN, 是因为coding方便
,还是因为deep and窄的NN效果大于等于SVM?
【在 w***g 的大作中提到】
: 神经网络训练已抽取的特征数据，多余一hidden layer效果就会变差。
: 2000年左右被SVM打得满地找牙的就是这种一个hidden layer的神经网络。
|
w***g
发帖数: 5958 | 8 deep learning直接出结果，或者是再去xgboost或者别的什么过一下都有人干。
要叠加两个学习算法是个精细活，要调优并不是很容易，弄得不好比单独用两个都差。
【在 s******e 的大作中提到】
: wdong大神, Deep learning在特征抽取之后用fully connected NN, 是因为coding方便
: ,还是因为deep and窄的NN效果大于等于SVM?
|
