m*********t
发帖数: 527 | 1 colah.github.io/posts/2014-03-NN-Manifolds-Topology
不知道大家看过没有。我觉得写的非常直观，而且指出了很有意思的一些问题（比如 2
同心维圆环 不可能用只有2个 hidden node 的 neural network 来彻底区分）。这些
问题也让人思考 neural network 的 robustness。 |
s****h
发帖数: 3979 | 2 这个人不算有名吧？好像是google deep learning group的一个新人。
他的blog我昨天看过几篇，写得挺通俗易懂的。
昨天看完后，我还贴了那个关于同人小说网站的blog，觉得比较搞笑。
另外一个新知道的是tSNE，08年提出的一个高维数据低维显示的算法。简单易用。 |
m*********t
发帖数: 527 | 3 不，他名气不大，不过他对这个领域的热情和理解问题的方式非常有意思。他那篇博客
让人考虑这样的问题：就是如果我们根本用错了方法选错了 feature 即使 error 很低
也不能说明问题。
我感觉们经常把每一个 feature/pixel 当作欧式空间的一个维度来处理其实是非常
cruel 的。kaggle 上那个 galaxy classification 的访谈里那人:
http://blog.kaggle.com/2014/04/18/winning-the-galaxy-challenge-
自己说的
“My best single model had 7 layers and about 42 million parameters. Of
course it was overfitting significantly, but despite that it still achieved
the best score on the validation set”
听了就觉得胃痛，总觉得哪里感觉不太对。想象一下这些图片里本身描述的拓扑结构的
维度。。。
t-SNE 很好阿，准备拿来用 minst 自己看看。
【在 s****h 的大作中提到】
: 这个人不算有名吧？好像是google deep learning group的一个新人。
: 他的blog我昨天看过几篇，写得挺通俗易懂的。
: 昨天看完后，我还贴了那个关于同人小说网站的blog，觉得比较搞笑。
: 另外一个新知道的是tSNE，08年提出的一个高维数据低维显示的算法。简单易用。
|
l*******m
发帖数: 1096 | 4 he meant delta of training and test error was large in terms of over fitting
. it does not hurt generalization of the model
achieved
【在 m*********t 的大作中提到】
: 不，他名气不大，不过他对这个领域的热情和理解问题的方式非常有意思。他那篇博客
: 让人考虑这样的问题：就是如果我们根本用错了方法选错了 feature 即使 error 很低
: 也不能说明问题。
: 我感觉们经常把每一个 feature/pixel 当作欧式空间的一个维度来处理其实是非常
: cruel 的。kaggle 上那个 galaxy classification 的访谈里那人:
: http://blog.kaggle.com/2014/04/18/winning-the-galaxy-challenge-
: 自己说的
: “My best single model had 7 layers and about 42 million parameters. Of
: course it was overfitting significantly, but despite that it still achieved
: the best score on the validation set”
|
m*********t
发帖数: 527 | 5 这个我知道阿。我只是觉得当我们用了几十万个参数之后，真的知道那个 network 里
面发生了什么吗？
http://arxiv.org/abs/1312.6199
fitting
【在 l*******m 的大作中提到】
: he meant delta of training and test error was large in terms of over fitting
: . it does not hurt generalization of the model
:
: achieved
|
d******c
发帖数: 2407 | 6 有的人就认为不需要知道吧。kaggle的很多竞赛里给的数据，不告诉你feature是什么
意义，就是些值，就没打算让你去理解。
大概他们认为数据足够多就行了，什么问题都可以解决，大数据 > 聪明算法
【在 m*********t 的大作中提到】
: 这个我知道阿。我只是觉得当我们用了几十万个参数之后，真的知道那个 network 里
: 面发生了什么吗？
: http://arxiv.org/abs/1312.6199
:
: fitting
|
