发帖数: 1 | 1 https://xw.qq.com/cmsid/20190129A0I69B00
90年代末机器学习兴起，2012年，神经网络概念复辟，而在AlphaGo碾压人类选手后，
强化学习卷土重来。近26年来，AI领域基本没有新的概念出现，只有不同的技术一次次
从冷宫中解放出来。
麻省理工科技评论在1月25日发布的一篇文章中，分析了截至2019年11月18日，论文数
据库中arXiv的16625份关于AI的论文。
从分析结果看，“AI”概念的风靡，有三个典型时期：90年代末21世纪初机器学习兴起
，2010年代初神经网络概念复辟，近几年强化学习概念卷土重来。
值得注意的是，arXiv的AI论文模块始于1993年，而“人工智能”的概念可以追溯到
1950年，因此这一数据库只能反馈近26年以来的AI研究。而且，arXiv每年收录的论文
，也仅代表当时人工智能领域的一部分研究。不过，它仍然是观测AI行业研究趋势的最
佳窗口。
我们接下来就来看一下，16625份论文提供了哪些信息。
起点：解救程序员
基于知识的系统，由人类将知识赋予计算机，而计算机承担知识的存储和管理功能，帮
助人类解决问题。转变为机... 阅读全帖 |
|
w***g
发帖数: 5958 | 2 multi-layer convolutional neural network在一定程度上已经很接近事情的真相了，
不然不可能这么effective。2012年alexnet的横空出世其实有两个后果：
1. CNN研究多年的惨淡经营终于破茧而出，然后迅速解放生产力革了众多前CNN时代
原始算法的老命。这个所有人都知道。
2. 大部分人没意识到的是alexnet同时也把CNN的基本框架给夯实了，然后迅速杀死了
大部分alternative架构的研究，圈死了人们的想象力。
CNN应用的一个核心概念就是"architecture"，也就是一个描述CNN结构的小程序。
2012年以来看似CNN研究爆炸了，但是除了应用以外，对CNN本身的研究几乎全都
是围绕着这个architecture展开的：怎么添加新类型的layer，怎么增加层数，
怎么连，怎么算得快，等等等等。但是我的印象中没有人质疑architecture这个
东西本身存在的合理性。
一个新手开始学用CNN，把别人的model跑通应该用不了几个小时。然后立刻就会
遇到一个问题：为什么别人的architecture要这么定？怎么样可以改... 阅读全帖 |
|
w***g
发帖数: 5958 | 3 multi-layer convolutional neural network在一定程度上已经很接近事情的真相了，
不然不可能这么effective。2012年alexnet的横空出世其实有两个后果：
1. CNN研究多年的惨淡经营终于破茧而出，然后迅速解放生产力革了众多前CNN时代
原始算法的老命。这个所有人都知道。
2. 大部分人没意识到的是alexnet同时也把CNN的基本框架给夯实了，然后迅速杀死了
大部分alternative架构的研究，圈死了人们的想象力。
CNN应用的一个核心概念就是"architecture"，也就是一个描述CNN结构的小程序。
2012年以来看似CNN研究爆炸了，但是除了应用以外，对CNN本身的研究几乎全都
是围绕着这个architecture展开的：怎么添加新类型的layer，怎么增加层数，
怎么连，怎么算得快，等等等等。但是我的印象中没有人质疑architecture这个
东西本身存在的合理性。
一个新手开始学用CNN，把别人的model跑通应该用不了几个小时。然后立刻就会
遇到一个问题：为什么别人的architecture要这么定？怎么样可以改... 阅读全帖 |
|
s*****V
发帖数: 21731 | 4 都是些小打小敲，技术突破ALEXNET, VGG, RCNN都是欧美搞出来的。 |
|
e****z
发帖数: 108 | 5 今天心情不好， 楼主我准备吐槽一下你贴出来的职位. 你千万别觉得我是在针对你，
我是针对这个职位， 我知道你是一个好猎头， 但是这个职位对于业内人来说， 槽点
太多， 我是不吐不快啊。
再说一遍， 楼主我不是针对你，咱俩可能都加过linkedin的， 所以我只针对这个职位。
真不知道是那个公司， 还背景强才够leader， 一个phd要2年经验， master 5年， 脑
子进水了吧， 5年前有deep learning么， tensorflow 15年底google 才开源， 去年
16年才出了正式的1.0. 就算是两年， 两年前deep learning是个啥水平， 传说的
alexnet是TM 15年5月发表的， 当时做出来imagenet的bench mark， 是TM 大牛geoff
hilton他们发的文章， 文章中好像drop out还有一些normalization方法都是那一片或
者同期引入的。 2015年大家才开始疯狂的跑image net。
要一个有5年工作经验的哪怕是两年工作经验的， 你就说你要geoff hilton算了， 或
者他们组的学生。
再说NLP， ... 阅读全帖 |
|
k*******r
发帖数: 355 | 6 你就看第一句
Deep learning be must domain expertise
就知道这广告来自于国内啥样的乡镇企业，还真和他们较真啊。那些名词估计也是从网
上copy paste 出来的
: 今天心情不好， 楼主我准备吐槽一下你贴出来的职位. 你千万别觉得我是在针
对你，
: 我是针对这个职位， 我知道你是一个好猎头， 但是这个职位对于业内人来说，
槽点
: 太多， 我是不吐不快啊。
: 再说一遍， 楼主我不是针对你，咱俩可能都加过linkedin的， 所以我只针对这
个职位。
: 真不知道是那个公司， 还背景强才够leader， 一个phd要2年经验， master 5
年， 脑
: 子进水了吧， 5年前有deep learning么， tensorflow 15年底google 才开源，
去年
: 16年才出了正式的1.0. 就算是两年， 两年前deep learning是个啥水平， 传说的
: alexnet是TM 15年5月发表的， 当时做出来imagenet的bench mark， 是TM 大牛
... 阅读全帖 |
|
C*****5
发帖数: 8812 | 7 可以google一下 image net competition和Alexnet。 NVDA的腾飞基本上就是从那时开
始的。
可惜我触觉不够灵敏。要不然已经可以退休了。 |
|
g****t
发帖数: 4493 | 8 2016-11-15 04:12 来源：搜狐科技
日前，图形芯片厂商英伟达发布了季度营收创6年最大增幅的财报，并拉动其股价盘后
飙升14%而引发业内的关注，加之此前，其CEO 黄仁勋宣称英伟达已经是一家AI（人工
智能）芯片公司（颇有赶AI风口的意味），业内纷纷看好其在芯片，尤其是AI芯片的市
场表现。事实真的如此吗？
我们先看看这个季度英伟达的财报表现。总营收20亿美元，同比增长53.6%。其中图形
芯片部门的营收在其总营收中占比85%，同比增长52.9%，为17亿美元；数据中心业务同
比增长两倍，为2.4亿美元；汽车业务同比增长60.8%，为1.27亿美元。从营收的构成上
，不难看出，支撑英伟达的核心业务依旧是传统PC市场的图形芯片（独立显卡），而涉
及到AI相关领域或者是与AI密切相关（例如数据中心）业务的营收仅占到其总营收的1/
10左右。所以仅从营收看，英伟达远称不上是一家AI芯片公司。而众所周知的事实是，
目前AI是产业竞相追逐的热点，曾经，包括现在依然是传统PC产业独立显卡（显示芯片
）的英伟达摇身一变成为AI公司自然会吸引不少的眼球，从这个意义看，我们不排除英
伟达有借... 阅读全帖 |
|
e**y
发帖数: 784 | 9 imagenet今年已经没有老外玩了，大家去玩MSCOCO了
中国的研究队伍只会调调参数搞个ensemble的网络，这么得第一有意思吗？
AI范围内，alexnet这样的进步在中国研究所里到现在没出来过 |
|
C*****5
发帖数: 8812 | 10 这么说有点不公平。Faster R-CNN的第一作者就是个科大学生在微软研究院的实习生嘛
。除了RCNN的原作Girshick其他三个都是中国人啊。虽然是原有算法基础上改进，但是
这个改进还是很重要的，绝对不是你说的调调参数，搞个ensmble。中国做Deep
Learning的板凳深度是有的，年轻人慢慢会冒出来的。Alexnet也不过就是几年前的事
情。今后几年你耐心看着好了。 |
|
C*****5
发帖数: 8812 | 11 最牛的hinton，LeCun, Bengio和Ng都是学校的，现在都被挖去工业界兼职而已。
这一轮DL的点火索Alexnet当初没有GPU和cuda也不可能实现。这一点看Nvidia也功不可
没。 |
|
r*****e
发帖数: 7853 | 12 GPU的成功是在于它的并行运算使得其很容易scale up，DL可以用GPU是因为算法适合并
行运算。其实两个的命运都没有改变。你们非把它们吹成技术革命，难道就是因为nvda
翻倍了？
[在 CRH1235 (江左没狼) 的大作中提到：]
:最牛的hinton，LeCun, Bengio和Ng都是学校的，现在都被挖去工业界兼职而已。
:这一轮DL的点火索Alexnet当初没有GPU和cuda也不可能实现。这一点看Nvidia也功不
可没。
:☆ 发自 iPhone 买买提 1.23.01 |
|
x****u
发帖数: 44466 | 13 你真是Ng粉啊。难道不是AlexNet在李菲菲的ImageNet上一鸣惊人才捧红了DL？
Ng搞的东西和DL关系不大，他也一直看不起DL。他第一次公开课介绍过LeNet5，但表明
just for fun而且说的很多地方都不对。
DL选20个最有影响力的人他也进不去啊。 |
|
w*****r
发帖数: 197 | 14 你这感觉就像我第一次玩AlexNet一样。如果你在小学时就能接受计算器算得比你快，
为什么现在不能接受计算机用有效的ML算法对大数据的归纳能力比你强？
回到你的问题，有可能是基于某domain knowledge的假设错了，以至于模型无法拟合数
据的distribution。 |
|
w***g
发帖数: 5958 | 15 不是忽悠胜似忽悠。感觉大量资金已经被cash out了，expectation也已经上天了，但
坑还等着engineer填。技术上说这波其实只是把90年那一拨的债还了而已。
学术界其实发展很慢，基本上还是alexnet的技术。到时候ER不能beat, 股票还是要崩
的。好害怕。 |
|
x****u
发帖数: 44466 | 16 胶囊至少要先在imagenet上干倒alexnet再说吧
现在提出个mnist上能用的点子抛砖引玉，不是相当于我请客你买单？ |
|
s*****l
发帖数: 7106 | 17 我勒个去
想给hinton买单的不要太多太多
：胶囊至少要先在imagenet上干倒alexnet再说吧
： |
|
发帖数: 1 | 18 虽然 Andrew 是 Google Brain 的早期创建者之一，但第一代 Google Brain 在
Andrew 的建议下all in 基于自动编码器 （Autoencoders）的大规模无监督学习，忽
视了有监督的卷积神经网络 (CNN)， 实际上是走了弯路。当时新闻报道 Google Brain
从海量视频中无监督发现猫脸就是这次 all in 的结果。 而想要无监督学习出猫脸来
，根本不需要大规模 autoencoders, 用最简单的k-means 就可以做到。第一代 Google
Brain 用一千台机器训练出的 Autoencoder 在 ImageNet 任务上被同时期 Hinton 的
学生用宿舍里的一台 PC + 两块显卡训练出的 CNN (AlexNet) 吊打。
转自纸糊 |
|
x****u
发帖数: 44466 | 19 虽说autoencoder是弯路，但客观的说2012年谁也看不到这个。当时谁相信一个反向传
递能搞到今天的上千层还活蹦乱跳？
但虽然这个成果的价值不高，为什么能上中英文的头条，比AlexNet，VGG，ResNet还有
名的多？
Brain
Google |
|
g****t
发帖数: 31659 | 20 Goog宣传能力强。
: 虽说autoencoder是弯路，但客观的说2012年谁也看不到这个。当时谁相信一个
反向传
: 递能搞到今天的上千层还活蹦乱跳？
: 但虽然这个成果的价值不高，为什么能上中英文的头条，比AlexNet，VGG，
ResNet还有
: 名的多？
: Brain
: Google
|
|
g****t
发帖数: 31659 | 21 LSTM手写体识别比alexnet早。但是没有美国公司背后宣传。
https://www.nytimes.com/2016/11/27/technology/artificial-intelligence-
pioneer-jurgen-schmidhuber-overlooked.html
www.nytimes.com/2016/11/27/technology/artificial-intelligence-pioneer-jurgen
-schmidhuber-overlooked.html
MY times软文2016才出来。RNN/LSTM goog translate突破。
辛顿也好，任何别人也好。写不了RNN／LSTM也就是反馈神经网络的review。 |
|
g****t
发帖数: 31659 | 22 Imagenet
Alexnet
CNN
这三件东西引爆这波AI. 除了CNN是颜了孙当初在贝尔实验室。前两者都是学术成果吧
。Imagenet吃亏在是老中做的，所以宣传不够。
另外我觉得ResNet发展了near identity transformation 。
很关键。应该是无反馈网络的终点结构了。
再早些的compressed sensing我觉得很重要。也得了
Ieee signal processing奖。数学大会也做了报告。
还有小波也应该算。 |
|
x****u
发帖数: 44466 | 23 AlexNet和VGG是学校搞出来的，ResNet，GoogleNet，DenseNet和现在丧心病狂的
NASNet就只能靠公司了，学校玩不起这么大规模的经费投入啊 |
|
s*****V
发帖数: 21731 | 24 CAPSULE还不是一个完整的东西，hinton自己都承认他做model不行，他把这个抛出来就
是想引来更多人来做，做出ALEXNET那样的东西来。 |
|
