g****t
发帖数: 31659 | 1 前几天有人在EE问为毛深度学习这么像自适应滤波。
哎....
1.
早先神经网络一个人叫罗什么。和明斯基是高中同学。
罗什么是最早一种神经网络的鼓吹人和计算机程序实现人。
名噪一时。据说得罪了不少人。明斯基早先是他这边的。
后来明斯基写了本名著攻击神经网络。这明星学者罗什么
早早的就死了。不知是否自杀。
2.
然而，当时有个不是那么出名的分类器，叫做
widrow-hoff学习算法什么的。widrow在这摊子烂事
出来之后，就不提神经网络了。本身widrow就是EE的。
也不和这帮人一个资金来源。
3.
为了实现硬件方便，
Widrow 把Sigmoid改成y=x纯线性的滤波器，只保存
学习办法，也就是approximate gradient.还有网络结构，
就是线性权值互联。这就是世界上应用最广泛的least mean square 滤波器的来源。
今日我们很难想象，数字滤波器的一大源头其实是神经网络。但在当时是很自然的。因
为那时候还没有大规模的
大规模的线性数字滤波器件。
后来社会需要大规模集成电路上的各种自适应滤波--也就是学习。不然自适应个蛋啊。
4.
当时懂大规模信号连接和连接权值，以及
信号连接之后的处理和优化的技术专家，只有神经网络那波人。那么widrow作为这方面
专家，这个转向是非常滋润的。
然而做神经网络，真不是什么光荣的事。我是后来很晚才发现widrow最早的算法是分类
器。
5.
如果考虑到LMS是自适应滤波的根源。其实连接主义早就赢了。假如教科书讲真话。我
相信任何一个EE学生都可以理解
ANN是工作的。
Ref:
https://www.ibu.edu.ba/assets/userfiles/it/2012/eee-ANN-4.pdf
www.ibu.edu.ba/assets/userfiles/it/2012/eee-ANN-4.pdf
6.
所以不要问什么AI有用没用的傻话了.也不要问什么
神经网络了。widrow活下来靠的是计算的功夫和线性代数。
名字一改，成就宗师。
7.
考虑到LMS在集成电路里的普及性质的应用，连接主义早就赢了。不过名字不叫 linear
Percepton/ neurons,而叫做adaptive digital filter. |
g****t
发帖数: 31659 | 2 所以一个人要学习AI/ML
你要选择的是学习线性代数加梯度法
还是学习统计
或者学习范畴论/数理逻辑
这三条路之一。其他的其实都不需要管。
工具的选择决定生死，而不是反过来。
理论主要是搞社会运动拉资金的。作为老中，
你心比天高也很难在美国拉起一个理论。
最后本人说法一般都是多年前的记忆。不保证准确。 |
g****t
发帖数: 31659 | 3 Btw, widrow - Hoff
里面的hoff 做了世界上第一个微处理器。2000 transistors。
我想恐怕今日没多少人知道他phd是神经网络学习算法.
60年代懂silicon很多是物理学家。懂信号处理的人群里面
恐怕相当部分是改行的神经网络爱好者。（另一部分可能是
自控出来的）
From intc:
In the late 1960s, there was a great deal of discussion regarding the
possibility of a computer on a chip. Ted Hoff was the first to recognize
that Intel's new silicon-gated MOS technology might make a single-chip CPU
possible if a simple enough architecture could be formed. Hoff developed
this architecture with just over 2000 transistors. One of the most important
developments of the last half of the 20th century has been the
microprocessor. It is found in virtually every electronic device in the
modern world. From its inception in 1969, the microprocessor industry has
grown to hundreds of millions of units per year.
: 所以一个人要学习AI/ML
: 你要选择的是学习线性代数加梯度法
: 还是学习统计
: 或者学习范畴论/数理逻辑
: 这三条路之一。其他的其实都不需要管。
: 工具的选择决定生死，而不是反过来。
: 理论主要是搞社会运动拉资金的。作为老中，
: 你心比天高也很难在美国拉起一个理论。
: 最后本人说法一般都是多年前的记忆。不保证准确。
【在 g****t 的大作中提到】
: 所以一个人要学习AI/ML
: 你要选择的是学习线性代数加梯度法
: 还是学习统计
: 或者学习范畴论/数理逻辑
: 这三条路之一。其他的其实都不需要管。
: 工具的选择决定生死，而不是反过来。
: 理论主要是搞社会运动拉资金的。作为老中，
: 你心比天高也很难在美国拉起一个理论。
: 最后本人说法一般都是多年前的记忆。不保证准确。
|
m******r
发帖数: 1033 | 4 贡献笑话一则。 以前我们EE系一个教授开一门神经网络课， 以前从来没开过， 第一
天上课隔壁medical school来了好多学生，老师很惊讶医学院的学生到这里来干什么，
学生更是一头雾水，你不是讲脑神经么 ， 怎么全是数学推导? |
x**********i
发帖数: 658 | |
e*******o
发帖数: 4654 | |
g****t
发帖数: 31659 | 7 不管学啥都可以。
软件工作的内容和价格可以天天变。
但是其形式不会天天变。
简单说：先老老实实做几年奴隶。
【在 x**********i 的大作中提到】
: 大牛啊，请问只学ml来编程有前途吗？
|
g****t
发帖数: 31659 | 8 我真的干了20年数值计算
无数烦闷的时间就看看别人的东西解闷
正在计划后面20年
【在 e*******o 的大作中提到】
: 大牛真是懂得多。
: 这次能看懂40%了。
|
S*****e
发帖数: 6676 | |
g****t
发帖数: 31659 | 10 Widrow was in 1956 the conference that coined the term "AI".
【在 S*****e 的大作中提到】
: AI不是NN
: ML不是DL
|
