g****t
发帖数: 31659 | 1 前几天有人在EE问为毛深度学习这么像自适应滤波。
哎....
1.
早先神经网络一个人叫罗什么。和明斯基是高中同学。
罗什么是最早一种神经网络的鼓吹人和计算机程序实现人。
名噪一时。据说得罪了不少人。明斯基早先是他这边的。
后来明斯基写了本名著攻击神经网络。这明星学者罗什么
早早的就死了。不知是否自杀。
2.
然而，当时有个不是那么出名的分类器，叫做
widrow-hoff学习算法什么的。widrow在这摊子烂事
出来之后，就不提神经网络了。本身widrow就是EE的。
也不和这帮人一个资金来源。
3.
为了实现硬件方便，
Widrow 把Sigmoid改成y=x纯线性的滤波器，只保存
学习办法，也就是approximate gradient.还有网络结构，
就是线性权值互联。这就是世界上应用最广泛的least mean square 滤波器的来源。
今日我们很难想象，数字滤波器的一大源头其实是神经网络。但在当时是很自然的。因
为那时候还没有大规模的
大规模的线性数字滤波器件。
后来社会需要大规模集成电路上的各种自适应滤波--也就是学习。不然自适应个蛋啊。
4.
当时懂大规模信号连接和... 阅读全帖 |
|
|
f**d
发帖数: 768 | 3 这是一本计算神经科学的优秀著作，全文拷贝这里（图和公式缺），有兴趣的同学可以
阅读
如需要，我可以分享PDF文件（－－仅供个人学习，无商业用途）
From Computer to Brain
William W. Lytton
From Computer to Brain
Foundations of Computational Neuroscience
Springer
William W. Lytton, M.D.
Associate Professor, State University of New York, Downstato, Brooklyn, NY
Visiting Associate Professor, University of Wisconsin, Madison
Visiting Associate Professor, Polytechnic University, Brooklyn, NY
Staff Neurologist., Kings County Hospital, Brooklyn, NY
In From Computer to Brain: ... 阅读全帖 |
|
c***s
发帖数: 70028 | 4 2006年，会议五十年后，当事人重聚达特茅斯。左起：摩尔，麦卡锡，明斯基，赛弗里奇，所罗门诺夫
背景
现在一说起人工智能的起源，公认是1956年的达特茅斯会议。殊不知还有个前戏：1955年，美国西部计算机联合大会（Western Joint Computer Conference）在洛杉矶召开，会中还套了个小会：“学习机讨论会”（Session on Learning Machine）。讨论会的参加者中有两个人参加了第二年的达特茅斯会议，他们是塞弗里奇（Oliver Selfridge）和纽厄尔（Allen Newell），塞弗里奇发表了一篇模式识别的文章，而纽厄尔则探讨了计算机下棋，他们分别代表两派观点。讨论会的主持人是神经网络的鼻祖之一皮茨（Pitts），他最后总结时说：“（一派人）企图模拟神经系统，而纽厄尔则企图模拟心智（mind）……但殊途同归。”皮茨眼可真毒，这预示了人工智能随后几十年关于“结构与功能”两个阶级、两条路线的斗争。
开聊达特茅斯会议之前，先说六个最相关的人。首先，会议的召集者麦卡锡（John McCarthy）当时是达特茅斯学院的数学系助理教授。两年前（1954... 阅读全帖 |
|
e***d
发帖数: 8248 | 5 图灵验证早就有了吧。
买买提Minsky的SNARC，50年代初搞出来。
狮蛋蝠Widrow的ADALINE，60年代初搞出来。
只不过之后沉寂了很久，但一直有人搞。 |
|
g****t
发帖数: 31659 | 6 Btw, widrow - Hoff
里面的hoff 做了世界上第一个微处理器。2000 transistors。
我想恐怕今日没多少人知道他phd是神经网络学习算法.
60年代懂silicon很多是物理学家。懂信号处理的人群里面
恐怕相当部分是改行的神经网络爱好者。（另一部分可能是
自控出来的）
From intc:
In the late 1960s, there was a great deal of discussion regarding the
possibility of a computer on a chip. Ted Hoff was the first to recognize
that Intel's new silicon-gated MOS technology might make a single-chip CPU
possible if a simple enough architecture could be formed. Hoff developed
this architecture with just over 2000 transistor... 阅读全帖 |
|
g****t
发帖数: 31659 | 7 Widrow was in 1956 the conference that coined the term "AI". |
|
c*******v
发帖数: 2599 | 8 信号处理老早一部分发源于Neural Network
Widrow做神经网络的时候，没有信号处理这个单词。
那时候叫做IEEE 声学杂志，不叫signal processing。 |
|
g****t
发帖数: 31659 | 9 Ted Woff和widrow的自适应系统是学界的。
他们的神经计算机包括了用到现在的LMS 算法。
不过那有60年了。
另外web被发明的时候，Lee是博士后吧？所以算是学界的。
: 沒辦法，不是學術界的人，我也只了解一些移動通信和處理器設計方面工
業界的
情況，
: 沒太看到學術界的貢獻。。。
: 大家提的多數是軟件、算法、理論。很少硬件方面的硬發明。。。
|
|
