f**d
发帖数: 768 | 1 Terrence J. Sejnowski
Professor and Laboratory Head
Computational Neurobiology Laboratory
Terrence J. Sejnowski, professor and head of the Computational
Neurobiology Laboratory, is a pioneer in the field of computational
neuroscience.
Education
B.S., Physics, Case Western Reserve University
Ph.D., Physics, Princeton University (J.Hopfield was his Ph.d advisor)
Postdoctoral fellow, Biology, Princeton; Neurobiology, Harvard Medical
School
听过几次TERRY的报告，其人说话很快，激情，典型的物理系学者的模式。
http://www.salk.edu/faculty/sejnowski.html
他最近20年在计算神经科学中的地位犹如泰山北斗，可比80年代的J.Hopfield。
他在ucsd salk institute的计算神经生物学实验室蜚声五湖四海，
搞计算神经科学的学生均以到他那里求过学而为荣。
而TERRY的学生也是遍布世界各地，桃李满天下。
他有个特点，基本任何时候你给他发email,他都能很快给你答复－－甚至在夜里。
让人惊讶他的精力旺盛。
Terry Sejnowski在选择领域的时候没有考虑计算神经科学是否危险。他在
Princeton读博士的时候，专业是物理，后来转而做神经系统的模型，先后师从
John Wheeler和John Hopfield。Wheeler制造了‘Black hole’这个词，也是黑洞
成为热门研究领域的主要推动人物之一。Hopfield在转到研究脑科学的时候已经是
物理的院士了，他著名的工作是在82年左右。根据能量空间上局部最小值的直觉，
Hopfield表明神经元网络存储不同的记忆可以用phase space上的吸引子来完成。
现在这类网络用Hopfield的名字命名（虽然和大多数发现一样，这个结果并不是以
第一个发现的人命名的，Stephen Grossberg在七十年代提出类似理论，未受广泛
重视）。
在把玩了一些模型之后，Sejnowski认识到必须做试验来了解脑子是怎么工作的，
于是他先后在普林斯顿的Alan Gelperin和哈佛的Steve Kuffler那里做博士后。
Kuffler是在美国最早建立神经科学系的人之一，后来的诺贝尔得主
Hubel/Wiessel的主要贡献之一、就是因为在大脑皮层追随Kuffler在视网膜的工作
而发展出来的。Kuffler的兴趣和贡献特别的广泛，以至于没法给他颁发诺贝尔奖
。后来UCSD设立了Kuffler教授的title以向他致敬。所以Terry的职业发展可以说
是一直在大师级人物的培养下的。
80年代初的时候Terry Sejnowski和Geoff Hinton开始合作。在Hopfield网络的启
发下，他们找到一个神经元网络的模型可以进行有限的学习。由于用到了玻尔兹曼
分布，他们把这个模型叫做Boltzmann machine（http://en.wikipedia.
org/wiki/Boltzmann_machine）。在Johns Hopkins生物物理系找到教职以后，
Sejnowski和他的合作者开始用神经网络的理论来模拟、解决实际问题。最出名的
是让神经元网络模型学会看字发音。
这个叫NETtalk的网络模型起源于Terry在Princeton做报告。一个叫Charlie
Rosenberg学生在报告后找到他，要和他做语言研究。当时流行一种叫
Back-propagation的神经网络，原理是Supervised learning, 也就是说每次计算
的结果和已知正确的结果相比较，把错误的大小返回给上一步（也就是名字
Back-propagation的来历），上一级根据错误的大小对网络进行调整，再次计算，
直到错误小到可以接受。这个算法或者说模型是当时很多人一起工作的结果，总结
在一本很有影响力的书《Parallel Models of Associative Memory》里。
Terry 和Charlie在计算机上构造了一个Back-prop的网络，也就是NETtalk。当时
计算机刚开始进入实验室，他刚从国家科学基金（National Science Foundation
）得到一个Presidential Young Investigator Award，因此有笔钱可以买一台先
进的计算机。当时整个计算机系才有一台计算机，所以他在当时拥有一个计算机系
的计算能力！他们找到一本教儿童学习发音的小书，那本书里大概有100个词。
Charlie编程很有本事，他们两个人把单词和音素输入数据库，然后让NETtalk学习
。在一天之内，NETtalk就基本上掌握了这100个词。注意他们没有把每个词该和什
么音素配合告诉网络，他们只是输入一个词，让NETtalk算出音素的组合，然后根
据正确音素组合和计算结果的不同、来指导NETtalk改变内部的结构，直到输出结
果和正确读音的音素一致。所以在这个过程里没有声音。
他们根据不同年龄的儿童的单词量而逐渐增大输入的难度和数量，直到完成一本两
万单词的词典。输出的结果里包括正确的音素组合，重音位置，音节的界限，总之
NETtalk的输出和实际的读音在词典里的标识是一致的。Terry跑到Woods Hole找到
一台可以根据音素而发声的DECtalk语言合成器。当他把NETtalk的结果输入到合成
器里、第一次听到NETtalk发出声音的时候，我们可以想象他是如何兴奋。从两个
人有了想法、到最后建成NETtalk，整个过程用了三个月；可是分析这个网络用了
三年：Charlie的博士论文是分析NETtalk怎么样分别对待 清辅音c（‘city’）和
浊辅音c（‘cat’）。这是第一个能够干实际事情的神经元网络，Terry于是一炮
打响，红遍大江南北，还上了Today shaw。
说到这里就要讲为什么说不容易公允评价年轻科学家的成就了。
Back-propagation因为Sejnowski 的 NETtalk 而引人注意，成为工程上常用的机
器学习手段之一，这是没错。可大脑是不是根据Back-prog的原理来学习的呢？直
到目前为止，还没有什么确凿证据支持这点。于是，Back-prop虽然在工程学上很
成功，但是在神经科学里的影响很小。于是在评价Terry Sejnowski的时候，如果
说Back-prog是他最好的工作，那似乎并不能让人觉得他对神经科学的发展有太多
的贡献。当然对于计算神经科学他是起了旗手的作用，吸引很多有天赋的年轻人进
入这个领域，Back-prog现在是Matlab里一个标准工具库。至少有一个公司（HNC
Software INc.）用Back-prog的算法发了一笔小财:D。
当然Sejnowski的故事还没结束。他认识到Back-prop的局限性，转而开始研究脑子
里的神经网络如何运作。他和Mircea Steriade合作了不少文章来研究脑子里神经
元的振荡的离子通道基础以及有什么功能。另一部分Sejnowski的工作是视觉心理
物理学的研究。他现在任职在Salk研究所和UCSD。
结束的时候不如引用关于NETtalk的一段对话:
Edward Rosenfeld:’When I met you in 1986, I didn’t know you were doing
NETtalk. And next time I saw you, you were on the Today show.’
Terry Sejnowski: ‘That was another experience. ‘
Edward Rosenfeld: ‘That’s when I thought neural networks were real. I
saw you on the Today show. That made a major impact. ‘
Terry Sejnowski: ‘We had no idea how well it would work or that if
would make an impact. In retrospect it was an ideal choice for a
problem. It was difficult with conventional techniques, and it was
not clear that the network could handle it. [...] A lot depends on how
persistent you are — like Charlie Rosenberg, who’s incredibly
energetic and will just keep working at a problem until he solves it.
That’s what you need to get anything to work.
上文大部分摘自如下网站：
http://lupengwang.wordpress.com/2006/07/15/%E7%A7%91%E5%AD%A6%E | p*******g
发帖数: 809 | 2 超级赞。不过众牛人汇聚UCSD把PDP搞得热火朝天波澜壮阔的历史讲的有点少了：）
Terry现在是科学院院士、工程院院士 以及 医学院院士。 | p*******g
发帖数: 809 | | K*****y
发帖数: 1793 | 4 我跟他的一个前博后谈过，评价是：Terry确实是个精力十分充沛的人，对某些领域，T
erry可能没有很多了解，但是只要你跟他谈一谈你的想法，他会马上告诉你该看什么文
章，以便你很快能够投入工作。
【在 f**d 的大作中提到】
: Terrence J. Sejnowski
: Professor and Laboratory Head
: Computational Neurobiology Laboratory
: Terrence J. Sejnowski, professor and head of the Computational
: Neurobiology Laboratory, is a pioneer in the field of computational
: neuroscience.
: Education
: B.S., Physics, Case Western Reserve University
: Ph.D., Physics, Princeton University (J.Hopfield was his Ph.d advisor)
: Postdoctoral fellow, Biology, Princeton; Neurobiology, Harvard Medical
|
|
