由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - Hinton的capsule理论是不是证明是伪科学了?
1 (共1页)
h**c
发帖数: 1979
1
还说要取代back propagation呢。现在没人提了?
T*******x
发帖数: 8565
2
Back propagation 从大结构来看肯定是不对的。

【在 h**c 的大作中提到】
: 还说要取代back propagation呢。现在没人提了?
h**c
发帖数: 1979
3
还说要取代back propagation呢。现在没人提了?
T*******x
发帖数: 8565
4
Back propagation 从大结构来看肯定是不对的。

【在 h**c 的大作中提到】
: 还说要取代back propagation呢。现在没人提了?
x****u
发帖数: 44466
5
辛顿的脑洞是无穷的,冰山一角

【在 h**c 的大作中提到】
: 还说要取代back propagation呢。现在没人提了?
x****u
发帖数: 44466
6
生物的确没有bp,但也做不到200个epoch进化出imagenet视觉来
你希望网络结构迅速进化出权重就离不开bp

【在 T*******x 的大作中提到】
: Back propagation 从大结构来看肯定是不对的。
f******2
发帖数: 2455
7
这个是啥东西?tensorflow能model这个模型吗?
如果不能,是不是wdong带着板上能写c加加的一干人等写个capsuleflow,就能实现人
工智能领域的弯道超车了?一举成为jeff dean当年从DL小白到DL系统专家的华丽转身。
g****t
发帖数: 31659
8
技术上可能。但一般你做出了技术突破后,credit会被抢走。


: 这个是啥东西?tensorflow能model这个模型吗?

: 如果不能,是不是wdong带着板上能写c加加的一干人等写个capsuleflow,就能
实现人

: 工智能领域的弯道超车了?一举成为jeff dean当年从DL小白到DL系统专家的华
丽转身。



【在 f******2 的大作中提到】
: 这个是啥东西?tensorflow能model这个模型吗?
: 如果不能,是不是wdong带着板上能写c加加的一干人等写个capsuleflow,就能实现人
: 工智能领域的弯道超车了?一举成为jeff dean当年从DL小白到DL系统专家的华丽转身。

s*****V
发帖数: 21731
9
CAPSULE还不是一个完整的东西,hinton自己都承认他做model不行,他把这个抛出来就
是想引来更多人来做,做出ALEXNET那样的东西来。

【在 g****t 的大作中提到】
: 技术上可能。但一般你做出了技术突破后,credit会被抢走。
:
:
: 这个是啥东西?tensorflow能model这个模型吗?
:
: 如果不能,是不是wdong带着板上能写c加加的一干人等写个capsuleflow,就能
: 实现人
:
: 工智能领域的弯道超车了?一举成为jeff dean当年从DL小白到DL系统专家的华
: 丽转身。
:

c*******v
发帖数: 2599
10
你没听懂我的意思。技术上没什么不可能的。但是你做了又如何?
三年坚持算是短的。三年下来,你finally能拿到多少credit?三五十万撑死了。我相信
老司机看的都不是啊三五十万的机会。

【在 s*****V 的大作中提到】
: CAPSULE还不是一个完整的东西,hinton自己都承认他做model不行,他把这个抛出来就
: 是想引来更多人来做,做出ALEXNET那样的东西来。

h**c
发帖数: 1979
11
好惨

【在 c*******v 的大作中提到】
: 你没听懂我的意思。技术上没什么不可能的。但是你做了又如何?
: 三年坚持算是短的。三年下来,你finally能拿到多少credit?三五十万撑死了。我相信
: 老司机看的都不是啊三五十万的机会。

s*****V
发帖数: 21731
12
我觉得你混淆了意思,TensorFlow只是一个engineering work,学术上的东西已经做出
来了。Hinton这个胶囊,学术上都不完整,谁做出来牛逼的model是groundbreaking 的
成就,名声可以变现卖钱。

【在 c*******v 的大作中提到】
: 你没听懂我的意思。技术上没什么不可能的。但是你做了又如何?
: 三年坚持算是短的。三年下来,你finally能拿到多少credit?三五十万撑死了。我相信
: 老司机看的都不是啊三五十万的机会。

c*******v
发帖数: 2599
13
你想的太简单了。你做个理论,我给你加个什么费因曼卡克方程,狄拉克entropy,
找一堆人写文章,分分钟灭的你没话说。你做个软件,我给你加个wrapper,平台化.
信息时代是这个人变现过后,然后这个人出了名的有实力。不是有实力的人就可以变现
。将来你就会知道。有一批人专门掌握了出名的办法,那也是技术活。
杨振宁和费因曼谁出名?前者比后者强10倍不止.
张益唐的文章里一定有故意留着的印刷错误,你信不信?
他如果不是博士吃了亏,这次一多半还是被人灭。

【在 s*****V 的大作中提到】
: 我觉得你混淆了意思,TensorFlow只是一个engineering work,学术上的东西已经做出
: 来了。Hinton这个胶囊,学术上都不完整,谁做出来牛逼的model是groundbreaking 的
: 成就,名声可以变现卖钱。

s*****V
发帖数: 21731
14
学术界相对来说还是干净的,特别是有arxiv这样的东西之后,大佬想截留难度越来越
大。不懂你啥意思,费曼掌握了出名的技术?费曼出名虽然很多噱头比如开锁打鼓什么
的,但是最关键的还是人家的路径积分是量子力学第三种表现形式,费曼图还是场论的
基本工具,老杨和费曼谁牛我搞不清,但是我可以肯定老杨不会比费曼强十倍。费曼虽
然看上去放荡不羁不务正业,但其实是少年天才,作为一个物理学家,人当年是全美数
学竞赛的Putnam fellow,数学家JOHN nash因为没拿到这个耿耿于怀一辈子。

【在 c*******v 的大作中提到】
: 你想的太简单了。你做个理论,我给你加个什么费因曼卡克方程,狄拉克entropy,
: 找一堆人写文章,分分钟灭的你没话说。你做个软件,我给你加个wrapper,平台化.
: 信息时代是这个人变现过后,然后这个人出了名的有实力。不是有实力的人就可以变现
: 。将来你就会知道。有一批人专门掌握了出名的办法,那也是技术活。
: 杨振宁和费因曼谁出名?前者比后者强10倍不止.
: 张益唐的文章里一定有故意留着的印刷错误,你信不信?
: 他如果不是博士吃了亏,这次一多半还是被人灭。

w***g
发帖数: 5958
15
学术界也是吃人不吐骨头。我老婆刚入道的时候有一次proposal被别人据掉后抄袭,
文字都差不多的就publish出来了。我现在天天在家push她申请专利,先申了专利在发表
论文。

【在 s*****V 的大作中提到】
: 学术界相对来说还是干净的,特别是有arxiv这样的东西之后,大佬想截留难度越来越
: 大。不懂你啥意思,费曼掌握了出名的技术?费曼出名虽然很多噱头比如开锁打鼓什么
: 的,但是最关键的还是人家的路径积分是量子力学第三种表现形式,费曼图还是场论的
: 基本工具,老杨和费曼谁牛我搞不清,但是我可以肯定老杨不会比费曼强十倍。费曼虽
: 然看上去放荡不羁不务正业,但其实是少年天才,作为一个物理学家,人当年是全美数
: 学竞赛的Putnam fellow,数学家JOHN nash因为没拿到这个耿耿于怀一辈子。

w***g
发帖数: 5958
16
类似的paper太多了,鱼目混朱。AI的东西并不是道理说得过去就能做出结果来的。
毕竟道理讲了小100年了。这个capsule出来也没几天,又是个比较新的东西,有没有用
得再等几年。很可能就是没用。

身。

【在 f******2 的大作中提到】
: 这个是啥东西?tensorflow能model这个模型吗?
: 如果不能,是不是wdong带着板上能写c加加的一干人等写个capsuleflow,就能实现人
: 工智能领域的弯道超车了?一举成为jeff dean当年从DL小白到DL系统专家的华丽转身。

c*******v
发帖数: 2599
17
这些东西可能很多人有机缘若干年经历过之后才能理解。

发表

【在 w***g 的大作中提到】
: 学术界也是吃人不吐骨头。我老婆刚入道的时候有一次proposal被别人据掉后抄袭,
: 文字都差不多的就publish出来了。我现在天天在家push她申请专利,先申了专利在发表
: 论文。

c*******v
发帖数: 2599
18
学术突破的价值,要回到突破之前的历史场景才能看到。
这需要做现象学的历史还原。不然就是事后看股票,怎么说怎么有道理。
你说的这些人的论文。我很久前念过很多。
我以前还用过Nash-Moser隐函数定律一个trick算积分。
我保证我讲的话是自己花时间之后的结论。不是看报纸听人说来的。
既然不是报纸上宣传的说法。那我当然不保证自己正确。也不需要。

【在 s*****V 的大作中提到】
: 学术界相对来说还是干净的,特别是有arxiv这样的东西之后,大佬想截留难度越来越
: 大。不懂你啥意思,费曼掌握了出名的技术?费曼出名虽然很多噱头比如开锁打鼓什么
: 的,但是最关键的还是人家的路径积分是量子力学第三种表现形式,费曼图还是场论的
: 基本工具,老杨和费曼谁牛我搞不清,但是我可以肯定老杨不会比费曼强十倍。费曼虽
: 然看上去放荡不羁不务正业,但其实是少年天才,作为一个物理学家,人当年是全美数
: 学竞赛的Putnam fellow,数学家JOHN nash因为没拿到这个耿耿于怀一辈子。

c*******v
发帖数: 2599
19
以前板上讨论过猫狗分类,假如训练集非常不对称,猫90%怎么办。
我记得当时我给的办法是分子类,分成黑猫白狗白猫黑狗什么的。
同样的,这个胶囊理论的类似于细分feature那部分我觉得有道理。

【在 w***g 的大作中提到】
: 类似的paper太多了,鱼目混朱。AI的东西并不是道理说得过去就能做出结果来的。
: 毕竟道理讲了小100年了。这个capsule出来也没几天,又是个比较新的东西,有没有用
: 得再等几年。很可能就是没用。
:
: 身。

p*u
发帖数: 2454
20
这么不采取措施,比如告发那个抄袭的??

发表

【在 w***g 的大作中提到】
: 学术界也是吃人不吐骨头。我老婆刚入道的时候有一次proposal被别人据掉后抄袭,
: 文字都差不多的就publish出来了。我现在天天在家push她申请专利,先申了专利在发表
: 论文。

c*******v
发帖数: 2599
21
for example:模拟退火改个名字叫动态平均场粒子滤波,你怎么告?

【在 p*u 的大作中提到】
: 这么不采取措施,比如告发那个抄袭的??
:
: 发表

m******r
发帖数: 1033
22
这话有意思。 比如猫90%, 狗10% . 你分完了以后,难道不是更加不对称? 两类(
dichotomy)变成了四类?
以前向dong老师请教过不对称问题, dong老说做oversampling, 提高精度,损失了另
外一个指标(记不清了)。 我最近试验了一下,确实如此(恰好10% vs 90%),AUC提
高了1% . 我估计我接触的问题,做不做过度抽样,就那个样子。 如果是万分之一,百
万分之一的问题,会有本质的提高。不过这种问题也轮不到我做。

【在 c*******v 的大作中提到】
: 以前板上讨论过猫狗分类,假如训练集非常不对称,猫90%怎么办。
: 我记得当时我给的办法是分子类,分成黑猫白狗白猫黑狗什么的。
: 同样的,这个胶囊理论的类似于细分feature那部分我觉得有道理。

c*******v
发帖数: 2599
23
我的意思是,把2类分类问题。变成另一个和前者有演绎关系的分类问题。
(后者分出来之后,前者也就决定性的根据代数关系分出来了。)
那么既然分类问题变了,也许数据集就对称了。
毕竟,不对称的位置在猫狗。不在黑白。
黑猫,白狗,白猫,黑狗,这四类的最大最小dataset的size差别,
想来不会超过猫和狗。因为黑白和猫狗是正交特征,大概率不会都是不对称。

【在 m******r 的大作中提到】
: 这话有意思。 比如猫90%, 狗10% . 你分完了以后,难道不是更加不对称? 两类(
: dichotomy)变成了四类?
: 以前向dong老师请教过不对称问题, dong老说做oversampling, 提高精度,损失了另
: 外一个指标(记不清了)。 我最近试验了一下,确实如此(恰好10% vs 90%),AUC提
: 高了1% . 我估计我接触的问题,做不做过度抽样,就那个样子。 如果是万分之一,百
: 万分之一的问题,会有本质的提高。不过这种问题也轮不到我做。

m******r
发帖数: 1033
24
我老板也碰到过这种事, 还没处说理去。我钱老板号称是某领域专家,八十年代刚到
美国,那时在国内就小有名气了,刚到这边做助理教授,投稿, 被拒。 被拒了, 当
然你也没什么话说。 因为审稿的就是那个杂志的主编,创办人,该领域公认的No.1 ,
教授博导。
然后,有意思的事儿来了。 过了一年半载, 该专家的硕士研究生,发表了一篇和我老
板同样想法的文章,文字肯定不一样。 在当时的情况下, 整个西方(包括这个No.1
) 从来不做我中国老板的东西,那是网络不发达,论文都是中文, 这个所谓想法是一
帮中国数学家自己家里捣鼓出来的,中国老板做的最出色。外国人没人研究这个,很小
众的东西,( 因为如果有人研究, 论文就出来了)。
反正这个大牛老板学生的论文横空出世,发表在自己老板的杂志里; 在外人看来就是
大牛老板的学生从零到一开辟了全新领域。

发表

【在 w***g 的大作中提到】
: 学术界也是吃人不吐骨头。我老婆刚入道的时候有一次proposal被别人据掉后抄袭,
: 文字都差不多的就publish出来了。我现在天天在家push她申请专利,先申了专利在发表
: 论文。

c*******v
发帖数: 2599
25
所以论文不要随便发。尤其是跟钱有关的。开创方向什么的其实是小事。

1

【在 m******r 的大作中提到】
: 我老板也碰到过这种事, 还没处说理去。我钱老板号称是某领域专家,八十年代刚到
: 美国,那时在国内就小有名气了,刚到这边做助理教授,投稿, 被拒。 被拒了, 当
: 然你也没什么话说。 因为审稿的就是那个杂志的主编,创办人,该领域公认的No.1 ,
: 教授博导。
: 然后,有意思的事儿来了。 过了一年半载, 该专家的硕士研究生,发表了一篇和我老
: 板同样想法的文章,文字肯定不一样。 在当时的情况下, 整个西方(包括这个No.1
: ) 从来不做我中国老板的东西,那是网络不发达,论文都是中文, 这个所谓想法是一
: 帮中国数学家自己家里捣鼓出来的,中国老板做的最出色。外国人没人研究这个,很小
: 众的东西,( 因为如果有人研究, 论文就出来了)。
: 反正这个大牛老板学生的论文横空出世,发表在自己老板的杂志里; 在外人看来就是

p*u
发帖数: 2454
26
耍无赖有用的话,要警察干嘛?照你这么讲换个名字就没辙了,世上还有假货一说么??

【在 c*******v 的大作中提到】
: for example:模拟退火改个名字叫动态平均场粒子滤波,你怎么告?
p*u
发帖数: 2454
27
那是以前了,被黑没办法。现在发email都有存档,敢这么干的就等着吃官司吧。

1

【在 m******r 的大作中提到】
: 我老板也碰到过这种事, 还没处说理去。我钱老板号称是某领域专家,八十年代刚到
: 美国,那时在国内就小有名气了,刚到这边做助理教授,投稿, 被拒。 被拒了, 当
: 然你也没什么话说。 因为审稿的就是那个杂志的主编,创办人,该领域公认的No.1 ,
: 教授博导。
: 然后,有意思的事儿来了。 过了一年半载, 该专家的硕士研究生,发表了一篇和我老
: 板同样想法的文章,文字肯定不一样。 在当时的情况下, 整个西方(包括这个No.1
: ) 从来不做我中国老板的东西,那是网络不发达,论文都是中文, 这个所谓想法是一
: 帮中国数学家自己家里捣鼓出来的,中国老板做的最出色。外国人没人研究这个,很小
: 众的东西,( 因为如果有人研究, 论文就出来了)。
: 反正这个大牛老板学生的论文横空出世,发表在自己老板的杂志里; 在外人看来就是

s*****V
发帖数: 21731
28
现在往arxiv上一放,就好多了

1

【在 m******r 的大作中提到】
: 我老板也碰到过这种事, 还没处说理去。我钱老板号称是某领域专家,八十年代刚到
: 美国,那时在国内就小有名气了,刚到这边做助理教授,投稿, 被拒。 被拒了, 当
: 然你也没什么话说。 因为审稿的就是那个杂志的主编,创办人,该领域公认的No.1 ,
: 教授博导。
: 然后,有意思的事儿来了。 过了一年半载, 该专家的硕士研究生,发表了一篇和我老
: 板同样想法的文章,文字肯定不一样。 在当时的情况下, 整个西方(包括这个No.1
: ) 从来不做我中国老板的东西,那是网络不发达,论文都是中文, 这个所谓想法是一
: 帮中国数学家自己家里捣鼓出来的,中国老板做的最出色。外国人没人研究这个,很小
: 众的东西,( 因为如果有人研究, 论文就出来了)。
: 反正这个大牛老板学生的论文横空出世,发表在自己老板的杂志里; 在外人看来就是

g****t
发帖数: 31659
29
你不如先找你部门的HR了解下。他们最清楚。


: 耍无赖有用的话,要警察干嘛?照你这么讲换个名字就没辙了,世上还有
假货一
说么??



【在 p*u 的大作中提到】
: 那是以前了,被黑没办法。现在发email都有存档,敢这么干的就等着吃官司吧。
:
: 1

g****t
发帖数: 31659
30
To my best knowledge :
办法只有一条,自己找一圈人办个杂志,做个小圈子。
美国机械学会有个杂志当初是我老板申请办下来的。十多年前我也做了一点小小的工作。
佩雷尔曼放了arxiv. 然后消失了对不对。这个情况怎么叫做好多了。


: 现在往arxiv上一放,就好多了

: 1



【在 s*****V 的大作中提到】
: 现在往arxiv上一放,就好多了
:
: 1

x****u
发帖数: 44466
31
不平衡就要加权重

【在 c*******v 的大作中提到】
: 以前板上讨论过猫狗分类,假如训练集非常不对称,猫90%怎么办。
: 我记得当时我给的办法是分子类,分成黑猫白狗白猫黑狗什么的。
: 同样的,这个胶囊理论的类似于细分feature那部分我觉得有道理。

g****t
发帖数: 31659
32
异质子类是新的label进来了。有新信息进来,所以物理上正确。如果数学正确,我觉
得效果必然是会提高的。如果没提高,那可以发展新的算法描述这个新信息找到新的
coorelation


: 不平衡就要加权重



【在 x****u 的大作中提到】
: 不平衡就要加权重
s*****V
发帖数: 21731
33
佩雷尔曼拿了fields跟克雷百万大奖不要,这种奖发出去就发出去了,不要的话也就是
不要奖金。你不要说你认为佩雷尔曼被干掉了吧。

作。

【在 g****t 的大作中提到】
: To my best knowledge :
: 办法只有一条,自己找一圈人办个杂志,做个小圈子。
: 美国机械学会有个杂志当初是我老板申请办下来的。十多年前我也做了一点小小的工作。
: 佩雷尔曼放了arxiv. 然后消失了对不对。这个情况怎么叫做好多了。
:
:
: 现在往arxiv上一放,就好多了
:
: 1
:

x****u
发帖数: 44466
34
你可以试试把label做成向量
黑猫等于黑色乘猫

【在 g****t 的大作中提到】
: 异质子类是新的label进来了。有新信息进来,所以物理上正确。如果数学正确,我觉
: 得效果必然是会提高的。如果没提高,那可以发展新的算法描述这个新信息找到新的
: coorelation
:
:
: 不平衡就要加权重
:

p*u
发帖数: 2454
35
HR管这个?你的牙医治精神病不?

【在 g****t 的大作中提到】
: 你不如先找你部门的HR了解下。他们最清楚。
:
:
: 耍无赖有用的话,要警察干嘛?照你这么讲换个名字就没辙了,世上还有
: 假货一
: 说么??
:

g****t
发帖数: 31659
36
公司内部的IP侵犯属于working ethic问题。很严重的HR问题。只要你报告了,
必然会处理。类似于实名举报中组部。但是处理的结果可能是你不愿意看到的。
你和HR吵过架吗?在bbs和我较劲没意思,对不对。
我把经验share。我以前赶走过一个HR director。但是还是没有办法解决问题。
前面不是有人问心理学有用吗?HR很多都是心理学毕业的。你找HR之前先学半年普通心
理学,有用。

【在 p*u 的大作中提到】
: HR管这个?你的牙医治精神病不?
p*u
发帖数: 2454
37
您老这脑回路,说着学术界剽窃,这怎么又扯到公司去了?公司里剽窃抄袭可不容易,
因为大家做的东西不一样。
如果是组里同事干这个,直接告诉老板,老板包庇才找HR。HR再包庇,整理材料,辞职
,起诉,准备拿大包裹赔偿金,扯啥心理学不心理学的。

【在 g****t 的大作中提到】
: 公司内部的IP侵犯属于working ethic问题。很严重的HR问题。只要你报告了,
: 必然会处理。类似于实名举报中组部。但是处理的结果可能是你不愿意看到的。
: 你和HR吵过架吗?在bbs和我较劲没意思,对不对。
: 我把经验share。我以前赶走过一个HR director。但是还是没有办法解决问题。
: 前面不是有人问心理学有用吗?HR很多都是心理学毕业的。你找HR之前先学半年普通心
: 理学,有用。

1 (共1页)