x****s
发帖数: 450 | 1 2004年，Caltech的教授Candes发现了一个奇怪的现象，他可以从远低于Nyquist频率的
采样中完美无缺地恢复原始信号。他很困惑，觉得中间有什么地方错了，过了写日子他
有些明白了，但他无法说服别人，因为Nyquist采样频率是由定理得出的，不是什么定
律，他怎么能得到一个违反数学定理的东西呢。某日，Candes去接孩子，遇到了同来接
孩子的陶，和陶谈起了此事，陶的第一发应是Candes一定是错了，他能想出个反例，继
续谈下去，陶被说服了，回去以后大概两三天就搞出了一个数学证明来，从此无数人开
始灌水compressive sensing这个题目。
以前的定理是针对最坏的情况，即信号是随机的，可现实生活中的信号并不是随机的，
所以不需要以Nyquist频率采样。陶和Candes做的事可以如下描述。
要解方程组 y = Ax，要得到唯一解(min|y-Ax|)，方程的数量不能少于变量的数目。
Candes和陶证明当x本身或其某个变换是稀疏的话，即使方程的数量少于变量数也可通
过L1极小值准确地获得唯一解。
你今天用的一千万像素的相机其实只需要两百万甚至是50万个像素就能获得和1000万像
素相机完全一样的相片。 |
T*U
发帖数: 22634 | |
t********n
发帖数: 1524 | 3 你是做这个的？
【在 x****s 的大作中提到】
: 2004年，Caltech的教授Candes发现了一个奇怪的现象，他可以从远低于Nyquist频率的
: 采样中完美无缺地恢复原始信号。他很困惑，觉得中间有什么地方错了，过了写日子他
: 有些明白了，但他无法说服别人，因为Nyquist采样频率是由定理得出的，不是什么定
: 律，他怎么能得到一个违反数学定理的东西呢。某日，Candes去接孩子，遇到了同来接
: 孩子的陶，和陶谈起了此事，陶的第一发应是Candes一定是错了，他能想出个反例，继
: 续谈下去，陶被说服了，回去以后大概两三天就搞出了一个数学证明来，从此无数人开
: 始灌水compressive sensing这个题目。
: 以前的定理是针对最坏的情况，即信号是随机的，可现实生活中的信号并不是随机的，
: 所以不需要以Nyquist频率采样。陶和Candes做的事可以如下描述。
: 要解方程组 y = Ax，要得到唯一解(min|y-Ax|)，方程的数量不能少于变量的数目。
|
g****t
发帖数: 31659 | 4 现在EE关税的,很多都是这个领域.
你是做这个的？
【在 t********n 的大作中提到】
: 你是做这个的？
|
g****t
发帖数: 31659 | 5 信号本身是足够稀疏的.
就好比13个球称三次,找出其中唯一1个重的.
你不需要ln(13)
胡说八道，除非照片是单色。
【在 T*U 的大作中提到】
: 胡说八道，除非照片是单色。
|
x****s
发帖数: 450 | 6 Candes当年告诉别人他的发现的时候，得到的回答也是如此。
【在 T*U 的大作中提到】
: 胡说八道，除非照片是单色。
|
t********n
发帖数: 1524 | 7 这是我们当年学习信息论时候开场第一个列子
真够经典的
【在 g****t 的大作中提到】
: 信号本身是足够稀疏的.
: 就好比13个球称三次,找出其中唯一1个重的.
: 你不需要ln(13)
:
: 胡说八道，除非照片是单色。
|
x****s
发帖数: 450 | 8 信号本身稀疏是最简单的情形，这个现象在七八十年代，搞人工地震的人就知道。
【在 g****t 的大作中提到】
: 信号本身是足够稀疏的.
: 就好比13个球称三次,找出其中唯一1个重的.
: 你不需要ln(13)
:
: 胡说八道，除非照片是单色。
|
g****t
发帖数: 31659 | 9 李明那本描述复杂性,里面好像有个习题就是这个的一般情况.
这是我们当年学习信息论时候开场第一个列子
真够经典的
【在 t********n 的大作中提到】
: 这是我们当年学习信息论时候开场第一个列子
: 真够经典的
|
g****t
发帖数: 31659 | 10 稀疏我是指的在某种满足Tao提出的等周性条件的基下面稀疏就行.
这个东西不简单.
等周性条件是Tao的一大发明了.
能认识和总结出来这么个条件,已经足够牛了.
于此有点联系的,还有更神奇的东西,我几年听人说.
高维数据,通过随机矩阵影射到低维,有很大概率是可以保持距离和原来高维上的距离
很接近的.
信号本身稀疏是最简单的情形，这个现象在七八十年代，搞人工地震的人就知道。
【在 x****s 的大作中提到】
: 信号本身稀疏是最简单的情形，这个现象在七八十年代，搞人工地震的人就知道。
|
|
|
s**********n
发帖数: 1485 | 11 听说COMPRESSIVE SENSING刚出来的时候好几拨人吵架。
【在 x****s 的大作中提到】
: 信号本身稀疏是最简单的情形，这个现象在七八十年代，搞人工地震的人就知道。
|
x****s
发帖数: 450 | 12 最令人惊奇的就是随机采样以几乎概率1恢复原信号，否则很难应用。
【在 g****t 的大作中提到】
: 稀疏我是指的在某种满足Tao提出的等周性条件的基下面稀疏就行.
: 这个东西不简单.
: 等周性条件是Tao的一大发明了.
: 能认识和总结出来这么个条件,已经足够牛了.
: 于此有点联系的,还有更神奇的东西,我几年听人说.
: 高维数据,通过随机矩阵影射到低维,有很大概率是可以保持距离和原来高维上的距离
: 很接近的.
:
: 信号本身稀疏是最简单的情形，这个现象在七八十年代，搞人工地震的人就知道。
|
x****s
发帖数: 450 | 13 这个世界在某个变换域中要简单得多。
【在 s**********n 的大作中提到】
: 听说COMPRESSIVE SENSING刚出来的时候好几拨人吵架。
|
g****t
发帖数: 31659 | 14 决定性矩阵也可以满足等周条件的.
最令人惊奇的就是随机采样以几乎概率1恢复原信号，否则很难应用。
【在 x****s 的大作中提到】
: 最令人惊奇的就是随机采样以几乎概率1恢复原信号，否则很难应用。
|
y*********g
发帖数: 111 | 15 Jl lemma
【在 g****t 的大作中提到】
: 稀疏我是指的在某种满足Tao提出的等周性条件的基下面稀疏就行.
: 这个东西不简单.
: 等周性条件是Tao的一大发明了.
: 能认识和总结出来这么个条件,已经足够牛了.
: 于此有点联系的,还有更神奇的东西,我几年听人说.
: 高维数据,通过随机矩阵影射到低维,有很大概率是可以保持距离和原来高维上的距离
: 很接近的.
:
: 信号本身稀疏是最简单的情形，这个现象在七八十年代，搞人工地震的人就知道。
|
j*********d
发帖数: 1137 | 16 你这就是添油加醋。从低于Nyquist频率的采样中恢复原始信号这并不神秘。信号处理
里面的super resolution estimation就是这个现象，斯坦福Donoho的组1990s就做过很
多类似compressive sensing的工作。compressive sensing这玩意就是做信号处理的一
帮人在通信无坑可挖的情况下制造出来的一个hype。CS实际上比wavelet强一点也有限。
【在 x****s 的大作中提到】
: 2004年，Caltech的教授Candes发现了一个奇怪的现象，他可以从远低于Nyquist频率的
: 采样中完美无缺地恢复原始信号。他很困惑，觉得中间有什么地方错了，过了写日子他
: 有些明白了，但他无法说服别人，因为Nyquist采样频率是由定理得出的，不是什么定
: 律，他怎么能得到一个违反数学定理的东西呢。某日，Candes去接孩子，遇到了同来接
: 孩子的陶，和陶谈起了此事，陶的第一发应是Candes一定是错了，他能想出个反例，继
: 续谈下去，陶被说服了，回去以后大概两三天就搞出了一个数学证明来，从此无数人开
: 始灌水compressive sensing这个题目。
: 以前的定理是针对最坏的情况，即信号是随机的，可现实生活中的信号并不是随机的，
: 所以不需要以Nyquist频率采样。陶和Candes做的事可以如下描述。
: 要解方程组 y = Ax，要得到唯一解(min|y-Ax|)，方程的数量不能少于变量的数目。
|
x****s
发帖数: 450 | 17 You do NOT understand what CS is, but you do think you understand it.
限。
【在 j*********d 的大作中提到】
: 你这就是添油加醋。从低于Nyquist频率的采样中恢复原始信号这并不神秘。信号处理
: 里面的super resolution estimation就是这个现象，斯坦福Donoho的组1990s就做过很
: 多类似compressive sensing的工作。compressive sensing这玩意就是做信号处理的一
: 帮人在通信无坑可挖的情况下制造出来的一个hype。CS实际上比wavelet强一点也有限。
|
e**********m
发帖数: 1960 | 18 candes是donoho的学生。。。虽然说他两现在闹翻了
限。
【在 j*********d 的大作中提到】
: 你这就是添油加醋。从低于Nyquist频率的采样中恢复原始信号这并不神秘。信号处理
: 里面的super resolution estimation就是这个现象，斯坦福Donoho的组1990s就做过很
: 多类似compressive sensing的工作。compressive sensing这玩意就是做信号处理的一
: 帮人在通信无坑可挖的情况下制造出来的一个hype。CS实际上比wavelet强一点也有限。
|
y*********g
发帖数: 111 | 19 是吗？展开说说
【在 e**********m 的大作中提到】
: candes是donoho的学生。。。虽然说他两现在闹翻了
:
: 限。
|
e**********m
发帖数: 1960 | 20 donoho在Stanford统计系名声不好，据说为人比较刻薄，很多人都跟他关系不好。。。
但是我不是Stanford统计系的，也是听我同学说的~
【在 y*********g 的大作中提到】
: 是吗？展开说说
|
|
|
h***i
发帖数: 3844 | 21 围观donoho的８g
【在 e**********m 的大作中提到】
: donoho在Stanford统计系名声不好，据说为人比较刻薄，很多人都跟他关系不好。。。
: 但是我不是Stanford统计系的，也是听我同学说的~
|
x****s
发帖数: 450 | 22 Candes重返母校，不是专门去和Donoho作对的吧？
【在 e**********m 的大作中提到】
: donoho在Stanford统计系名声不好，据说为人比较刻薄，很多人都跟他关系不好。。。
: 但是我不是Stanford统计系的，也是听我同学说的~
|
j*********d
发帖数: 1137 | 23 看来有点恼了，猜你是做这个的，呵呵。phd阶段玩玩这种数学游戏作为一种思维训练
是价值的，但不必把CS看到那么突破性。CS没有突破Nyquist，因为Nyquist apply的是
在Fourier基里的带宽为W的任意信号，CS apply是在某个坐标系里的稀疏信号。L-1
norm对恢复稀疏信号的神奇作用更是行内二十年前就了解的。陶和Candes那篇paper里
的定理把以前人们知道的一些现象用数学精确刻画了，这当然功力颇深，也有一定意义
的。但Tao的结果并没有那么石破天惊，至少我当初看到的时候完全没这种感觉。如若
不信，10年之后回头看，这个hype到底能留下了什么。
【在 x****s 的大作中提到】
: You do NOT understand what CS is, but you do think you understand it.
:
: 限。
|
y*********g
发帖数: 111 | 24 是吗，天才通病？
【在 e**********m 的大作中提到】
: donoho在Stanford统计系名声不好，据说为人比较刻薄，很多人都跟他关系不好。。。
: 但是我不是Stanford统计系的，也是听我同学说的~
|
X******2
发帖数: 5859 | 25
这个就是著名的JOHNSON-LINDENSTRAUSS引理。
这个LINDENSTRAUSS的儿子前几年拿了非尔兹奖。
【在 g****t 的大作中提到】
: 稀疏我是指的在某种满足Tao提出的等周性条件的基下面稀疏就行.
: 这个东西不简单.
: 等周性条件是Tao的一大发明了.
: 能认识和总结出来这么个条件,已经足够牛了.
: 于此有点联系的,还有更神奇的东西,我几年听人说.
: 高维数据,通过随机矩阵影射到低维,有很大概率是可以保持距离和原来高维上的距离
: 很接近的.
:
: 信号本身稀疏是最简单的情形，这个现象在七八十年代，搞人工地震的人就知道。
|
s*****j
发帖数: 6435 | 26 "你今天用的一千万像素的相机其实只需要两百万甚至是50万个像素就能获得和1000万
像素相机完全一样的相片。"
这个你需要照很多张照片才行吧? 而且你必须可以控制照明条件才行吧?
太阳光下面的相机应该行不通.
【在 x****s 的大作中提到】
: 2004年，Caltech的教授Candes发现了一个奇怪的现象，他可以从远低于Nyquist频率的
: 采样中完美无缺地恢复原始信号。他很困惑，觉得中间有什么地方错了，过了写日子他
: 有些明白了，但他无法说服别人，因为Nyquist采样频率是由定理得出的，不是什么定
: 律，他怎么能得到一个违反数学定理的东西呢。某日，Candes去接孩子，遇到了同来接
: 孩子的陶，和陶谈起了此事，陶的第一发应是Candes一定是错了，他能想出个反例，继
: 续谈下去，陶被说服了，回去以后大概两三天就搞出了一个数学证明来，从此无数人开
: 始灌水compressive sensing这个题目。
: 以前的定理是针对最坏的情况，即信号是随机的，可现实生活中的信号并不是随机的，
: 所以不需要以Nyquist频率采样。陶和Candes做的事可以如下描述。
: 要解方程组 y = Ax，要得到唯一解(min|y-Ax|)，方程的数量不能少于变量的数目。
|
e**********m
发帖数: 1960 | 27 anyway他本人还是神一样的存在着，不是传说一直在renaissance兼职么
【在 h***i 的大作中提到】
: 围观donoho的８g
|
X******2
发帖数: 5859 | 28 donoho为人不算刻薄，比较清高而已。
他是做理论的，自然不太看得上比如tibshirani,hastie一伙做的东西，
反过来hastie一伙对他也很粗暴，老夫亲眼看到在hastie一个报告中
donoho的提问被很简单粗暴地打发。
donoho以前做的一个关于稀疏性的工作跟tibshirani做的一个叫lasso
的东西撞车（donoho做的更早一点但是更特殊的情形）,他们互相不爽。
而且在斯坦福donoho是外来和尚，tibshirani和hastie都是本系毕业生，
人脉很足，所以donoho被孤立也并非不正常。
【在 e**********m 的大作中提到】
: donoho在Stanford统计系名声不好，据说为人比较刻薄，很多人都跟他关系不好。。。
: 但是我不是Stanford统计系的，也是听我同学说的~
|
e**********m
发帖数: 1960 | 29 原来如此。。。
tibshirani不是号称重在idea么
hastie这不是要算的快么。。。两人一起合作就很牛逼了哈哈
念过donoho的几个工作，觉得都比较深刻
【在 X******2 的大作中提到】
: donoho为人不算刻薄，比较清高而已。
: 他是做理论的，自然不太看得上比如tibshirani,hastie一伙做的东西，
: 反过来hastie一伙对他也很粗暴，老夫亲眼看到在hastie一个报告中
: donoho的提问被很简单粗暴地打发。
: donoho以前做的一个关于稀疏性的工作跟tibshirani做的一个叫lasso
: 的东西撞车（donoho做的更早一点但是更特殊的情形）,他们互相不爽。
: 而且在斯坦福donoho是外来和尚，tibshirani和hastie都是本系毕业生，
: 人脉很足，所以donoho被孤立也并非不正常。
|
x****s
发帖数: 450 | 30 我还真不是做这个的。CS目前在应用上的限制有很多原因，就不多说了。你对CS的理解
有个不很恰当的比方。洛伦兹到死都觉得爱因斯坦的相对论就是他的方程。
Nyquist频率是无法突破的，因为其对象是所有信号，包括随机信号。Candes之前的人
认为L1只是对稀疏信号有用，Candes意识到L1对变换域中稀疏的信号也有用。比方现实
世界中的图像在wavelet变换下，几乎肯定是稀疏的。
【在 j*********d 的大作中提到】
: 看来有点恼了，猜你是做这个的，呵呵。phd阶段玩玩这种数学游戏作为一种思维训练
: 是价值的，但不必把CS看到那么突破性。CS没有突破Nyquist，因为Nyquist apply的是
: 在Fourier基里的带宽为W的任意信号，CS apply是在某个坐标系里的稀疏信号。L-1
: norm对恢复稀疏信号的神奇作用更是行内二十年前就了解的。陶和Candes那篇paper里
: 的定理把以前人们知道的一些现象用数学精确刻画了，这当然功力颇深，也有一定意义
: 的。但Tao的结果并没有那么石破天惊，至少我当初看到的时候完全没这种感觉。如若
: 不信，10年之后回头看，这个hype到底能留下了什么。
|
|
|
z****m
发帖数: 715 | 31 呵呵，这个CS的确就是搞通信理论的人自娱自乐啊，或者说是搞数学的拿通信来自娱自
乐。实际工程中，“最坏”的情况那是时时都会发生，去看看那些经典的，应用于工程
中的通信理论，那个不是主要目的就是应付最坏的情况。
【在 j*********d 的大作中提到】
: 看来有点恼了，猜你是做这个的，呵呵。phd阶段玩玩这种数学游戏作为一种思维训练
: 是价值的，但不必把CS看到那么突破性。CS没有突破Nyquist，因为Nyquist apply的是
: 在Fourier基里的带宽为W的任意信号，CS apply是在某个坐标系里的稀疏信号。L-1
: norm对恢复稀疏信号的神奇作用更是行内二十年前就了解的。陶和Candes那篇paper里
: 的定理把以前人们知道的一些现象用数学精确刻画了，这当然功力颇深，也有一定意义
: 的。但Tao的结果并没有那么石破天惊，至少我当初看到的时候完全没这种感觉。如若
: 不信，10年之后回头看，这个hype到底能留下了什么。
|
j*********d
发帖数: 1137 | 32 Candes意识到L1对变换域中稀疏的信号也有用，但你也得知道这个变换域Phi啊。就像
图像能压缩，是因为你知道wavelet这个基。
【在 x****s 的大作中提到】
: 我还真不是做这个的。CS目前在应用上的限制有很多原因，就不多说了。你对CS的理解
: 有个不很恰当的比方。洛伦兹到死都觉得爱因斯坦的相对论就是他的方程。
: Nyquist频率是无法突破的，因为其对象是所有信号，包括随机信号。Candes之前的人
: 认为L1只是对稀疏信号有用，Candes意识到L1对变换域中稀疏的信号也有用。比方现实
: 世界中的图像在wavelet变换下，几乎肯定是稀疏的。
|
m********o
发帖数: 427 | 33 random projection.
【在 g****t 的大作中提到】
: 稀疏我是指的在某种满足Tao提出的等周性条件的基下面稀疏就行.
: 这个东西不简单.
: 等周性条件是Tao的一大发明了.
: 能认识和总结出来这么个条件,已经足够牛了.
: 于此有点联系的,还有更神奇的东西,我几年听人说.
: 高维数据,通过随机矩阵影射到低维,有很大概率是可以保持距离和原来高维上的距离
: 很接近的.
:
: 信号本身稀疏是最简单的情形，这个现象在七八十年代，搞人工地震的人就知道。
|
