L****8
发帖数: 3938 | 1 CNN的各种模板 从输入层开始
可以认为是 fixed length code data compression
连接好几层 就可以达到 压缩 再 压缩的效果
最后一层几个数的特征向量 就可以描述输入图片
如果用 variable length encoding 是不是 只需要很少几层 就可以完成特征提取？
比如说 zip文件 压了再压 基本没用
一个简单实现 就是 每一层 用不同大小的模板
另外 resnet 就是对应于差分编码方法 这样可以达到对细节的信息 不会丢失太多 |
L****8
发帖数: 3938 | 2 免费idea 谁发文章了 记得把我的帖子cite一下
【在 L****8 的大作中提到】
: CNN的各种模板 从输入层开始
: 可以认为是 fixed length code data compression
: 连接好几层 就可以达到 压缩 再 压缩的效果
: 最后一层几个数的特征向量 就可以描述输入图片
: 如果用 variable length encoding 是不是 只需要很少几层 就可以完成特征提取？
: 比如说 zip文件 压了再压 基本没用
: 一个简单实现 就是 每一层 用不同大小的模板
: 另外 resnet 就是对应于差分编码方法 这样可以达到对细节的信息 不会丢失太多
|
m*****e
发帖数: 47 | 3 好主意，顶一个。
我考虑过类似的问题，有几个不同的角度。
一，神经网络本身就是提取信息，是一种压缩，一堆猫狗图片，最后就是一个bit，是
猫还是不是猫。
二，神经网络本身的压缩，有些地方计算精度可以降低，并不影响结果，最近好像有人
发了文章，是关于这个的。你的想法似乎是这个角度。
三，针对具体问题，到底需要多少神经元，再多就是浪费，少了影响结果。或者说，你
做了个网络，结果不错，你怎么知道是minimal。 |
w*****r
发帖数: 197 | 4 与其说是compression，不如说是constrained information reduction? |
L****8
发帖数: 3938 | 5 最高级的应该是 model based compression
CNN最近几年研究 很多文章都是说学习出来了各种模型参数
比如pose 笑脸 苦练 等等 对应最后一层卷积出来的特征
https://www.cs.cmu.edu/~guyb/realworld/compression.pdf
We briefly present one last transform coding scheme, model based compression
. The idea here is to characterize the source data in terms of some strong
underlying model. The popular example here is faces. We might devise
a general model of human faces, describing them in terms of
anatomical parameters like nose shape, eye separation, ski
n color, cheekbone angle, and so on.Instead of transmitting the image of a
face, we could transmit the parameters that define that face
within our general model. Assuming that we have a suitable mo
del for the data at hand, we may be able to describe the entire system using
only a few bytes of parameter data. Both sender and receiver share a large
body of a priori knowledge contained in the model itself
(e.g., the fact that faces have two eyes and one nose). The more information
is shared in the model, the less need be transmitted with any given
data set. Like wavelet compression, model-based
compression works by characterizing data in terms of a deeper underlying
generator. Model-based encoding has found applicability in such areas as
computerized recognition of four-legged animals or facial expressions
【在 m*****e 的大作中提到】
: 好主意，顶一个。
: 我考虑过类似的问题，有几个不同的角度。
: 一，神经网络本身就是提取信息，是一种压缩，一堆猫狗图片，最后就是一个bit，是
: 猫还是不是猫。
: 二，神经网络本身的压缩，有些地方计算精度可以降低，并不影响结果，最近好像有人
: 发了文章，是关于这个的。你的想法似乎是这个角度。
: 三，针对具体问题，到底需要多少神经元，再多就是浪费，少了影响结果。或者说，你
: 做了个网络，结果不错，你怎么知道是minimal。
|
R******e
发帖数: 623 | 6 呵呵。记住了，科学是压缩数据的艺术。
【在 L****8 的大作中提到】
: 免费idea 谁发文章了 记得把我的帖子cite一下
|
h**********c
发帖数: 4120 | 7 魔术是欺骗傻子的艺术
【在 R******e 的大作中提到】
: 呵呵。记住了，科学是压缩数据的艺术。
|
