由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 从数据压缩角度理解CNN
相关主题
CNN和template matching到底有啥区别How to Parsing function in haskell?
问一个hash code的问题question regarding standard library
Resnet没有max-pooling,为啥能比cnn好?请问如何将c/c++ 中的ascii 文件存为binary 文件,
IBM 弄出个DDL,16天缩短到7小时,很暴力c++设计一问:如何动态地调用不同的算法的dll ?
hinton的胶囊本版什么评价请问,command的名字
tf还是很混乱Remove elements from multiple vectors in C++
一道算法题,到现在也没弄明白,谁能帮忙看看。C++里面如何最方便的表示这个数组的数组?
我来贡献一个面试题吧文件压缩问题求教
相关话题的讨论汇总
话题: model话题: cnn话题: data话题: based
进入Programming版参与讨论
1 (共1页)
L****8
发帖数: 3938
1
CNN的各种模板 从输入层开始
可以认为是 fixed length code data compression
连接好几层 就可以达到 压缩 再 压缩的效果
最后一层几个数的特征向量 就可以描述输入图片
如果用 variable length encoding 是不是 只需要很少几层 就可以完成特征提取?
比如说 zip文件 压了再压 基本没用
一个简单实现 就是 每一层 用不同大小的模板
另外 resnet 就是对应于差分编码方法 这样可以达到对细节的信息 不会丢失太多
L****8
发帖数: 3938
2
免费idea 谁发文章了 记得把我的帖子cite一下

【在 L****8 的大作中提到】
: CNN的各种模板 从输入层开始
: 可以认为是 fixed length code data compression
: 连接好几层 就可以达到 压缩 再 压缩的效果
: 最后一层几个数的特征向量 就可以描述输入图片
: 如果用 variable length encoding 是不是 只需要很少几层 就可以完成特征提取?
: 比如说 zip文件 压了再压 基本没用
: 一个简单实现 就是 每一层 用不同大小的模板
: 另外 resnet 就是对应于差分编码方法 这样可以达到对细节的信息 不会丢失太多

m*****e
发帖数: 47
3
好主意,顶一个。
我考虑过类似的问题,有几个不同的角度。
一,神经网络本身就是提取信息,是一种压缩,一堆猫狗图片,最后就是一个bit,是
猫还是不是猫。
二,神经网络本身的压缩,有些地方计算精度可以降低,并不影响结果,最近好像有人
发了文章,是关于这个的。你的想法似乎是这个角度。
三,针对具体问题,到底需要多少神经元,再多就是浪费,少了影响结果。或者说,你
做了个网络,结果不错,你怎么知道是minimal。
w*****r
发帖数: 197
4
与其说是compression,不如说是constrained information reduction?
L****8
发帖数: 3938
5
最高级的应该是 model based compression
CNN最近几年研究 很多文章都是说学习出来了各种模型参数
比如pose 笑脸 苦练 等等 对应最后一层卷积出来的特征
https://www.cs.cmu.edu/~guyb/realworld/compression.pdf
We briefly present one last transform coding scheme, model based compression
. The idea here is to characterize the source data in terms of some strong
underlying model. The popular example here is faces. We might devise
a general model of human faces, describing them in terms of
anatomical parameters like nose shape, eye separation, ski
n color, cheekbone angle, and so on.Instead of transmitting the image of a
face, we could transmit the parameters that define that face
within our general model. Assuming that we have a suitable mo
del for the data at hand, we may be able to describe the entire system using
only a few bytes of parameter data. Both sender and receiver share a large
body of a priori knowledge contained in the model itself
(e.g., the fact that faces have two eyes and one nose). The more information
is shared in the model, the less need be transmitted with any given
data set. Like wavelet compression, model-based
compression works by characterizing data in terms of a deeper underlying
generator. Model-based encoding has found applicability in such areas as
computerized recognition of four-legged animals or facial expressions

【在 m*****e 的大作中提到】
: 好主意,顶一个。
: 我考虑过类似的问题,有几个不同的角度。
: 一,神经网络本身就是提取信息,是一种压缩,一堆猫狗图片,最后就是一个bit,是
: 猫还是不是猫。
: 二,神经网络本身的压缩,有些地方计算精度可以降低,并不影响结果,最近好像有人
: 发了文章,是关于这个的。你的想法似乎是这个角度。
: 三,针对具体问题,到底需要多少神经元,再多就是浪费,少了影响结果。或者说,你
: 做了个网络,结果不错,你怎么知道是minimal。

R******e
发帖数: 623
6
呵呵。记住了,科学是压缩数据的艺术。

【在 L****8 的大作中提到】
: 免费idea 谁发文章了 记得把我的帖子cite一下
h**********c
发帖数: 4120
7
魔术是欺骗傻子的艺术

【在 R******e 的大作中提到】
: 呵呵。记住了,科学是压缩数据的艺术。
1 (共1页)
进入Programming版参与讨论
相关主题
文件压缩问题求教hinton的胶囊本版什么评价
node express.js如何packagetf还是很混乱
US Supreme Court rules Aereo's streaming service is illegal under copyright law一道算法题,到现在也没弄明白,谁能帮忙看看。
请教: 正在做或做过很多 BIG DATA 实例的我来贡献一个面试题吧
CNN和template matching到底有啥区别How to Parsing function in haskell?
问一个hash code的问题question regarding standard library
Resnet没有max-pooling,为啥能比cnn好?请问如何将c/c++ 中的ascii 文件存为binary 文件,
IBM 弄出个DDL,16天缩短到7小时,很暴力c++设计一问:如何动态地调用不同的算法的dll ?
相关话题的讨论汇总
话题: model话题: cnn话题: data话题: based