a***m
发帖数: 5037 | 1 深度学习的成功是基于两条：数据本身的内在规律，深度学习技术能够揭示并利用这些
规律。
数据科学（或者信息科学）中的基本定律（或者更为保守的，基本假设）可以归结为：
1. 流形分布定律：自然界中同一类别的高维数据，往往集中在某个低维流形附近。
2. 聚类分布定律：这一类别中不同的子类对应着流形上的不同概率分布，这些分布之
间的距离大到足够将这些子类区分。
深度学习的主要目的和功能之一就是从数据中学习隐藏的流形结构和流形上的概率分布
。 |
d*****u
发帖数: 17243 | 2 可以这么理解。
深度学习的一个优势是可以让高维数据在网络内部生成比较规则的流形，实际上是降低
了有效维度。
而传统统计方法对高维数据没有太好的办法。 |
l*******t
发帖数: 1430 | |
f*******d
发帖数: 1 | 4 也不是吧，一个神经网络training后某个feather的权重变得很小接近0或者就是0，这
就是事实上把这个维度取消掉了
【在 d*****u 的大作中提到】
: 可以这么理解。
: 深度学习的一个优势是可以让高维数据在网络内部生成比较规则的流形，实际上是降低
: 了有效维度。
: 而传统统计方法对高维数据没有太好的办法。
|
d*****u
发帖数: 17243 | 5 不是那么简单。
就算各个weights不是0，也可以起到降维的效果，因为实际的数据各分量有某种相关性
，不是完全独立的。这种相关性经过各种变换就可以变成类似流形一样的连续空间。
【在 f*******d 的大作中提到】
: 也不是吧，一个神经网络training后某个feather的权重变得很小接近0或者就是0，这
: 就是事实上把这个维度取消掉了
|
T*******x
发帖数: 8565 | 6 这个太笼统了。这相当于还没开始说呢。
【在 a***m 的大作中提到】
: 深度学习的成功是基于两条：数据本身的内在规律，深度学习技术能够揭示并利用这些
: 规律。
: 数据科学（或者信息科学）中的基本定律（或者更为保守的，基本假设）可以归结为：
: 1. 流形分布定律：自然界中同一类别的高维数据，往往集中在某个低维流形附近。
: 2. 聚类分布定律：这一类别中不同的子类对应着流形上的不同概率分布，这些分布之
: 间的距离大到足够将这些子类区分。
: 深度学习的主要目的和功能之一就是从数据中学习隐藏的流形结构和流形上的概率分布
: 。
|
T*******x
发帖数: 8565 | 7 你这个相当于开始说了点什么。我觉得比前面的进一步了。
【在 d*****u 的大作中提到】
: 可以这么理解。
: 深度学习的一个优势是可以让高维数据在网络内部生成比较规则的流形，实际上是降低
: 了有效维度。
: 而传统统计方法对高维数据没有太好的办法。
|
T*******x
发帖数: 8565 | 8 一个意思。
【在 f*******d 的大作中提到】
: 也不是吧，一个神经网络training后某个feather的权重变得很小接近0或者就是0，这
: 就是事实上把这个维度取消掉了
|
m**********e
发帖数: 12525 | 9 这事是这样的
物理学里面爱因斯坦和羊82创造了曲率=力这个革命性的概念
一下把"作用力"的问题解决了
你们data science一直不能解决"驱动力"的问题,比如,今天
突然下雨了,气温气压数据一大堆,但是真不知道什么导致了
今天下雨.
于是一些人开始模仿物理学,用各种数据构造一个manifold,然后
凹陷或者突出最大的地方,就是导致下雨的原因
本质上就是这么回事,当然,码农智商有限,不知道big picture是
什么,只知道瞎鸡巴嚷嚷
随着物理学的完蛋,会有越来越多的受过良好数理训练的homeless
dog投身到data science中去,你们会发现越来越多神奇的匪夷所思
的model |
f*******d
发帖数: 1 | 10 非0的是可能有相关性，但是已经是0的就肯定没相关性了啊，这个feature的维度就不
再对空间划分起作用了啊。
【在 d*****u 的大作中提到】
: 不是那么简单。
: 就算各个weights不是0，也可以起到降维的效果，因为实际的数据各分量有某种相关性
: ，不是完全独立的。这种相关性经过各种变换就可以变成类似流形一样的连续空间。
|
f*******d
发帖数: 1 | 11 他说的是深度学习，我说的就是一般的神经网络就是这样工作的
【在 T*******x 的大作中提到】
: 一个意思。
|
T*******x
发帖数: 8565 | 12 在结构还在大幅变化的时候引入这些数学抽象我觉得意义不大。
【在 a***m 的大作中提到】
: 深度学习的成功是基于两条：数据本身的内在规律，深度学习技术能够揭示并利用这些
: 规律。
: 数据科学（或者信息科学）中的基本定律（或者更为保守的，基本假设）可以归结为：
: 1. 流形分布定律：自然界中同一类别的高维数据，往往集中在某个低维流形附近。
: 2. 聚类分布定律：这一类别中不同的子类对应着流形上的不同概率分布，这些分布之
: 间的距离大到足够将这些子类区分。
: 深度学习的主要目的和功能之一就是从数据中学习隐藏的流形结构和流形上的概率分布
: 。
|
s*****g
发帖数: 225 | 13 好像是这么回事。地震预报也可以这样试试：
把各种数据的各阶微分/积分列出来，再拿地震地点，时间，震级比较，
能大致对上，就研究这类数据
【在 m**********e 的大作中提到】
: 这事是这样的
: 物理学里面爱因斯坦和羊82创造了曲率=力这个革命性的概念
: 一下把"作用力"的问题解决了
: 你们data science一直不能解决"驱动力"的问题,比如,今天
: 突然下雨了,气温气压数据一大堆,但是真不知道什么导致了
: 今天下雨.
: 于是一些人开始模仿物理学,用各种数据构造一个manifold,然后
: 凹陷或者突出最大的地方,就是导致下雨的原因
: 本质上就是这么回事,当然,码农智商有限,不知道big picture是
: 什么,只知道瞎鸡巴嚷嚷
|
B*Q
发帖数: 25729 | |
