|
C*********e
发帖数: 587 | 2 同意，嗯嗯
Deep learning本质上和statistical learning theory这一套框架是不一样的，并没有
什么太多理论的基础（虽然SLT那套理论不一样是真理）。主要都在框架设计和计算上
（得益于现在计算能力的增强）
有时候会想，如果弄一套和DNN复杂程度类似的框架（要有unsupervised feature
pruning），然后针对每个数据集狂调参数，是不是加以时日，也能够在每个数据集上
得到非常好的结果呢？ |
|
|
|
|
h*****7
发帖数: 6781 | 6 是什么样的问题要用到偏微分方程？我只见过模型求解的时候用上
你是不是说model都一样，就是求解方法更优？模型是Hinton的DNN吗？
另外你说高维，意思是cost function是高维？ |
|
j****n
发帖数: 1046 | 7 我前几天头脑发热进了HP的一台机器I7+GTX970.
看了帖子发现970不能做CNN, 悲剧了。
请问970能用在哪一类DNN？ 谢谢。 |
|
h*i
发帖数: 3446 | 8 屁，DL就是没啥数学成分，有数学倒好了。就是暴力计算，用到的数学不超过微积分和
线性代数水平。
不要忘了，目前大部分ML方法，包括DNN，这些最初都是学心理学的人发明的，而且是
基于直觉发明的，不是基于啥高深的数学理论。比如Hinton本人就是实验心理学出生。
作为一个心理系的高材生，心理学学生的数学水平我最清楚：两年微积分，一个学期线
性代数，一年概率统计，这就是算是比较好的学校了。大部分心理学学生没有学这么多
数学。我这种没事拿本数学书看着玩的是异类。呵呵。
jpg
not
deep |
|
w*******x
发帖数: 489 | 9 我觉得CNN 本身作为视觉图像处理（模拟人类或动物视觉神经部分）应该是已经非常成
熟和有效了，不需要太多数据（order of 100)就可以达到高精度（比如把region of
interest 做segmentaion 出来）。performance差主要来源于后面的类似于人的逻辑处
理的层 （比如判断什么物体，手势，结构等等），这些层也决定了人脑远胜于动物的
脑子，这些一般就简单的用fully connected layer来模拟，或者增加CNN的层数+FC
layer来做，也许完全是”错“的。CNN很大程度解决了图像/语音处理，但也许DNN的发
展还需要有个突破来解决逻辑处理 也许是某种RNN？
我就想，智商160和智商60的大脑结构差在哪里？ train出来的网络performance可以有
如此大的差别~~~ |
|
w*******x
发帖数: 489 | 10 我觉得CNN 本身作为视觉图像处理（模拟人类或动物视觉神经部分）应该是已经非常成
熟和有效了，不需要太多数据（order of 100)就可以达到高精度（比如把region of
interest 做segmentaion 出来）。performance差主要来源于后面的类似于人的逻辑处
理的层 （比如判断什么物体，手势，结构等等），这些层也决定了人脑远胜于动物的
脑子，这些一般就简单的用fully connected layer来模拟，或者增加CNN的层数+FC
layer来做，也许完全是”错“的。CNN很大程度解决了图像/语音处理，但也许DNN的发
展还需要有个突破来解决逻辑处理 也许是某种RNN？
我就想，智商160和智商60的大脑结构差在哪里？ train出来的网络performance可以有
如此大的差别~~~ |
|
h******e
发帖数: 666 | 11 感觉最后5.2那条还是比较让人吐血的
最怕生成随机数时出这种问题
看来要步步小心啊
wdong 有blog做dnn科普让小白上手吗？这东西应该对增强trading confidence也比较
有用吧？ |
|
p***o
发帖数: 1252 | 12 deephi在做，去年hotchip上有介绍。
self |
|
w***g
发帖数: 5958 | 13 现在DL模型有标准化的趋势. 可以搞个模型到FPGA的编译器, 应该不会太难.
填坑不是问题, 问题是这个东西怎么卖给华为/苹果/google/车厂. 关系不够硬
是不行滴.
self |
|
w*****r
发帖数: 197 | 14 是的，做的人可不只一个，国内的地平线机器人也在做。但是目前都没成气候。。。
而且干这事，得和行业紧密集合 |
|
|
a*****g
发帖数: 19398 | 16 自己玩一玩做原始设计也许可以
但是如果要应用，最后恐怕还是要做单独的芯片
self |
|
|
w*****r
发帖数: 197 | 18 例如FaceID这种普适性，并且量装一把就能收回成本的应用，我同意，ASIC是正途。
但应该还有很多行业应用打不到这种体量吧 |
|
w*****r
发帖数: 197 | 19 这和基于FPGA和ASIC的solution是截然不同的两条技术路径。
Nvidia的瓶颈在于他们的构架是基于指令集的，所以发热量，功耗，成本方面很难跟基
于逻辑门的硬件实现比。 |
|
w*****r
发帖数: 197 | 20 其实我猜正是因为Nvidia觉得接下来扛专用芯片够呛了，于是把inference这块儿开源
了。 |
|
l*******m
发帖数: 1096 | 21 Nvidia不就是开源Verilog了吗，而且和CUDA没啥关系，比较像TPU |
|
l*******m
发帖数: 1096 | 22 是的，好多作inference的公司，老黄是在打击潜在的竞争对手 |
|
n******7
发帖数: 12463 | 23 看了一下，64张图训练太少了吧
估计即使transfer learning目前也不行
另外，我感觉可以把data augmentation看作学习的一步，以后可能可以更好整到学习
过程中
毕竟DNN是个复杂的结构，没有足够的data怎么train？ |
|
g****t
发帖数: 31659 | 24 C手写从基本的math lib写到rnn,lstm我干过很多遍。
doable.
你们要买的话可以发消息给我。
你自己做的rnn将会有很多问题。这个坑比dnn深。 |
|
w*****r
发帖数: 197 | 25 上次你提cpu有没有deploy的轮子，opencv3.4上有个dnn module，看看能不能满足你的
需求 |
|
g****t
发帖数: 31659 | 26 恭喜你。你自己搞定了麦卡锡lisp文章里面的一个段落。
scheme的作者还给这个trick起了个牛X的名字，好像又写了个名著。
这个思路是lift up到了多一个参数的函数。和数学里的传统continuation技术是一样
的。谁给的这个名字“continuation pass style”似乎已不可考。但给这个名字的，
我觉得一定是algorithm的大能。
=====================================================
例如x+2=3你会求解。
但是
x**2 + x + 2 =3 ....(1)
如何求解？
牛顿的办法就是引入一个参数p。
let y = x+p
replace y into (1), omit the higher order terms of p.
Then let z = y +q
....
===============================
In modern DNN system, a number 1 is lifted up to 1+p.
That is the root of the ... 阅读全帖 |
|
g****t
发帖数: 31659 | 27 参考文献
http://time.com/69316/basic/
Basic: the language that made computers personal
I would lik to say:
DNN: the algorithm that made data analysis personal
: 以前程序员是硬件的奴隶。然后程序语言是C设计者的奴隶。
: 现在语言的设计要讨好程序员，不然出门就是死。
: 在这个程序员民主化进程中，唯一的例外是basic.
: Basic一开始就要讨好程序员。所以bill gates是basic的粉丝，
: 不是没有道理的。
: c.
: 硬件的
|
|
g****t
发帖数: 31659 | 28 参考文献
http://time.com/69316/basic/
Basic: the language that made computers personal
I would lik to say:
DNN: the algorithm that made data analysis personal
: 以前程序员是硬件的奴隶。然后程序语言是C设计者的奴隶。
: 现在语言的设计要讨好程序员，不然出门就是死。
: 在这个程序员民主化进程中，唯一的例外是basic.
: Basic一开始就要讨好程序员。所以bill gates是basic的粉丝，
: 不是没有道理的。
: c.
: 硬件的
|
|
