由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Military版 - deep learning其实大大降低了ML/DS的门槛
进入Military版参与讨论
1 (共1页)
d*****u
发帖数: 17243
1
以前搞机器学习模型和AI还真要懂比较多的内部原理。
比如图像识别里常用的Markov random fields,涉及各种二元高维高斯模型的优化。因
为不trackable还得想各种方法。
自然语言处理最起码也要会Hidden Markov Model,最最基本也要熟练掌握Baum–Welch
algorithm和 Viterbi algorithm
机器学习本身就更不用说了,要懂优化、概率论、代数,还有各种选取特征的工程技巧。
现在deep learning模型更general了,不仅各种genre的数据都能用,而且超高维的、
超长的也可以用。甚至特征提取都免了。直接放进去跑就行了。培训一下就会。
x*******1
发帖数: 28835
2
sha gua hua le
l*******2
发帖数: 1
3
人人都能当马工,人人都是AI专家的年代

【在 x*******1 的大作中提到】
: sha gua hua le
e*******c
发帖数: 1479
4
deep learning对应的不是常规ML的数据,是未了处理大数据,图像语言声音等杂乱数
据结构的

Welch
巧。

【在 d*****u 的大作中提到】
: 以前搞机器学习模型和AI还真要懂比较多的内部原理。
: 比如图像识别里常用的Markov random fields,涉及各种二元高维高斯模型的优化。因
: 为不trackable还得想各种方法。
: 自然语言处理最起码也要会Hidden Markov Model,最最基本也要熟练掌握Baum–Welch
: algorithm和 Viterbi algorithm
: 机器学习本身就更不用说了,要懂优化、概率论、代数,还有各种选取特征的工程技巧。
: 现在deep learning模型更general了,不仅各种genre的数据都能用,而且超高维的、
: 超长的也可以用。甚至特征提取都免了。直接放进去跑就行了。培训一下就会。

i***q
发帖数: 1095
5
这一行最大的隐患是low hanging的东西摘完了咋办。

Welch
巧。

【在 d*****u 的大作中提到】
: 以前搞机器学习模型和AI还真要懂比较多的内部原理。
: 比如图像识别里常用的Markov random fields,涉及各种二元高维高斯模型的优化。因
: 为不trackable还得想各种方法。
: 自然语言处理最起码也要会Hidden Markov Model,最最基本也要熟练掌握Baum–Welch
: algorithm和 Viterbi algorithm
: 机器学习本身就更不用说了,要懂优化、概率论、代数,还有各种选取特征的工程技巧。
: 现在deep learning模型更general了,不仅各种genre的数据都能用,而且超高维的、
: 超长的也可以用。甚至特征提取都免了。直接放进去跑就行了。培训一下就会。

d*****u
发帖数: 17243
6
machine learning的难点在于高维、大量数据
小规模、小维度数据用什么方法都差不多,没有多少研究的必要

【在 e*******c 的大作中提到】
: deep learning对应的不是常规ML的数据,是未了处理大数据,图像语言声音等杂乱数
: 据结构的
:
: Welch
: 巧。

e****i
发帖数: 393
7
扯淡,首先是garbage in garbage out,其次DL在很多领域还没有渗透到,再其次真正
明白DL的人能做DL framework整合的人少之又少。DL只是让ML这个古老领域重新变成网
红,也解决了CV和NLU里面的一些难题,但是事实上加大了这个行业的技术含量和门槛。

Welch
巧。

【在 d*****u 的大作中提到】
: 以前搞机器学习模型和AI还真要懂比较多的内部原理。
: 比如图像识别里常用的Markov random fields,涉及各种二元高维高斯模型的优化。因
: 为不trackable还得想各种方法。
: 自然语言处理最起码也要会Hidden Markov Model,最最基本也要熟练掌握Baum–Welch
: algorithm和 Viterbi algorithm
: 机器学习本身就更不用说了,要懂优化、概率论、代数,还有各种选取特征的工程技巧。
: 现在deep learning模型更general了,不仅各种genre的数据都能用,而且超高维的、
: 超长的也可以用。甚至特征提取都免了。直接放进去跑就行了。培训一下就会。

d***u
发帖数: 943
8

Welch
巧。
看似简单,真懂涉及的知识面极广。没有个PhD哥不信你能ML专家。还要有悟性的人才
行。

【在 d*****u 的大作中提到】
: 以前搞机器学习模型和AI还真要懂比较多的内部原理。
: 比如图像识别里常用的Markov random fields,涉及各种二元高维高斯模型的优化。因
: 为不trackable还得想各种方法。
: 自然语言处理最起码也要会Hidden Markov Model,最最基本也要熟练掌握Baum–Welch
: algorithm和 Viterbi algorithm
: 机器学习本身就更不用说了,要懂优化、概率论、代数,还有各种选取特征的工程技巧。
: 现在deep learning模型更general了,不仅各种genre的数据都能用,而且超高维的、
: 超长的也可以用。甚至特征提取都免了。直接放进去跑就行了。培训一下就会。

d*****u
发帖数: 17243
9
加大的是研究门槛
但应用门槛大大降低了,不需要懂太多就能做事

槛。

【在 e****i 的大作中提到】
: 扯淡,首先是garbage in garbage out,其次DL在很多领域还没有渗透到,再其次真正
: 明白DL的人能做DL framework整合的人少之又少。DL只是让ML这个古老领域重新变成网
: 红,也解决了CV和NLU里面的一些难题,但是事实上加大了这个行业的技术含量和门槛。
:
: Welch
: 巧。

e*******c
发帖数: 1479
10

你说的这种是低级应用,输出个结果和正确值就OK了,但真正的优化是需要一定的理解
,不是跑跑程序的事情,优化是门学科

【在 d*****u 的大作中提到】
: 加大的是研究门槛
: 但应用门槛大大降低了,不需要懂太多就能做事
:
: 槛。

U**s
发帖数: 3390
11
工业界需要大量的庸才劳动力
自己有能力又感兴趣的无非往深和往广方向发展了
往深处:总体难度大;搞新算法,理论和实现有突破都可以,国人的优势不小,
XGboost, lightGBM的作者都是老中或者一堆老中
往广处:domain knowledge的结合,各个理工专业的皮埃着地有不少发展机会,而且相
对很多其他行业的薪水大概率还有提高

【在 i***q 的大作中提到】
: 这一行最大的隐患是low hanging的东西摘完了咋办。
:
: Welch
: 巧。

l*******2
发帖数: 1
12
日,这位仁兄,我一直以为你是学人文历史的。

【在 i***q 的大作中提到】
: 这一行最大的隐患是low hanging的东西摘完了咋办。
:
: Welch
: 巧。

e****i
发帖数: 393
13
只直接应用传统ML模型的门槛也很低,只是通常perf比较一般,又不是网红,用的公司
不多。现在DL在CV和NLU领域perf好,又是网红。其实DL直接引用的门槛还要高一点,
多少需要点GPU相关知识,门槛虽然低,比直接拿来用传统ML模型的门槛还是要高一点
点。
开发好的DL门槛比传统ML要高,因为通常数据量非常大。

【在 d*****u 的大作中提到】
: 加大的是研究门槛
: 但应用门槛大大降低了,不需要懂太多就能做事
:
: 槛。

s*****r
发帖数: 43070
14
万物皆可ML
出结果快,能调参,所以各行各业的PHD们趋之若鹜,结果发paper,技能写resume

Welch
巧。

【在 d*****u 的大作中提到】
: 以前搞机器学习模型和AI还真要懂比较多的内部原理。
: 比如图像识别里常用的Markov random fields,涉及各种二元高维高斯模型的优化。因
: 为不trackable还得想各种方法。
: 自然语言处理最起码也要会Hidden Markov Model,最最基本也要熟练掌握Baum–Welch
: algorithm和 Viterbi algorithm
: 机器学习本身就更不用说了,要懂优化、概率论、代数,还有各种选取特征的工程技巧。
: 现在deep learning模型更general了,不仅各种genre的数据都能用,而且超高维的、
: 超长的也可以用。甚至特征提取都免了。直接放进去跑就行了。培训一下就会。

d*****u
发帖数: 17243
15
传统ML的工具花样其实更多,所以要懂一些的人才好选。
以前效果不好需要改进的时候,得想是模型哪里不好,数据哪里可以调整。对模型得有
较深认识。
现在可调的超参就那么几个,也不指望去改进模型。
主要研究的点变成了怎么用使用数据。

【在 e****i 的大作中提到】
: 只直接应用传统ML模型的门槛也很低,只是通常perf比较一般,又不是网红,用的公司
: 不多。现在DL在CV和NLU领域perf好,又是网红。其实DL直接引用的门槛还要高一点,
: 多少需要点GPU相关知识,门槛虽然低,比直接拿来用传统ML模型的门槛还是要高一点
: 点。
: 开发好的DL门槛比传统ML要高,因为通常数据量非常大。

h*****h
发帖数: 264
16
大家都用,不等于不用明白原理
再说结果未必比SVM那些可靠 层数多了 说不清
洗脚大妈的逻辑:公司用的=学校学的
按照她的逻辑 CS毕业生在公司写SQL,成了学CS=学SQL了
学校学DS,不等于调参数

Welch
巧。

【在 d*****u 的大作中提到】
: 以前搞机器学习模型和AI还真要懂比较多的内部原理。
: 比如图像识别里常用的Markov random fields,涉及各种二元高维高斯模型的优化。因
: 为不trackable还得想各种方法。
: 自然语言处理最起码也要会Hidden Markov Model,最最基本也要熟练掌握Baum–Welch
: algorithm和 Viterbi algorithm
: 机器学习本身就更不用说了,要懂优化、概率论、代数,还有各种选取特征的工程技巧。
: 现在deep learning模型更general了,不仅各种genre的数据都能用,而且超高维的、
: 超长的也可以用。甚至特征提取都免了。直接放进去跑就行了。培训一下就会。

h*****h
发帖数: 264
17
滚粗,新毕业的中国人不算,50岁以上的华人 CS系做ML的几个没有
反而是统计系的有几个
算法个屁 都是抄人家20年前美国犹太叫兽的
50岁以上的,老印在ML这个领域都超过老中

【在 U**s 的大作中提到】
: 工业界需要大量的庸才劳动力
: 自己有能力又感兴趣的无非往深和往广方向发展了
: 往深处:总体难度大;搞新算法,理论和实现有突破都可以,国人的优势不小,
: XGboost, lightGBM的作者都是老中或者一堆老中
: 往广处:domain knowledge的结合,各个理工专业的皮埃着地有不少发展机会,而且相
: 对很多其他行业的薪水大概率还有提高

i***q
发帖数: 1095
18
现在NLP之类的领域的效果确实比十几年前大幅提升了,再加上广告系统和推荐系统的
需求,这是公司愿意出钱砸这些领域的原因。但是如果砸不出效果,也可以很快转向去
干别的。只要别人的模型也提高不了多少,Google完全可以十年不改他们的模型。

【在 U**s 的大作中提到】
: 工业界需要大量的庸才劳动力
: 自己有能力又感兴趣的无非往深和往广方向发展了
: 往深处:总体难度大;搞新算法,理论和实现有突破都可以,国人的优势不小,
: XGboost, lightGBM的作者都是老中或者一堆老中
: 往广处:domain knowledge的结合,各个理工专业的皮埃着地有不少发展机会,而且相
: 对很多其他行业的薪水大概率还有提高

h*****h
发帖数: 264
19
砸不出效果, 也不会干别的
因为互联网卖货 广告 收入奇快
发动机40-80年代搞了40年,很完善了
生物医学投入巨大 周期长 资本家不愿意投资 所以马功嘲笑钱老
如果IT也不愿意投资
那是美国要经济崩溃了 天天遍地枪击 大家都死

【在 i***q 的大作中提到】
: 现在NLP之类的领域的效果确实比十几年前大幅提升了,再加上广告系统和推荐系统的
: 需求,这是公司愿意出钱砸这些领域的原因。但是如果砸不出效果,也可以很快转向去
: 干别的。只要别人的模型也提高不了多少,Google完全可以十年不改他们的模型。

U**s
发帖数: 3390
20
原来又是个老将自恨逼,怪不得这么脑残
还尼玛50岁,ML在deep learning后又焕发青春,主力军现在都是年轻一代

【在 h*****h 的大作中提到】
: 滚粗,新毕业的中国人不算,50岁以上的华人 CS系做ML的几个没有
: 反而是统计系的有几个
: 算法个屁 都是抄人家20年前美国犹太叫兽的
: 50岁以上的,老印在ML这个领域都超过老中

w*****h
发帖数: 423
21
都说现在dl是炼丹,还真没说错,反正大家就像小孩搭积木一样,只要结果好就能发好
paper,
google的batch normalization写得煞有介事说什么原理是reduce internal covariate,
结果一堆其他的paper直接打脸说原因应该是其他的,就这么个破问题灌了好几篇顶会


Welch
巧。

【在 d*****u 的大作中提到】
: 以前搞机器学习模型和AI还真要懂比较多的内部原理。
: 比如图像识别里常用的Markov random fields,涉及各种二元高维高斯模型的优化。因
: 为不trackable还得想各种方法。
: 自然语言处理最起码也要会Hidden Markov Model,最最基本也要熟练掌握Baum–Welch
: algorithm和 Viterbi algorithm
: 机器学习本身就更不用说了,要懂优化、概率论、代数,还有各种选取特征的工程技巧。
: 现在deep learning模型更general了,不仅各种genre的数据都能用,而且超高维的、
: 超长的也可以用。甚至特征提取都免了。直接放进去跑就行了。培训一下就会。

d*****u
发帖数: 17243
22
Google把那个dropout都申请专利了
不知道怎么claim

covariate,

【在 w*****h 的大作中提到】
: 都说现在dl是炼丹,还真没说错,反正大家就像小孩搭积木一样,只要结果好就能发好
: paper,
: google的batch normalization写得煞有介事说什么原理是reduce internal covariate,
: 结果一堆其他的paper直接打脸说原因应该是其他的,就这么个破问题灌了好几篇顶会
: 。
:
: Welch
: 巧。

1 (共1页)
进入Military版参与讨论