由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 机器学习准入门槛降低,机器学习工程师职位或将消失zz
相关主题
[bssd]有本书keras or tensorflow
[bssd] 广义相对论=>神经网络几何化?请教CNN中的convolution layer中每个kernel需要设计吗?
Ai这个社团很多人是很坏的tf keras 这么多坑?
如何评价google的Cloud AutoMLtf还是很混乱
请xiaoju和digua来讲讲COM技术吧请问什么工具包可以做词频统计但是能略过无意义的虚词?
再问机器学习。。。用keras分类mxnet/tf的一个比较blog
有什么中等规模的项目适合系统学习的?大龄转行请教
Keras 现在支持mxnet了Spark 和 Tensorflow 线性回归问题
相关话题的讨论汇总
话题: ml话题: 工程师话题: 学习话题: 机器话题: 工具
进入Programming版参与讨论
1 (共1页)
N*****r
发帖数: 94
1
【新智元导读】机器学习工程师团队负责人、Looker的首席产品官,以自己十几年的从
业经历,以及对当下机器学习领域的观察和思考,认为未来机器学习准入门槛不断降低
的前提下,“ML工程师”这个title将会消失。
我们可能正处在一个不再需要机器学习领域正规教育的变革阶段。
Looker首席产品官Nick Caldwell,是一位机器学习从业者,有着管理ML团队十多年的
经验,而他最近有点被刺激到。
他的一名初级前端工程师决定利用黑客马拉松时间,去探索机器学习。通过fast.ai的
在线课程,这位初级工程师获得了快速设置和部署TensorFlow模型的基础知识。
刚开始做的东西还比较搞笑,比如给人脸上贴胡子。但是在几天之内,他就做出了有实
际应用价值的项目,并创建了一个可以在公司内部生产系统中可实施的ML模型。几周后
,已经能够看到改模型对运营目标产生了可衡量的影响。
Nick在大学的时候,曾经认真系统的学过ML,并且在刚毕业就从事机器学习相关的工作
,但是这位初级工程师的经历,让他开始重新审视他自己,以及机器学习这个领域。
他发现,机器学习已经进入到一个准入门槛非常低的阶段。他甚至怀疑,这位初级前端
工程师可以使用现代工具包,在五天内获得他职业生涯的前五年的积累,虽然这话说的
有点夸张。
他还认为,现在开始对学位、专业性方面的要求没有那么高了,当下的机器学习工具包
,正在成为标准开发工具箱的一部分。
在20世纪90年代,想要尝试使用神经网络的工程师,通常需要从最简单的概念开始逐步
延伸,对每一层的数学和原理都要理解和掌握。
今天,即使是初学者也可以使用Google Cloud AutoML等工具,几乎可以毫不费力的创
建AI模型的各个方面,并产生有影响力的结果。
所有的复杂性都被抽掉了,但这是技术发展的规律,因为抽象适用于越来越强大的工具
。现在已经没人为了学编程而去学习计算机构造,就好像没有人为了开车而去了解汽车
的设计原理。
使用这些“一站式”工具包的现代开发人员,可能无法解释模型的数学原理,但不妨碍
他做出可用性非常高的模型和产品。
fast.ai的创始人、前Kaggle总裁杰里Jeremy Howard,在最近的推文中说:“我从未接
受过正式的技术教育,我实际上没有参加任何讲座或教程,我认为那都是在浪费时间。“
机器学习当前趋势的影响十分惊人。回想一下,传统雇用工程师、特别是在ML工程师的
流程:首先我们需要应聘者至少是学士学位;其次还会在意有没有项目经验,最后可能
还要求有一定的工作经验。
但从Nick的经历来看,如果把工程师定义为“拥有帮助客户解决问题、以及提出解决方
案能力的人才”,那么他过去几年里亲自合作过的最好的ML工程师,都是自学成才的,
并且工作经验不足5年!
因此Nick心中产生了疑问:在当前这么容易就能够学习ML,并产生非凡成果的时代,我
们是否真的需要聘请一位“专业”ML工程师呢?是否真的需要卡ta的学位、工作经验呢
?甚至说,我们是否真的有必要专门去应聘一位“机器学习工程师”呢?
他最终认为,我们必须重新思考如何寻找人才。用开源神经网络库Keras创建者Fran&#
231;oisChollet的话说:“最好的人是90%+自我教育,无论他们是否拥有斯坦福大学
的学位;计算机科学的学位的附加价值越来越微不足道。“
可能大多数招聘经理都认为这种态度太过极端。但时代在变,Nick现在的做法是:从
Kaggle比赛中寻找ML候选人,查看ta的GitHub项目页,然后才是看他有没有大学学位。
Nick坚定的认为,是时候取消对CS学位的要求,并预言未来机器学习工程师这个title
终将消失。
你们觉得呢?
https://www.informationweek.com/strategic-cio/team-building-and-staffing/the
-title-machine-learning-engineer-will-start-to-disappear/a/d-id/1333816
h*i
发帖数: 3446
2
我们在这儿早就说过了的啊。

【在 N*****r 的大作中提到】
: 【新智元导读】机器学习工程师团队负责人、Looker的首席产品官,以自己十几年的从
: 业经历,以及对当下机器学习领域的观察和思考,认为未来机器学习准入门槛不断降低
: 的前提下,“ML工程师”这个title将会消失。
: 我们可能正处在一个不再需要机器学习领域正规教育的变革阶段。
: Looker首席产品官Nick Caldwell,是一位机器学习从业者,有着管理ML团队十多年的
: 经验,而他最近有点被刺激到。
: 他的一名初级前端工程师决定利用黑客马拉松时间,去探索机器学习。通过fast.ai的
: 在线课程,这位初级工程师获得了快速设置和部署TensorFlow模型的基础知识。
: 刚开始做的东西还比较搞笑,比如给人脸上贴胡子。但是在几天之内,他就做出了有实
: 际应用价值的项目,并创建了一个可以在公司内部生产系统中可实施的ML模型。几周后

m******r
发帖数: 1033
3
我老有点怀疑 。 我算命也用工具包, 百分之九十的工具包不适合你的领域,剩下百
分之九十,作者在吹牛, 再剩下百分之九十跑个三天三夜跑不出结果,甚至无法判断
对错。
第二, 原文没说到底这位初级工程师干了什么项目。‘他就做出了有实
际应用价值的项目,并创建了一个可以在公司内部生产系统中可实施的ML模型。几周后
,已经能够看到改模型对运营目标产生了可衡量的影响。’ 这评价也是高的吓人,但
没具体东西,相当于没说。
C*****l
发帖数: 1
4
深学水平分很多层
1。第一层能用包,用keras搭一个网络,这难度比会用一个python的package差不了多
少。粗浅的应用这层也可以。
2。掌握反向传播算法,能够开发新的架构,比如新层。
至少会2才能叫ML工程师巴

【在 m******r 的大作中提到】
: 我老有点怀疑 。 我算命也用工具包, 百分之九十的工具包不适合你的领域,剩下百
: 分之九十,作者在吹牛, 再剩下百分之九十跑个三天三夜跑不出结果,甚至无法判断
: 对错。
: 第二, 原文没说到底这位初级工程师干了什么项目。‘他就做出了有实
: 际应用价值的项目,并创建了一个可以在公司内部生产系统中可实施的ML模型。几周后
: ,已经能够看到改模型对运营目标产生了可衡量的影响。’ 这评价也是高的吓人,但
: 没具体东西,相当于没说。

l********6
发帖数: 457
5
(1)要能应用已有工具完成项目。(2)在已有工具,精度达不到项目要求时,要修改
源代码,植入新方法,并测试提高工具的精度和准确度。(3)针对特定项目(已无工
具可用),开发新方法,并实现,尽可能保证界面用户友好。现在只掌握了(1),就
可以被称为ML工程师了?感觉现在是title通货膨胀了。

【在 N*****r 的大作中提到】
: 【新智元导读】机器学习工程师团队负责人、Looker的首席产品官,以自己十几年的从
: 业经历,以及对当下机器学习领域的观察和思考,认为未来机器学习准入门槛不断降低
: 的前提下,“ML工程师”这个title将会消失。
: 我们可能正处在一个不再需要机器学习领域正规教育的变革阶段。
: Looker首席产品官Nick Caldwell,是一位机器学习从业者,有着管理ML团队十多年的
: 经验,而他最近有点被刺激到。
: 他的一名初级前端工程师决定利用黑客马拉松时间,去探索机器学习。通过fast.ai的
: 在线课程,这位初级工程师获得了快速设置和部署TensorFlow模型的基础知识。
: 刚开始做的东西还比较搞笑,比如给人脸上贴胡子。但是在几天之内,他就做出了有实
: 际应用价值的项目,并创建了一个可以在公司内部生产系统中可实施的ML模型。几周后

g****t
发帖数: 31659
6
我和其他几位认为随着tool chain的稳定。未来Data scientist, ML engineer在产品
开发的整体过程中或许会处于从属地位。(但这个未来也许是五年也许十年,谁也不知
道)
并不意味着人家title不对啊。
写别的软件的有几个不是现成的框架以及别的tool胡乱套一下。所以这些看法要考虑下
逻辑是不是一致。


: (1)要能应用已有工具完成项目。(2)在已有工具,精度达不到项目要
求时,
要修改

: 源代码,植入新方法,并测试提高工具的精度和准确度。(3)针对特定
项目(
已无工

: 具可用),开发新方法,并实现,尽可能保证界面用户友好。现在只掌握
了(1
),就

: 可以被称为ML工程师了?感觉现在是title通货膨胀了。



【在 l********6 的大作中提到】
: (1)要能应用已有工具完成项目。(2)在已有工具,精度达不到项目要求时,要修改
: 源代码,植入新方法,并测试提高工具的精度和准确度。(3)针对特定项目(已无工
: 具可用),开发新方法,并实现,尽可能保证界面用户友好。现在只掌握了(1),就
: 可以被称为ML工程师了?感觉现在是title通货膨胀了。

g****t
发帖数: 31659
7
写java的千千万万。有几个看过jvm文档的?更别说掌握原理了。所以重点不在title。


: 深学水平分很多层

: 1。第一层能用包,用keras搭一个网络,这难度比会用一个python的package差
不了多

: 少。粗浅的应用这层也可以。

: 2。掌握反向传播算法,能够开发新的架构,比如新层。

: 至少会2才能叫ML工程师巴



【在 C*****l 的大作中提到】
: 深学水平分很多层
: 1。第一层能用包,用keras搭一个网络,这难度比会用一个python的package差不了多
: 少。粗浅的应用这层也可以。
: 2。掌握反向传播算法,能够开发新的架构,比如新层。
: 至少会2才能叫ML工程师巴

q******3
发帖数: 166
8
......
l*******m
发帖数: 1096
9
我认为有几个基本的要求:
看得懂文章,可以复现
写码
愿意清理数据,debug模型
还有一个比较高:定义新的ml问题,metrics

:(1)要能应用已有工具完成项目。(2)在已有工具,精度达不到项目要求时,要修
改源代码,植入新方法,并测试提高工具的精度和准确度。(3)针对特定项目(已无工
:具可用),开发新方法,并实现,尽可能保证界面用户友好。现在只掌握了(1),就
C*****l
发帖数: 1
10
不懂原理,调参也会比较痛苦

【在 g****t 的大作中提到】
: 写java的千千万万。有几个看过jvm文档的?更别说掌握原理了。所以重点不在title。
:
:
: 深学水平分很多层
:
: 1。第一层能用包,用keras搭一个网络,这难度比会用一个python的package差
: 不了多
:
: 少。粗浅的应用这层也可以。
:
: 2。掌握反向传播算法,能够开发新的架构,比如新层。
:
: 至少会2才能叫ML工程师巴
:

相关主题
有什么中等规模的项目适合系统学习的?请教CNN中的convolution layer中每个kernel需要设计吗?
Keras 现在支持mxnet了tf keras 这么多坑?
keras or tensorflowtf还是很混乱
进入Programming版参与讨论
c*******v
发帖数: 2599
11
调参数哪有什么原理。至少没有统一的在应用场景之外的原理。

【在 C*****l 的大作中提到】
: 不懂原理,调参也会比较痛苦
c*******v
发帖数: 2599
12
最后一条是产品经理的要求了。

无工
,就

【在 l*******m 的大作中提到】
: 我认为有几个基本的要求:
: 看得懂文章,可以复现
: 写码
: 愿意清理数据,debug模型
: 还有一个比较高:定义新的ml问题,metrics
:
: :(1)要能应用已有工具完成项目。(2)在已有工具,精度达不到项目要求时,要修
: 改源代码,植入新方法,并测试提高工具的精度和准确度。(3)针对特定项目(已无工
: :具可用),开发新方法,并实现,尽可能保证界面用户友好。现在只掌握了(1),就

N**********d
发帖数: 2466
13
金字塔,食物链,每个层级的都要有。都搞最底层,技术就不会有进步,迟早死翘翘
C*****l
发帖数: 1
14
比如需要什么样的网络,是full connected,LSTM还是cnn,要不要pooling,什么类型
的pooling比较好等等,总不能每个参数都穷举把。

【在 c*******v 的大作中提到】
: 调参数哪有什么原理。至少没有统一的在应用场景之外的原理。
c*******v
发帖数: 2599
15
这些都是实践经验。不是原理。
这些实践经验变化是很快的。
跟你写个网站用什么库没有本质区别。
(切不可认为我的意思是这些实际经验不重要。
就是因为不是原理,属于类似于手艺。才重要。)

【在 C*****l 的大作中提到】
: 比如需要什么样的网络,是full connected,LSTM还是cnn,要不要pooling,什么类型
: 的pooling比较好等等,总不能每个参数都穷举把。

f******2
发帖数: 2455
16
最后一条我怎么觉得不是hardcore的技术呢?我现在就可以做到。
前面一条反而需要时间的投入和积累


: 最后一条是产品经理的要求了。

: 无工

: ,就



【在 c*******v 的大作中提到】
: 这些都是实践经验。不是原理。
: 这些实践经验变化是很快的。
: 跟你写个网站用什么库没有本质区别。
: (切不可认为我的意思是这些实际经验不重要。
: 就是因为不是原理,属于类似于手艺。才重要。)

C*****l
发帖数: 1
17
我相信深学还是写网站需要的数学多一点,但是深学的问题是比传统方法的门槛都要低
。用深学写一个图像识别程序的难度比用传统方法写难多了。

【在 c*******v 的大作中提到】
: 这些都是实践经验。不是原理。
: 这些实践经验变化是很快的。
: 跟你写个网站用什么库没有本质区别。
: (切不可认为我的意思是这些实际经验不重要。
: 就是因为不是原理,属于类似于手艺。才重要。)

c*******v
发帖数: 2599
18
奥赛金牌年年有。能提数学问题的中学生万中无一。
他说的可不是出一个interview题。是metric。比给phd找问题还难。
明天你提一个新的ML问题,
看看能让你周围的人相信那是有意义有价值的新问题么。

【在 f******2 的大作中提到】
: 最后一条我怎么觉得不是hardcore的技术呢?我现在就可以做到。
: 前面一条反而需要时间的投入和积累
:
:
: 最后一条是产品经理的要求了。
:
: 无工
:
: ,就
:

l******8
发帖数: 1691
19
这个1和2没有本质区别,基本属于一个层次。
要知道数学理,知道自己在干什么,手里的工具怎么用出什么样的结果,怎么解释怎么
判断,下一步要怎样,是不是现有的工具可以达到的,还是需要新的方法,从数学上怎
么保证已经取得或接近了技术上可能达到的优化程度,怎么样进一步提高这个可能达到
的ceiling。这是又一个层次。会写一个bp不算数学原理。bp为什么可以work,可以
work到什么程度,在各种情况下会有什么样的表现和问题,怎么deal with,这里面牵
涉到各种内容,需要了解。
下一个是知道ML的数学原理后面的思路,为什么会有这些方法,它们要解决的问题和它
们背后的假设前提以及它们的局限性,为什么很多看似不同的方法其实只是同一个东西。
从generalizable的问题出发,怎样提出新的方法。怎样优化你的方法,和已有的方法
的关系是什么,优势是什么,是量的区别,还是本质的区别。
怎样解决人类的思维问题。这个已经不是属于一般工业界关心的事情了。

【在 C*****l 的大作中提到】
: 深学水平分很多层
: 1。第一层能用包,用keras搭一个网络,这难度比会用一个python的package差不了多
: 少。粗浅的应用这层也可以。
: 2。掌握反向传播算法,能够开发新的架构,比如新层。
: 至少会2才能叫ML工程师巴

C*****l
发帖数: 1
20
不要小看BP, 神经网络的数学基础就是张量的反向传播算法

西。

【在 l******8 的大作中提到】
: 这个1和2没有本质区别,基本属于一个层次。
: 要知道数学理,知道自己在干什么,手里的工具怎么用出什么样的结果,怎么解释怎么
: 判断,下一步要怎样,是不是现有的工具可以达到的,还是需要新的方法,从数学上怎
: 么保证已经取得或接近了技术上可能达到的优化程度,怎么样进一步提高这个可能达到
: 的ceiling。这是又一个层次。会写一个bp不算数学原理。bp为什么可以work,可以
: work到什么程度,在各种情况下会有什么样的表现和问题,怎么deal with,这里面牵
: 涉到各种内容,需要了解。
: 下一个是知道ML的数学原理后面的思路,为什么会有这些方法,它们要解决的问题和它
: 们背后的假设前提以及它们的局限性,为什么很多看似不同的方法其实只是同一个东西。
: 从generalizable的问题出发,怎样提出新的方法。怎样优化你的方法,和已有的方法

相关主题
请问什么工具包可以做词频统计但是能略过无意义的虚词?Spark 和 Tensorflow 线性回归问题
mxnet/tf的一个比较blogTheano, Spark ML, Microsoft’s CNTK, and Google’s TensorFlow
大龄转行请教[bssd]这波AI现在缺的就是语言或者操作系统吧?
进入Programming版参与讨论
g****t
发帖数: 31659
21
你这个看法是有基本错误的。ann在有bp之前很多年就有了。另外神學所講的張量也就
是多維數組。不是幾何或者力學裡的張量。


: 不要小看BP, 神经网络的数学基础就是张量的反向传播算法

: 西。



【在 C*****l 的大作中提到】
: 不要小看BP, 神经网络的数学基础就是张量的反向传播算法
:
: 西。

l********6
发帖数: 457
22
相应的title,意味着掌握相应的技能和相应的收入。如果title通货膨胀了,那title
的意义就贬值了。直接说自己掌握了什么技能,更能让大家明白。想通过title来拔高
,让人以为掌握了没有掌握的技能,也就太短视了。而且,一定会有更高级的title给
那些掌握更多技能的人。

【在 g****t 的大作中提到】
: 写java的千千万万。有几个看过jvm文档的?更别说掌握原理了。所以重点不在title。
:
:
: 深学水平分很多层
:
: 1。第一层能用包,用keras搭一个网络,这难度比会用一个python的package差
: 不了多
:
: 少。粗浅的应用这层也可以。
:
: 2。掌握反向传播算法,能够开发新的架构,比如新层。
:
: 至少会2才能叫ML工程师巴
:

l********6
发帖数: 457
23
逻辑是递进关系(1)使用工具,但不会修改工具。(2)不仅仅会使用工具,还对针对
一些情况,对工具做修改,提高性能。(3)不仅会使用工具,会对工具做修改提高性
能,还会自己造工具软件。
以前ML工程师默认是会1,2,3的。如果现在只会1的人可以被叫成ML工程师,那会1,2
的人,会1,2,3的人会有更高级的title。所以title通货膨胀了,这是我想说的。

【在 g****t 的大作中提到】
: 我和其他几位认为随着tool chain的稳定。未来Data scientist, ML engineer在产品
: 开发的整体过程中或许会处于从属地位。(但这个未来也许是五年也许十年,谁也不知
: 道)
: 并不意味着人家title不对啊。
: 写别的软件的有几个不是现成的框架以及别的tool胡乱套一下。所以这些看法要考虑下
: 逻辑是不是一致。
:
:
: (1)要能应用已有工具完成项目。(2)在已有工具,精度达不到项目要
: 求时,
: 要修改

m******r
发帖数: 1033
24
哈哈哈 ....我记得以前学辩证历史唯物主义,讲人和动物的区别,
低等动物: 不会使用工具
高级动物: 会使用工具,不会制造工具。
人:会用工具,而且会制造工具
C*****l
发帖数: 1
25
现在大家讨论的神经网络都是bp训练的,不扯那些解释的学说,应用里面最核心的数学
不就是BP么。深学的tensor跟物理学上的tensor有什么本质的区别?我的理解是在最基
础的意义上是一样的,只不过物理学上的张量一般还有坐标变换的要求。

【在 g****t 的大作中提到】
: 你这个看法是有基本错误的。ann在有bp之前很多年就有了。另外神學所講的張量也就
: 是多維數組。不是幾何或者力學裡的張量。
:
:
: 不要小看BP, 神经网络的数学基础就是张量的反向传播算法
:
: 西。
:

l********6
发帖数: 457
26
hahaha

【在 m******r 的大作中提到】
: 哈哈哈 ....我记得以前学辩证历史唯物主义,讲人和动物的区别,
: 低等动物: 不会使用工具
: 高级动物: 会使用工具,不会制造工具。
: 人:会用工具,而且会制造工具

N*****r
发帖数: 94
27

不是所有的深度学习都需要bp的
深度学习里的tensor也跟物理里的tensor无关

【在 C*****l 的大作中提到】
: 现在大家讨论的神经网络都是bp训练的,不扯那些解释的学说,应用里面最核心的数学
: 不就是BP么。深学的tensor跟物理学上的tensor有什么本质的区别?我的理解是在最基
: 础的意义上是一样的,只不过物理学上的张量一般还有坐标变换的要求。

C*****l
发帖数: 1
28
你可以说深度学习里面tensor跟物理学tensor不完全重合,但是说无关就是胡扯了。物
理里面有向量,向量比如速度可以用一组数表示,在不同的坐标里面这组数不一样。
但是物理和数学写公式推导公式的时候,可以写一个抽象的向量放在那里。但是最后要
拿出来用的时候还是要写成一组数,张量也是一样,二阶的能流张量,应力张量,写出
来不就是一个矩阵么,怎么能说无关呢?

【在 N*****r 的大作中提到】
:
: 不是所有的深度学习都需要bp的
: 深度学习里的tensor也跟物理里的tensor无关

1 (共1页)
进入Programming版参与讨论
相关主题
Theano, Spark ML, Microsoft’s CNTK, and Google’s TensorFlow请xiaoju和digua来讲讲COM技术吧
[bssd]这波AI现在缺的就是语言或者操作系统吧?再问机器学习。。。用keras分类
用dl找出两个数据库tables是不是有相同的rows?有什么中等规模的项目适合系统学习的?
还需要学R吗Keras 现在支持mxnet了
[bssd]有本书keras or tensorflow
[bssd] 广义相对论=>神经网络几何化?请教CNN中的convolution layer中每个kernel需要设计吗?
Ai这个社团很多人是很坏的tf keras 这么多坑?
如何评价google的Cloud AutoMLtf还是很混乱
相关话题的讨论汇总
话题: ml话题: 工程师话题: 学习话题: 机器话题: 工具