h*i
发帖数: 3446 | |
g****t
发帖数: 31659 | 2 我90年代做过。工业离散事件系统，上海双钱轮胎厂的项目。全忘完了。你怎么都找这
些90年代的东西啊。估计不是热点了。这都是EE的东西。 |
h*i
发帖数: 3446 | 3 热点的东西只能用，不能让你上台阶的，要上台阶，得用别人不懂的。是EE的东西就对
了，搞AI的没听说过吧？
: 我90年代做过。工业离散事件系统，上海双钱轮胎厂的项目。全忘完了。你怎么
都找这
: 些90年代的东西啊。估计不是热点了。这都是EE的东西。
【在 g****t 的大作中提到】
: 我90年代做过。工业离散事件系统，上海双钱轮胎厂的项目。全忘完了。你怎么都找这
: 些90年代的东西啊。估计不是热点了。这都是EE的东西。
|
g****t
发帖数: 31659 | 4 怎么可能AI社区没听过。
我本科就发过AI的论文（在北航一个杂志）。后来硕士论文是神经网络。尽管那时候硕
士博士少。一个学校一般过几届也有那么几个做智能计算的。因为实践中要用到。遗传
算法那本经典书，引用数是历史上ACM出版最高的之一。尽管多数人那时候都觉得是瞎
扯淡。
现如今看来，dota, Starcraft 之类的竞技游戏DL,都有类似的一层演化策略。不然训
练不出来。
: 热点的东西只能用，不能让你上台阶的，要上台阶，得用别人不懂的。是
EE的东
西就对
: 了，搞AI的没听说过吧？
: 都找这
【在 h*i 的大作中提到】
: 热点的东西只能用，不能让你上台阶的，要上台阶，得用别人不懂的。是EE的东西就对
: 了，搞AI的没听说过吧？
:
:
: 我90年代做过。工业离散事件系统，上海双钱轮胎厂的项目。全忘完了。你怎么
: 都找这
:
: 些90年代的东西啊。估计不是热点了。这都是EE的东西。
:
|
h*i
发帖数: 3446 | 5 Melanie Mitchell, An Introduction to Genetic Algorithms, 1998
是这本么？
我是说这帮“DL end to end”的人听说过没有，他们没听说过就行了。
PS. Melanie Mitchell的博士论文听说过么？个人认为算是距离AGI最近的东东了。嗯
。王培算是她的师兄吧。
她最近来出来发了个文批判DL end to end来着。
【在 g****t 的大作中提到】
: 怎么可能AI社区没听过。
: 我本科就发过AI的论文（在北航一个杂志）。后来硕士论文是神经网络。尽管那时候硕
: 士博士少。一个学校一般过几届也有那么几个做智能计算的。因为实践中要用到。遗传
: 算法那本经典书，引用数是历史上ACM出版最高的之一。尽管多数人那时候都觉得是瞎
: 扯淡。
: 现如今看来，dota, Starcraft 之类的竞技游戏DL,都有类似的一层演化策略。不然训
: 练不出来。
:
:
: 热点的东西只能用，不能让你上台阶的，要上台阶，得用别人不懂的。是
: EE的东
|
h*i
发帖数: 3446 | 6 你是说搞过遗传算法的都听说过petri net?
【在 g****t 的大作中提到】
: 怎么可能AI社区没听过。
: 我本科就发过AI的论文（在北航一个杂志）。后来硕士论文是神经网络。尽管那时候硕
: 士博士少。一个学校一般过几届也有那么几个做智能计算的。因为实践中要用到。遗传
: 算法那本经典书，引用数是历史上ACM出版最高的之一。尽管多数人那时候都觉得是瞎
: 扯淡。
: 现如今看来，dota, Starcraft 之类的竞技游戏DL,都有类似的一层演化策略。不然训
: 练不出来。
:
:
: 热点的东西只能用，不能让你上台阶的，要上台阶，得用别人不懂的。是
: EE的东
|
g****t
发帖数: 31659 | 7 不是。我当初的年代，这些东西都属于智能控制这个分支要用到的工具。智能控制在
ieee 有分类编号。我知道这个petri网，是因为有年轻老师去工厂拉项目，学生做，然
后拿几百块钱一个月。当时还有迭代学习算法什么的。后来都死了。
: 你是说搞过遗传算法的都听说过petri net?
【在 h*i 的大作中提到】
: 你是说搞过遗传算法的都听说过petri net?
|
g****t
发帖数: 31659 | 8 我后来觉得调参数太辛苦了。都是分析数学。
我phd是用mathemtica做大规模多项式迭
代。有一种多项式神经网络，与之可以说类似。
假如clojure出现可以用的符号计算包。我可以让我师兄找些学生把原来的一些包改成
clojure. 也可以在机械协会的会议上介绍下clojure. 我原来phd那个小圈子是符号计
算的小圈子。都用Mathematica
: Melanie Mitchell, An Introduction to Genetic Algorithms, 1998
: 是这本么？
: 我是说这帮“DL end to end”的人听说过没有，他们没听说
过就行了。
: PS. Melanie Mitchell的博士论文听说过么？个人认为算是距离AGI最近
的东东
了。嗯
: 。王培算是她的师兄吧。
: 她最近来出来发了个文批判DL end to end来着。
【在 h*i 的大作中提到】
: 你是说搞过遗传算法的都听说过petri net?
|
h*i
发帖数: 3446 | 9 Clojure没有符号计算包可用的，有人port过这些，玩玩而已。
符号计算现在有个Rubi https://rulebasedintegration.org/
我们搞的东西不需要公式的符号计算。我说的符号，是司马贺说的那种符号。
https://en.wikipedia.org/wiki/Physical_symbol_system
【在 g****t 的大作中提到】
: 我后来觉得调参数太辛苦了。都是分析数学。
: 我phd是用mathemtica做大规模多项式迭
: 代。有一种多项式神经网络，与之可以说类似。
: 假如clojure出现可以用的符号计算包。我可以让我师兄找些学生把原来的一些包改成
: clojure. 也可以在机械协会的会议上介绍下clojure. 我原来phd那个小圈子是符号计
: 算的小圈子。都用Mathematica
:
:
: Melanie Mitchell, An Introduction to Genetic Algorithms, 1998
:
: 是这本么？
:
: 我是说这帮“DL end to end”的人听说过没有，他们没听说
|
g****t
发帖数: 31659 | 10 我研究过数理逻辑。后来感觉这些东西都在多元多项式里。
感觉上就是各种扯旗放炮的符号AI圈子，都是一样的。
当然，这只是一点浅见。
: Clojure没有符号计算包可用的，有人port过这些，玩玩而已。
: 符号计算现在有个Rubi https://rulebasedintegration.org/
: 我们搞的东西不需要公式的符号计算。我说的符号，是司马贺说的那种符号。
: https://en.wikipedia.org/wiki/Physical_symbol_system
【在 h*i 的大作中提到】
: Clojure没有符号计算包可用的，有人port过这些，玩玩而已。
: 符号计算现在有个Rubi https://rulebasedintegration.org/
: 我们搞的东西不需要公式的符号计算。我说的符号，是司马贺说的那种符号。
: https://en.wikipedia.org/wiki/Physical_symbol_system
|
|
|
h*i
发帖数: 3446 | 11 数理逻辑肯定能找到与多元多项式这类数学同性质的东西，最后都是范畴论，是不是，
不奇怪。
但数理逻辑实践证明用来搞AI是不够的，所以我的结论是必须暴力搜索。
【在 g****t 的大作中提到】
: 我研究过数理逻辑。后来感觉这些东西都在多元多项式里。
: 感觉上就是各种扯旗放炮的符号AI圈子，都是一样的。
: 当然，这只是一点浅见。
:
:
: Clojure没有符号计算包可用的，有人port过这些，玩玩而已。
:
: 符号计算现在有个Rubi https://rulebasedintegration.org/
:
: 我们搞的东西不需要公式的符号计算。我说的符号，是司马贺说的那种符号。
:
: https://en.wikipedia.org/wiki/Physical_symbol_system
:
|
h*i
发帖数: 3446 | 12 数理逻辑不够，其实在AI的早期就应该知道了。
看看Walter Pitts的历史，就应该明白了的。天才都被devasted，一帮人还要以身试法
，不是找不痛快么？
http://nautil.us/issue/21/information/the-man-who-tried-to-redeem-the-world-with-logic
上面这个文讲的事迹是我第一次听说，感触良多。
【在 h*i 的大作中提到】
: 数理逻辑肯定能找到与多元多项式这类数学同性质的东西，最后都是范畴论，是不是，
: 不奇怪。
: 但数理逻辑实践证明用来搞AI是不够的，所以我的结论是必须暴力搜索。
|
l*******m
发帖数: 1096 | 13 简单的暴力搜索是没有希望的。与其说神经网络的轮回，不如说可导backprop的轮回。
因为几十年过去大家发现backprop是效率很高的暴力搜索。所以不管什么网络，主要可
导就可一试。超过backprop的还没有曙光
：数理逻辑肯定能找到与多元多项式这类数学同性质的东西，最后都是范畴论，是不是
，不奇怪。
： |
h*i
发帖数: 3446 | 14 backprop的主要问题就是效率低。当然要求可导就导致它不是普遍适用的。
暴力搜索是个态度，搜索什么是关键。搜索也是动态的，启发式，这些其实都没有超出
司马贺说的东西。
算了，我也不想跟一帮凡人瞎扯了，白费功夫。明白的的人自然明白，不明白的，说啥
都没用。
我还是是去忽悠人要紧。
【在 l*******m 的大作中提到】
: 简单的暴力搜索是没有希望的。与其说神经网络的轮回，不如说可导backprop的轮回。
: 因为几十年过去大家发现backprop是效率很高的暴力搜索。所以不管什么网络，主要可
: 导就可一试。超过backprop的还没有曙光
:
: ：数理逻辑肯定能找到与多元多项式这类数学同性质的东西，最后都是范畴论，是不是
: ，不奇怪。
: ：
|
h*i
发帖数: 3446 | 15 这么说吧，“暴力”其实是“自由”的同义词。
逻辑是个锁链，现在backprop又成了新的锁链。
凡人把锁链当皇冠带着。
基本就是这个意思吧。
【在 h*i 的大作中提到】
: backprop的主要问题就是效率低。当然要求可导就导致它不是普遍适用的。
: 暴力搜索是个态度，搜索什么是关键。搜索也是动态的，启发式，这些其实都没有超出
: 司马贺说的东西。
: 算了，我也不想跟一帮凡人瞎扯了，白费功夫。明白的的人自然明白，不明白的，说啥
: 都没用。
: 我还是是去忽悠人要紧。
|
g****t
发帖数: 31659 | 16 知道解空间连续，不用bp那是给自己找不痛快。说bp不行的多数是没有hands on的经验
。试试就知道了。bp等于是线性规划。规模一大，暴力搜索和动态规划的差距是天差地
远。
但是现在神学还没取得对整数规划之类问题的决定性突破。尽管以前有很多研究和试验
。这类问题的建模还是很麻烦。重度依赖领域专家。另外bp无法给自己调参数。
: 简单的暴力搜索是没有希望的。与其说神经网络的轮回，不如说可导
backprop的
轮回。
: 因为几十年过去大家发现backprop是效率很高的暴力搜索。所以不管什么
网络，
主要可
: 导就可一试。超过backprop的还没有曙光
: ：数理逻辑肯定能找到与多元多项式这类数学同性质的东西，最后都是范
畴论，
是不是
: ，不奇怪。
: ：
【在 l*******m 的大作中提到】
: 简单的暴力搜索是没有希望的。与其说神经网络的轮回，不如说可导backprop的轮回。
: 因为几十年过去大家发现backprop是效率很高的暴力搜索。所以不管什么网络，主要可
: 导就可一试。超过backprop的还没有曙光
:
: ：数理逻辑肯定能找到与多元多项式这类数学同性质的东西，最后都是范畴论，是不是
: ，不奇怪。
: ：
|
h*i
发帖数: 3446 | 17 "知道解空间连续", 有什么办法知道么？
【在 g****t 的大作中提到】
: 知道解空间连续，不用bp那是给自己找不痛快。说bp不行的多数是没有hands on的经验
: 。试试就知道了。bp等于是线性规划。规模一大，暴力搜索和动态规划的差距是天差地
: 远。
: 但是现在神学还没取得对整数规划之类问题的决定性突破。尽管以前有很多研究和试验
: 。这类问题的建模还是很麻烦。重度依赖领域专家。另外bp无法给自己调参数。
:
:
: 简单的暴力搜索是没有希望的。与其说神经网络的轮回，不如说可导
: backprop的
: 轮回。
:
: 因为几十年过去大家发现backprop是效率很高的暴力搜索。所以不管什么
|
l*******m
发帖数: 1096 | 18 最直观的例子就是nlp, 本来一个一个词都是离散的，深学就是把离散的词映射到连续
的嵌入式空间, 然后就bp就好了。ml其实还是很开放的，在几个公开数据集上做到stoa
，大家就认。比讨论什么编程语言好可是客观多了
："知道解空间连续", 有什么办法知道么？
： |
g****t
发帖数: 31659 | 19 做實驗或者看數據。按牛頓和加利略的辦法來就行了。
: "知道解空间连续", 有什么办法知道么？
【在 h*i 的大作中提到】
: "知道解空间连续", 有什么办法知道么？
|
h*i
发帖数: 3446 | 20 不是embedding这么简单的。现在NLP搞不定的，是context，这个很可能不是连续的。
还是没有回答我的问题，怎么知道解空间是连续的。
stoa
【在 l*******m 的大作中提到】
: 最直观的例子就是nlp, 本来一个一个词都是离散的，深学就是把离散的词映射到连续
: 的嵌入式空间, 然后就bp就好了。ml其实还是很开放的，在几个公开数据集上做到stoa
: ，大家就认。比讨论什么编程语言好可是客观多了
:
: ："知道解空间连续", 有什么办法知道么？
: ：
|
|
|
h*i
发帖数: 3446 | 21 这个怎么弄，具体点。
【在 g****t 的大作中提到】
: 做實驗或者看數據。按牛頓和加利略的辦法來就行了。
:
:
: "知道解空间连续", 有什么办法知道么？
:
|
g****t
发帖数: 31659 | 22 Trial and error, 找到物理現象的數學模型，人的智慧和信念是不可缺少的。
我唸過牛頓的原理，也認真看過加利略在彈道計算如何贏的另一個科學家。這就是我的
結論。
但是有一點。你不能否認實驗物理的存在。以及物理學研究方法的有效性。不然那就成
了‘妳有大砲，我有神功’了。
代數，幾何，分析（實際上就是連續空間的學問）這幾種方法。從方法論的角度來講，
否定任何一個作為一種方法的正當性，我認為是不明智的。
: 这个怎么弄，具体点。
【在 h*i 的大作中提到】
: 这个怎么弄，具体点。
|
h*i
发帖数: 3446 | 23 这个和我说用启发式，具体问题问题具体分析也意思差不多。
我还以为有什么方法。
【在 g****t 的大作中提到】
: Trial and error, 找到物理現象的數學模型，人的智慧和信念是不可缺少的。
: 我唸過牛頓的原理，也認真看過加利略在彈道計算如何贏的另一個科學家。這就是我的
: 結論。
: 但是有一點。你不能否認實驗物理的存在。以及物理學研究方法的有效性。不然那就成
: 了‘妳有大砲，我有神功’了。
: 代數，幾何，分析（實際上就是連續空間的學問）這幾種方法。從方法論的角度來講，
: 否定任何一個作為一種方法的正當性，我認為是不明智的。
:
:
: 这个怎么弄，具体点。
:
|
g****t
发帖数: 31659 | 24 dL之外其他的方法，距離你說的這個有問題的狀態，那不知道差了多少光年。
別說幾億的設備了。一般的公司，連做一個能供百萬人用的問答器的能力都沒有。上市
場就會有無數問題被打穿的。
: 不是embedding这么简单的。现在NLP搞不定的，是context，这个很可能不是连
续的。
: 还是没有回答我的问题，怎么知道解空间是连续的。
: stoa
【在 h*i 的大作中提到】
: 这个和我说用启发式，具体问题问题具体分析也意思差不多。
: 我还以为有什么方法。
|
l*******m
发帖数: 1096 | 25 空间是你自己定义的。比如离散优化经常relaxe到连续空间。
这个context问题，不是空间不空间的问题，是problem framing的问题，用最大似然还
是不用。现在最流行的解法都是最大似然的，所以解决不了context。如果不用贝叶斯
，attention是目前还是有些希望。可能的确需要些启发性算法，但是反对面不是BP，
而是最大似然
。
【在 h*i 的大作中提到】
: 不是embedding这么简单的。现在NLP搞不定的，是context，这个很可能不是连续的。
: 还是没有回答我的问题，怎么知道解空间是连续的。
:
: stoa
|
g****t
发帖数: 31659 | 26 當然不一樣了。物理學，或者別的學問，有實證以上的東西。例如 品味，美，思維經
濟性，等等。還有生產程序的管理維護等等。
很多東西是師傅傳徒弟的，就是這個原因。很多東西沒有形式化出來，目前是靠行業共
識也就是小圈子維持.
: 这个和我说用启发式，具体问题问题具体分析也意思差不多。
: 我还以为有什么方法。
【在 h*i 的大作中提到】
: 这个和我说用启发式，具体问题问题具体分析也意思差不多。
: 我还以为有什么方法。
|
g****t
发帖数: 31659 | 27 你這個可能是研究的現狀。我有個項目經過調研還是買msft 的nlp服務了。
: 空间是你自己定义的。比如离散优化经常relaxe到连续空间。
: 这个context问题，不是空间不空间的问题，是problem framing的问题，用最大
似然还
: 是不用。现在最流行的解法都是最大似然的，所以解决不了context。如果不用
贝叶斯
: ，attention是目前还是有些希望。可能的确需要些启发性算法，但是反对面不
是BP，
: 而是最大似然
: 。
【在 l*******m 的大作中提到】
: 空间是你自己定义的。比如离散优化经常relaxe到连续空间。
: 这个context问题，不是空间不空间的问题，是problem framing的问题，用最大似然还
: 是不用。现在最流行的解法都是最大似然的，所以解决不了context。如果不用贝叶斯
: ，attention是目前还是有些希望。可能的确需要些启发性算法，但是反对面不是BP，
: 而是最大似然
:
: 。
|
h*i
发帖数: 3446 | |
g****t
发帖数: 31659 | 29 我90年代做过。工业离散事件系统，上海双钱轮胎厂的项目。全忘完了。你怎么都找这
些90年代的东西啊。估计不是热点了。这都是EE的东西。 |
h*i
发帖数: 3446 | 30 热点的东西只能用，不能让你上台阶的，要上台阶，得用别人不懂的。是EE的东西就对
了，搞AI的没听说过吧？
: 我90年代做过。工业离散事件系统，上海双钱轮胎厂的项目。全忘完了。你怎么
都找这
: 些90年代的东西啊。估计不是热点了。这都是EE的东西。
【在 g****t 的大作中提到】
: 我90年代做过。工业离散事件系统，上海双钱轮胎厂的项目。全忘完了。你怎么都找这
: 些90年代的东西啊。估计不是热点了。这都是EE的东西。
|
|
|
g****t
发帖数: 31659 | 31 怎么可能AI社区没听过。
我本科就发过AI的论文（在北航一个杂志）。后来硕士论文是神经网络。尽管那时候硕
士博士少。一个学校一般过几届也有那么几个做智能计算的。因为实践中要用到。遗传
算法那本经典书，引用数是历史上ACM出版最高的之一。尽管多数人那时候都觉得是瞎
扯淡。
现如今看来，dota, Starcraft 之类的竞技游戏DL,都有类似的一层演化策略。不然训
练不出来。
: 热点的东西只能用，不能让你上台阶的，要上台阶，得用别人不懂的。是
EE的东
西就对
: 了，搞AI的没听说过吧？
: 都找这
【在 h*i 的大作中提到】
: 热点的东西只能用，不能让你上台阶的，要上台阶，得用别人不懂的。是EE的东西就对
: 了，搞AI的没听说过吧？
:
:
: 我90年代做过。工业离散事件系统，上海双钱轮胎厂的项目。全忘完了。你怎么
: 都找这
:
: 些90年代的东西啊。估计不是热点了。这都是EE的东西。
:
|
h*i
发帖数: 3446 | 32 Melanie Mitchell, An Introduction to Genetic Algorithms, 1998
是这本么？
我是说这帮“DL end to end”的人听说过没有，他们没听说过就行了。
PS. Melanie Mitchell的博士论文听说过么？个人认为算是距离AGI最近的东东了。嗯
。王培算是她的师兄吧。
她最近来出来发了个文批判DL end to end来着。
【在 g****t 的大作中提到】
: 怎么可能AI社区没听过。
: 我本科就发过AI的论文（在北航一个杂志）。后来硕士论文是神经网络。尽管那时候硕
: 士博士少。一个学校一般过几届也有那么几个做智能计算的。因为实践中要用到。遗传
: 算法那本经典书，引用数是历史上ACM出版最高的之一。尽管多数人那时候都觉得是瞎
: 扯淡。
: 现如今看来，dota, Starcraft 之类的竞技游戏DL,都有类似的一层演化策略。不然训
: 练不出来。
:
:
: 热点的东西只能用，不能让你上台阶的，要上台阶，得用别人不懂的。是
: EE的东
|
h*i
发帖数: 3446 | 33 你是说搞过遗传算法的都听说过petri net?
【在 g****t 的大作中提到】
: 怎么可能AI社区没听过。
: 我本科就发过AI的论文（在北航一个杂志）。后来硕士论文是神经网络。尽管那时候硕
: 士博士少。一个学校一般过几届也有那么几个做智能计算的。因为实践中要用到。遗传
: 算法那本经典书，引用数是历史上ACM出版最高的之一。尽管多数人那时候都觉得是瞎
: 扯淡。
: 现如今看来，dota, Starcraft 之类的竞技游戏DL,都有类似的一层演化策略。不然训
: 练不出来。
:
:
: 热点的东西只能用，不能让你上台阶的，要上台阶，得用别人不懂的。是
: EE的东
|
g****t
发帖数: 31659 | 34 不是。我当初的年代，这些东西都属于智能控制这个分支要用到的工具。智能控制在
ieee 有分类编号。我知道这个petri网，是因为有年轻老师去工厂拉项目，学生做，然
后拿几百块钱一个月。当时还有迭代学习算法什么的。后来都死了。
: 你是说搞过遗传算法的都听说过petri net?
【在 h*i 的大作中提到】
: 你是说搞过遗传算法的都听说过petri net?
|
g****t
发帖数: 31659 | 35 我后来觉得调参数太辛苦了。都是分析数学。
我phd是用mathemtica做大规模多项式迭
代。有一种多项式神经网络，与之可以说类似。
假如clojure出现可以用的符号计算包。我可以让我师兄找些学生把原来的一些包改成
clojure. 也可以在机械协会的会议上介绍下clojure. 我原来phd那个小圈子是符号计
算的小圈子。都用Mathematica
: Melanie Mitchell, An Introduction to Genetic Algorithms, 1998
: 是这本么？
: 我是说这帮“DL end to end”的人听说过没有，他们没听说
过就行了。
: PS. Melanie Mitchell的博士论文听说过么？个人认为算是距离AGI最近
的东东
了。嗯
: 。王培算是她的师兄吧。
: 她最近来出来发了个文批判DL end to end来着。
【在 h*i 的大作中提到】
: 你是说搞过遗传算法的都听说过petri net?
|
h*i
发帖数: 3446 | 36 Clojure没有符号计算包可用的，有人port过这些，玩玩而已。
符号计算现在有个Rubi https://rulebasedintegration.org/
我们搞的东西不需要公式的符号计算。我说的符号，是司马贺说的那种符号。
https://en.wikipedia.org/wiki/Physical_symbol_system
【在 g****t 的大作中提到】
: 我后来觉得调参数太辛苦了。都是分析数学。
: 我phd是用mathemtica做大规模多项式迭
: 代。有一种多项式神经网络，与之可以说类似。
: 假如clojure出现可以用的符号计算包。我可以让我师兄找些学生把原来的一些包改成
: clojure. 也可以在机械协会的会议上介绍下clojure. 我原来phd那个小圈子是符号计
: 算的小圈子。都用Mathematica
:
:
: Melanie Mitchell, An Introduction to Genetic Algorithms, 1998
:
: 是这本么？
:
: 我是说这帮“DL end to end”的人听说过没有，他们没听说
|
g****t
发帖数: 31659 | 37 我研究过数理逻辑。后来感觉这些东西都在多元多项式里。
感觉上就是各种扯旗放炮的符号AI圈子，都是一样的。
当然，这只是一点浅见。
: Clojure没有符号计算包可用的，有人port过这些，玩玩而已。
: 符号计算现在有个Rubi https://rulebasedintegration.org/
: 我们搞的东西不需要公式的符号计算。我说的符号，是司马贺说的那种符号。
: https://en.wikipedia.org/wiki/Physical_symbol_system
【在 h*i 的大作中提到】
: Clojure没有符号计算包可用的，有人port过这些，玩玩而已。
: 符号计算现在有个Rubi https://rulebasedintegration.org/
: 我们搞的东西不需要公式的符号计算。我说的符号，是司马贺说的那种符号。
: https://en.wikipedia.org/wiki/Physical_symbol_system
|
h*i
发帖数: 3446 | 38 数理逻辑肯定能找到与多元多项式这类数学同性质的东西，最后都是范畴论，是不是，
不奇怪。
但数理逻辑实践证明用来搞AI是不够的，所以我的结论是必须暴力搜索。
【在 g****t 的大作中提到】
: 我研究过数理逻辑。后来感觉这些东西都在多元多项式里。
: 感觉上就是各种扯旗放炮的符号AI圈子，都是一样的。
: 当然，这只是一点浅见。
:
:
: Clojure没有符号计算包可用的，有人port过这些，玩玩而已。
:
: 符号计算现在有个Rubi https://rulebasedintegration.org/
:
: 我们搞的东西不需要公式的符号计算。我说的符号，是司马贺说的那种符号。
:
: https://en.wikipedia.org/wiki/Physical_symbol_system
:
|
h*i
发帖数: 3446 | 39 数理逻辑不够，其实在AI的早期就应该知道了。
看看Walter Pitts的历史，就应该明白了的。天才都被devasted，一帮人还要以身试法
，不是找不痛快么？
http://nautil.us/issue/21/information/the-man-who-tried-to-redeem-the-world-with-logic
上面这个文讲的事迹是我第一次听说，感触良多。
【在 h*i 的大作中提到】
: 数理逻辑肯定能找到与多元多项式这类数学同性质的东西，最后都是范畴论，是不是，
: 不奇怪。
: 但数理逻辑实践证明用来搞AI是不够的，所以我的结论是必须暴力搜索。
|
l*******m
发帖数: 1096 | 40 简单的暴力搜索是没有希望的。与其说神经网络的轮回，不如说可导backprop的轮回。
因为几十年过去大家发现backprop是效率很高的暴力搜索。所以不管什么网络，主要可
导就可一试。超过backprop的还没有曙光
：数理逻辑肯定能找到与多元多项式这类数学同性质的东西，最后都是范畴论，是不是
，不奇怪。
： |
|
|
h*i
发帖数: 3446 | 41 backprop的主要问题就是效率低。当然要求可导就导致它不是普遍适用的。
暴力搜索是个态度，搜索什么是关键。搜索也是动态的，启发式，这些其实都没有超出
司马贺说的东西。
算了，我也不想跟一帮凡人瞎扯了，白费功夫。明白的的人自然明白，不明白的，说啥
都没用。
我还是是去忽悠人要紧。
【在 l*******m 的大作中提到】
: 简单的暴力搜索是没有希望的。与其说神经网络的轮回，不如说可导backprop的轮回。
: 因为几十年过去大家发现backprop是效率很高的暴力搜索。所以不管什么网络，主要可
: 导就可一试。超过backprop的还没有曙光
:
: ：数理逻辑肯定能找到与多元多项式这类数学同性质的东西，最后都是范畴论，是不是
: ，不奇怪。
: ：
|
h*i
发帖数: 3446 | 42 这么说吧，“暴力”其实是“自由”的同义词。
逻辑是个锁链，现在backprop又成了新的锁链。
凡人把锁链当皇冠带着。
基本就是这个意思吧。
【在 h*i 的大作中提到】
: backprop的主要问题就是效率低。当然要求可导就导致它不是普遍适用的。
: 暴力搜索是个态度，搜索什么是关键。搜索也是动态的，启发式，这些其实都没有超出
: 司马贺说的东西。
: 算了，我也不想跟一帮凡人瞎扯了，白费功夫。明白的的人自然明白，不明白的，说啥
: 都没用。
: 我还是是去忽悠人要紧。
|
g****t
发帖数: 31659 | 43 知道解空间连续，不用bp那是给自己找不痛快。说bp不行的多数是没有hands on的经验
。试试就知道了。bp等于是线性规划。规模一大，暴力搜索和动态规划的差距是天差地
远。
但是现在神学还没取得对整数规划之类问题的决定性突破。尽管以前有很多研究和试验
。这类问题的建模还是很麻烦。重度依赖领域专家。另外bp无法给自己调参数。
: 简单的暴力搜索是没有希望的。与其说神经网络的轮回，不如说可导
backprop的
轮回。
: 因为几十年过去大家发现backprop是效率很高的暴力搜索。所以不管什么
网络，
主要可
: 导就可一试。超过backprop的还没有曙光
: ：数理逻辑肯定能找到与多元多项式这类数学同性质的东西，最后都是范
畴论，
是不是
: ，不奇怪。
: ：
【在 l*******m 的大作中提到】
: 简单的暴力搜索是没有希望的。与其说神经网络的轮回，不如说可导backprop的轮回。
: 因为几十年过去大家发现backprop是效率很高的暴力搜索。所以不管什么网络，主要可
: 导就可一试。超过backprop的还没有曙光
:
: ：数理逻辑肯定能找到与多元多项式这类数学同性质的东西，最后都是范畴论，是不是
: ，不奇怪。
: ：
|
h*i
发帖数: 3446 | 44 "知道解空间连续", 有什么办法知道么？
【在 g****t 的大作中提到】
: 知道解空间连续，不用bp那是给自己找不痛快。说bp不行的多数是没有hands on的经验
: 。试试就知道了。bp等于是线性规划。规模一大，暴力搜索和动态规划的差距是天差地
: 远。
: 但是现在神学还没取得对整数规划之类问题的决定性突破。尽管以前有很多研究和试验
: 。这类问题的建模还是很麻烦。重度依赖领域专家。另外bp无法给自己调参数。
:
:
: 简单的暴力搜索是没有希望的。与其说神经网络的轮回，不如说可导
: backprop的
: 轮回。
:
: 因为几十年过去大家发现backprop是效率很高的暴力搜索。所以不管什么
|
l*******m
发帖数: 1096 | 45 最直观的例子就是nlp, 本来一个一个词都是离散的，深学就是把离散的词映射到连续
的嵌入式空间, 然后就bp就好了。ml其实还是很开放的，在几个公开数据集上做到stoa
，大家就认。比讨论什么编程语言好可是客观多了
："知道解空间连续", 有什么办法知道么？
： |
g****t
发帖数: 31659 | 46 做實驗或者看數據。按牛頓和加利略的辦法來就行了。
: "知道解空间连续", 有什么办法知道么？
【在 h*i 的大作中提到】
: "知道解空间连续", 有什么办法知道么？
|
h*i
发帖数: 3446 | 47 不是embedding这么简单的。现在NLP搞不定的，是context，这个很可能不是连续的。
还是没有回答我的问题，怎么知道解空间是连续的。
stoa
【在 l*******m 的大作中提到】
: 最直观的例子就是nlp, 本来一个一个词都是离散的，深学就是把离散的词映射到连续
: 的嵌入式空间, 然后就bp就好了。ml其实还是很开放的，在几个公开数据集上做到stoa
: ，大家就认。比讨论什么编程语言好可是客观多了
:
: ："知道解空间连续", 有什么办法知道么？
: ：
|
h*i
发帖数: 3446 | 48 这个怎么弄，具体点。
【在 g****t 的大作中提到】
: 做實驗或者看數據。按牛頓和加利略的辦法來就行了。
:
:
: "知道解空间连续", 有什么办法知道么？
:
|
g****t
发帖数: 31659 | 49 Trial and error, 找到物理現象的數學模型，人的智慧和信念是不可缺少的。
我唸過牛頓的原理，也認真看過加利略在彈道計算如何贏的另一個科學家。這就是我的
結論。
但是有一點。你不能否認實驗物理的存在。以及物理學研究方法的有效性。不然那就成
了‘妳有大砲，我有神功’了。
代數，幾何，分析（實際上就是連續空間的學問）這幾種方法。從方法論的角度來講，
否定任何一個作為一種方法的正當性，我認為是不明智的。
: 这个怎么弄，具体点。
【在 h*i 的大作中提到】
: 这个怎么弄，具体点。
|
h*i
发帖数: 3446 | 50 这个和我说用启发式，具体问题问题具体分析也意思差不多。
我还以为有什么方法。
【在 g****t 的大作中提到】
: Trial and error, 找到物理現象的數學模型，人的智慧和信念是不可缺少的。
: 我唸過牛頓的原理，也認真看過加利略在彈道計算如何贏的另一個科學家。這就是我的
: 結論。
: 但是有一點。你不能否認實驗物理的存在。以及物理學研究方法的有效性。不然那就成
: 了‘妳有大砲，我有神功’了。
: 代數，幾何，分析（實際上就是連續空間的學問）這幾種方法。從方法論的角度來講，
: 否定任何一個作為一種方法的正當性，我認為是不明智的。
:
:
: 这个怎么弄，具体点。
:
|
|
|
g****t
发帖数: 31659 | 51 dL之外其他的方法，距離你說的這個有問題的狀態，那不知道差了多少光年。
別說幾億的設備了。一般的公司，連做一個能供百萬人用的問答器的能力都沒有。上市
場就會有無數問題被打穿的。
: 不是embedding这么简单的。现在NLP搞不定的，是context，这个很可能不是连
续的。
: 还是没有回答我的问题，怎么知道解空间是连续的。
: stoa
【在 h*i 的大作中提到】
: 这个和我说用启发式，具体问题问题具体分析也意思差不多。
: 我还以为有什么方法。
|
l*******m
发帖数: 1096 | 52 空间是你自己定义的。比如离散优化经常relaxe到连续空间。
这个context问题，不是空间不空间的问题，是problem framing的问题，用最大似然还
是不用。现在最流行的解法都是最大似然的，所以解决不了context。如果不用贝叶斯
，attention是目前还是有些希望。可能的确需要些启发性算法，但是反对面不是BP，
而是最大似然
。
【在 h*i 的大作中提到】
: 不是embedding这么简单的。现在NLP搞不定的，是context，这个很可能不是连续的。
: 还是没有回答我的问题，怎么知道解空间是连续的。
:
: stoa
|
g****t
发帖数: 31659 | 53 當然不一樣了。物理學，或者別的學問，有實證以上的東西。例如 品味，美，思維經
濟性，等等。還有生產程序的管理維護等等。
很多東西是師傅傳徒弟的，就是這個原因。很多東西沒有形式化出來，目前是靠行業共
識也就是小圈子維持.
: 这个和我说用启发式，具体问题问题具体分析也意思差不多。
: 我还以为有什么方法。
【在 h*i 的大作中提到】
: 这个和我说用启发式，具体问题问题具体分析也意思差不多。
: 我还以为有什么方法。
|
g****t
发帖数: 31659 | 54 你這個可能是研究的現狀。我有個項目經過調研還是買msft 的nlp服務了。
: 空间是你自己定义的。比如离散优化经常relaxe到连续空间。
: 这个context问题，不是空间不空间的问题，是problem framing的问题，用最大
似然还
: 是不用。现在最流行的解法都是最大似然的，所以解决不了context。如果不用
贝叶斯
: ，attention是目前还是有些希望。可能的确需要些启发性算法，但是反对面不
是BP，
: 而是最大似然
: 。
【在 l*******m 的大作中提到】
: 空间是你自己定义的。比如离散优化经常relaxe到连续空间。
: 这个context问题，不是空间不空间的问题，是problem framing的问题，用最大似然还
: 是不用。现在最流行的解法都是最大似然的，所以解决不了context。如果不用贝叶斯
: ，attention是目前还是有些希望。可能的确需要些启发性算法，但是反对面不是BP，
: 而是最大似然
:
: 。
|
h*i
发帖数: 3446 | 55 说得有道理。
最大似然是一个原则，现在又有个啥最大自由能量原则，有点意思。不过这些单一的原
则可能都不会普遍适用。
我还没有具体研究过，不知道DL现在说的attention和认知心理学的attention有什么关
系。我做心理学的时代，本科和硕士的论文都是做attention的，当然是做实验的，我
设计的实验证实了人的视觉attention的移动跟电筒光柱移动类似。
attention其实是top-down processing的一种，估计可能比Bayesian prior要容易使用
一些，感觉和我的“暴力搜索“理念更容易匹配。
【在 l*******m 的大作中提到】
: 空间是你自己定义的。比如离散优化经常relaxe到连续空间。
: 这个context问题，不是空间不空间的问题，是problem framing的问题，用最大似然还
: 是不用。现在最流行的解法都是最大似然的，所以解决不了context。如果不用贝叶斯
: ，attention是目前还是有些希望。可能的确需要些启发性算法，但是反对面不是BP，
: 而是最大似然
:
: 。
|
