c*******v
发帖数: 2599 | 1 Question:
有一个0信息环境。输入一个字ABCDE,可以得到一个输出y。求一个字，使得环境给的输
出接近1。
在这个setup下，其实算法什么都做不了，不然就和“0信息”矛盾。现在假设不知道环
境信息是否为0。
人能做什么？机器能做什么？
参数调节+算法系统中的绝大多数都是单参数群。换句话说，x（k）走到x（k+1），迭
代的次数，
是一个数。只有一个running index的系统先天是不足的。遗传算法是第一个有i，j两
个running index的学习
系统。
和其他的算法类似，跑在一维running index上的算法，和跑在2维running index上的
算法有本质不同。
后者大致和偏微分方程描述的过程对应。我们可以想象两维格点，收敛最快的单一轨迹
是一条折线,不是line search。
除了population based algorithm，还有别的办法把算法扩展到更高维。可以对i这个
单一的running index：i分类。
这就是mini batch算法的由来。分成batch，这个划分，多了一个batch size这个维度
。由此扩展，还可以
往更高一层分组。这样就可以扩展为高维学习算法。那么最优学习路径，事后看来，就
是高维折线。
但是这里有个问题。即便不考虑物理世界,算法和伪随机数本身定义的问题，这个问题
空间显然远远大于
格点组成的空间。换句话说，绝大多数问题，其实是无法用格点这样的学习轨迹走出来
的。因此，我们要重新思考
这些迭代过程。
理想情况下，如果有一个工具，可以把单一running index i按照rule 分类，然后这
个rule本身一个turing完备的语言。
那么这两个空间就不存在阿列夫阶次的差别。例如下面的程序：
第一部分，按照下面格式，构造n个机器学习算法。
（1）定义2个对字的编辑操作为T，S。T，S可以是两个字母互换，或者3个字母互换。
（2）定义随机序列r = ST。应用r 在随机字上，观察输出y是否接近1。如果大多数结
果更好。
那么r就是favorable方向。下一步随机应用在字上r次。如果不然，就应用TS。
第二部分，假定有a，b，c三个算法。那么根据一个enigma，也就是abbaacc序列，
对应的应用a，b，c算法。
第三部分，积分GOTO。假如a算法应用了多次，这个counter触发了threshold，enigma
的指针往回走1格。
假入b算法已经应用了多次，enigma的指针往回走2格。
第四部分，微分GOTO。假如ab出现了多次，enigma在末尾加上ba。
enigma可以热操作。换句话说，你把一个enigma copy进去，下一步就会用新的enigma，
依照程序执行。这部分表示人机互动。
这个方法事实上是 调参数－跑算法看性能－调参数－ 的人类过程的模拟。因为调参数
的空间是图灵机。
所以它的能力高于一切i，j，k，为基础的办法。
这样完成了一个闭环。现在的claim是：只要学习的问题的可能的feasible空间，比
enigma上面的程序的空间小。
就一定可以学出来。所以这个算法可以通用的适用于一切NP问题setup里的先验知识。
例如VLSI，里面有很多直线。
假如你知道这条领域知识，那可以用单纯形法的改进来估计。在我这个算法里，领域知
识用enigma表示。
只要你写对enigma，就可以找到解。那么学习领域知识这个任务，就变成了写enigma。
我现在就在写这个enigma。实际上就是看看算法跑的效果，copy，cut，paste改改
enigma里的字符串。改改goto的threshold。 |
|
