c*******v
发帖数: 2599 | 1 http://www.ece.ubc.ca/~sasha/papers/eurosys16-final29.pdf
=======================
这些scheduler都不是以预测为基础的算法。
也就是reforement learning或者预测控制为基础的办法。
我认为实际上大型的服务器，客户端给的request可预测性更强。
反而是很少用户的服务器，客户端给的需求难以预测。
在现代AI／ML把线性代数普及到程序员级别后，
会有更好的solution。 |
c*******v
发帖数: 2599 | 2 Actually I felt Android did better.
【在 c*******v 的大作中提到】
: http://www.ece.ubc.ca/~sasha/papers/eurosys16-final29.pdf
: =======================
: 这些scheduler都不是以预测为基础的算法。
: 也就是reforement learning或者预测控制为基础的办法。
: 我认为实际上大型的服务器，客户端给的request可预测性更强。
: 反而是很少用户的服务器，客户端给的需求难以预测。
: 在现代AI／ML把线性代数普及到程序员级别后，
: 会有更好的solution。
|
h*i
发帖数: 3446 | 3 prediction based algorithms will have un-forseen problems.
Do that with cpu, you get meltdown etc.
Do that with OS scheduler, you will probably enable some kind of attacks.
I would rather let these decisions to app developers: provide a bunch of
toolkit, so they can choose, config, or even customize their own scheduler
algorithms for their needs.
【在 c*******v 的大作中提到】
: http://www.ece.ubc.ca/~sasha/papers/eurosys16-final29.pdf
: =======================
: 这些scheduler都不是以预测为基础的算法。
: 也就是reforement learning或者预测控制为基础的办法。
: 我认为实际上大型的服务器，客户端给的request可预测性更强。
: 反而是很少用户的服务器，客户端给的需求难以预测。
: 在现代AI／ML把线性代数普及到程序员级别后，
: 会有更好的solution。
|
g****t
发帖数: 31659 | 4 Let's write some books and give some talks on "best practice of coding xxx
app" to handle the un-forseen problems.
【在 h*i 的大作中提到】
: prediction based algorithms will have un-forseen problems.
: Do that with cpu, you get meltdown etc.
: Do that with OS scheduler, you will probably enable some kind of attacks.
: I would rather let these decisions to app developers: provide a bunch of
: toolkit, so they can choose, config, or even customize their own scheduler
: algorithms for their needs.
|
c*******v
发帖数: 2599 | 5 http://www.ece.ubc.ca/~sasha/papers/eurosys16-final29.pdf
=======================
这些scheduler都不是以预测为基础的算法。
也就是reforement learning或者预测控制为基础的办法。
我认为实际上大型的服务器，客户端给的request可预测性更强。
反而是很少用户的服务器，客户端给的需求难以预测。
在现代AI／ML把线性代数普及到程序员级别后，
会有更好的solution。 |
c*******v
发帖数: 2599 | 6 Actually I felt Android did better.
【在 c*******v 的大作中提到】
: http://www.ece.ubc.ca/~sasha/papers/eurosys16-final29.pdf
: =======================
: 这些scheduler都不是以预测为基础的算法。
: 也就是reforement learning或者预测控制为基础的办法。
: 我认为实际上大型的服务器，客户端给的request可预测性更强。
: 反而是很少用户的服务器，客户端给的需求难以预测。
: 在现代AI／ML把线性代数普及到程序员级别后，
: 会有更好的solution。
|
h*i
发帖数: 3446 | 7 prediction based algorithms will have un-forseen problems.
Do that with cpu, you get meltdown etc.
Do that with OS scheduler, you will probably enable some kind of attacks.
I would rather let these decisions to app developers: provide a bunch of
toolkit, so they can choose, config, or even customize their own scheduler
algorithms for their needs.
【在 c*******v 的大作中提到】
: http://www.ece.ubc.ca/~sasha/papers/eurosys16-final29.pdf
: =======================
: 这些scheduler都不是以预测为基础的算法。
: 也就是reforement learning或者预测控制为基础的办法。
: 我认为实际上大型的服务器，客户端给的request可预测性更强。
: 反而是很少用户的服务器，客户端给的需求难以预测。
: 在现代AI／ML把线性代数普及到程序员级别后，
: 会有更好的solution。
|
g****t
发帖数: 31659 | 8 Let's write some books and give some talks on "best practice of coding xxx
app" to handle the un-forseen problems.
【在 h*i 的大作中提到】
: prediction based algorithms will have un-forseen problems.
: Do that with cpu, you get meltdown etc.
: Do that with OS scheduler, you will probably enable some kind of attacks.
: I would rather let these decisions to app developers: provide a bunch of
: toolkit, so they can choose, config, or even customize their own scheduler
: algorithms for their needs.
|
c*******v
发帖数: 2599 | 9 这个贴更有意思。作者之结论，有github代码可以实证。
【在 c*******v 的大作中提到】
: http://www.ece.ubc.ca/~sasha/papers/eurosys16-final29.pdf
: =======================
: 这些scheduler都不是以预测为基础的算法。
: 也就是reforement learning或者预测控制为基础的办法。
: 我认为实际上大型的服务器，客户端给的request可预测性更强。
: 反而是很少用户的服务器，客户端给的需求难以预测。
: 在现代AI／ML把线性代数普及到程序员级别后，
: 会有更好的solution。
|
h**********c
发帖数: 4120 | 10 你能定义下这个AI/ML，
很多统计上的优化，在大规模集成电路的设计中已经用过了。不如叫给年轻人实际的职
业技能，比如计算机辅助翻肉并啥的
【在 c*******v 的大作中提到】
: http://www.ece.ubc.ca/~sasha/papers/eurosys16-final29.pdf
: =======================
: 这些scheduler都不是以预测为基础的算法。
: 也就是reforement learning或者预测控制为基础的办法。
: 我认为实际上大型的服务器，客户端给的request可预测性更强。
: 反而是很少用户的服务器，客户端给的需求难以预测。
: 在现代AI／ML把线性代数普及到程序员级别后，
: 会有更好的solution。
|
|
|
c*******v
发帖数: 2599 | 11 我管别人的事干嘛。驴头不对马嘴的人多了，你操心的过来吗。
linux kernel之前有遗传算法scheduler patch (2005),
我说的思路，不是啥独创。只是随便一说而已。从优化的角度而言，
NP类型的问题，组合优化问题，一直有人用AI/ML做。
https://mandrivausers.org/index.php?/topic/21976-tuning-the-kernel-with-a-
genetic-algorithm/&tab=comments#comment-164521
【在 h**********c 的大作中提到】
: 你能定义下这个AI/ML，
: 很多统计上的优化，在大规模集成电路的设计中已经用过了。不如叫给年轻人实际的职
: 业技能，比如计算机辅助翻肉并啥的
|
n******t
发帖数: 4406 | 12 這事情上面Linus是對的，別去在意他裝逼的語氣。
scheduler沒啥好折騰的，越複雜越沒用。因爲真正scale的時候都是app自己調度的。
當然這東西學術界的人始終有興趣，聽起來高大上，外行還不懂，又能發頂會，何樂而
不爲呢？
我有一個專搞吞吐優化的系統，最後最好的性能是在no scheduler上面搞出來的。
scheduler弄來弄去唯一有點用的地方是桌面系統，所以平心而論這一點上面其實M$做
得還行。
【在 c*******v 的大作中提到】
: 这个贴更有意思。作者之结论，有github代码可以实证。
|
c*******v
发帖数: 2599 | 13 我看，Linus说的与做的可能要分开。
遗传算法scheduler还就是在linux上实战过（见之前的link）。
其他的系统（NT，Solaris，Mac，IBM/HP Unix,etc），此类fancy项目不可能进去的。
2005年linux应该是linus基本完全掌控的。
【在 n******t 的大作中提到】
: 這事情上面Linus是對的，別去在意他裝逼的語氣。
: scheduler沒啥好折騰的，越複雜越沒用。因爲真正scale的時候都是app自己調度的。
: 當然這東西學術界的人始終有興趣，聽起來高大上，外行還不懂，又能發頂會，何樂而
: 不爲呢？
: 我有一個專搞吞吐優化的系統，最後最好的性能是在no scheduler上面搞出來的。
: scheduler弄來弄去唯一有點用的地方是桌面系統，所以平心而論這一點上面其實M$做
: 得還行。
|
c*******v
发帖数: 2599 | 14 另外对固定任务的机器而言，(我认为）理论上来说，优化到最后要做的反而是去掉OS
带来的
overhead。
----道理很明显：OS那堆各种资源优化，从内存到进程线程，都是针对通用计算机的。
就是说未来机器干什么是不知道的，但是有几个假设的条件。（例如最近用过的线程，
下一次更容易起来。）
然而，要是一个server是任务固定和明确的，那些东西包括OS里面很多东西都是没用的。
这就是这件事荒谬的地方。
所以从这个角度而言，我同意你的说法。
【在 n******t 的大作中提到】
: 這事情上面Linus是對的，別去在意他裝逼的語氣。
: scheduler沒啥好折騰的，越複雜越沒用。因爲真正scale的時候都是app自己調度的。
: 當然這東西學術界的人始終有興趣，聽起來高大上，外行還不懂，又能發頂會，何樂而
: 不爲呢？
: 我有一個專搞吞吐優化的系統，最後最好的性能是在no scheduler上面搞出來的。
: scheduler弄來弄去唯一有點用的地方是桌面系統，所以平心而論這一點上面其實M$做
: 得還行。
|
n******t
发帖数: 4406 | 15 Linux自己就是一個open source項目誰願意加什麼加什麼本來就沒限制。你要merge進
linus的branch當然另說。
但是其實在Linux被大公司控制之前，從商用角度來說本身merge進kernel tree並不是
很重要，很多公司維護 out-of-tree kerne很多年，沒有任何問題。
【在 c*******v 的大作中提到】
: 我看，Linus说的与做的可能要分开。
: 遗传算法scheduler还就是在linux上实战过（见之前的link）。
: 其他的系统（NT，Solaris，Mac，IBM/HP Unix,etc），此类fancy项目不可能进去的。
: 2005年linux应该是linus基本完全掌控的。
|
n******t
发帖数: 4406 | 16 任務固定不一定說只run一個任務，所以OS裏面很多東西還是有用的。但是這個裏面那
些需要那些不需要，是一個trade off，知道搞到什麼程度適可而止是這裏面最重要的
技術。
過猶不及這件事情，很多做CS人是不理解的，因爲這件事情需要的是審美，不是具體知
識。當然成天刷題的人更是已經失去了養成正確審美的能力。
OS
的。
【在 c*******v 的大作中提到】
: 另外对固定任务的机器而言，(我认为）理论上来说，优化到最后要做的反而是去掉OS
: 带来的
: overhead。
: ----道理很明显：OS那堆各种资源优化，从内存到进程线程，都是针对通用计算机的。
: 就是说未来机器干什么是不知道的，但是有几个假设的条件。（例如最近用过的线程，
: 下一次更容易起来。）
: 然而，要是一个server是任务固定和明确的，那些东西包括OS里面很多东西都是没用的。
: 这就是这件事荒谬的地方。
: 所以从这个角度而言，我同意你的说法。
|
T********i
发帖数: 2416 | 17 我当年开源发布的那个12306，就是针对no scheduler做的的一个小程序。
不需要扯淡，自动就能最优。 |
c*******v
发帖数: 2599 | 18 你把之前别人贴那个并行计算c程序自动优化下看看要多久算出来。
其最初版本有大数组access。
【在 T********i 的大作中提到】
: 我当年开源发布的那个12306，就是针对no scheduler做的的一个小程序。
: 不需要扯淡，自动就能最优。
|
T********i
发帖数: 2416 | 19 我从来不刷任何题，没空，也没那个能力。
: 你把之前别人贴那个并行计算c程序自动优化下看看要多久算出来。
: 其最初版本有大数组access。
【在 c*******v 的大作中提到】
: 你把之前别人贴那个并行计算c程序自动优化下看看要多久算出来。
: 其最初版本有大数组access。
|
