l****r 发帖数: 119 | 1 用tensorflow做ctr预估,我用cpu单机调用tensorflow estimator api训练一个简单的
模型,比如FFM,每一个minibatch的训练速度其实很快,比如一个batch 500个样本,
速度2ms吧。想提高训练速度。。我发现tensorflow session.run()的开销挺大的,因
为每次都检查输入的是什么。。estimator api调用monitoredsession,session.run之
前之后检查各种hook,开销更大~1ms。所以这个模型一半的时间消耗在python代码里,
难以提速。
请教大牛,大样本的ctr预估模型,一般怎么加速?调c++ api么?多谢! |
l*******m 发帖数: 1096 | 2 你这个模型应该上TF v2,TF.function 可以让一句python跑n iterations. 所以
python的overhead大大减少。我的gnn, 用tf.function比eager快了快一倍,估计比v1
的静态图快20-40%
:用tensorflow做ctr预估,我用cpu单机调用tensorflow estimator api训练一个简单
的模型,比如FFM,每一个minibatch的训练速度其实很快,比如一个batch 500个样本,
:速度2ms吧。想提高训练速度。。我发现tensorflow session.run()的开销挺大的,因 |
l****r 发帖数: 119 | 3 多谢!TF2.0 的estimator api 比TF1.x快么?我回去研究一下
v1
本,
,因
【在 l*******m 的大作中提到】 : 你这个模型应该上TF v2,TF.function 可以让一句python跑n iterations. 所以 : python的overhead大大减少。我的gnn, 用tf.function比eager快了快一倍,估计比v1 : 的静态图快20-40% : : :用tensorflow做ctr预估,我用cpu单机调用tensorflow estimator api训练一个简单 : 的模型,比如FFM,每一个minibatch的训练速度其实很快,比如一个batch 500个样本, : :速度2ms吧。想提高训练速度。。我发现tensorflow session.run()的开销挺大的,因
|
b******g 发帖数: 77 | 4 训练用python,训练完export成saved model,用model server serving。 |
l****r 发帖数: 119 | 5 是的想提高训练的速度
【在 b******g 的大作中提到】 : 训练用python,训练完export成saved model,用model server serving。
|
l*******m 发帖数: 1096 | 6 不清楚。我v1也用estimator, v2不用了。主要是虽然还支持但不鼓励。我用keras建模
,但自己写train loop, 这样自己好控制
:多谢!TF2.0 的estimator api 比TF1.x快么?我回去研究一下
: |