j*****n 发帖数: 1545 | 1 有一个functon f(x,y), 要找optimum. 直接优化x和y难度很大, 但是可以分别优化:
固定y, 优化x; 固定x, 优化y. 而且这个分别优化能够保证是 global optimum.
我的问题是我的这个迭代的算法能保证最后的结果是最优吗?
step 1: fix y_0, update x_0 to the optimal solution x_1
step 2: fix x_1, update y_1 to the optimal solution y_2
step 3: go to step 1 and iterate until convergence.
我觉得好像和conjugate gradient系列的算法很像, 但我一下想不出来我这个算法是对
还是错. 求指点. 如果有定理之类的可以参考最好!! | d******e 发帖数: 7844 | 2 这个和conjugate gradient差不多少呢吧。
你这不就是一个bi-convex问题么,你这么算十有八九都不是global解
【在 j*****n 的大作中提到】 : 有一个functon f(x,y), 要找optimum. 直接优化x和y难度很大, 但是可以分别优化: : 固定y, 优化x; 固定x, 优化y. 而且这个分别优化能够保证是 global optimum. : 我的问题是我的这个迭代的算法能保证最后的结果是最优吗? : step 1: fix y_0, update x_0 to the optimal solution x_1 : step 2: fix x_1, update y_1 to the optimal solution y_2 : step 3: go to step 1 and iterate until convergence. : 我觉得好像和conjugate gradient系列的算法很像, 但我一下想不出来我这个算法是对 : 还是错. 求指点. 如果有定理之类的可以参考最好!!
| j*****n 发帖数: 1545 | 3 我也意识到不能保证global optimum了, 不过我不赞同 "十有八九都不是global解",
因为他在每个方向上都能找到最优解,所以不像gradient descent之类的方法(
neighbor的定义很local), 它的neighbor定义是很大的, 只要initial在某个很大的范
围内,就能找到最优解. | d******e 发帖数: 7844 | 4 这个biconvex问题一般没人care你的解是不是global的,只要local解足够好就行了
,
【在 j*****n 的大作中提到】 : 我也意识到不能保证global optimum了, 不过我不赞同 "十有八九都不是global解", : 因为他在每个方向上都能找到最优解,所以不像gradient descent之类的方法( : neighbor的定义很local), 它的neighbor定义是很大的, 只要initial在某个很大的范 : 围内,就能找到最优解.
| j*****n 发帖数: 1545 | 5 我去看看biconvex的问题, 我想问一下,其实我的f(x,y)在每个方向上都不是convex
的,只是我可以用某种特殊方法找到global解,那还能和biconvex的理论扯上吗?
万分感谢
【在 d******e 的大作中提到】 : 这个biconvex问题一般没人care你的解是不是global的,只要local解足够好就行了 : : ,
| l******e 发帖数: 470 | 6 看你f(x,y)是什么函数了
很容易给你的算法找个反例。
,
【在 j*****n 的大作中提到】 : 我也意识到不能保证global optimum了, 不过我不赞同 "十有八九都不是global解", : 因为他在每个方向上都能找到最优解,所以不像gradient descent之类的方法( : neighbor的定义很local), 它的neighbor定义是很大的, 只要initial在某个很大的范 : 围内,就能找到最优解.
|
|