s*********d 发帖数: 19 | 1 遇到求解一个复杂函数的最优解问题
设F(T)是一个关于多维的向量T的复杂函数表达式,现在想求取最优T值,s.t. min(F(T
))达到最小值
按照最初的设想是:
a) 求出F(T)对于T的gradient decent表达式F'(T),给定一个T的初始值T_0,step
size K 和tolerance value M,
b) 将T_0代入F'(T)并normalization(F_n'(T_0)=F'(T_0)/|F'(T_0)|)
c) 更新T为T_1(T_1=T_0-K*F_n'(T_0)),依此做iterarion,直到T的两次值T_n,T_n+1的
变化小于M
按照上述方法我尝试了一下,做了20次iteration后,F(T)的值是变小了,但是变化速
度很慢,比较费时间,有没有比较快速一些求解方法? |
S***w 发帖数: 1014 | 2 不懂
帮你顶
(T
【在 s*********d 的大作中提到】 : 遇到求解一个复杂函数的最优解问题 : 设F(T)是一个关于多维的向量T的复杂函数表达式,现在想求取最优T值,s.t. min(F(T : ))达到最小值 : 按照最初的设想是: : a) 求出F(T)对于T的gradient decent表达式F'(T),给定一个T的初始值T_0,step : size K 和tolerance value M, : b) 将T_0代入F'(T)并normalization(F_n'(T_0)=F'(T_0)/|F'(T_0)|) : c) 更新T为T_1(T_1=T_0-K*F_n'(T_0)),依此做iterarion,直到T的两次值T_n,T_n+1的 : 变化小于M : 按照上述方法我尝试了一下,做了20次iteration后,F(T)的值是变小了,但是变化速
|
p*****e 发帖数: 310 | 3 保证全局最优吗?你用的不是牛顿法?
(T
【在 s*********d 的大作中提到】 : 遇到求解一个复杂函数的最优解问题 : 设F(T)是一个关于多维的向量T的复杂函数表达式,现在想求取最优T值,s.t. min(F(T : ))达到最小值 : 按照最初的设想是: : a) 求出F(T)对于T的gradient decent表达式F'(T),给定一个T的初始值T_0,step : size K 和tolerance value M, : b) 将T_0代入F'(T)并normalization(F_n'(T_0)=F'(T_0)/|F'(T_0)|) : c) 更新T为T_1(T_1=T_0-K*F_n'(T_0)),依此做iterarion,直到T的两次值T_n,T_n+1的 : 变化小于M : 按照上述方法我尝试了一下,做了20次iteration后,F(T)的值是变小了,但是变化速
|
s*********d 发帖数: 19 | 4 不能保证,是梯度下降法,只能保证找到局部最优
【在 p*****e 的大作中提到】 : 保证全局最优吗?你用的不是牛顿法? : : (T
|
l*****i 发帖数: 3929 | 5 最速下降法很容易zigzag的,还是换牛顿法吧
【在 s*********d 的大作中提到】 : 不能保证,是梯度下降法,只能保证找到局部最优
|
k**********g 发帖数: 989 | 6 Majorization (Jan de Leeuw) |