自变量之间呈函数关系回归方程的难点(1)
多元回归分析中篇幅最多的是线性回归,因为一般情况,非线性回归模型可用多项式线性转换,用最小二乘法求解待定回归系数。但如自变量之间不独立,即有相关关系时一般回归分析方法不合适。
比如二元回归方程,如考虑可能有二次幂变量,加上自变量之间也存在二次函数关系,有8个参数需待定。
最简单的二元一次回归方程,如自变量X和Z之间有函数关系的标准表达式应如下:
Y=a+f(Z)X+β2Z,(X是自变量,Z为解释变量。)此式原线性回归式中X的回归系数β1被Z的函数取代。f(Z)如是线性函数,展开化简后呈常见的X、Z和XZ三项变量。用f(Z)取代β1回归系数的表达式为了说明,XZ乘积项不能单从乘积符号上理解为《积事件》。在DOE中常有想从XZ交互作用中分离出X或Z的贡献,或“分散”交互作用的想法是徒劳的,自变量之间函数关系,比自变量与因变量响应呈非线性函数复杂得多。
Z变动影响因变量,同时Z变动引起X项系数的变动,间接影响因变量,即呈双重作用。β1如是常数,则是多元线性回归方程,可用最小二乘法求解。f(Z)如是线性函数,回归系数成为变量:当z变动时,X变量的斜率也会变动。在因子趋势图上会呈现X和Z的折线会相交,则有一级交互作用。此时直接用线性回归的最小二乘法不适,最好用偏最小二乘法求解。f(Z)如是非线性函数,传统偏最小二乘法也不适,需用《改进的非线性偏最小二乘法》。有文献观点:有时交互作用不显著,而线性回归又无法拟合,可能自变量之间呈非线性函数。
(参考文献:《多元回归中的交互作用》,《改进的高维非线性偏最小二乘回归模型及应用》)
比如二元回归方程,如考虑可能有二次幂变量,加上自变量之间也存在二次函数关系,有8个参数需待定。
最简单的二元一次回归方程,如自变量X和Z之间有函数关系的标准表达式应如下:
Y=a+f(Z)X+β2Z,(X是自变量,Z为解释变量。)此式原线性回归式中X的回归系数β1被Z的函数取代。f(Z)如是线性函数,展开化简后呈常见的X、Z和XZ三项变量。用f(Z)取代β1回归系数的表达式为了说明,XZ乘积项不能单从乘积符号上理解为《积事件》。在DOE中常有想从XZ交互作用中分离出X或Z的贡献,或“分散”交互作用的想法是徒劳的,自变量之间函数关系,比自变量与因变量响应呈非线性函数复杂得多。
Z变动影响因变量,同时Z变动引起X项系数的变动,间接影响因变量,即呈双重作用。β1如是常数,则是多元线性回归方程,可用最小二乘法求解。f(Z)如是线性函数,回归系数成为变量:当z变动时,X变量的斜率也会变动。在因子趋势图上会呈现X和Z的折线会相交,则有一级交互作用。此时直接用线性回归的最小二乘法不适,最好用偏最小二乘法求解。f(Z)如是非线性函数,传统偏最小二乘法也不适,需用《改进的非线性偏最小二乘法》。有文献观点:有时交互作用不显著,而线性回归又无法拟合,可能自变量之间呈非线性函数。
(参考文献:《多元回归中的交互作用》,《改进的高维非线性偏最小二乘回归模型及应用》)