機器學習第一課,邏輯迴歸沒有解析解(至少目前沒有找到,僅在binary classes的情況下可以找到[1]),遑論神經網路了。
即使有解析解,由於大部分情況下神經網路的損失函式為非凸函式,KKT condition(偏導為0算是其中一項)僅僅是非凸函式最最佳化的必要非充分條件。
[1] Lipovetsky, Stan. "Analytical closed-form solution for binary logit regression by categorical predictors." Journal of Applied Statistics 42.1 (2015): 37-49. (Analytical closed-form solution for binary logit regression by categorical predictors )
機器學習第一課,邏輯迴歸沒有解析解(至少目前沒有找到,僅在binary classes的情況下可以找到[1]),遑論神經網路了。
即使有解析解,由於大部分情況下神經網路的損失函式為非凸函式,KKT condition(偏導為0算是其中一項)僅僅是非凸函式最最佳化的必要非充分條件。
[1] Lipovetsky, Stan. "Analytical closed-form solution for binary logit regression by categorical predictors." Journal of Applied Statistics 42.1 (2015): 37-49. (Analytical closed-form solution for binary logit regression by categorical predictors )
https://link.zhihu.com/?target=http%3A//www.tandfonline.com/doi/abs/10.1080/02664763.2014.932760