广义线性模型

众所周知，线性模型是：
$$
\begin{align}y &= \beta_0 + x_1 \beta_1 +x_2 \beta_2 +\cdots + x_p \beta_p + \epsilon\\&= x^T \beta + \epsilon\end{align}
$$
那么广义线性模型（Generalized linear models,GLM）相当于把y变为了$g(y)$。

指数族分布

可以写成
$$
p(y|\theta) = \exp {\frac{\theta y - b(\theta)}{a(\phi)} + c(y,\phi)}
$$
a通常定义为，其中w是样本权重：
$$
a(\phi) = \frac{\phi}{w_i}
$$

广义线性模型

1. 一个线性预测器 $\eta=\beta^Tx$，被称为系统组件(systematic component)。
2. 一个指数族分布作为响应变量 Y概率分布$P（Y；\theta)$，被称为随机组件(random component)。
3. 一个连接函数（link function） g 使得 $\eta=g(\mu)$，$\mu$是Y 的期望，连接函数描述系统组件和随机组件之间的关系。

PRML上称$g^{-1}$为激活函数（activation function）。

g要求是任意可微和可逆的，也就是说g是单调的。

但是我也找到一篇印度人写的《GENERALIZED LINEAR MODELS WITH NON-MONOTONIC LINK FUNCTION》，似乎是不用单调连接函数，但可惜没有找到pdf，未能浏览全文。

如何优化

最大似然估计

梯度法

牛顿法

等等

参考资料

https://www.zhangzhenhu.com/glm/source/广义线性模型/content.html

PRML

---