Többváltozós lineáris regresszió, klasszifikáció, logisztikus regresszió

• Többváltozós lineáris regresszió, klasszifikáció, logisztikus regresszió
  • Több input-változós lineáris regresszió
    • Feature scaling
  • Klasszifikáció
    • Bináris klasszifikáció
      • Sigmoid függvény
  • Logisztikus regresszió
  • Források

Több input-változós lineáris regresszió

Hipotézisfüggvény $n$ változó esetén: $$y\approx \hat{y}=h(x)={\theta }_n{x}_n+{\theta }_{n-1}{x}_{n-1}+\cdots +{\theta }_1{x}_1+{\theta }_0$$

Vektoros alakban: $$y\approx \hat{y}=h(x^{(j)})=⟨x^{(j)}⟩=\sum _{i=0}^n{\theta }_i{x}_i$$

Költségfüggvény $n$ változó esetén: $$J({\theta }_0,{\theta }_1,\dots {\theta }_n)=\frac{1}{2m}\sum _{j=1}^m({\theta }_n{x}_n^{(j)}+{\theta }_{n-1}{x}_{n-1}^{(j)}+\cdots +{\theta }_1{x}_1^{(j)}-y^{(j)}{)}^2$$

Feature scaling

Az input változók azonos nagyságrenre hozása

• $[0,1]$ intervallumra min-max skálázás
• sztenderdizálás (ez preferált)

$$\forall i,j:x_i^{(j)}=\frac{x_i^{(j)}-{\min }_j(\{x_i^{(j)}\})}{{\max }_j(\{x_i^{(j)}\})-{\min }_j(\{x_i^{(j)}\})}$$

Klasszifikáció

Példa: kategorizáljuk a fényképeket a rajta szereplő állatok szerint.

Pl. "kutya" = 1, "macska" = 2, "papagáj" = 3

Ekkor a regresszióval ez a baj: macska = 0.5 * "kutya" + 0.5 * "papagáj"

Ehelyett valószínűséget fogunk becsülni

• Mennyi a valószínűsége, hogy egy mintaelem az adott kategóriába tartozik?

Bináris klasszifikáció

$$\begin{gathered} \hat{y}=h(x)=P(x\mathrm{egymacska}) \\ \hat{y}=h(x)=1-P(x\mathrm{egykutya}) \end{gathered}$$

A becslés folytonos érték, és mivel valószínűséget becslünk, a címkék gyakorlatban folytonos értékek, így megpróbálkozhatunk lineáris regresszióval.

Sigmoid függvény

A lineáris regresszió nem ideális klasszifikációs feladatokhoz, mert nagyon érzékeny a kiugró értékekre.

Használhatunk inkébb sigmoid függvényt: $$g(z)=\frac{1}{1+e^{-z}}$$

Logisztikus regresszió: $$h_{\theta }(x)=g({\theta }_0{\theta }_{1}x)=\frac{1}{1+e^{-({\theta }_0+{\theta }_{1}x)}}=\hat{y}$$

Logisztikus regresszió

Itt már a mean squared error költségfüggvény nem lesz konvex, ha a az új $h_{\theta }(x)$-et behelyettesítjük.

Itt inkább ezt használjuk (cross entropy): $$J(\theta )=\frac{1}{m}\sum _{j=1}^m[-y^{(j)}\log (h_{\theta }(x^{(j)}))-(1-y^{(j)})\log (1-h_{\theta }(x^{(j)}))]$$

Ezután használhatjuk a gradiens módszert.

Források

• Diasor