Jakou roli hraje rovnice nadroviny (mathbf{x} cdot mathbf{w} + b = 0) v kontextu Support Vector Machines (SVM)?

/ / Vyšlo v Umělá inteligence, Strojové učení EITC/AI/MLP s Pythonem, Podpora vektor stroj, Podpora optimalizace vektorových strojů, Přehled vyšetření

V oblasti strojového učení, zejména v kontextu podpůrných vektorových strojů (SVM), rovnice nadroviny \mathbf{x} \cdot \mathbf{w} + b = 0 hraje stěžejní roli. Tato rovnice je zásadní pro fungování SVM, protože definuje hranici rozhodování, která odděluje různé třídy v datové sadě. Abychom pochopili význam této nadroviny, je nezbytné vzít v úvahu mechaniku SVM, zahrnutý optimalizační proces a geometrickou interpretaci nadroviny.

Koncept hyperplánu

Nadrovina v n-rozměrném prostoru je plochý afinní podprostor dimenze n-1. Pro dvourozměrný prostor je nadrovina jednoduše čára, zatímco ve třech rozměrech je to rovina. V kontextu SVM se nadrovina používá k oddělení datových bodů patřících do různých tříd. Rovnice \mathbf{x} \cdot \mathbf{w} + b = 0 představuje tuto nadrovinu, kde:
- \mathbf{x} je vektor vstupního prvku.
- \mathbf{w} je hmotnostní vektor, který je ortogonální k nadrovině.
- b je termín zkreslení, který posouvá nadrovinu od počátku.

Geometrická interpretace

Geometrický výklad rovnice nadroviny spočívá v tom, že rozděluje prostor příznaků na dvě poloviny. Datové body na jedné straně nadroviny jsou klasifikovány jako jedna třída, zatímco body na druhé straně jsou klasifikovány jako opačné třídy. Vektor \mathbf{w} určuje orientaci nadroviny a člen vychýlení b určuje jeho polohu.

Pro daný datový bod \mathbf{x}, znamení \mathbf{x} \cdot \mathbf{w} + b označuje, na které straně nadroviny bod leží. Li \mathbf{x} \cdot \mathbf{w} + b > 0, bod je na jedné straně, a pokud \mathbf{x} \cdot \mathbf{w} + b < 0, je na druhé straně. Tato vlastnost se využívá v procesu klasifikace k přiřazení štítků k datovým bodům.

Role v optimalizaci SVM

Primárním cílem SVM je najít optimální nadrovinu, která maximalizuje rozpětí mezi těmito dvěma třídami. Okraj je definován jako vzdálenost mezi nadrovinou a nejbližšími datovými body z obou tříd, známými jako podpůrné vektory. Optimální nadrovina je ta, která maximalizuje tuto rezervu, čímž zajišťuje, že klasifikátor má nejlepší možnou schopnost zobecnění.

Problém optimalizace v SVM lze formulovat následovně:

1. Primární formulace:

    \[ \min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \]

s výhradou omezení:

    \[ y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 \quad \forall i \]

Zde, y_i představuje označení třídy i-tý datový bod, který může být +1 nebo -1. Omezení zajišťují, že všechny datové body jsou správně klasifikovány s rezervou alespoň 1.

2. Duální složení:
Zavedením Lagrangeových multiplikátorů \alpha_i, lze optimalizační problém převést do jeho duální podoby:

    \[ \max_{\alpha} \sum_{i=1}^n \alpha_i - \frac{1}{2} \sum_{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j y_i y_j (\mathbf{x}_i \cdot \mathbf{x}_j) \]

předmětem:

    \[ \sum_{i=1}^n \alpha_i y_i = 0 \quad \text{and} \quad 0 \leq \alpha_i \leq C \quad \forall i \]

Zde, C je regularizační parametr, který řídí kompromis mezi maximalizací marže a minimalizací chyb klasifikace.

Jaderný trik

V mnoha praktických scénářích nemusí být data v původním prostoru prvků lineárně oddělitelná. K vyřešení tohoto problému používají SVM trik s jádrem, který zahrnuje mapování vstupních dat do vícerozměrného prostoru, kde je možné lineární oddělení. Funkce jádra K(\mathbf{x}_i, \mathbf{x}_j) vypočítá bodový součin v tomto vícerozměrném prostoru bez explicitního provedení transformace. Mezi běžně používané funkce jádra patří polynomiální jádro, jádro s radiální bázovou funkcí (RBF) a sigmoidní jádro.

Duální formulaci problému optimalizace SVM lze přepsat pomocí funkce jádra jako:

    \[ \max_{\alpha} \sum_{i=1}^n \alpha_i - \frac{1}{2} \sum_{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j y_i y_j K(\mathbf{x}_i, \mathbf{x}_j) \]

předmětem:

    \[ \sum_{i=1}^n \alpha_i y_i = 0 \quad \text{and} \quad 0 \leq \alpha_i \leq C \quad \forall i \]

Podpora vektorů a marže

Podpěrné vektory jsou datové body, které leží nejblíže nadrovině a mají přímý vliv na její polohu a orientaci. Tyto body splňují podmínku y_i (\mathbf{x}_i \cdot \mathbf{w} + b) = 1. Okraj je vzdálenost mezi nadrovinou a těmito podpůrnými vektory. Matematicky, marže M je dána:

    \[ M = \frac{2}{\|\mathbf{w}\|} \]

Cílem optimalizace SVM je maximalizovat tuto rezervu, což je ekvivalentní minimalizaci \frac{1}{2} \|\mathbf{w}\|^2. To vede k robustnímu klasifikátoru, který je méně citlivý na šum a má lepší možnosti zobecnění.

Příklad

Zvažte jednoduchý příklad ve dvourozměrném prostoru, kde máme dvě třídy datových bodů. Cílem je najít optimální nadrovinu, která odděluje tyto třídy s maximální rezervou. Předpokládejme, že máme následující datové body:

– třída +1: (1, 2), (2, 3), (3, 3)
– Třída -1: (2, 1), (3, 2), (4, 1)

Algoritmus SVM najde vektor hmotnosti \mathbf{w} a zkreslení b které definují optimální nadrovinu. V tomto případě může být nadrovina reprezentována rovnicí x_1 - x_2 = 0, Kde \mathbf{w} = [1, -1] si b = 0. Okraj by byl maximalizován a vektory podpory by byly body nejblíže této nadrovině.

Měkká marže SVM

V aplikacích reálného světa nejsou data často dokonale oddělitelná. K řešení takových případů používají SVM přístup měkkého okraje, který umožňuje určitou chybnou klasifikaci. Optimalizační problém je upraven tak, aby zahrnoval proměnné prověšení \xi_i které měří stupeň chybné klasifikace pro každý datový bod. Primární formulace se stává:

    \[ \min_{\mathbf{w}, b, \xi} \frac{1}{2} \|\mathbf{w}\|^2 + C \sum_{i=1}^n \xi_i \]

předmětem:

    \[ y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 - \xi_i \quad \forall i \]

si

    \[ \xi_i \geq 0 \quad \forall i \]

Parametr C řídí kompromis mezi maximalizací marže a minimalizací chyby klasifikace. Větší hodnotu C klade větší důraz na minimalizaci chyby, zatímco menší hodnota zdůrazňuje maximalizaci rozpětí.

Implementace v Pythonu

Implementaci SVM v Pythonu usnadňují knihovny, jako je scikit-learn. Zde je příklad, jak implementovat lineární SVM pomocí scikit-learn:

python
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# Load the dataset
iris = datasets.load_iris()
X = iris.data[:, :2]  # Use only the first two features for simplicity
y = iris.target

# Convert the problem to a binary classification problem
y = (y != 0) * 1

# Split the dataset into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Create and train the SVM model
model = SVC(kernel='linear', C=1.0)
model.fit(X_train, y_train)

# Make predictions
y_pred = model.predict(X_test)

# Evaluate the model
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy * 100:.2f}%')

V tomto příkladu načteme datovou sadu Iris a pro jednoduchost použijeme pouze první dvě funkce. Problém převedeme na binární klasifikační problém nastavením cílové proměnné na 1 pro jednu třídu a 0 pro druhou. Poté datovou sadu rozdělíme na trénovací a testovací sady, vytvoříme model SVM s lineárním jádrem a natrénujeme jej na trénovacích datech. Nakonec provedeme předpovědi na testovacích datech a vyhodnotíme přesnost modelu. Rovnice nadroviny \mathbf{x} \cdot \mathbf{w} + b = 0 je zásadní pro provoz podpůrných vektorových strojů. Definuje hranici rozhodování, která odděluje různé třídy v prostoru prvků. Cílem optimalizace SVM je najít nadrovinu, která maximalizuje rozpětí mezi třídami, což vede k robustnímu a zobecnitelnému klasifikátoru. Použití funkcí jádra umožňuje SVM zpracovávat nelineárně oddělitelná data jejich mapováním do vícerozměrného prostoru, kde je možné lineární oddělení. Přístup měkkých okrajů umožňuje SVM zpracovávat data z reálného světa, která nemusí být dokonale oddělitelná. Implementace SVM v Pythonu je přímočará díky knihovnám, jako je scikit-learn, které poskytují účinné a snadno použitelné nástroje pro trénování a vyhodnocování modelů SVM.

Další nedávné otázky a odpovědi týkající se Strojové učení EITC/AI/MLP s Pythonem:

Prohlédněte si další otázky a odpovědi v EITC/AI/MLP Machine Learning with Python

Další otázky a odpovědi:

V rubrice: , , , , ,