Jak lze knihovny, jako je scikit-learn, použít k implementaci klasifikace SVM v Pythonu a jaké klíčové funkce jsou obsaženy?

/ / Vyšlo v Umělá inteligence, Strojové učení EITC/AI/MLP s Pythonem, Podpora vektor stroj, Podpora optimalizace vektorových strojů, Přehled vyšetření

Support Vector Machines (SVM) jsou výkonnou a všestrannou třídou řízených algoritmů strojového učení, které jsou zvláště účinné pro klasifikační úlohy. Knihovny, jako je scikit-learn v Pythonu, poskytují robustní implementace SVM, takže je přístupný jak pro odborníky z praxe, tak pro výzkumníky. Tato odpověď objasní, jak lze scikit-learn použít k implementaci klasifikace SVM, podrobně popíše klíčové funkce a poskytne ilustrativní příklady.

Úvod do SVM

Support Vector Machines fungují tak, že najdou nadrovinu, která nejlépe rozděluje data do různých tříd. Ve dvourozměrném prostoru je tato nadrovina jednoduše úsečkou, ale ve vyšších dimenzích se stává rovinou nebo nadrovinou. Optimální nadrovina je ta, která maximalizuje rozpětí mezi dvěma třídami, kde je rozpětí definováno jako vzdálenost mezi nadrovinou a nejbližšími datovými body z každé třídy, známé jako podpůrné vektory.

Scikit-learn a SVM

Scikit-learn je výkonná knihovna Pythonu pro strojové učení, která poskytuje jednoduché a efektivní nástroje pro dolování a analýzu dat. Je postaven na NumPy, SciPy a matplotlib. Modul `svm` v rámci scikit-learn poskytuje implementaci algoritmů SVM.

Klíčové funkce

1. `svm.SVC`: Toto je hlavní třída pro provádění klasifikace pomocí SVM. SVC je zkratka pro Support Vector Classification.
2. 'fit': Tato metoda se používá k trénování modelu na daných datech.
3. "předvídat".: Jakmile je model natrénován, použije se tato metoda k predikci označení tříd pro daná testovací data.
4. "skóre".: Tato metoda se používá k vyhodnocení přesnosti modelu na testovacích datech.
5. "GridSearchCV".: Používá se pro ladění hyperparametrů k nalezení nejlepších parametrů pro model SVM.

Implementace klasifikace SVM pomocí scikit-learn

Podívejme se na kroky spojené s implementací klasifikace SVM pomocí scikit-learn.

Krok 1: Import knihoven

Nejprve importujte potřebné knihovny:

python
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.metrics import classification_report, confusion_matrix
Krok 2: Načtení datové sady

Pro demonstrační účely použijeme datovou sadu Iris, dobře známou datovou sadu v komunitě strojového učení:

python
# Load the Iris dataset
iris = datasets.load_iris()
X = iris.data
y = iris.target
Krok 3: Rozdělení datové sady

Rozdělte datovou sadu do školicích a testovacích sad:

python
# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
Krok 4: Měřítko funkce

Měřítko prvku je pro SVM důležité, protože je citlivé na měřítko vstupních prvků:

python
# Standardize features by removing the mean and scaling to unit variance
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)
Krok 5: Školení modelu SVM

Vytvořte instanci klasifikátoru SVM a natrénujte jej na trénovacích datech:

python
# Create an instance of SVC and fit the data
svc = SVC(kernel='linear', C=1.0)
svc.fit(X_train, y_train)

Zde jsme použili lineární jádro a nastavili parametr regularizace `C` na 1.0. Parametr jádra určuje typ nadroviny použité k oddělení dat. Mezi běžná jádra patří 'lineární', 'poly' (polynomiální), 'rbf' (radiální základní funkce) a 'sigmoidní'.

Krok 6: Vytváření předpovědí

Použijte trénovaný model k předpovědi testovacích dat:

python
# Predict the class labels for the test set
y_pred = svc.predict(X_test)
Krok 7: Vyhodnocení modelu

Vyhodnoťte výkon modelu pomocí metrik, jako je matoucí matice a klasifikační zpráva:

python
# Evaluate the model
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))

Matice zmatků poskytuje souhrn výsledků predikce, zatímco zpráva o klasifikaci obsahuje přesnost, odvolání, skóre F1 a podporu pro každou třídu.

Ladění hyperparametrů pomocí GridSearchCV

Ladění hyperparametrů je nezbytné pro optimalizaci výkonu modelu SVM. `GridSearchCV` společnosti Scikit-learn lze použít k provedení vyčerpávajícího vyhledávání v zadané mřížce parametrů:

python
from sklearn.model_selection import GridSearchCV

# Define the parameter grid
param_grid = {
    'C': [0.1, 1, 10, 100],
    'gamma': [1, 0.1, 0.01, 0.001],
    'kernel': ['rbf']
}

# Create a GridSearchCV instance
grid = GridSearchCV(SVC(), param_grid, refit=True, verbose=2)
grid.fit(X_train, y_train)

# Print the best parameters and the corresponding score
print("Best parameters found: ", grid.best_params_)
print("Best score: ", grid.best_score_)

# Use the best estimator to make predictions
grid_predictions = grid.predict(X_test)

# Evaluate the model with the best parameters
print(confusion_matrix(y_test, grid_predictions))
print(classification_report(y_test, grid_predictions))

V tomto příkladu jsme prohledali mřížku hodnot pro `C` a `gamma` pomocí jádra RBF. Instance `GridSearchCV` upraví model s nejlepšími parametry nalezenými během vyhledávání.

Vizualizace hranice rozhodování

Pro lepší pochopení toho, jak funguje klasifikátor SVM, je často užitečné vizualizovat si hranici rozhodování. To je ve dvourozměrném prostoru funkcí přímočařejší. Níže je uveden příklad použití syntetické datové sady:

python
from sklearn.datasets import make_blobs

# Generate a synthetic dataset
X, y = make_blobs(n_samples=100, centers=2, random_state=6)

# Fit the SVM model
svc = SVC(kernel='linear', C=1.0)
svc.fit(X, y)

# Create a mesh to plot the decision boundary
h = .02
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))

# Predict the class for each point in the mesh
Z = svc.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

# Plot the decision boundary
plt.contourf(xx, yy, Z, alpha=0.8)
plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k', marker='o')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('SVM Decision Boundary')
plt.show()

Výše uvedený kód generuje syntetickou datovou sadu se dvěma třídami, přizpůsobuje model SVM lineárním jádrem a vizualizuje hranici rozhodování. Funkce `contourf` se používá k vykreslení hranice rozhodování a bodový graf ukazuje datové body. Scikit-learn poskytuje komplexní a uživatelsky přívětivé rozhraní pro implementaci klasifikace SVM v Pythonu. Klíčové funkce jako `svm.SVC`, `fit`, `predict` a `score` jsou nezbytné pro vytváření a vyhodnocování modelů SVM. Ladění hyperparametrů pomocí `GridSearchCV` dále zvyšuje výkon modelu nalezením optimálních parametrů. Vizualizace rozhodovací hranice může poskytnout cenné poznatky o chování klasifikátoru. Dodržením těchto kroků lze efektivně implementovat a optimalizovat klasifikaci SVM pomocí scikit-learn.

Další nedávné otázky a odpovědi týkající se Strojové učení EITC/AI/MLP s Pythonem:

Prohlédněte si další otázky a odpovědi v EITC/AI/MLP Machine Learning with Python

Další otázky a odpovědi:

V rubrice: , , , , ,