Uczenie maszynowe staje się wszechobecne. Dzięki coraz lepszym narzędziom służącym do tworzenia aplikacji szczegóły techniczne związane z obliczeniami i modelami matematycznymi są często pomijane przez projektantów. Owszem, to wygodne podejście, ale wiąże się z ryzykiem braku świadomości co do wszystkich konsekwencji wybranych rozwiązań projektowych, szczególnie ich mocnych i słabych stron. A zatem bez ugruntowanych podstaw matematyki nie można mówić o profesjonalnym podejściu do uczenia maszynowego.
Ten podręcznik jest przeznaczony dla osób, które chcą dobrze zrozumieć matematyczne podstawy uczenia maszynowego i nabrać praktycznego doświadczenia w używaniu pojęć matematycznych. Wyjaśniono tutaj stosowanie szeregu technik matematycznych, takich jak algebra liniowa, geometria analityczna, rozkłady macierzy, rachunek wektorowy, optymalizacja, probabilistyka i statystyka. Następnie zaprezentowano matematyczne aspekty czterech podstawowych metod uczenia maszynowego: regresji liniowej, analizy głównych składowych, modeli mieszanin rozkładów Gaussa i maszyn wektorów nośnych. W każdym rozdziale znalazły się przykłady i ćwiczenia ułatwiające przyswojenie materiału.
W książce między innymi:
- podstawy algebry: układy równań, macierze, przestrzenie afiniczne
- rachunek prawdopodobieństwa, sprzężenia, optymalizacja
- wnioskowanie z wykorzystaniem różnego rodzaju modeli
- regresja liniowa i redukcja wymiarowości
- maszyna wektorów nośnych i rozwiązania numeryczne
Matematyka: koniecznie, jeśli chcesz zrozumieć istotę sztucznej inteligencji!
Spis treści:
Lista symboli
Lista skrótów i akronimów
Wstęp
Podziękowania
Część I. Podstawy matematyczne
- 1. Wprowadzenie i motywacje
- 1.1. Znajdowanie słów dla intuicji
- 1.2. Dwa sposoby na przeczytanie tej książki
- 1.3. Ćwiczenia i informacje zwrotne
- 2. Algebra liniowa
- 2.1. Układy równań liniowych
- 2.2. Macierze
- 2.3. Rozwiązywanie układów równań liniowych
- 2.4. Przestrzenie wektorowe
- 2.5. Niezależność liniowa
- 2.6. Baza i rząd
- 2.7. Przekształcenia liniowe
- 2.8. Przestrzenie afiniczne
- 2.9. Materiały dodatkowe
- Ćwiczenia
- 3. Geometria analityczna
- 3.1. Normy
- 3.2. Iloczyny wewnętrzne
- 3.3. Długości i odległości
- 3.4. Kąty i ortogonalność
- 3.5. Baza ortonormalna
- 3.6. Dopełnienie ortogonalne
- 3.7. Iloczyn wewnętrzny funkcji
- 3.8. Rzuty ortogonalne
- 3.10. Materiały dodatkowe
- Ćwiczenia
- 4. Rozkłady macierzy
- 4.1. Wyznacznik i ślad
- 4.2. Wartości i wektory własne
- 4.3. Rozkład Choleskiego
- 4.4. Rozkład według wartości własnych i diagonalizacja
- 4.5. Rozkład według wartości osobliwych
- 4.6. Przybliżenie macierzy
- 4.7. Filogeneza macierzy
- 4.8. Materiały dodatkowe
- Ćwiczenia
- 5. Rachunek wektorowy
- 5.1. Różniczkowanie funkcji jednowymiarowych
- 5.2. Pochodne cząstkowe i gradienty
- 5.3. Gradienty funkcji o wartościach wektorowych
- 5.4. Gradienty macierzy
- 5.5. Tożsamości przydatne w obliczeniach gradientów
- 5.6. Propagacja wsteczna i różniczkowanie automatyczne
- 5.7. Pochodne wyższych rzędów
- 5.8. Linearyzacja i wielowymiarowe szeregi Taylora
- 5.9. Materiały dodatkowe
- Ćwiczenia
- 6. Prawdopodobieństwo i jego rozkłady
- 6.1. Struktura przestrzeni prawdopodobieństwa
- 6.2. Prawdopodobieństwo ciągłe i dyskretne
- 6.3. Reguły dodawania i mnożenia oraz twierdzenie Bayesa
- 6.4. Statystyki podsumowujące i niezależność
- 6.5. Rozkład Gaussa
- 6.6. Sprzężenie i rodzina wykładnicza
- 6.7. Zmiana zmiennych/przekształcenie odwrotne
- 6.8. Materiały dodatkowe
- Ćwiczenia
- 7. Optymalizacja ciągła
- 7.1. Optymalizacja za pomocą metody gradientu prostego
- 7.2. Optymalizacja z ograniczeniami i mnożniki Lagrange'a
- 7.3. Optymalizacja wypukła
- 7.4. Materiały dodatkowe
- Ćwiczenia
Część II. Centralne problemy uczenia maszynowego
- 8. Gdy model spotyka dane
- 8.1. Dane, modele i uczenie
- 8.2. Minimalizacja ryzyka empirycznego
- 8.3. Estymacja parametrów
- 8.4. Modelowanie probabilistyczne i wnioskowanie
- 8.5. Modele digrafowe
- 8.6. Wybór modelu
- 9. Regresja liniowa
- 9.1. Sformułowanie problemu
- 9.2. Estymacja parametrów
- 9.3. Bayesowska regresja liniowa
- 9.4. Estymacja metodą maksymalnej wiarygodności jako rzut ortogonalny
- 9.5. Materiały dodatkowe
- 10. Redukcja wymiarowości za pomocą analizy głównych składowych
- 10.1. Sformułowanie problemu
- 10.2. Perspektywa maksymalizacji wariancji
- 10.3. Perspektywa rzutowania
- 10.4. Znajdowanie wektora własnego i aproksymacja za pomocą macierzy niskiego rzędu
- 10.5. PCA w dużej liczbie wymiarów
- 10.6. Najważniejsze kroki algorytmu PCA z praktycznego punktu widzenia
- 10.7. Perspektywa zmiennej ukrytej
- 10.8. Materiały dodatkowe
- 11. Szacowanie gęstości za pomocą modeli mieszanin rozkładów Gaussa
- 11.1. Model mieszaniny rozkładów Gaussa
- 11.2. Uczenie parametrów za pomocą metody maksymalnej wiarygodności
- 11.3. Algorytm EM
- 11.4. Perspektywa zmiennej ukrytej
- 11.5. Materiały dodatkowe
- 12. Klasyfikacja za pomocą maszyny wektorów nośnych
- 12.1. Hiperpłaszczyzny rozdzielające
- 12.2. Pierwotna maszyna wektorów nośnych
- 12.3. Dualna maszyna wektorów nośnych
- 12.4. Jądra
- 12.5. Rozwiązanie numeryczne
- 12.6. Materiały dodatkowe
- Bibliografia