Seminarium licencjackie SI 1 - Sztuczne Sieci Neuronowe WF-FI-KGN-SLPE1

Seminarium dyplomowe /metody dydaktyczne: werbalno-wizualna prezentacja treści programowych w postaci prezentacji w PowerPoint i pokaz działania sieci.

1. Zapoznanie z tematem przedmiotu: Sieci neuronowe a Kognitywistyka; Oczy maszyny; Neokognitron; Zakład w Berkeley;
2. Wprowadzenie do sieci neuronowych: popularność sieci neuronowych, efektywność sieci neuronowych jako nieliniowych modeli zjawisk i procesów, uboczne aspekty popularności sieci neuronowych; Biologiczne inspiracje neurokomputingu; Podstawowy model neuronu i sieci neuronowej; Działanie sieci neuronowej i jej uczenie;
3. Metody przetwarzanie danych: pozyskiwanie danych pierwotnych, filtracja, przetwarzanie obrazów dwuwymiarowych, przetwarzanie szeregów czasowych, ekstrakcja cech z obrazów dwuwymiarowych, ekstrakcja cech z szeregów czasowych; Formatowanie zbiorów obrazów: tworzenie i kodowanie obrazów opisujących obiekty, formatowanie tabelarycznych zbiorów obrazów, klasteryzacja; Przetwarzanie zbiorów danych treningowych;
4. Metoda wstecznej propagacji błędów i jej modyfikacje: algorytm ze współczynnikiem wzrostu błędu, algorytm Parka, Yuna i Kima, algorytm Lee i Parka, algorytm Chana i Falsidea, algorytm delta-delta Jacobsa, alorytm Silvy i Almeidy, algorytm Sanossiana i Evansa, algorytm delta-bar-delta Jacobsa, algorytm Quickprop Fahlmana, algorytm RPROP Ridmillera i Brauna, algorytm Karayiannisa;
5. Zastosowanie algorytmu Recursive Last Squares (RLS) do uczenia sieci neuronowych: sieć jednowarstwowa, sieć wielowarstwowa;
6. Neuronowe sieci modularne: ogólne założenia; Kombinowanie odpowiedzi dla wielosieciowego klasyfikatora: 1) na poziomie abstrakcji, 2) na poziomie rankingów, 3) na poziomie miar (miary prawdopodobieństw Bayesa); Architektury i uczenie sieci modularnych; Wybrane przykłady zastosowań, np. rozpoznawanie cyfr pisma odręcznego;
7. Samoorganizaujące sieci neuronowe: sieć Kohonena - pojęcie sąsiedztwa i aktywacji neuronów z sąsiedztwa zwycięzcy, problem neuronów martwych; Sieci samoorganizujące z kryterium minimalnej entropii; Algorytm gazu neuronowego;
8. Statyczne i dynamiczne sieci Group Method of Data Handing (GMDH): założenia, model neuronu i synteza sieci; Uogólnienie algorytmu GMDH: układ o wielu wejściach i wielu wyjściach; Układy dynamiczne
9. Ontogeniczne sieci neuronowe: Modele zmniejszające strukturę; Usuwanie wag metodami Optimal Brain Damage (OBD), Optimal Brain Surgeon (OBS); Statystyczne metody zmniejszenia sieci neuronowych; Modele o strukturach rozrastających się; Sieć Resource Allocation Network (RAN) z przedziałem zasobów;
10. Strategie projektowania sieci neuropodobnych: Sparowalne zbiory danych, warstwy neuronów formalnych; Projektowanie warstw rangowych; Projektowanie warstw dipolowych; Perceptonowa funkcja kryterialna; Dipolowa funkcja kryterialna; Algorytmy wymiany rozwiązań bazowych; Projektowanie struktur hierarchicznych;
11. Optymalizacja architektury sieci neuronowych: Dobór architektury sieci neuronowych: Dobór architektury sieci Multilayer Perceptron (MLP); Metody wzrostu: algorytm kafelkowy, algorytm upstart Freana, algorytm wstecznej propagacji ze zmienną liczbą neuronów, dynamiczna kreacja neuronów, metody formy kanonicznej, algorytm kaskadowej korelacji; Metody redukcji; Metody optymalizacji dyskretnej;
12. Przykład tworzenia i działania sieci neuronowej w Excelu;
13. Wprowadzenie do zastosowania sieci neuronowych: aproksymacja funkcji przy pomocy jednokierunkowych sieci neuronowych; Zdolności aproksymacyjne sieci signoidalnych; Sieci o bazach radialnych;
14. Seminarium zaproszone w zakresie sztucznych sieci neuronowych i szeroko rozumianej sztucznej inteligencji;
15. Podsumowanie.

Sylabus opracował: Paweł Pęczkowski - koordynator przedmiotu