Dowiesz się jakie kategorie aplikacji mediów cyfrowych korzystają obecnie z modeli neuronowych. Poznasz podstawowe typy neuronowych sieci tensorowych i metodykę ich zapisu symbolicznego. Dowiesz się co to są równania przepływu gradientu dla podstawowych jednostek przetwarzania w sieciach głębokich i jakie znaczenie mają te równania w optymalizacji modeli neuronowych. Nauczysz się konfigurować najbardziej popularne algorytmy stochastycznej optymalizacji sieci głębokich. Oprócz podstawowych elementów platformy PyTorch poznasz nasze własne proste narzędzia definiowania architektur typu CNN w plikach konfiguracyjnych i w oparciu o nie, techniki trenowania i testowania modeli neuronowych bez konieczności użycia języka programowania.

Przejdziesz z solidnej podstawy teoretycznej do umiejętności praktycznych niezbędnych do budowy, trenowania i optymalizacji głębokich sieci neuronowych – posłużą do tego takie rozwiązania jak PyTorch, Pytorch Lightning, Hydra, czy Weights&Biases.Uczestnicy zapoznają się z kluczowymi koncepcjami, takimi jak automatyczne różniczkowanie i sieci konwolucyjne. W ich przypadku zaczniemy od arytmetyki CNN i przejrdziemy do bardziej zaawansowanych architektur takicj jak Inception, czy Resnet, kończąc na ich dostrajaniu i ekstrakcji cech. Dodatkowo, blok obejmuje analize wyników modeli oraz ich interpretację (Grad-CAM), co pozwala na skuteczne wprowadzanie poprawek i ulepszeń, związanych z technikami regularizacji i metodami optymalizacji. 

W tym bloku zdobędziesz umiejętności związane z budową, trenowaniem, dostrajaniem i praktycznym wykorzystaniem wielkich modeli językowym (LLM). W ramach zajęć poznamy koncepcje i techniki stanowiące podstawę współczesnych modeli językowych. Zgłębimy główne typy architektur opartych o transformatory cech głębokich (Transformer): modele autokodujące (BERT, RoBERTa), autoregresyjne (GPT, LLama, Phi) i modele sekwencja-na-sekwencję. Zdobędziemy praktyczne umiejętności efektywnego dostosowywania wielkich modeli językowych przy wykorzystaniu technik takich, jak reparametryzacja (LoRA), kwantyzacja (Q-LoRA), selektywny trening oraz metody tworzenia i dostrajania promptu (few-shot learning, soft prompting). W drugiej części bloku zapoznasz się z architekturą i zasadami budowy aplikacji wykorzystujących wielkie modele językowe oraz metodami pozwalającymi na zwiększenie trafności generowanych odpowiedzi. Poznasz techniki generacji tekstu wspomaganej wyszukiwaniem (RAG – Retrieval Augmented Generation) i metody semantycznego wyszukiwania informacji w wektorowych bazach danych. 

W bloku zetkniesz się z zarówno z danymi audio, jak i wideo, by w końcu móc realizować sieci neuronowe pozwalające na rozpoznawanie emocji z danych multimodalnych, jak również klasyczne zadania związane z mową – jej rozpoznawanie oraz syntezę. W przypadku modułu emocji, oprócz zastosowania znanych już na tym etapie sieci konwolucyjnych, w wykorzystaniu również będą sieci rekurencyjne (LSTM/GRU), jak również sieci z klasy Transformatorów (ang. Transformers). Tutaj również będziesz korzystać z technik wizualizacji danych wysokowymiarowych takich jak np. T-SNE. W przypadku rozpoznawania i syntezy mowy poznasz stosowne potoki przetwarzania dla tych zagadnień oraz zostaną omówione współczesne architektury neuronowe stosowane w tych aplikacjach, w tym autogresyjne, oparte na znormalizowanych przepływach i wariacyjne. 

W tej części zajęć skoncentrujemy się na metodach i technikach uczenia użytecznych reprezentacji (representation learning) danych przy użyciu głębokich sieci neuronowych. Poznamy metody nadzorowanego uczenia reprezentacji danych, w tym metody głębokiego uczenia metryki odległości (sieci syjamskie, sieci trypletowe). Zgłębimy współczesne metody samonadzorowanego uczenia reprezentacji danych wizyjnych oparte o kontrastywną funkcję straty i bazujące na rekonstrukcji (maskowane auto-kodowanie). Zapoznamy się z  metodami uczenia multimodalnych reprezentacji tekstowo-obrazowych (CLIP) i technikami semantycznego wyszukiwania informacji. Poznamy szczegóły współczesnych wizyjnych modeli ogólnego przeznaczenia (foundation models) takich, jak DINOv2, SAM, YOLO-World czy APE. Zgłębimy również  sposoby efektywnego wyszukiwania informacji w wysokowymiarowych wektorowych bazach danych, w tym metody przybliżonego wyszukiwania najbliższych sąsiadow (approximate kNN). 

Poznasz sygnałowe techniki detekcji i klasyfikacji wirusów w programach komputerowych. Dowiesz się na czym polega synteza i analiza podpisu cyfrowego w obrazie, a także w materiale dźwiękowym. Ocenisz walory praktyczne podpisu cyfrowego z wykorzystaniem mediów cyfrowych. Poznasz również popularne ataki, w tym te specyficzne dla AI. Również w ramach tego bloku zapoznasz się z podstawowymi terminami dot. AI Governence takimi jak etyka AI, Sprawiedliwość (Fairness), czy regulacje prawne z tym związane. Poznasz też techniki steganograficzne, w tym zanurzanie danych w obrazie i dźwięku. Dowiesz się jak działa sieć głęboka kodera i dekodera steganograficznego.

Ten blok obejmuje rozmaite współczesne trendy w Deep Learning: Generowanie Muzyki, Uczenie z Wzmocnieniem oraz Grafowe Sieci Neuronowe. Tutaj korzystając z modeli generatywnych stworzysz utwory muzyczne, a w ramach Uczenia z Wzmocnieniem poznasz metody uczenia maszynowego oparte na nagradzaniu i karaniu agentów za podejmowane działania, z praktycznym zastosowaniem w grach komputerowych (środowisko  OpenAI Gym). Natomiast moduł dotyczący Grafowych Sieci Neuronowych wprowadzi Cię do zaawansowanych technik analizy danych strukturalnych, jak sieci społeczne czy biologia molekularna, umożliwiając tworzenie modeli uczących się na danych reprezentowanych w formie grafów – nauczyć się tworzyć Sieci Grafowe zarówno w czystym PyTorch, jak i w dedykowanej bibliotece PyTorch Geometric.