W bloku zetkniesz się z zarówno z danymi audio, jak i wideo, by w końcu móc realizować sieci neuronowe pozwalające na rozpoznawanie emocji z danych multimodalnych, jak również klasyczne zadania związane z mową – jej rozpoznawanie oraz syntezę. W przypadku modułu emocji, oprócz zastosowania znanych już na tym etapie sieci konwolucyjnych, w wykorzystaniu również będą sieci rekurencyjne (LSTM/GRU), jak również sieci z klasy Transformatorów (ang. Transformers). Tutaj również będziesz korzystać z technik wizualizacji danych wysokowymiarowych takich jak np. T-SNE. W przypadku rozpoznawania i syntezy mowy poznasz stosowne potoki przetwarzania dla tych zagadnień oraz zostaną omówione współczesne architektury neuronowe stosowane w tych aplikacjach, w tym autogresyjne, oparte na znormalizowanych przepływach i wariacyjne.
Rozwiń szczegóły...