W tym bloku zdobędziesz umiejętności związane z budową, trenowaniem, dostrajaniem i praktycznym wykorzystaniem wielkich modeli językowym (LLM). W ramach zajęć poznamy koncepcje i techniki stanowiące podstawę współczesnych modeli językowych. Zgłębimy główne typy architektur opartych o transformatory cech głębokich (Transformer): modele autokodujące (BERT, RoBERTa), autoregresyjne (GPT, LLama, Phi) i modele sekwencja-na-sekwencję. Zdobędziemy praktyczne umiejętności efektywnego dostosowywania wielkich modeli językowych przy wykorzystaniu technik takich, jak reparametryzacja (LoRA), kwantyzacja (Q-LoRA), selektywny trening oraz metody tworzenia i dostrajania promptu (few-shot learning, soft prompting). W drugiej części bloku zapoznasz się z architekturą i zasadami budowy aplikacji wykorzystujących wielkie modele językowe oraz metodami pozwalającymi na zwiększenie trafności generowanych odpowiedzi. Poznasz techniki generacji tekstu wspomaganej wyszukiwaniem (RAG – Retrieval Augmented Generation) i metody semantycznego wyszukiwania informacji w wektorowych bazach danych.
Rozwiń szczegóły...