Pre-antrenament nesupravegheat pentru învățare cu câteva lovituri, vol. 2: metode bazate pe reconstrucție
Pentru mai multe informații despre programele de inteligență artificială de la Stanford, vizitați: https://stanford.io/ai
Pentru a urma cursul, vizitați:
https://cs330.stanford.edu/
Pentru a vedea toate cursurile și programele online oferite de Stanford, vizitați: http://online.stanford.edu
Chelsea Finn
Informatică, dr
Planificați pentru azi
Recapitulare
– Formularea problemei
– Învățare contrastantă
Pre-antrenament nesupravegheat bazat pe reconstrucție
– De ce reconstrucție?
– Encodere automate
– Autoencodere mascate: BERT, MAE
– Modele autoregresive: GPT, Flamingo
Obiective pentru sfârșitul prelegerii:
– Familiarizați-vă cu metodele utilizate pe scară largă pentru antrenamentul preliminar nesupravegheat
– Introducerea metodelor de reglare fină eficientă a modelelor pre-antrenate
– Pregătește-te pentru HW3