Pre-antrenament nesupravegheat pentru învățare cu câteva lovituri, vol. 2: metode bazate pe reconstrucție
Pentru mai multe informații despre programele de inteligență artificială de la Stanford, vizitați: https://stanford.io/ai
Pentru a urma cursul, vizitați:
https://cs330.stanford.edu/
Pentru a vedea toate cursurile și programele online oferite de Stanford, vizitați: http://online.stanford.edu
Chelsea Finn
Informatică, dr
Planificați pentru azi
Recapitulare
– Formularea problemei
– Învățare contrastantă
Pre-antrenament nesupravegheat bazat pe reconstrucție
– De ce reconstrucție?
– Encodere automate
– Autoencodere mascate: BERT, MAE
– Modele autoregresive: GPT, Flamingo
Obiective pentru sfârșitul prelegerii:
– Familiarizați-vă cu metodele utilizate pe scară largă pentru antrenamentul preliminar nesupravegheat
– Introducerea metodelor de reglare fină eficientă a modelelor pre-antrenate
– Pregătește-te pentru HW3
Cursuri interesante:
- Stanford CS330 I Pre-formare nesupravegheată: Învățare contrastantă l 2022 I Cursul 7
- Stanford CS330 Deep Multi-Task & Meta Learning – Generalizare domeniului l 2022 I Cursul 14
- Stanford CS330 Deep Multi-Task & Meta Learning – Adaptarea domeniului l 2022 I Cursul 13
- Stanford CS229 Învățare automată I Învățare auto-supravegheată I 2022 I Cursul 16
- Stanford CS229 Machine Learning I Configurare de învățare supravegheată, LMS I 2022 I Lectură 2
- Stanford CS229 Machine Learning I Analiza factorială/PCA I 2022 I Cursul 14
- Stanford CS229 Machine Learning I Selectarea caracteristicilor/modelului, ML Advice I 2022 I Cursul 11
- Stanford CS229 I Cele mai mici pătrate ponderate, regresie logistică, metoda lui Newton I 2022 I Cursul 3
- Stanford CS229 Machine Learning I Rețele neuronale 1 I 2022 I Curs 8
- Stanford CS229 Machine Learning I Introducere I 2022 I Prelegere 1