10 ianuarie 2023
Introducere în transformatoare
Andrej Karpathy: https://karpathy.ai/
De la introducerea lor în 2017, transformatoarele au revoluționat procesarea limbajului natural (NLP). Acum, transformatoarele găsesc aplicații peste tot în Deep Learning, fie că este vorba de viziune computerizată (CV), învățare prin consolidare (RL), rețele generative adverse (GAN), vorbire sau chiar biologie. Printre altele, transformatoarele au permis crearea de modele de limbaj puternice precum GPT-3 și au fost esențiale în recentul AlphaFold2 de la DeepMind, care abordează plierea proteinelor.
În această serie de difuzoare, examinăm detaliile modului în care funcționează transformatoarele și ne aprofundăm în diferitele tipuri de transformatoare și cum sunt aplicate în diferite domenii. Facem acest lucru invitând oameni din fruntea cercetării transformatoarelor din diferite domenii pentru prelegeri invitate.
Mai multe despre curs puteți găsi aici: https://web.stanford.edu/class/cs25/
Vizualizați întreaga listă de redare CS25 Transformers United:
0:00 Introducere
0:47 Prezentarea cursului
3:19 Bazele transformatoarelor
3:35 Cronologia atenției
5:01 Epoca preistorică
6:10 Unde eram în 2021
7:30 Viitorul
10:15 Transformers – Andrej Karpathy
10:39 Context istoric
1:00:30 Mulțumesc – Du-te și transformă-te
