10 octombrie 2023
Inteligență încorporată de nivel scăzut cu modele de bază
Fei Xia, Google DeepMind
Această discuție prezintă două abordări noi ale inteligenței încorporate de nivel scăzut prin integrarea modelelor de limbaj mari (LLM) cu robotică, concentrându-se pe „Language to Reward” și „Robotics Transformer-2”. Primul folosește LLM-uri pentru a genera coduri de recompensă, creând o punte între instrucțiunile de limbaj de nivel înalt și acțiunile robotice de nivel scăzut. Această metodă permite interacțiunea utilizatorului în timp real, controlând eficient brațele robotice pentru diverse sarcini și depășind metodologiile de bază. „Robotics Transformer-2” integrează modele avansate de limbaj de viziune cu control robotic prin ajustarea co-fină a datelor despre traiectoria robotică și sarcini extinse de limbaj de viziune bazate pe web, rezultând modelul robust RT-2 care prezintă capacități puternice de generalizare. Această abordare permite roboților să execute comenzi neantrenate și să efectueze eficient sarcini de raționament semantic în mai multe etape, exemplificând progrese semnificative în înțelegerea contextuală și răspunsul la comenzile utilizatorului. Aceste proiecte demonstrează că modelele de limbaj se pot extinde dincolo de domeniul lor convențional al sarcinilor de raționament la nivel înalt, jucând un rol crucial nu numai în interpretarea și generarea de instrucțiuni, ci și în generarea nuanțată de acțiuni robotice de nivel scăzut.
Mai multe despre curs puteți găsi aici: https://web.stanford.edu/class/cs25/
Vizualizați întreaga listă de redare CS25 Transformers United: https://www.youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM
Cursuri interesante:
- Seminar Stanford – Învățarea reprezentării pentru roboți autonomi, Anima Anandkumar
- Seminar Stanford – Către o autonomie de încredere – Generalizare, siguranță, întruchipare
- Seminar Stanford – Modelare și interacțiune cu alți agenți, Claire Tomlin
- Seminar web Stanford – Frontiera învățării profunde pentru robotică, Chelsea Finn
- Seminar Stanford – Conectarea roboticii și modelelor de fundație, Brian Ichter de la Google DeepMind
- Primele limbaje de programare: curs intensiv Informatică #11
- Învață inteligența artificială prin intermediul programelor profesionale și absolvente online de la Stanford
- Seminar de la Stanford – Către o autonomie generalizabilă: dualitatea descoperirii și părtinirii
- Stanford CS224W: ML cu grafice | 2021 | Cursul 2.1 – Metode tradiționale bazate pe caracteristici: Nod
- Centru de Robotică și Programare Genius Robotics , cursuri pentru copii cu vârste între 6-14 ani