Anna robotille luonnollisen kielen komennot kerätäksesi pyyhkeitä, sulkeaksesi laatikon ja ripustaaksesi kuulokkeet – aivan kuten kysyisit ChatGPT:ltä, kehittäjät voivat nyt avoimen rajapinnan kautta saada robotin suorittamaan tehtäviä tosimaailmassa.
10. lokakuuta Dream Labs, jonka perusti entisten NVIDIA GR00T -ydintiimin jäsenten ryhmä, julkaisi maailman ensimmäisen suurelle yleisölle avoimen robottien perusmallin API:n – Dream API:n. Mefeng Technology tarjoaa sen taustalla olevalla maailman toimintamallilla Dream-1:llä kattavan palvelun, joka kattaa kehittöndatan, oikean laitteen datan, oikean laitteen testauksen ja arvioinnin, tukien mallin kehitystä ja zero-shot-yleistämisen toteutettavuuden validointia.
Robottien laitteistokustannusten jatkaessa laskuaan ala tarvitsee kiireesti "yleisaivoja", jotka voidaan ottaa uudelleen käyttöön tehtävien ja laitteistojen välillä, vähentäen kustannuksia, jotka syntyvät uudelleenkoulutuksesta ja mukauttamisesta joka kerta, kun robotti tai tehtävä vaihtuu. Dream API avaa robottimallien kyvykkyydet API-muodossa suurelle yleisölle: kehittäjät voivat liittää oman robottinsa ilman koneoppimistaustaa ja ohjata robottia suorittamaan tehtäviä luonnollisen kielen komennoilla. Dream-1:n käyttöhinta on 3 dollaria tunnilta. Tällä hetkellä yli 20 laitevalmistajaa on liittynyt yhteistyöhön.
Dream API:n taustalla on maailman toimintamalli (WAM) Dream-1, joka oppii yhdessä videon ennustamista ja toiminnan tuottamista ja kykenee reaaliaikaiseen suljetun silmukan robottiohjaukseen. Tiimin mukaan 27:llä aiemmin näkemättömällä robotilla tehdyssä simulaatioarvioinnissa 24 saavutti yli puolet koulutuslaitteen YAM:n suorituskyvystä; oikeilla laitteilla Dream-1 voi ilman kohderobotin erityisdatan lisäkoulutusta suorittaa tehtäviä kuten pyyhkeiden keräämisen, laatikon sulkemisen ja kuulokkeiden ripustamisen. Tällä hetkellä sen zero-shot-kyky laitteistojen välillä on suunnattu pääasiassa kaksikätisille rinnakkaisille tarttujaroboteille.
Jotta robotti voi "ottaa haltuun zero-shotina" uudella laitteistolla, tarvitaan koulutusdatan keräämistä ja todellisen suorituksen testaamista.
Tässä yhteistyössä Mefeng Technology tarjoaa kehittöndataa Dream-1-maailman toimintamallin esikoulutukseen; rikkaan ihmisen manipulaatio- ja esinevuorovaikutustiedon avulla tuetaan mallia oppimaan eri tehtävien suoritusprosesseja. Lisäksi se tarjoaa oikean laitteen dataa täydentämään robotin todellisen suorituksen liike-, käsittely- ja kosketuskokemusta. Kahdenlaiset datat täydentävät toisiaan ja tukevat mallin kyvykkyyksien oppimista sekä iteratiivista optimointia.
Datantarjonnasta oikean laitteen validointiin Mefeng tarjoaa lisäksi testaus- ja arviointipalveluja, auttaen tiimiä todentamaan Dream-1:n zero-shot-yleistämisen toteutettavuutta uudella laitteistolla. Tarkkailemalla robotin ymmärrystä komennoista, tehtävän suoritusprosessia ja loppuunsaattamista arvioidaan, voivatko mallin olemassa olevat kyvyt siirtyä uuteen robottiin, tunnistetaan suorituksen ongelmia ja tarjotaan perusteita myöhemmälle datan täydentämiselle, mallin optimoinnille ja laitteiston mukauttamiselle.
Yhden luukun fysikaalisen tekoälyn datapalvelualustana Mefeng on rakentanut datapalvelujärjestelmän, joka kattaa kehittöndatan, oikean laitteen etäohjauksen ja simulaation. Tällä kertaa Dream-1:n tukemisessa datantarjonta ja suorituksen validointi yhdistetään, mikä laajentaa edelleen Mefengin käytännön kokemusta perusmallien kehityksen tukemisessa.
Tulevaisuudessa Mefeng jatkaa korkealaatuisen datantarjonnan laajentamista, parantaa datan hallintaa, standardoitua toimitusta ja oikean laitteen arviointikykyä, tarjoten kokonaisvaltaista palvelua mallinkehtystiimeille, robottivalmistajille ja tutkimuslaitoksille sekä edistäen robottimallien siirtymistä yhä useampiin todellisiin käyttöympäristöihin.
