Kun OpenAI:n, Anthropicin ja Googlen kolmen suuren AI-jätin lippulaivamallit kohtaavat samalla areenalla, kuka osaa ohjata robotteja paremmin?
20. lokakuuta MeeFeng Technologyn, Hugging Facen, NVIDIA:n, Tsinghua-yliopiston ja lähes 20 muun maailmanlaajuisen korkeakoulun, yrityksen ja tutkimuslaitoksen yhdessä käynnistämä embodied-areena RoboColiseum julkisti tämän kierroksen arviointitulokset: Claude Opus 5.5 sijoittui neljän lippulaivamallin kokonaisarvioinnissa ensimmäiseksi, GPT-6 Astra tuli heti perässä.
Osakohtaisesti tarkasteltuna GPT-6 Astra johtaa ohjeiden noudattamisessa ja kokonaisvaltaisessa häiriönsietokyvyssä, ja sen ohjeiden noudattamisen pistemäärä on 99,35; Opus puolestaan menestyy paremmin spatiaalisessa ymmärryksessä ja yleisissä manipulaatiotehtävissä ja saavutti lippulaivaryhmän kokonaisvoiton pienimmällä token-kulutuksella koko kierroksen arvioinnissa. Kuvanlaadun häiriötestissä GPT-6.1 Sol jäi selvästi jälkeen muista kolmesta mallista, mikä osoittaa eroja eri mallien vakaudessa visuaalisen informaation muutoksia kohdattaessa.
Tämän kierroksen kokonaisrankingin kaksi kärkisijaa ovat kuitenkin yhä embodied-strategiamallien hallussa, ja ne säilyttävät etunsa erityisesti yleisten manipulaatiotehtävien ulottuvuudella.
Tämä yhteinen kamppailu tarjoaa alalle suoran vertailukohdan yleiskäyttöisten suurten mallien ja embodied-strategiamallien vahvuuksien ja heikkouksien näkemiseksi.
RoboColiseum lanseerasi ohjeiden noudattamisen, spatiaalisen ymmärryksen, häiriönsietokyvyn ja yleisten manipulaatiotehtävien ympärille neljä kyvykkyysalaluokitusta ja 78 korkean tarkkuuden simulaatioarviointitehtävää, jotka esittävät sekä mallien osakohtaiset suoritukset että tallentavat tehtävien suoritusvaiheet ja epäonnistumiskohdat auttaen kehittäjiä paikantamaan nopeasti mallien kyvykkyyspuutteita.
Yhtenä käynnistäjäosapuolena MeeFeng tarjoaa RoboColiseumille korkean tarkkuuden objektiomaisuutta ja simulaatioskenaarioita, tukee monimutkaisten robottimanipulaatiotehtävien arviointiympäristöjen rakentamista sekä tarjoaa perusresursseja mallien kyvykkyyksien testaamiseen erilaisissa objektivuorovaikutuksissa, spatiaalisissa asetteluissa ja ympäristöolosuhteissa.
Se, heijastavatko mallien tulokset simulaatiossa todellista suorituskykyä, on myös arvioinnin keskeinen kysymys. Alustan julkistamien todellisten mittaustulosten mukaan RoboColiseumin simulaatioarvioinnin ja todellisen laitteiston käyttöönoton välinen korrelaatio on 89,5 %, ja saman mallin arviointiero simulaation ja todellisen maailman välillä on alle 10 %, mikä voi tarjota kehittäjille viitepohjan mallien seulontaan ja ongelmien paikantamiseen ennen siirtymistä todellisen laitteiston testaukseen.
MeeFeng Technology tarjoaa "kattavan, laadukkaan ja nopean" datantarjontajärjestelmän, joka kattaa kolme dataparadigmaa: todellinen laitteisto, simulaatio ja kehyksetön data. Simulaation osalta MeeFeng tarjoaa kahdenlaisia resursseja – objektiomaisuutta ja ympäristöomaisuutta – kattaen monenlaisia jokapäiväisiä esineitä ja sisätilaskenaarioita, sekä tarjoaa kyvykkyyksiä kuten skenaarioiden uudelleenrakennus, asiantuntijatrajektoridatan hankinta ja arviointitulosten visualisointi, auttaen mallitiimejä monipuolisten harjoitusten ja arviointien toteuttamisessa.
Coliseum viittaa alun perin antiikin Rooman pyöreään areenaan, ja RoboColiseum rakentaa tätä mielikuvaa hyödyntäen moniulotteisen järjestelmällisen arviointijärjestelmän, rakentaen embodied-tekoälymalleille julkisen, neutraalin ja toistettavan "areenan" ja "harjoituskentän" todellisen laitteiston suorituskyvyn kanssa erittäin yhdenmukaisella simulaatioarvioinnilla. Mikä tahansa korkeakoulu, tutkimuslaitos tai yrityskehittäjä voi lähettää mallinsa alustalle ja suorittaa standardoidun "kokeen". Elokuun lanseerauksesta lähtien yli 100 tiimiä kotimaasta ja ulkomailta on jo toteuttanut mallien harjoittelua ja arviointia alustalla.
RoboColiseum on nyt avoinna kehittäjille maailmanlaajuisesti, ja mallitiimit ovat tervetulleita osallistumaan arviointiin.
