Dankzij nieuwe generatieve AI-modellen doen robots niet langer alleen maar wat ze wordt opgedragen. Ze nemen hun omgeving waar, interpreteren die en gaan ermee om. Een spectaculaire vooruitgang die multifunctionele robots in het vooruitzicht stelt die complexe taken kunnen uitvoeren. Een overzicht van deze vooruitgang en van de vaardigheden die moeten worden ontwikkeld om deze technologieën te kunnen gebruiken.
Wanneer generatieve AI de robotica transformeert: spectaculaire demonstraties
De mechanische Turk keert terug in het tijdperk van AI.
Begin november onthulde de Chinese autofabrikant Xpeng zijn humanoïde robot Iron. De vloeiende bewegingen wekken zowel fascinatie als scepsis op sociale media. Internetgebruikers roepen meteen dat het om bedrog gaat en vermoeden dat er een mens in de machine verstopt zit, net als bij de mechanische Turk, de beroemde nep-schaakautomaat.
Om de geruchten de kop in te drukken, reageert Xpeng met een tweede video. Daarin zien we hoe een assistent de lagen stof die het been van de robot bedekken, wegsnijdt om de interne mechanismen bloot te leggen... zonder dat er een mens achter zit.
Dit soort indrukwekkende demonstraties zullen steeds vaker voorkomen dankzij de vooruitgang die de afgelopen maanden op het gebied van robotica is geboekt. Net als op veel andere gebieden, We hebben deze disruptieve sprong te danken aan generatieve AI..
Maar hier gaat het niet om het genereren van tekst of afbeeldingen. Het gaat er eerder om robots nieuwe motorische en sensorische vaardigheden te geven.. Hierdoor kunnen ze hun omgeving beter begrijpen en worden ze zelfstandiger en veelzijdiger.
©Xpeng
Handmatig geprogrammeerde robots… tot autonome modellen
De beperkingen van traditionele programmering
«Momenteel is het programmeren van robots een uiterst complexe taak., voorsprong Stéphane Doncieux, directeur van het ISIR (Institut des systèmes intelligents et de la robotique) en hoogleraar informatica aan de Sorbonne Université-CNRS. Elk gedrag dat een robot moet uitvoeren, moet expliciet worden geprogrammeerd door een ingenieur, die moet nadenken over elke vereiste actie, de uitvoeringsvoorwaarden en de juiste reacties in geval van onverwachte gebeurtenissen.
Deze beperking verklaart waarom industriële robots gedoemd zijn om eindeloos dezelfde taak uit te voeren in de productielijnen van autofabrikanten of spelers in de verwerkende industrie, ook al zijn ze in theorie herprogrammeerbaar en steeds meer gericht op samenwerking.
Meer recentelijk zijn deze robots uitgerust met visuele algoritmen om defecte onderdelen op een productielijn te detecteren en te sorteren. «Dieser Anwendungsfall bleibt auf stark kontrollierte Kontexte beschränkt., vervolgt Stéphane Doncieux. In dit soort scenario's weten we precies welk type onderdelen er binnenkomen en uitgaan.. »
Huishoudrobots: een eerste stap naar autonomie
In de huishoudelijke sfeer werken robotstofzuigers of grasmaaiers in een minder gecontroleerde omgeving dan in fabrieken. Toch blijven de verwachte taken eenvoudig genoeg om door elementair gedrag te worden uitgevoerd. Wanneer de huishoudelijke robot een obstakel tegenkomt, verandert hij van koers en vervolgt hij zijn weg.
De bijdrage van generatieve AI aan de robotica
De nieuwe generatie robots met AI voert veel geavanceerdere handelingen uit. Om de voordelen van generatieve AI te illustreren, Cédric Vasseur, expert in kunstmatige intelligentie en robotica en docent bij ORSYS, raadt zijn studenten aan om de demonstratievideo's van humanoïde robots van Figuur AI.
«Ze laten concreet zien wat er vandaag de dag mogelijk is, zowel op het gebied van visuele als tekstuele herkenning.. In een van deze video's zien we een robot die voorzichtig borden, kommen en glazen in een vaatwasser plaatst.
De bijdrage van de nieuwe VLM- en VLA-modellen voor robots
Om dergelijke prestaties te leveren, maken robotici gebruik van afgeleiden van de beroemde LLM's.
De VLM (Vision Language Models) stellen de robot in staat om beelden en taal met elkaar te verbinden. Terwijl de VLA (Vision Language Action) zetten deze waarnemingen om in gecoördineerde bewegingen.
Resultaat : met deze modellen kan een robot nu een instructie in natuurlijke taal begrijpen, een scène observeren en vervolgens handelen.
De robot is uitgerust met meerdere sensoren – buig-, temperatuur- en ultrasone sensoren –, 3D RGB-D-camera's – die kleur- (RGB) en dieptegegevens (D) combineren – en lidars. Hij verzamelt informatie van buitenaf en past zijn gedrag daarop aan.
De VLA-modellen zetten deze visuele en tekstuele gegevens vervolgens om in motorische commando's. Voor Stéphane Doncieux gaat het erom de belofte van generatieve AI-tools uit te breiden naar de robotica. «Het doel is om modellen te creëren die algemeen genoeg zijn om een omgeving te begrijpen, instructies in natuurlijke taal te ontvangen en de robot in staat te stellen de nodige acties uit te voeren om de gevraagde taak te volbrengen.»
De robot die de vaatwasser inruimt: een symbolisch voorbeeld
De bovenstaande demonstratievideo van Figuur AI toont een robot die borden, glazen en bestek met verbazingwekkende precisie kan hanteren.
Wat voor een mens misschien triviaal lijkt – een vaatwasser vullen – is in feite een zeer complexe taak voor een robot. « Het vastpakken en manipuleren van een object vereist niet alleen zicht, maar ook verankering in het lichaam van de robot, voldoende handvaardigheid, mogelijk tactiele feedback en vele andere factoren die veel complexer zijn dan een strategiespel. », vervolgt Stéphane Doncieux. De machine kan de mens verslaan bij schaken en go, maar heeft de grootste moeite met het vastpakken en openen van een drinkfles.
Het is de beroemde Moravec-paradox wat neerkomt op het idee dat «het moeilijkste in de robotica vaak het gemakkelijkste is voor de mens».
©Tesla
Op weg naar fundamentele modellen... voor robots
De tijd dat elke robot zelfstandig moest leren, loopt ten einde. Er komen nieuwe, zogenaamde «fundamentele» modellen op de markt die de ervaring van meerdere machines kunnen verwerken.
Generieke VLA's zoals RT-2 — binnenkort vervangen door bredere versies — of Isaac GR00T van Nvidia, of nog Helix van Figure AI breiden de mogelijkheden uit door gebruik te maken van gegevens uit een groot aantal verschillende omgevingen.
Open modellen zoals OpenVLA vullen dit ecosysteem aan en maken aanpassing aan verschillende armen, mobiele platforms of humanoïde prototypes mogelijk.
Het idee is simpel: in plaats van een robot te trainen, train je de vaardigheid zelf en verspreid je die vervolgens van de ene robot naar de andere..
Gegevens, simulatie en «wereldmodellen»: de nieuwe brandstoffen van deze revolutie
Een tekort aan robotgegevens
Om modellen te trainen voor de extreme variabiliteit van de echte wereld is bovendien een enorme hoeveelheid gegevens nodig. De VLA-modellen, ontwikkeld door Boston Dynamics, Google, Xpeng en Nvidia, bevatten miljarden parameters die moeten worden gevoed.
Maar terwijl «traditionele» modellen van generatieve AI ruime toegang hebben tot tekstcorpora en beeldbanken, zijn robotgegevens veel beperkter.
Om dit tekort te compenseren, Robotici bouwen grote datasets met meerdere robots, bijvoorbeeld afkomstig uit samenwerkingsverbanden tussen laboratoria en industriële bedrijven. Een andere oplossing: op grote schaal gebruikmaken van het genereren van synthetische gegevens, via fysieke simulators en «wereldmodellen» die virtuele omgevingen kunnen creëren bijna oneindig, zoals Genie 3 van Google DeepMind of de simulatietools van Nvidia.
Het idee is om de modellen bloot te stellen aan een verscheidenheid aan situaties die onmogelijk kunnen worden nagebootst met alleen fysieke robots in laboratoria.
Veel uitdagingen in de echte wereld
Er zijn nog andere uitdagingen, ditmaal in de echte wereld. Het besturen van robotbewegingen is een delicate kunst.
Het is eenvoudig om de robot te vertellen dat hij zijn arm bij de dop van een drinkfles moet plaatsen. Maar om hem vervolgens te vragen de dop met zijn tang te draaien, moet hij een bepaalde druk uitoefenen in de juiste hoek. « Alledaagse handelingen vereisen controlemechanismen die niet alleen betrekking hebben op de houding, waardoor het controleren van de beweging ingewikkelder is dan het lijkt., merkt Stéphane Doncieux op.
Cédric Vasseur waarschuwt op zijn beurt voor de illusie die bepaalde demonstratievideo's wekken: ze worden opgenomen in een studio met optimale belichting, zonder storende elementen die de robot of zijn zichtsysteem kunnen hinderen. « De gemanipuleerde objecten hebben zeer contrasterende kleuren, zodat ze gemakkelijker door de AI kunnen worden geïdentificeerd. »De robot kon ook worden getraind voor een bepaalde omgeving. Om het voorbeeld van de vaatwasser nogmaals te gebruiken: een robot heeft urenlang geleerd om deze in een specifieke keuken leeg te maken. Maar als je hem naar een andere keuken verplaatst, moet alles opnieuw worden gedaan.
Veiligheids-, ethische en regelgevingskwesties
Fysieke veiligheid en cyberveiligheid
Volgens Cédric Vasseur zal de industrie het eerste toepassingsgebied zijn, nog voordat huishoudelijke robots hun intrede doen in onze huizen.
" Er lopen al talrijke projecten in Europa, met name in Duitsland, waar grote industriële concerns werken aan het gebruik van humanoïde robots. Daarnaast investeren e-commercebedrijven zoals Amazon en Alibaba fors in de bouw van volledig geautomatiseerde magazijnen met robots, transportbanden en automatische transportsystemen.
©Agility Robotics
De productie van dit type geavanceerde robot brengt een aantal risico's met zich mee. Allereerst op het gebied van veiligheid. Door te communiceren vergroot de machine haar aanvalsoppervlak. " Als een robot op elke spraakopdracht reageert, kan hij anderen schade berokkenen en mogelijk kwaadwillige of illegale handelingen verrichten. », waarschuwt Stéphane Doncieux. Naast deze cyberrisico's zijn er ook onvoorspelbare fysieke risico's. De robot wordt geconfronteerd met alle onzekerheden van de echte wereld en kan het slachtoffer worden van sabotage.
Ethiek: verantwoordelijkheid en menselijke vaardigheden
Onze twee experts brengen ook de volgende punten naar voren ethische en sociale kwesties wat een algemene verspreiding van AI-gestuurde robots zou betekenen. Stéphane Doncieux verwijst naar een verlies van verantwoordelijkheid – wanneer gebruikers te maken krijgen met tools die meestal relevant lijken, kunnen ze geneigd zijn om deze zelfstandig te laten beslissen, zonder de verantwoordelijkheid voor de genomen beslissingen op zich te nemen – met als gevolg een verlies aan vaardigheden.
Er zal ook rekening moeten worden gehouden met de verwachtingen van werknemers ten aanzien van de voorwaarden voor de introductie van deze robots op hun werkplek.
Regelgeving: de AI Act
Ook regelgeving moet in aanmerking worden genomen, met opkomende regelgevingskaders, of het nu gaat om de veiligheid van machines of gespecialiseerde regelgeving op het gebied van AI. In Europa worden robots met geavanceerde AI met de AI Act tot risicovolle systemen verklaard. Deze status vereist een strikte discipline: audits, volledige documentatie, transparantie van modellen, voortdurende monitoring en versterkte cyberbeveiliging.
Dit is geen kunstmatige beperking: hoe meer robots leren, hoe meer ze moeten bewijzen dat ze betrouwbaar, voorspelbaar en veilig blijven.
Welke opleidingen zijn er voor geavanceerde robotica?
De robotica-ingenieur van 2025 ziet er niet meer hetzelfde uit als die van 2015. Hij kent ROS 2 als zijn broekzak, begrijpt geavanceerde industriële beeldverwerking en hanteert simulators zoals Isaac Lab met hetzelfde gemak als een supervisor zijn drukschakelaar hanteert. Hij weet ook hoe hij een imitatiemodel moet trainen, de output van een beeldverwerkingssysteem moet interpreteren en een leerfout moet diagnosticeren.
Programmeren blijft onmisbaar, maar staat niet langer centraal: wat nu telt, is het vermogen om complexe pijplijnen te organiseren waarin perceptie, AI en mechanica perfect op elkaar moeten zijn afgestemd.
«Om aan dit soort projecten te werken, is het belangrijk om veelzijdig te zijn en een groot aantal vaardigheden te ontwikkelen die robotica en kunstmatige intelligentie combineren», ondersteunt Cédric Vasseur.
De opleidingen van ORSYS
ORSYS biedt hiervoor state-of-the-art seminars aan. Deze seminars zijn bedoeld voor besluitvormers en projectleiders en bieden een overzicht van de laatste ontwikkelingen op dit gebied.
Dat is het geval bij de opleiding «Robotica, state of the art» (ROB), waarin een overzicht wordt gegeven van vroegere, huidige en toekomstige toepassingen van robotica en de bijdragen van AI.
Voor besluitvormers en projectleiders is er een ander seminar waarin generatieve AI-oplossingen op de markt en hun toepassingen worden gepresenteerd (IAP). Er bestaat ook een meer specifieke opleiding over AI en robotica in de gezondheidszorg (IAZ).
Voor meer technische profielen zijn er vervolgens workshops die zich richten op een technologie zoals ROS (Robot Operating System), waarmee robotica-applicaties kunnen worden gemaakt (ROH), of nog de workshop «Kunstmatige intelligentie, nuttige algoritmen toegepast op robotica» (IAG). Deze trajecten maken het mogelijk om concreet te begrijpen hoe de nieuwe VLM/VLA-modellen, simulatie en open source tools in echte projecten.
«Beheersing van programmeren blijft onontbeerlijk, vervolgt Cédric Vasseur. Ongeacht het type robot dat wordt ontwikkeld, zal deze op een gegeven moment moeten worden geprogrammeerd.. Kennis van 3D-ontwerp is ook essentieel, zowel voor het ontwerp als om inzicht te krijgen in de fysieke beperkingen waaraan de robot zal worden onderworpen.
Daarnaast is projectmanagement een belangrijke vaardigheid. «Een robotica-project is complex, vult de trainer aan. Het omvat verschillende vakgebieden en de coördinatie van talrijke componenten en randapparatuur.» Wat het puur robotische gedeelte betreft, is het essentieel om zowel mechanische als elektronische vaardigheden te beheersen. « Sommige handelingen worden met de hand uitgevoerd, bijvoorbeeld bij het lassen of het ontwerpen van een eigen elektronisch circuit.»
Veiligheid: die van robots, maar ook die van AI
Op het gebied van veiligheid leidt Cédric Vasseur een eendaagse training over kunstmatige intelligentie en operationele veiligheid (ICY). De deelnemers ontdekken hoe ze zich kunnen beschermen tegen nieuwe bedreigingen in verband met AI, zowel in de virtuele als in de fysieke wereld. Ten slotte heeft de expert meegewerkt aan het schrijven van een witboek, gepubliceerd door ORSYS, over AI en cyberbeveiliging om dit thema verder uit te diepen. In een context waarin robots en generatieve AI samenkomen, wordt deze beveiligingscompetentie cruciaal, vanaf het ontwerp van de systemen.
Robots met generatieve AI voeren niet langer alleen maar opdrachten uit, maar nemen ook beslissingen en passen zich aan. Het is nu aan ons om de grenzen ervan te begrijpen, het gebruik ervan te beveiligen en ons te scholen om deze nieuwe industriële kracht onder controle te houden.
©UBTech
