Branchennews

iSAX: DeepRacer von Amazon vermittelt Reinforcement Learning

  • iSAX: DeepRacer von Amazon vermittelt Reinforcement Learning
    Erstmals vorgestellt hat AWS den DeepRacer Ende 2018 auf der re:invent in Las Vegas als Lern- und Anwendungstool für Reinforcement Learning.

Erstmals vorgestellt hat AWS den DeepRacer Ende 2018 auf der re:invent in Las Vegas als Lern- und Anwendungstool für Reinforcement Learning. Bei dieser Machine-Learning-Methode geht es darum, dass die Maschine – in diesem Fall das Rennauto – nicht mit dem genauen "Wie" der Aufgabenerfüllung gefüttert wird oder durch wiederholte Eingriffe des Programmierers lernt. Vielmehr werden im System Belohnungen und "Strafen" hinterlegt. Hinzu kommt ein Algorithmus, der der Maschine sagt, dass sie ihren Erfolg maximieren soll. Dadurch interagiert der DeepRacer mit seiner Rennstrecke und lernt, dass ein Verlassen der Bahn eine Strafe zur Folge hat. Bleibt er innerhalb der Bahn, erhält er eine Belohnung. Mit entsprechender Übung wird der DeepRacer so zum autonomen Rennauto.

 

 

Monster-Truck mit Ubuntu & Intel-Technologie
Über Geschmack lässt sich ja bekanntlich nicht streiten. Daher lassen wir die eigenwillige Optik des DeepRacers einmal außen vor. Dass der Allrader im Monster-Truck-Chassis entgegen der üblichen Stromlinienform gebaut ist, hat aber seine Gründe. In der Front des Racers steckt eine 4-Megapixel-Kamera, die die Umgebung aufnimmt. Ergänzt wird das Technik-Paket durch einen Intel-Prozessor, Gyrosensor und Bewegungsmesser sowie Ubuntu als Plattform und Intel OpenVINO, ein KI- und Deep-Learning-basiertes Kamera-Toolkit.

Als Trainingssoftware stehen eine eigens entwickelte Konsole und ein 3D-Rennsimulator zur Verfügung. Hier werden alle relevanten Parameter wie zum Beispiel das Belohnungssystem festgelegt und Daten von bereits gefahrenen Strecken ausgewertet bzw. neue Strecken simuliert. Fortgeschrittene können via Amazon SageMaker, AWS CloudFormation und Co. zudem benutzerdefinierte Reinforcement-Learning-Modelle entwickeln und anschließend auf die reale Welt übertragen. So könnte der DeepRacer theoretisch auch durchs Büro flitzen.

Fortschrittliches Machine Learning auf Cloud-Basis
Was aber bringt das uns und unseren Kunden? Einerseits vermittelt der DeepRacer einen fast schon spielerischen Zugang zum Thema Reinforcement Learning und öffnet es für das Gros der Entwickler. Die genutzten Methoden bleiben allerdings nicht auf das Rennauto beschränkt. Wann immer im industriellen Umfeld (visuelle) Sensoren ins Spiel kommen, können selbstlernende Algorithmen ein autonomes Maschinenverhalten generieren. So müsste ein Roboterarm zum Beispiel nicht genau gesagt bekommen, wo Bauteile A und B liegen, um sie miteinander zu verbinden.

Auf der anderen Seite vermittelt der DeepRacer ein Bild davon, wie Cloud-basierte Prozesse zusammenspielen und nahezu ad hoc für greifbare Ergebnisse sorgen. Umgebungssimulation, Training, Belohnungsfunktion, Speicherverwaltung – virtuelle und letztlich auch die Real-World-Prozesse laufen serverless in der AWS Cloud. Das verdeutlicht, dass selbst komplexe Abläufe ohne vorherige Installation lokaler Serverstrukturen und ohne das Aufsetzen einer abgestimmten Software-Landschaft realisiert werden können – schnell und kostengünstig.

Autor/in: André Nimtz

Weiterführende  Links

www.isax.com 
Informationen zum DeepRacer

Foto: iSAX