Für das erste konkrete SimLearn Projekt dürfen wir für eine namhafte Textilfirma ein Lernszenario in XR simulieren. Die Lernenden sollen dabei lernen, wie ein Reibechtheitstest mit Hilfe des Crockmeters korrekt durchgeführt wird.
Für einen ersten Prototyp haben wir das Modell des Crockmeters für Unity aufbereitet und in die Szene eingefügt. Außerdem wurden die verschiedenen Hilfsmittel modelliert und ebenfalls in der Szene platziert. Um die Akzeptanz der Simulation zu erhöhen und gleichzeitig eine starke Immersion zu gewährleisten, wurde ein XR-Setting gewählt, welches es ermöglicht das den Crockmeter auf einem echten Tisch in der realen Welt zu platzieren.
Die Reibechtheitsprüfung ist in mehrere Schritte unterteilt, welche in der Simulation durch ein einfaches Questsystem abgebildet werden.
Für das erste Experiment in Richtung AI haben wir uns entschieden einen AI-Instruktor, basierend auf der chatGPT API, zu implementieren. Dieser soll den Lernenden mit subtilen Tipps bezüglich des Ablaufs zu Seite stehen. Somit soll verhindert werden, dass die Lernenden an gewissen Punkten nicht weiterwissen, obwohl die sich in einer sehr uneingeschränkten freien Umgebung bewegen, welche es zu erkunden gilt.
Das Prompting für einen solchen AI-Instruktor, birgt viele Herausforderungen und Risiken. Es gilt z.B. herauszufinden ob und wie gewährleistet werden kann, dass die AI über den Ist Stand der jeweils laufenden Simulation Bescheid weiß und somit in der Lage ist passende Tipps zu geben. Da die verwendete API keinerlei Request übergreifendes Gedächtnis bzw. Speicher hat, muss in jedem Request die komplette Information darüber, was von der AI erwartet wird, wie der Stand der aktuell laufenden Simulation ist und was die bereits gegebenen Tipps waren, angefügt werden. Das führt zu sehr langen Prompts und evtl. zu schlechten Ergebnissen was die Nachrichten des AI-Instruktors angeht.
Dies könnte sich jedoch mit dem Release von GPTs ändern, denn GPTs ermöglicht das Erstellen von spezialisierten GPT Modellen, welche bereits mit Vorwissen über das Scenario gefüttert werden können.
Zusätzlich zum AI Instruktor, gilt es nun abzuklären ob die Lernenden mittels automatischer AI-Bilderkennung bei der Graustufen Klassifizierung unterstützt werden können.
