Zur Unterstützung beim Einlernen von neuen Mitarbeitern im Klassifizieren von Reichbechtheits Prüfstreifen, entwickeln wir ein auf resnet32 basierendes Bilderkennungs KI Modell. Die ursprüngliche Idee war, diese Erkennung in die Crockmeter VR-Anwendung mit einzubinden. Die ist jedoch mit geschlossenen VR-Systemen wie z.B. der Oculus Quest3 nicht möglich, da fast alle VR-Hersteller keinen direkten Zugriff auf die Bilddaten der Kamera gewähren.
Alternativ wurde eine auf Webtechnologien basierte mobile Anwendung entwickelt, welche es ermöglicht mit einem Mobiltelefon die Klassifizierung durchzuführen. Die Anwendung wurde mit VUE und Vite entwickelt, im Hintergrund wird eine auf Python basierte API betrieben, welche die Bilder die von der App geschickt werden klassifiziert. Aus der mobilen App heraus können auch falsch klassifizierte Streifen korrigiert werden. Die Anwendung dient also zur Hilfestellung aber auch dazu neue Lerndaten zu sammeln. Mit den so gesammelten Daten kann das Modell nach und nach verbessert werden.
Das Model wurde mit Hilfe von Transfer learning trainiert und basiert auf resnet32. Ein Bild muss jeweils in eine der geordneten Klassen zwischen 0 und 8 klassifiziert werden, dabei soll der Abstand von der tatsächlichen Klasse so gering wie möglich sein. Als Metrik für die Performance des Modells dienen deshalb sowohl die Accuracy (wurde das Bild korrekt klassifiziert oder nicht) und die Ordeal Regression (wie weit daneben wurde das Bild klassifiziert). Für die Ordeal Regression Metrik wurde extra eine Custom Metrik Funktion Programmiert.
Beim Training wurde versucht beide Metriken zu beachten, um sowohl ein hohe Genauigkeit zu erreichen, aber auch die Ausreißer zu minimieren.
Als Trainingsdaten kamen verschiedenst erstellte Bilder von Reibechtheiten zu Einsatz. Von Hochauflösenden, mit einer Spiegelreflex Kamera erstellten Bildern welche in einer normierten Lichtkammer gemacht wurden bis hin zu mit dem Mobiltelefon gemachten nieder aufgelösten und schlecht belichteten Bildern. Erstaunlicherweise, hat das Mischen dieser verschiedenen Bilder und Bildqualitäten zu besseren Ergebnissen geführt, als wenn nur die Bilder welche ähnlich dem tatsächlichen Prediction Setting verwendet wurden.
Eine der größten Herausforderungen war es die Vorhandenen Reibechtheiten korrekt zu klassifizieren. Diese wurden zwar schon vorab klassifiziert und eingeordnet, einzelne falsch klassifizierte Echtheiten, verfälschten jedoch das Training. Weshalb wir versuchten die Echtheiten Klassifizierung zu kontrollieren und ggf. zu verbessern. Dies setzt jedoch voraus, dass wir selbst lernen eine solche Klassifizierung durchzuführen. Trotz dieser Kontrolle, können wir keine Fehlerfreien Trainings und Validierungsdaten erzeugen. Da der Anteil der falsch klassifizierten Bildern aber geringer ist als die korrekt klassifizierten, hat das hinzufügen von mehr Daten zu immer genaueren Ergebnissen geführt.
