Lessons Learned: Die 3 größten versteckten Herausforderungen bei Machine-Learning-Projekten

Oct. 01, 2020

Viele Firmen haben im letzten Jahr die ersten kleineren KI-Projekte umgesetzt und mussten dabei feststellen, dass es doch einige Stolpersteine geben kann. Unser Data-Science-Team räumt solche aus dem Weg und hat drei sehr lehrreiche Lektionen zusammengestellt.

Prozesse sind individuell

Am Anfang jedes ML-Projekts steht ein repetitiver und simpler Prozess, der automatisiert werden soll. Er steht in dieser Form auf dem Papier, doch die Realität sieht meist anders aus: Es gibt immer Ausnahmen und Sonderfälle. Nahezu kein Prozess entspricht einer idealen Umsetzung, zumeist sind die Workflows „historisch gewachsen“ und beinhalten zahllose Workarounds verschiedener Mitarbeiter, die sich Mühe geben, alle Fäden zusammen zu halten.

Viele Firmen klassifizieren beispielsweise ihre Kunden, je nachdem ob sie das Standard-, Premium- oder VIP-Paket erworben haben. Wenn diese Kunden Supportanfragen erstellen, werden sie von unterschiedlichen Sachbearbeitern betreut. Dies muss erkannt und die Anfragen entsprechend an den zuständigen Mitarbeiter weitergeleitet werden.

Dieses simple Beispiel deutet nur an, welche Herausforderungen in einem Prozess stecken können - die erste Lektion besteht also darin, den realen Prozess komplett aufzudecken. Dabei ist es ratsam, gemeinsam mit einem Data Scientist den aktuellen Prozess zu durchdenken und einige Beispiele, wie das genannte, gemeinsam zu bearbeiten. Hindernisse werden dadurch direkt erkannt und können bei der Umsetzung angepasst werden.

 

"Es hat sich bewährt, regelmäßigen Austausch zur Fachabteilung zu haben und diese auch in den Testprozess zu involvieren."

 

Daten haben eine Geschichte

Jedes Modell ist nur so viel wert wie die Daten, mit denen es trainiert wird. Doch nur wenige Unternehmen haben volle Transparenz, wie diese Daten erstellt werden und wann sie verfügbar sind. Dies führt oftmals zu falschen Annahmen, welche später wieder korrigiert werden müssen.

Als Beispiel: Ein Modell versucht, Tickets dem richtigen Ansprechpartner zuzuordnen. Es bekommt alte Tickets und merkt ziemlich schnell: Wenn jemand einen Kommentar geschrieben hat, war er oft auch der richtige Ansprechpartner. Das Modell lernt also, dass Kommentare der perfekte Hinweis auf den Ansprechpartner sind. Wird es dann im realen Betrieb eingesetzt, tauchen plötzlich Probleme auf, denn: Bei ganz neu erstellten Tickets fehlen natürlich die Kommentare. Das Modell hat nichts gelernt, außer, auf die Anmerkungen durch Mitarbeiter zu schauen, und weiß nun plötzlich nicht mehr, was es tun soll. Dadurch gibt es mehr Fehler und die Performance verschlechtert sich.

Die zweite Lektion besteht darin, das Wesen der vorhandenen und aufkommenden Daten komplett nachzuvollziehen. Dafür sind Interviews hilfreich, bei denen das nicht-technische Personal die einzelnen Datenquellen und -flüsse erklären und zusätzliches Feedback von den Systemverantwortlichen, welche oft die Flüsse am besten kennen.

 

“Es gilt, die Menschen zu finden, die die Datenflüsse eines Unternehmens am besten kennen.”

 

tooka-ai_pitfalls_artikel_illustration_001_v01

 

Menschen brauchen Vertrauen

Nicht alles, was einem Menschen sofort klar ist, ist für ein Machine-Learning-Modell auch so einfach zu lösen. Das wiederum ist den Mitarbeitern nicht immer sofort klar und beeinträchtigt oft das Vertrauen in die Genauigkeit.

So werden manchmal Tickets nicht als Bestellung erkannt, obwohl doch mehrfach in der E-Mail das Wort „Bestellung“ erwähnt wird. Das Modell hat jedoch mit der Zeit festgestellt: Auch wenn der Begriff auftaucht, muss es sich noch lange nicht um eine Bestellung handeln. Genauso gut kann es eine Nachfrage oder Beschwerde sein. Während der Mensch intuitiv entscheidet, muss das Modell zunächst lernen, Kontext zu verstehen.

Dies ist eine dritte Lektion: Man muss Vertrauen in das Modell schaffen. Dazu ist eine Kommunikationsstrategie hilfreich, die klärt, wann und wie das Modell weiterlernt. Beispielsweise, dass das Modell nur jeden zweiten Sonntag auf den Daten der letzten sechs Monate neu trainiert wird – fehlerhafte Tickets konnten in der Zeit dazwischen also noch keinen Einfluss auf das Modell haben. Oder man erläutert, dass man bei den Vorhersagen den Einfluss einzelner Wörter errechnen kann, um so aufzuzeigen, wie das Modell zu seiner Entscheidung gelangt ist.

 

“Zu wissen, wann und wie Veränderungen stattfinden, lässt Verstehen, wie die ML-Lösung arbeitet und stärkt das Vertrauen in sie.”

 

Lektionen schaffen Erfahrung

Die genannten sind nur drei von vielen Lektionen, die auf dem Weg zu einem erfolgreichen Machine-Learning-Projekt zu beachten sind. Es sind zudem drei essentielle, ohne deren Lösung ein Projekt nicht sein volles Potenzial entfalten kann und als gescheitert wahrgenommen wird.

Damit es nicht so weit kommt, ist ein intensiver Austausch während der Umsetzung ratsam, bestenfalls mit einem Partner, der bereits viel Erfahrung hat. Das schützt Investitionen, sichert den Erfolg eines Projekts und führt in aller Regel zu mehr Wirtschaftlichkeit.

Alina Meiseberg

Ihr Ansprechpartner: Alina Meiseberg

Alina Schmid arbeitet als Data Scientist bei der sovanta AG. Ihre Leidenschaft liegt darin, komplexe Probleme zu verstehen und mit Machine Learning zu lösen. Ihre Expertise liegt insbesondere in der Vorhersage von Kosten und Umsätzen und der Automatisierung von Service-Prozessen.