Zum Hauptinhalt springen
Fallstudie

Die globale Crowd testet den Chatbot fürs Automobil

Um herauszufinden, ob der Chatbot die Anforderungen der Zielgruppe erfüllt, beauftragte Arvato den Münchner Testing-Spezialisten Testbirds. Mit rund 35 Testern, die die sprachlichen Anforderungen erfüllten, wurde eine Vielzahl von Dialekten getestet.

Fallstudie herunterladen
Die Verbesserung des UX-Designs kann Conversion Rates um bis zu 400% erhöhen.
Fehler, die in einer frühen Phase des Produktentwicklungsprozesses gefunden werden, sind 10 Mal billiger zu beheben als in späteren Phasen.
Unternehmen, die in das Kundenerlebnis investieren, verzeichnen eine Umsatzsteigerung von bis zu 8 % über dem Branchendurchschnitt.
JAN KITTEL Senior IT Projektmanager, Arvato SCM Solutions

"Wir standen beim Testing vor dem Problem, dass wir Tester mit sehr speziellen, demographischen Merkmalen benötigten. Durch den Einsatz der Testercommunity von Testbirds konnten wir ausreichend Personen mit dem von uns benötigten Profil rekrutieren und den Test erfolgreich absolvieren."

Arvato

Arvato SCM Solutions ist ein innovativer, international führender Anbieter von Leistungen im Bereich Supply Chain Management und E-Commerce in den Bereichen Automotive, Bank, Insurance, Consumer Products, Healthcare, Hightech, Entertainment, Publishing und Telecommunication. Arvato SCM Solutions verbindet das Know-how seiner über 14.000 Mitarbeiterinnen und Mitarbeiter mit den richtigen Technologien und passenden Geschäftsprozessen und steigert so messbar die Produktivität und Leistung seiner Partner.

Gemeinsam mit einem führenden deutschen Automobilhersteller hat Arvato nun ein Lösungskonzept zur Digitalisierung von Betriebsanleitungsinhalten entwickelt. Das Besondere daran: die Informationen sind nicht nur digital in Form einer App zu finden, sondern können auch durch einen Sprachassistenten, einen so genannten Chatbot, der mit dem Nutzer kommuniziert, wiedergegeben werden. Um herauszufinden, ob der Sprachassistent die Anforderungen der Zielgruppe erfüllt, beauftragte Arvato schließlich den Münchner Testingspezialisten Testbirds, den Chatbot mittels eines Bug AbilityTM-Tests eingehend zu überprüfen.

Hauptsitz

Gütersloh, Deutschland

Mitarbeiter

14.000+

Branchen

Automobilindustrie, Banken, Versicherungen, Konsumgüter, Gesundheitswesen, Hightech, Unterhaltung, Verlagswesen und Telekommunikation

Unternehmenswebsite

www.arvato.com

Kundenanforderungen

Für den Test des Sprachassistenten wurden insgesamt 35 Tester ausgewählt. Benötigt wurden Tester, die entweder Deutsch oder US-amerikanisches Englisch als Muttersprache hatten. Jede Testperson musste über einen gültigen Führerschein verfügen und ein Auto besitzen oder regelmäßig einen Dienstwagen nutzen. Ein weiteres Charakteristikum der Zielgruppe war ein Jahreseinkommen von mindestens 100.000 Euro. Für das Projekt war es außerdem wichtig, dass sowohl sehr erfahrene als auch unerfahrene oder kaum erfahrene Tester am Projekt teilnahmen, da Tester mit unterschiedlicher Erfahrung ein Produkt auf unterschiedliche Weise im Rahmen eines Testings nutzen.

Test Set-up

Nachdem die Zielgruppe und das Testsetup konfiguriert und die Tester eingeladen worden waren, konnte die Testphase starten. Beim Testing selbst stand die Evaluation des Sprachassistenten und dessen Feedback im Fokus. Um ihn adäquat zu testen, war es wichtig, dass die Tester ihre Alltagssprache verwendeten, was auch die Verwendung unterschiedlicher Dialekte einschloss. So wurden dem Sprachassistent Fragen in unterschiedlicher Sprachfärbung, beispielsweise mit englischen Dialekten aus Texas, Kalifornien und Florida und deutschen Dialekten aus Bayern, Baden-Württemberg und Köln, gestellt. Die sich daraus ergebenden Antworten wurden dann geprüft und bewertet. Der Test selbst bestand aus zehn Use Cases, zu welchen die Tester jeweils fünf Fragen stellten. Um den Sprachassistenten mit ausreichend Tiefgang prüfen zu können, bezogen sich die Use Cases auf die wichtigsten und häufigsten Fragestellungen zu Themen wie Sicherheit, Fahrassistenzsysteme oder technische Daten. Die Use Cases waren zwar vorgegeben, die Fragen hingegen sollten sich die Tester selbst überlegen und unter Einbezug ihrer persönlichen Bedürfnisse stellen, um dadurch eine Interaktion mit dem Sprachassistenten zu erreichen, die so realitätsgetreu wie möglich ist.

Senden Sie uns eine Anfrage

Möchten Sie mehr über Crowdtesting erfahren?

Kontakt aufnehmen

Ergebnisse

Insgesamt wurde der Sprachassistent von den deutschen und den US-amerikanischen Testern gut angenommen, wenn auch die Wahrscheinlichkeit einer Nutzung für das eigene Auto eher als durchschnittlich bewertet wurde.

Die Fähigkeit des Sprachassistenten, die gestellten Fragen zu erkennen und zu transkribieren, funktioniert, ausgehend vom Testerfeedback, sehr gut (Deutsche Tester: 91,1%, US amerikanische Tester: 86,7%). Positive Rückmeldung gab es hinsichtlich der allgemeinen Nutzung und Bedienung der App, der Struktur der Bedienungsanleitung sowie der Tatsache, dass die App auch Videos beinhaltete. Jedoch beanstandeten einige Tester bei der Nutzung des Sprachassistenten eine ihrer Meinung nach zum Teil noch inkonsistente Erkennung von Keywords.

Wie eingangs zum Teil noch erwähnt, waren die Tester jedoch grundsätzlich von der App überzeugt. Einer der Tester brachte es folgendermaßen auf den Punkt: „Ich fahre einen (Sportwagen) und solch eine App ist eine gute Hilfe, gerade wenn man nicht alltägliche Fragen beantwortet haben will. Eine App ist definitiv schneller, als die Bedienungsanleitung zu durchsuchen.“

Das Feedback der Tester beinhaltete zudem einige Handlungsempfehlungen, die aus ihrer Sicht zur Verbesserung der App und des Sprachassistenten sowie der allgemeinen Benutzererfahrung und somit zum Erfolg der digitalen Betriebsanleitung beitragen könnten. Unter anderem empfahlen die Tester, das Design der App zu modernisieren, ein Onboarding für den App-Nutzer zu integrieren und die Datenbasis noch zu verbessern, sodass schlussendlich alle Keywords aus der Bedienungsanleitung referenziert werden können. Jan Kittel war sowohl mit dem Ablauf des Testings als auch den Testresultaten sehr zufrieden.

JAN KITTEL Senior IT Projektmanager, Arvato SCM Solutions

"Das Testen eines Sprachassistenten bringt spezielle Anforderungen mit sich, die sich dank des Einsatzes von Crowdtesting bewältigen ließen. Wir freuen uns natürlich über positives Testerfeedback und die Verbesserungsvorschläge, die für uns mindestens genauso wichtig sind, denn dadurch ist es uns möglich, die App weiter zu optimieren und schließlich unseren Endkunden ein Produkt anbieten zu können, welches ihren Bedürfnisse entsprechend designt und ausgearbeitet wurde."

Testbirds Insights

BugAbility™

Unsere Allzweckwaffe gegen Bugs und Usability-Probleme! Kombinieren Sie QA- und UX-Testing und nutzen Sie das Beste aus beiden Welten – simultan in einem Test.

Mehr erfahren
Bugablity icon
Testbirds ist zertifiziert durch: