Abstract des Papers

Die Wahl des richtigen statistischen Verfahrens ist für einen A/B-Test essentiell. Bei Nutzung eines mächtigen Tests kann ein Experiment schneller zu Erkenntnissen führen und es können früher datengetriebene Entscheidungen getroffen werden. In dieser Untersuchung wurden der Permutationstest und der Wilcoxon-Rangsummentest bezüglich Mächtigkeit und Alpharobustheit verglichen. Die Vorgehensweise kann zudem abstrahiert und auf andere Tests oder Anwendungen übertragen werden.

Der Hintergrund

Änderungen an der Webseite von Otto (GmbH & Co KG) werden durch A/B-Tests auf ihre Wirksamkeit geprüft. Den Kunden werden dabei zwei verschiedene Versionen der Webseite gezeigt. Im Nachhinein wird mittels eines statistischen Tests geprüft, ob ein relevanter Unterschied zwischen den Versionen besteht. Die Wahl eines passenden Tests ist dabei essentiell. Eine sinnvolle Auswahl führt bei einem Experiment früher zu Erkenntnissen, somit zu schnelleren Entscheidungen und ermöglicht letztlich monetäre Vorteile für das Unternehmen. Aus diesem Grund wurden der Permutationstest und der Wilcoxon-Rangsummentest bezüglich Mächtigkeit und Alpharobustheit verglichen, beides wichtige quantitative Maße zur Beurteilung eines Tests. Die Vorgehensweise kann abstrahiert und auf andere Tests oder Anwendungen übertragen werden.

Motivation für das Thema

Im Unternehmen wird standardmäßig der Wilcoxon-Rangsummentest eingesetzt, da dieser keine Voraussetzung an die Verteilung der Daten stellt. In der Literatur wird er jedoch im Allgemeinen als Test mit geringer Stärke angesehen, da bei dem Verfahren das Skalenniveau reduziert und somit Informationen verloren gehen. Im Gegensatz dazu wird dem Permutationstest die Eigenschaft zugesprochen, Effekte sehr zuverlässig zu erkennen, wobei er ebenfalls verteilungsfrei ist. Es bestand somit die Vermutung, dass sich durch den Einsatz des Permutationstest eine Verbesserung erreichen lässt, ohne dabei Abstriche bei anderen Kriterien machen zu müssen.

Der Vortrag findet am 26.09.19 um 10:00 Uhr im Rahmen der Session 5: Keynote und Algorithmik auf der SKILL statt.

Felix Welter studierte im Studiengang Wirtschaftsinformatik (B.Sc.) beim NORDAKADEMIE Partnerunternehmen Otto und machte 2019 seinen Abschluss.

Wobei handelt es sich bei der Skill?
Die SKILL 2019 ist eine Studierendenkonferenz, welche zusammen mit der Konferenz INFORMATIK 2019 in Kassel stattfindet. Der Fokus liegt dabei auf Arbeiten von Studierenden oder frische Absolventen.

Wann findet sie wo statt? Wer kann teilnehmen?
Am 25. und 26. September. Autoren/Sprecher sind Studenten oder kurzfristige Absolventen. Das Publikum ist gemischt, als Hörer sind keine besonderen Voraussetzungen zu erfüllen.

Wie ist der Tagungsablauf strukturiert?
Das Tagungsprogramm ist auf der folgenden Seite zu finden: http://skill.informatik.uni-leipzig.de/blog/2019/07/skill-2019-programm/
Dienstagabend reisen die Teilnehmer an und es gibt eine gemeinsame Abendveranstaltung. Mittwoch und Donnerstag werden die Beiträge präsentiert/vorgestellt. Weiterhin werden ausgewählte Veranstaltungen auf der INFORMATIK 2019 besucht.

Was hat Sie zur Teilnahme bewogen?
Die SKILL 2019 ist eine hervorragende Möglichkeit frühe Erfahrungen mit dem Arbeiten im wissenschaftlichen Kontext, dem Erstellen und Veröffentlichen von Papern, etc. zu sammeln. Die Teilnahme bietet ebenfalls die Möglichkeit sich mit ähnlich Interessierten auszutauschen und verschafft einen Überblick darüber, welche Projekte an anderen Hochschulen von Studierenden durchgeführt werden.

Wie lief das Bewerbungsprozedere ab?
Klassischerweise werden Beiträge über einen Call for Papers angefordert. Der von der SKILL 2019 ist hier einzusehen:

http://skill.informatik.uni-leipzig.de/blog/wp-content/uploads/2019/03/SKILL2019-CfP.pdf

Bis zum 12. Mai war es möglich, Beiträge einzureichen. Mehrere Reviewer haben dann circa einen Monat Zeit, die Beiträge zu sondieren, anzunehmen oder abzulehnen und möglicherweise Verbesserungsvorschläge zu machen. Wird das Paper angenommen, müssen häufig noch Anpassungen am Layout gemacht werden, damit die Beiträge später im Tagungsband ein einheitliches Bild ergeben. Mit der Abgabe der druckfertigen Version steht dann auch der Teilnahme an der Konferenz nichts mehr im Wege.

Welche Anforderungen werden an die Beiträge gestellt?
Grundlegend müssen die Beiträge natürlich den Anforderungen an eine wissenschaftliche Arbeit genügen (Inhaltliche Korrektheit, Quellenangaben, Sachlichkeit etc.). Weiterhin müssen die Paper entweder als Short Paper (4-6 Seiten, inklusive Quellen) oder Full Paper (10-12 Seiten, inklusive Quellen) eingereicht werden. Der Zitationsstil Lecture Notes In Informatics ist für die Beiträge ebenfalls vorgegeben.

In welchem Medium wird der gesamte Bericht veröffentlicht?
Die SKILL 2019 veröffentlicht die Beiträge jedes Jahr im Nachgang in einem Tagungsband.