Analytics

Was ist eigentlich ein A/B-Test?

A/B Test Beschreibung

Ob Entscheidungen richtig oder falsch sind, weiß man erst, nachdem man sie getroffen hat. Daher probieren wir Dinge gern erstmal in einem kleineren Rahmen aus. Das gibt uns die Möglichkeit, eine Entscheidung zu revidieren.

Im Marketing müssen jeden Tag Entscheidungen in Unsicherheit getroffen werden. Welches Visual wird wohl besser performen? Welche Zielgruppe hat den günstigsten Akquisekosten? Welche Betreffzeile führt zur höchsten Öffnungsrate?

Vor allem im digitalen Marketing helfen uns bei der Auswahl sogenannte A/B-Test bzw. A/B Splittest. Wie funktioniert so ein Test genau und in welchen Fällen findet er Einsatz?

Anwendungsgebiete für A/B-Tests

Prinzipiell gibt es im Digital-Marketing wenig, was sich nicht testen lässt. Voraussetzung, man die richtigen Hilfsmittel zur Hand.

  • E-Mail-Newsletter (Betreffzeilen, Preheader etc.)
  • Webseiten (Headlines, Visuals, CTAs etc.)
  • Push Notifications
  • Display Banner
  • Adword-Anzeige
  • Sponsored Post/Tweet
  • Applikationen

Für jeden Tests werden bestimmte Indikatoren herangezogen, auf dessen Basis der Erfolg bzw. die User Experience bewertet werden kann. Zum Beispiel Opens, Clicks, Likes, Verweildauer, Conversions und so weiter.

Das Prinzip eines A/B-Tests

Bei einem A/B-Test werden zwei oder noch mehr Varianten des zu testenden Objekts parallel ausgespielt, d.h. man splittet die Ausspielung auf. (Daher spricht man auch von einem Splittest.) Hat man zum Beispiel zwei verschiedene Landingpages angelegt und möchte wissen, welche besser performt, gehen beide zeitgleich online. Ein Zufallsalgorithmus entscheidet, welche Variante einem User angezeigt wird. Das hat verschiedene Vorteile:

  • Die Tests laufen zeitgleich. Zeitliche Effekte haben somit keinen Einfluss auf das Testergebnis.
  • Objekte werden unabhängig von den Eigenschaften eines Users ausgespielt. Folglich können Demographie und sonstige Eigenschaften des Users das Testergebnis nicht beeinflussen.
  • Jedes Objekt wird ähnlich häufig getestet.

A/B-Test Beispiel

Dauer eines A/B-Tests

Die Frage nach der optimalen Testdauer ergibt sich aus folgenden konkurrierenden Zielen:

Der Zeitraum sollte möglichst kurz sein, um schnell mit dem Ergebnis arbeiten zu können.

Wie schnell wird ein Testergebnis benötigt? Ein Newsletter soll normalerweise noch am selben Tag an alle Empfänger raus. Eine Landingpage mit einem Angebot innerhalb weniger Tage.

Der Zeitraum sollte möglichst lang sein, um eine statistische Signifikanz zu gewährleisten.

Nur wenn die Grundgesamtheit groß genug ist, führt der Test zu einem aussagekräftiges Ergebnis. Wenn nur jeweils 30 User eine Landingpage geöffnet haben, lässt sich daraus im Prinzip nichts ableiten. Der Testzeitraum sollte also mindestens 10x so lang sein. Auch sollten nicht zuviele Varianten gleichzeitig getestet werden. Mehr zum Thema Signifikanz auf Wikipedia

Wie Du siehst, macht ein A/B-Test in vielen Fällen gar keinen Sinn.Vor allem dann, wenn man über nur wenig Traffic und einen kleinen Newsletter-Verteiler verfügt. Andere Testverfahren sind dann besser geeignet. Das betrifft vor allem viele B2B Marketer und Anbieter in Nischenmärkten.

Vorteile von A/B-Tests

  • Tests lassen sich mit den richtigen Tools weitgehend automatisieren.
  • Bei korrekter Vorbereitung und ausreichend großer Grundgesamtheit ergeben sich aussagekräftige Ergebnisse.
  • Tests lassen sich sehr schnell und kostengünstig durchführen.

Nachteile von A/B-Tests

  • Bei ungenügender Grundgesamtheit (Traffic, E-Mail-Empfänger etc.) lassen sich keine aussagekräftigen Ergebnisse ermitteln
    Es ist schwierig, den wahren Grund für ein bestimmtes Ergebnis abzuleiten. Vor allem, wenn in den Varianten mehrere Bestandteile variieren.
  • Man neigt dazu, falsche Ursachen in das Ergebnis hineinzuinterpretieren.
  • Man neigt dazu, lediglich mit dem Gewinner weiterzuarbeiten. Dabei ist es oft eine andere Variante, welcher mit bestimmten Anpassungen das beste Ergebnis erzielen würde.
  • Die schwächste Variante darf keinen User abschrecken. Ein Mindestmaß an Qualität ist erforderlich.

Automation von A/B-Tests

Gängige Newsletter-Software und Werbeplattformen (wie jene von Google oder Facebook) ermöglichen automatisierte Tests ohne weiteres Zutun. Wer jedoch Webseiten bzw. einzelne Bestandteile testen möchte, kann dies ohne zusätzliche Tools kaum realisieren.

Hier eine Aufstellung gängiget Tools, welche beim Test von Webseiten sehr hilfreich sein können:

  • Optimizely
  • Google Optimize
  • CrazyEgg
  • eTracker Optimizer
  • AB Tasty
  • Die Zukunft von A/B-Tests

    Splittests bleiben auch in Zeiten von KI wichtig, werden jedoch zunehmend automatisiert. Allerdings tun sich auch Maschinen schwer damit, Kausalitäten zwischen einem Merkmal und einem Testergebnis zu beschreiben. Als Ergänzung bleiben somit qualitative Testverfahren (z.B. Interviews) weiterhin von großer Bedeutung.

    Ebenfalls interessant
    Content Performance
    So misst Du Deine Content Performance
    Machine Learning im Marketing
    Machine Learning im Marketing: Einführung

    Bitte kommentieren

    Ihr Kommentar*

    Ihr Name*
    Ihre Website