Analytics Conversion Optimization

Was ist eigentlich ein A/B-Test?

A/B Splittest

Ob Entscheidungen richtig oder falsch sind, wissen wir erst, nachdem wir sie getroffen haben. Daher probieren wir Dinge gern erstmal in einem kleineren Rahmen aus. Das kostet zwar Zeit, aber verringert das Risiko einer falschen Entscheidung.

Im Marketing müssen jeden Tag Entscheidungen in Unsicherheit getroffen werden. Welches Visual wird besser performen? Welche Zielkunden haben die geringsten Akquisekosten? Welche Betreffzeile führt zur höchsten Öffnungsrate?

Längst bewährt haben sich sogenannte A/B-Tests bzw. A/B Splittests. Wie funktioniert so ein Test genau und in welchen Fällen macht er Sinn?

Anwendungsgebiete für A/B-Tests

Prinzipiell gibt es im Digital-Marketing wenig, was sich nicht testen lässt. Besonders gern wird die Performance folgender Medien untersucht:

  • E-Mail-Newsletter (Betreffzeilen, Preheader, CTAs etc.)
  • Webseiten (Headlines, Visuals, CTAs etc.)
  • Push Nachrichten und Web Push Notifcations
  • Display Banner
  • Adword-Anzeige
  • Posts/Tweets
  • Apps

Für jeden Tests werden bestimmte Indikatoren herangezogen, auf dessen Basis der Erfolg bewertet werden kann. Zum Beispiel Opens, Clicks, Likes, Verweildauer, Shares oder Conversions.

Das Prinzip eines A/B-Tests

Bei einem A/B-Test werden zwei oder noch mehr Varianten des zu testenden Mediums parallel ausgespielt, d.h. man splittet die Ausspielung auf. (Daher spricht man auch von einem Splittest.) Hat man zum Beispiel zwei verschiedene Landingpages angelegt und möchte wissen, welche besser performt, gehen beide zeitgleich online. Ein Zufallsalgorithmus entscheidet, welche Variante einem User angezeigt wird. Das hat verschiedene Vorteile:

  • Die Tests laufen zeitgleich. Zeitliche Effekte haben somit keinen Einfluss auf das Testergebnis.
  • Medien werden unabhängig von den Eigenschaften eines Users ausgespielt. Folglich können demographische und sonstige Eigenschaften des Users das Testergebnis nicht verzerren.
  • Jedes Objekt wird ähnlich häufig ausgespielt.

Splittest

Dauer eines A/B-Tests

Die Frage nach der optimalen Testdauer ergibt sich aus folgenden, sich konkurrierenden Zielen:

Der Zeitraum sollte möglichst kurz sein, um schnell mit dem Ergebnis arbeiten zu können.

Wie schnell wird ein Testergebnis benötigt? Ein Newsletter soll normalerweise noch am selben Tag an alle Empfänger raus. Eine Landingpage mit einem Angebot innerhalb weniger Tage.

Der Zeitraum sollte möglichst lang sein, um eine statistische Signifikanz zu gewährleisten.

Nur wenn die Grundgesamtheit groß genug ist, führt der Test zu einem aussagekräftiges Ergebnis. Wenn nur jeweils 30 User eine Landingpage geöffnet haben, lässt sich daraus im Prinzip nichts ableiten. Deshalb sollten auch nicht zu viele Varianten gleichzeitig getestet werden. Mehr zum Thema Signifikanz auf Wikipedia

Wie Du siehst, macht ein A/B-Test in vielen Fällen gar keinen Sinn. Vor allem dann, wenn man über nur wenig Traffic oder einen kleinen Newsletter-Verteiler verfügt. Andere Testverfahren sind für die meisten B2B-Marketer besser geeignet.

Vorteile von A/B-Tests

  • Tests lassen sich mit den richtigen Tools weitgehend automatisieren.
  • Bei korrekter Vorbereitung und ausreichend großer Grundgesamtheit ergeben sich aussagekräftige Ergebnisse.
  • Tests lassen sich sehr schnell und kostengünstig durchführen.

Nachteile von A/B-Tests

  • Bei ungenügender Grundgesamtheit (N = Traffic, E-Mail-Empfänger etc.) lassen sich keine aussagekräftigen Ergebnisse ermitteln. Es ist dann schwierig, den wahren Grund für ein bestimmtes Ergebnis abzuleiten. Vor allem, wenn in den Varianten mehrere Bestandteile variieren.
  • Man neigt dazu, falsche Ursachen in das Ergebnis hineinzuinterpretieren.
  • Man neigt dazu, lediglich mit dem Gewinner weiterzuarbeiten. Dabei ist es oft eine andere Variante, welcher mit bestimmten Anpassungen das beste Ergebnis erzielen würde.
  • Die schwächste Variante kann die Gesamt-Performance einer Kampagne schwächen. Varianten müssen deshalb sorgfältig bestimmt werden.

Automation von A/B-Tests

Gängige Newsletter-Software und Social-Media-Plattformen (wie jene von Google oder Facebook) ermöglichen automatisierte Tests ohne weiteres Zutun. Wer jedoch Webseiten und Landingpages testen möchte, kann dies ohne zusätzliche Tools kaum realisieren.

Hier eine Aufstellung gängiger Tools, welche beim Test von Webseiten sehr hilfreich sein können:

Die Zukunft von A/B-Tests

Splittests bleiben auch in Zeiten von KI wichtig, werden jedoch zunehmend automatisiert. Allerdings tun sich auch Maschinen schwer damit, Kausalitäten zwischen einem Merkmal und einem Testergebnis zu beschreiben. Als Ergänzung bleiben somit qualitative Testverfahren (z.B. Interviews) weiterhin von großer Bedeutung.

Ebenfalls interessant
Conversion Funnels
9 häufige Fehler beim Aufsetzen eines Conversion Funnels
Konversionsrate erhöhen
Konversionsrate optimieren in 7 einfachen Schritten

Bitte kommentieren

Ihr Kommentar*

Ihr Name*
Ihre Website