Von Zielgruppenerkenntnissen zu prüfbaren Botschaften

Dein Zielgruppenprofil zeigt, dass Menschen Sicherheit wünschen. Was schreibst du dann auf deine Website? „Ein zuverlässiger Partner“ ist eine mögliche Botschaft, aber noch kein prüfbarer Vorschlag. Du musst bestimmen, was Sicherheit in dieser Situation bedeutet, welche Information du veränderst und an welchem Ergebnis du erkennst, ob die Änderung hilft.

Eine prüfbare Botschaft ist hier eine konkrete Kommunikationsvariante, für die du vorab Zielgruppe, Vergleichsvariante und Ergebnis festlegst, bei dem du einen Unterschied erwartest. Das ist unsere Arbeitsdefinition für die Übersetzung von Zielgruppenerkenntnissen in Forschung.

Der Weg führt von der Beschreibung der Erkenntnis über eine Erklärung als Hypothese zu Varianten, einem passenden Ergebnismaß und dem Vergleich. Unterscheide bei jedem Schritt zwischen bereits untersuchten Aussagen und noch zu prüfenden Erwartungen.

Matz und Kollegen untersuchten in digitalen Kampagnen Botschaften, die zu Persönlichkeitsmerkmalen passten. Ihre Studien zeigen, wie die Abstimmung von Botschaft und Publikum empirisch untersucht werden kann. Die Veröffentlichung untersucht keine Neurofactor-Zielgruppeneinteilung. Matz et al., 2017.

Wir verwenden „prüfbare Botschaft“ als Arbeitsbegriff für eine konkrete Forschungsfrage. Den Ursprung dieses Begriffs schreiben wir nicht dieser Veröffentlichung zu. Für dein Briefing ist entscheidend: Eine plausible Verbindung zwischen Erkenntnis und Text braucht noch eine Prüfung in deiner Anwendung.

In dieser Wissensdatenbank bezeichnet eine assoziative Zielgruppe Menschen, die in einem abgegrenzten Entscheidungskontext auf Grundlage ähnlicher Assoziationen entscheiden und sich auf dieser Basis eingrenzen lassen. Das ist eine Arbeitsdefinition. Lege die Gruppenzuordnung fest, bevor du Botschaftsergebnisse betrachtest. Menschen nachträglich als „Sicherheitssuchende“ zu bezeichnen, weil sie auf eine sicherheitsbetonte Botschaft geklickt haben, prüft dieses Profil nicht unabhängig.

Beginne mit einer Aussage aus dem Zielgruppenprofil. Halte fest:

• Ursprüngliche Daten, etwa Interviews, Assoziationsmessungen oder Entscheidungsforschung.
• Untersuchte Personen, Situation und Zeitraum.
• Bedeutung des verwendeten Begriffs in diesem Kontext.
• Gegenbeispiele, fehlende Informationen und Unsicherheiten.
• Entscheidung, für die du die Erkenntnis nutzen möchtest.

Aus „Diese Zielgruppe sucht Sicherheit“ wird beispielsweise: „In den untersuchten Gesprächen fragten Teilnehmende vor einer Angebotsanfrage, wer für die Implementierung verantwortlich ist.“ Das ist eine abgegrenzte Beobachtung. „Eine sichtbare Verantwortungsverteilung erhöht Anfragen“ ist die nächste, noch zu prüfende Erwartung.

Eine Kommunikationshypothese ist hier eine vorab beschriebene Erwartung über den Unterschied zwischen Kommunikationsvarianten bei einer bestimmten Gruppe und einem Ergebnis. Nutze diesen Satz:

> Bei [abgegrenzter Zielgruppe] in [Situation] erwarten wir, dass [Variante B] gegenüber [Variante A] zu [Ergebnis] führt, weil wir [Erklärung] vermuten.

Trenne das vorhergesagte Ergebnis von der Erklärung. Mehr Anfragen können zu geringerer Unsicherheit passen, belegen diesen Mechanismus aber nicht für sich allein. Wenn du auch die Erklärung untersuchen möchtest, bestimme die dafür notwendigen zusätzlichen Daten. Auch eine einzelne anschließende Frage weist nicht automatisch einen kausalen Mechanismus nach.

Mache sichtbar, was A und B unterschiedlich machen. Du kannst etwa einen anderen Vorteil betonen, einen Ablauf erklären oder Belege ergänzen. Halte weitere Bestandteile möglichst konstant: Angebot, Preis, Gestaltung, CTA und technische Umsetzung.

Änderst du mehrere Bestandteile gemeinsam, benenne den Vergleich zweier vollständiger Pakete. Ein solcher Test kann bei der Versionswahl helfen. Ohne zusätzliche Gestaltung des Versuchs zeigt er nicht, welches einzelne Element den Unterschied verursacht hat.

Möchtest du Effekte zweier Elemente und ihrer Kombination unterscheiden, besprecht ein passendes faktorielles Design und den erforderlichen Umfang. „Ändere immer nur ein Wort“ ist zu eng gefasst. Entscheidend ist, welcher Vergleich deine Schlussfolgerung ermöglichen soll.

Cronbach und Meehl behandelten Konstruktvalidität in einer klassischen methodischen Veröffentlichung: Die Interpretation eines Messergebnisses braucht Belege. Das gilt auch, wenn du eine Kommunikationskennzahl etwa als Vertrauen interpretieren möchtest. Cronbach & Meehl, 1955.

Die folgende Tabelle ist eine redaktionelle Planungshilfe für dein Testbriefing.

Wähle ein primäres Ergebnismaß für die Hauptfrage und dokumentiere zusätzliche Maße getrennt. Benenne auch Grenzen, die eine Variante nicht überschreiten darf, etwa mehr ungeeignete Anfragen oder falsche Erwartungen. Definiere für jedes Maß Zähler, Nenner und Messzeitraum.

Kohavi und Kollegen behandeln randomisierte Onlineexperimente als Ansatz, um Auswirkungen von Änderungen auf Nutzerverhalten zu untersuchen. Ihr methodischer Leitfaden behandelt auch praktische und statistische Voraussetzungen solcher Vergleiche. Kohavi et al., 2009.

Lege für deinen Test Zuweisung und Vergleichseinheit fest: etwa Person, Konto oder Organisation. Sorge bei Bedarf dafür, dass eine Person dieselbe Variante wiederholt sieht. Dokumentiere den Umgang mit wiederholten Besuchen, Ausfällen und fehlenden Daten.

Der Vergleich einer Kampagne im April mit einer anderen im Mai verlangt zusätzliche Vorsicht: Auch Publikum, Zeitpunkt und Umstände können sich unterscheiden. Prüfe bei Werbeplattformen, ob die gewählte Funktion tatsächlich eine passende experimentelle Zuweisung unterstützt. Zwei getrennte Anzeigen garantieren keine Randomisierung.

Lakens beschreibt verschiedene Begründungen für den Stichprobenumfang, darunter Poweranalyse und gewünschte Präzision. Die Wahl hängt davon ab, was die Studie über relevante Effekte klären soll. Lakens, 2022.

Zeige im Testplan, welcher Unterschied für deine Entscheidung relevant ist und was sich mit der verfügbaren Reichweite untersuchen lässt. Keine Teilnehmendenzahl reicht für jeden Botschaftstest aus. Wenig Traffic kann dafür sprechen, zuerst Verständlichkeit oder Interpretation zu untersuchen und einen quantitativen Wirkungstest später durchzuführen.

Simmons und Kollegen zeigen, dass nicht offengelegte Flexibilität bei Datenerhebung, Analyse und Berichterstattung die Wahrscheinlichkeit falsch-positiver Befunde erhöhen kann. Simmons et al., 2011.

Lege deshalb vor der Wirkungsanalyse Hauptvergleich, Ausschlussregeln und Stoppregel fest. Wähle ein festes Design oder ein geeignetes sequenzielles Analyseverfahren. Beende den Test nicht nach eigenem Ermessen, sobald ein Zwischenergebnis günstig aussieht. Kennzeichne ungeplante Analysen als explorativ und berücksichtige mehrere Varianten oder Untergruppen im Analyseplan.

Ein Softwareanbieter vermutet, dass unklare Zuständigkeiten eine Angebotsanfrage erschweren. Die folgende Ausarbeitung ist fiktiv: Aussagen, Angebot und Test wurden erfunden, nicht erprobt.

Der Anbieter muss das Versprechen von B tatsächlich erfüllen können. Es geht um eine andere Betonung in der Kommunikation derselben Dienstleistung, nicht um eine nicht vorhandene Zusatzleistung.

Der Pretest kann unklare Formulierungen aufdecken. Verwende anschließend die überarbeiteten Texte im Wirkungstest und dokumentiere ihre Versionen. Wer im Pretest beide Botschaften gesehen hat, hatte eine andere Exposition als ein neuer Besucher in einem Test mit einer Variante.

Angenommen, B bringt mehr Anfragen. Dann beurteilst du noch Unsicherheit, Qualität der Anfragen und Testdurchführung. Die Schlussfolgerung betrifft die untersuchte Variante, das Publikum und die Situation. „Das wirkt bei allen Sicherheitssuchenden“ braucht weitere Forschung.

Nutze einen vorher vereinbarten Entscheidungsweg:

• Ausreichende Belege für einen relevanten Vorteil: Erwäge den Einsatz im untersuchten Kontext und beobachte die vereinbarten Qualitätsmaße.
• Unzureichende Unterscheidung: Berichte die Unsicherheit. Ein unklarer Befund belegt keine Gleichwertigkeit.
• Ungünstiger Effekt oder falsche Erwartungen: Passe die Botschaft an oder behalte die andere Variante.
• Unerwarteter Unterschied zwischen Gruppen: Behandle ihn als Anschlussforschung, wenn dieser Vergleich nicht geplant war.

Ein „signifikantes“ Ergebnis in Gruppe X und ein nicht signifikantes in Gruppe Y belegen für sich genommen keinen Unterschied zwischen den Effekten. Lass dafür die Effektdifferenz direkt untersuchen. Unterscheide außerdem den Effekt der zugewiesenen Botschaft von der vermuteten psychologischen Erklärung.

Mehr Klicks als „mehr Vertrauen“ bezeichnen; nur die günstigste Kennzahl berichten; Zielgruppengrenzen nach dem Ergebnis verändern; zwei vollständige Kampagnen vergleichen und ein Wort zur Ursache erklären; einen unklaren Befund als „kein Effekt“ werten; ein Versprechen testen, das das Angebot nicht erfüllt.

Bewahre deshalb ein Testdossier mit Erkenntnis, Hypothese, Versionen, Zielgruppenregel, Messplan, Analysevereinbarungen und Entscheidung auf. Notiere auch, was du nach diesem Test noch nicht weißt.

Ein Zielgruppenprofil hilft bei der Auswahl dessen, was du untersuchst. Eine prüfbare Botschaft macht diese Auswahl konkret: Für wen veränderst du welche Information, gegenüber welcher Alternative und mit welchem erwarteten Ergebnis? Ein passender Vergleich und eine vorab festgelegte Entscheidungslogik machen die Textvariante zu einem aufschlussreichen Test.