Hoe vertaal je doelgroepinzichten naar toetsbare boodschappen?

Je doelgroepkaart laat zien dat mensen behoefte hebben aan zekerheid. Wat zet je dan op je website? ‘Een betrouwbare partner’ is een mogelijke boodschap, maar nog geen toetsbaar voorstel. Je moet bepalen wat zekerheid in deze situatie betekent, welke informatie je verandert en aan welke uitkomst je kunt zien of die verandering helpt.

Een toetsbare boodschap is hier een concrete communicatievariant waarvoor je vooraf vastlegt bij wie, tegenover welke andere variant en op welke uitkomst je een verschil verwacht. Dat is onze werkdefinitie voor de vertaling van doelgroepinzichten naar onderzoek.

De route is: inzicht beschrijven, verklaring als hypothese formuleren, varianten maken, een passende uitkomst kiezen en de vergelijking uitvoeren. Bewaar bij elke stap het onderscheid tussen wat je al hebt onderzocht en wat je nog verwacht.

Matz en collega’s onderzochten in digitale campagnes boodschappen die aansloten bij persoonlijkheidskenmerken. Hun studies laten zien hoe afstemming van boodschap en publiek empirisch kan worden onderzocht. De publicatie onderzoekt geen Neurofactor-doelgroepindeling. Matz et al., 2017.

Wij gebruiken hier ‘toetsbare boodschap’ als werkterm voor een concrete onderzoeksvraag. We schrijven de oorsprong van die term niet toe aan deze publicatie. De relevante les voor je briefing is dat een plausibele match tussen inzicht en tekst nog een toets nodig heeft in jouw toepassing.

In deze kennisbank is een associatieve doelgroep een groep mensen die binnen een afgebakende keuzecontext op basis van vergelijkbare associaties beslist en op die basis te kaderen is. Dat is een werkdefinitie. Leg vast hoe je de groep herkent voordat je de boodschapuitkomsten bekijkt. Een groep achteraf ‘zekerheidszoekers’ noemen omdat die op een zekerheidstekst klikte, levert geen onafhankelijke toets van dat profiel op.

Begin met één bewering uit de doelgroepkaart. Zet erbij:

• De oorspronkelijke gegevens, bijvoorbeeld interviews, associatiemetingen of keuzeonderzoek.
• De onderzochte personen, situatie en periode.
• De betekenis van het gebruikte begrip in die context.
• Tegenvoorbeelden, ontbrekende gegevens en onzekerheden.
• De beslissing waarvoor je het inzicht wilt gebruiken.

‘Deze doelgroep zoekt zekerheid’ wordt bijvoorbeeld: ‘In de onderzochte gesprekken vroegen deelnemers vóór een offerteaanvraag wie verantwoordelijk is voor de implementatie.’ Dat is een afgebakende observatie. ‘Een zichtbare verantwoordelijkheidsverdeling verhoogt aanvragen’ is de volgende, nog te toetsen verwachting.

Een communicatiehypothese is hier een vooraf beschreven verwachting over het verschil tussen communicatievarianten bij een bepaalde groep en uitkomst. Gebruik deze invulzin:

> Bij [afgebakende doelgroep] in [situatie] verwachten we dat [variant B], vergeleken met [variant A], leidt tot [uitkomst], omdat we veronderstellen dat [verklaring].

Houd de voorspelde uitkomst en de verklaring apart. Een stijging in aanvragen kan passen bij minder onzekerheid, maar bewijst dat mechanisme niet op zichzelf. Wil je ook de verklaring onderzoeken, leg dan vast welke aanvullende gegevens daarvoor nodig zijn. Eén vraag na afloop maakt een mechanisme evenmin automatisch causaal aangetoond.

Maak zichtbaar wat A en B verschillend doen. Je kunt bijvoorbeeld de nadruk op een voordeel veranderen, een proces toelichten of bewijs toevoegen. Houd overige onderdelen waar mogelijk gelijk: aanbod, prijs, visuele vorm, CTA en technische uitvoering.

Verander je meerdere onderdelen tegelijk, benoem dan dat je twee complete pakketten vergelijkt. Zo’n test kan helpen kiezen welke versie je gebruikt. Hij vertelt zonder aanvullende opzet niet welk afzonderlijk element het verschil veroorzaakte.

Wil je effecten van twee elementen en hun combinatie onderscheiden, bespreek dan een passend factoriëel ontwerp en de benodigde omvang. Het advies ‘verander altijd maar één woord’ is te beperkt; de vraag is welk contrast jouw conclusie mogelijk moet maken.

Cronbach en Meehl maakten constructvaliditeit tot onderwerp van een klassieke methodologische publicatie: de interpretatie van een meetuitkomst vraagt om onderbouwing. Dat is ook relevant wanneer je een communicatiemaat wilt uitleggen als bijvoorbeeld vertrouwen. Cronbach & Meehl, 1955.

Onderstaande uitwerking is een redactionele keuzehulp voor jouw testbriefing.

Kies één primaire uitkomst voor de hoofdvraag en leg aanvullende maten apart vast. Benoem ook grenzen die een variant niet mag overschrijden, zoals meer ongeschikte aanvragen of onjuiste verwachtingen. Definieer per maat de teller, noemer en meetperiode.

Kohavi en collega’s bespreken gerandomiseerde online experimenten als aanpak om effecten van veranderingen op gebruikersgedrag te onderzoeken. Hun methodologische gids behandelt ook praktische en statistische voorwaarden van zulke vergelijkingen. Kohavi et al., 2009.

Werk voor jouw test uit hoe deelnemers worden toegewezen en welke eenheid wordt vergeleken: persoon, account of bijvoorbeeld organisatie. Laat één persoon waar nodig dezelfde variant blijven zien. Leg vast hoe je herhaalde bezoeken, uitval en ontbrekende gegevens behandelt.

Vergelijking van een campagne in april met een andere in mei vraagt extra voorzichtigheid: ook publiek, timing en omstandigheden kunnen verschillen. Controleer bij advertentieplatformen of de gekozen functie werkelijk een geschikte experimentele verdeling ondersteunt. Twee losse advertenties laten draaien is geen garantie voor randomisatie.

Lakens beschrijft verschillende manieren om steekproefomvang te onderbouwen, waaronder poweranalyse en gewenste precisie. De keuze hangt samen met wat de studie over relevante effecten moet kunnen leren. Lakens, 2022.

Laat in het testplan zien welk verschil voor jouw beslissing relevant is en wat je met het beschikbare bereik kunt onderzoeken. Er is geen deelnemersaantal dat voor elke boodschappentest voldoende is. Weinig verkeer kan aanleiding zijn eerst begrijpelijkheid of interpretatie te onderzoeken en een kwantitatieve effecttest later uit te voeren.

Simmons en collega’s laten zien dat niet-transparante flexibiliteit in verzamelen, analyseren en rapporteren de kans op fout-positieve bevindingen kan verhogen. Simmons et al., 2011.

Leg daarom vóór de effectanalyse de hoofdvergelijking, uitsluitregels en stopregel vast. Kies een vaste opzet of een passende sequentiële analysemethode. Stop niet op eigen initiatief zodra een tussentijds resultaat gunstig lijkt. Benoem nieuwe analyses achteraf als verkennend en behandel veel varianten of subgroepen in het analyseplan.

Een softwareaanbieder vermoedt dat onduidelijkheid over verantwoordelijkheden een offerteaanvraag bemoeilijkt. Onderstaande uitwerking is fictief: de citaten, propositie en test zijn bedacht, niet uitgevoerd.

De aanbieder moet de belofte van variant B werkelijk kunnen waarmaken. Het gaat om een andere nadruk in de communicatie over dezelfde dienstverlening, niet om het toevoegen van een onbestaande voorziening.

De pretest kan onduidelijke formuleringen helpen vinden. Gebruik de aangepaste teksten vervolgens in de effecttest en leg de versies vast. Wie in de pretest beide boodschappen heeft gezien, heeft een andere blootstelling gehad dan een nieuwe bezoeker in een test met één variant.

Stel dat B meer aanvragen oplevert. Dan beoordeel je nog de onzekerheid, kwaliteit van de aanvragen en uitvoering van de test. De conclusie betreft de geteste variant bij het onderzochte publiek en in die situatie. Voor ‘dit werkt voor alle zekerheidszoekers’ is meer onderzoek nodig.

Gebruik een vooraf afgesproken beslisroute:

• Voldoende steun voor een relevant voordeel: overweeg toepassing binnen de onderzochte context en volg de afgesproken kwaliteitsmaten.
• Onvoldoende onderscheid: rapporteer de onzekerheid. Een onduidelijke uitkomst bewijst geen gelijkwaardigheid.
• Een ongunstig effect of verkeerde verwachtingen: pas de boodschap aan of behoud de andere variant.
• Een onverwacht verschil tussen groepen: behandel het als vervolgonderzoek wanneer die vergelijking niet vooraf was gepland.

Een variant die in groep X ‘significant’ scoort en in groep Y niet, bewijst op zichzelf niet dat de effecten tussen groepen verschillen. Laat daarvoor het verschil in effecten rechtstreeks onderzoeken. Maak ook onderscheid tussen het effect van de toegewezen boodschap en de veronderstelde psychologische verklaring.

Een klikstijging ‘meer vertrouwen’ noemen; alleen de gunstigste maat rapporteren; doelgroepgrenzen na de uitslag aanpassen; twee complete campagnes vergelijken en één woord als oorzaak aanwijzen; een vage uitkomst als ‘geen effect’ bestempelen; een belofte testen die het aanbod niet waarmaakt.

Bewaar daarom één testdossier met inzicht, hypothese, versies, doelgroepregel, meetplan, analyseafspraken en besluit. Noteer ook wat je na deze test nog niet weet.

Een doelgroepkaart helpt kiezen wat je onderzoekt. Een toetsbare boodschap maakt die keuze concreet: voor wie verander je welke informatie, ten opzichte waarvan en met welk verwacht resultaat? Met een passende vergelijking en vooraf vastgelegde besluitvorming wordt een tekstvariant een leerzame test.