Wanneer natuurkundige Wolfgang Pauli naar zijn mening werd gevraagd over een paper dat zeer vaag was en heel wat methodologische tekortkomingen had, was zijn fameuze repliek hierop: ‘Das ist nicht einmal falsch’ (Dat is niet eens fout). Want alle onderzoeken kunnen fouten bevatten. Het ‘ding’ dat voorgesteld is door marketingbureau Motivaction is inderdaad niet eens fout. Ik spreek hier bewust over het ‘ding’, want hoe noem je iets dat 80% procent van de Turkse Nederlanders als ISIS-fanaten voorstelt? Zeker geen onderzoek, en al zeker geen wetenschappelijk verantwoorde studie. Dat het ding toch uitvoerig behandeld wordt door de Nederlandse media, wijst uit hoe data-ongeletterd we zijn.
Om het predicaat ‘wetenschappelijk’ te verkrijgen, dient een studie immers op zijn minst te voldoen aan de drie R’s: repliceerbarheid, representativiteit, en betrouwbaarheid (van Engelse reliability). Het ding van Motivaction beantwoordt niet eens aan één van deze drie criteria.
Repliceerbaarheid
Repliceerbaarheid betekent dat resultaten van een studie min of meer repliceerbaar moeten zijn door andere studies. Als er afwijkingen zijn, moeten deze verantwoord worden. Wat Diederick Stapel uiteindelijk nekte was de onmogelijkheid om zijn bevindingen te repliceren. Het is zeer onwaarschijnlijk dat de bevindingen van Motivaction gerepliceerd kunnen worden. Tot op vandaag is de bevinding van bijna alle wetenschappelijke studies dat Moslims geen enkele jihadistische beweging steunen. Integendeel, iedere serieuze onderzoek (zoals met de grootschalige COOL-studie) wijst uit dat burgerschapswaarden en geloof in democratie net sterker zijn bij allochtonen jongeren dan bij autochtonen.
Representativiteit
Een steekproef van een wetenschappelijk studie dient ook (minimaal) representatief te zijn voor de populatie waarover uitspraken gedaan worden. Zeker wanneer er verregaande veralgemeningen gemaakt worden zoals in het ding van Motivaction. Ook doorslaggevend is waar de respondenten gevonden zijn. Bijvoorbeeld, wanneer een studie wil nagaan hoe positief Nederlanders over prostitutie denken, is het een slechte idee om de respondenten te ronselen aan de Wallen. Waar heeft Motivaction zijn respondenten dan geronseld? De auteurs zijn heel onduidelijk hierover: bij de moskee ’s, theehuizen,…. Er is dus geen enkele indicatie wat de kans van opname in de studie was. Het ding van Motivaction geeft dan ook toe dat het niet gaat om een representatieve studie. Dit zou zogezegd onmogelijk geweest zijn wegens analfabetisme onder de populatie. Bitch please, het gaat hier over respondenten die maximaal 34 jaar oud zijn: analfabetisme is onbestaande in deze groep. Maar dat de auteurs een degelijke stelling kunnen neerpennen, bewijst dat ze in feite niet geschikt zijn om het onderzoek te voeren.
Betrouwbaarheid
Elk onderzoek die naam waardig dient ten slotte betrouwbaar te zijn. Een niet betrouwbaar onderzoek is vergelijkbaar met een weegschaal die telkens een ander resultaat geeft wanneer je erop staat. Om de betrouwbaarheid te garanderen gebruiken onderzoekers meestal gestandaardiseerde vragenlijsten. Dit betekent dat er eerst heel wat onderzoek verricht wordt over de vragen die gesteld worden. Dit om zeker te zijn dat datgene wat gevraagd wordt ook datgene is dat men wou meten. In het ding van Motivaction is er geen enkele indicatie over betrouwbaarheid van de vragen. Sterker nog, de onbetrouwbaarheid valt onmiddellijk af te leiden van de interne inconsistenties van de resultaten. Zo zouden de respondenten massaal tegen het kalifaat zijn, maar toch IS steunen. Dit is vergelijkbaar met een weegschaal die je eerst anorectisch en vijf minuten later obees verklaart.
Marketing
Dat de repliceerbaarheid, representativiteit en betrouwbaarheid van het ding van Motivaction twijfelachtig is, staat vast. Maar er is wellicht meer aan de hand. Zo wil ik de auteurs aanraden om te controleren of de interviewers effectief de interviews hebben afgenomen. Want bij dit soort studies gebeurt het wel eens dat de resultaten niets anders zijn dan de fantasieën van de interviewers. Ik zou ook begrip hebben voor deze interviewers. Want wie wilt er nu met gênante vragen zoals ‘steun je het doden van ongelovigen’ naar een moskee of een theehuis gaan?
Moeten we verwonderd zijn? Nee. Wanneer je een studie bestelt bij een marketingbureau, dan krijgen de drie P’s van de marketing (prijs, plaats en promotie) voorrang op de drie R’s van de wetenschap. Het product is dan goedkoop, de bevindingen sensationeel, maar het uiteindelijke resultaat is de figuurlijke ‘branding’ van bepaalde groepen in de samenleving. Meer data-geletterdheid is nodig om te voorkomen dat dergelijke producten een impact hebben op de samenleving.
Dit stuk is geschreven door Orhan Agirdag, en is eerder verschenen op zijn eigen blog.
Redactie
Wij Blijven Hier werd in 2005 opgericht, omdat ze vonden dat ze er nog niet waren. Inmiddels zijn ze 3000 bijdragen rijker, die vrijwillig door beginnende én gearriveerde verhalenvertellers worden geschreven. Verschillend van columns, persoonlijke ervaringen tot verborgen nieuwsfeitjes. Ze kijken op hun eigen manier tegen de wereld aan, en vertellen zélf het verhaal. Wie zijn ze? Kijk om u heen. Want ze zijn hier. Zij Blijven Hier!Lees andere stukken van de WBH Redactie
4 Reacties op "Dat ding van Motivaction is niet eens fout"
Motivaction is een marktonderzoeksbureau dus geen marketingbureau. Marketingbureaus helpen bij de marketing van producten en diensten. Hoewel er veel vragen zijn te stellen bij die uitkomsten en ik ze ook merkwaardig vind valt wel op dat de houding van Erdogan ook nogal tegenstrijdig lijkt. IS vormt een potentiële bondgenoot voor Turkije in de strijd tegen Assad en de Koerden maar Turkije is ook NAVO lid. IS vergaderde en recruteerde openlijk in Turkije en daar is weinig tegen ondernomen. Turkije heeft een conflict met de Koerden maar laat ze uiteindelijk wel over Turks grondgebied versterkingen naar Kobani brengen. De situatie is ook ingewikkeld en zijn spel is een beetje verdeel en heers. Aangezien Erdogan nogal populair schijnt te zijn onder Turken zou zijn ingewikkelde positie en mening zijn weerslag kunnen vinden in de opvattingen van zijn achterban. Ik heb echter ook nogal wat vragen bij het onderzoek en aangezien de vragenlijst niet eens in een bijlage zat kan je amper beginnen met een evaluatie. Ik hoop dat ze nog wat meer gegevens willen delen om meer helderheid te krijgen over de gevolgde methode.
Simon, voor je beweringen heb je geen enkele wetenschappelijk bewijs, het enige wat je doet zijn aannamens en propisities opnoemen, ingegeven vanuit je onderbuik gevoelens en vooroordelen die perfect passen bij je paradigma van ‘Westerse intellectuele heersschapij en ware ontwikkelde beschaving’, dus laten we jouw reactie voor het gemak ook maar ‘een ding dat niet fout is’ noemen.
Je moet wel een echt een plaat voor je kop hebben en leiden aan een resistente vorm van zelfoverschatting en misplaatste westerse arrogantie om met zo’n reactie aan te komen en denken dat je hiermee weg komt.
Ontopic: het ergste van alles is dat het ‘ding’ niet eens een audit trail heeft, geen wetenschappelijke verantwoording van de method (methodologie), geen enkele keer wordt verwezen naar andere onderzoeken, geen representatieve steekproef en bovendien subjectieve interpretaties doen van de onderzoeksresultaten, de rest van de bezwaren zijn hiervoor al benoemd. Met dit soort amateuristische onderzoeken zal er geen continuiteit zijn voor motivaction, binnen de korste keren bestaat dit flutbureau niet meer.
Aziz, op inhoudelijke reacties wil ik best reageren maar daar valt jouw gefoeter vol aantijgingen niet onder. En wat betreft je ontopic paragraaf: er is wel degelijk een verantwoording gepubliceerd:
http://www.motivaction.nl/kennisplatform/persberichten/onderzoeksverantwoording-bij-forum-verkenning-nederlandse-moslimjongeren-en-de-arabische-herfst
Er wordt regelmatig naar eerder onderzoek verwezen (heb je het wel gelezen?). Of het in een wetenschappelijk kader vergeleken zou moeten worden met allerhande wetenschappelijk onderzoek? Dat ligt aan de opdrachtomschrijving je zou het ook als een taak van Forum kunnen zien (de opdrachtgever) om de resultaten in een context te plaatsen. Of het representatief is heb ik ook wat vraagtekens bij. Dat wordt beweert in de verantwoording maar geldt dan voor een beperkt aantal achtergrondkenmerken. Interpretaties van uitkomsten zijn altijd subjectief en dat geeft ook helemaal niet als iedereen maar toegang geeft tot de data zodat men zijn eigen conclusies kan trekken. De interpretaties in de media zijn ook zeer subjectief en geschreven door journalisten die duidelijk niet het volledige rapport hebben gelezen.
Ik heb zelf de indruk dat het onderzoek zoals naar buiten gebracht niet volledig is. Zo is het zeer ongebruikelijk niet de gehanteerde vragenlijst mee te leveren. En dan heb ik het nog niet eens over het tabellen rapport bij de uitkomsten dat naast deze rapportage ongetwijfeld ook is opgeleverd. Je zou ook de volledige SPSS dataset kunnen opleveren maar dat gaat meestal niet naar buiten (naar de media). Forum zal die ongetwijfeld wél hebben ontvangen. Kortom, alle bijlagen ontbreken en dat maakt de duiding moeilijker. Het rapport is gepubliceerd op Forum briefpapier en met het Forum logo. Dus ik denk dat dit hun keuze is. Zij zijn immers de opdrachtgever en bepalen daarom wat gepubliceerd wordt en hoe de resultaten gebruikt worden.
Hier ook nog interessant commentaar vanuit de Universiteit Leiden t.a.v. de methode quota steekproef in dit kader:
http://stukroodvlees.nl/peilingen/hoe-representatief-was-de-motivaction-peiling-onder-jonge-turken-en-marokkanen/
Een ander aandachtspunt bij de analyse van de gekozen aanpak is de RIM herweging die heeft plaats gevonden. Bij een herweging worden bepaalde groepen zwaarder meegewogen om hun beperkte aanwezigheid in de steekproef te compenseren. Een voor de hand liggende vraag is uiteraard waarom herweging nodig was (gezien de aanpak quota-steekproef waarbij je groepen vult volgens quota die je van tevoren hebt bepaald.