Wie unterscheidet man gute von schlechter Marktforschung?
Es gibt in der wissenschaftlichen Literatur ausgiebige Abhandlungen über das Thema Qualität in der Marktforschung. Diese Beiträge beschränken sich jedoch meist auf den formal-statistischen Bereich der Repräsentativität, Reliabilität und Validität von Marktforschungsergebnissen.
Dabei fängt für den Auftraggeber eines Marktforschungsprojekts das Problem schon viel früher an, nämlich:
Wie kann ich gute von schlechter Marktforschung unterscheiden?
Diese Frage umfasst mehr als die Zusammensetzung der Stichprobe bei einer Befragung.
Dieser Artikel gibt Ihnen Hilfestellung bei der Auswahl von Marktforschungsunternehmen und stellt einige Punkte vor, auf die man als Auftraggeber eines Mafo-Projekts achten sollte. Am Ende wird dann ebenfalls auf die theoretischeren Punkte Repräsentativität und Validität von Marktforschung eingegangen.
Ich unterscheide in Folge zwischen Marktanteilsstudien und Auftragsstudien, die als quantitative Umfragen (also z.B. Befragung von 500 Konsumenten) durchgeführt werden.
Bei Marktanteilsstudien
schlechte Marktforschung (z.B. Schätzungen, die nicht als Schätzungen deklariert werden) zu erkennen, ist ungleich schwieriger als dieses bei Umfragen der Fall ist. Wenn Sie sich als Auftraggeber nicht selbst im Markt sehr gut auskennen und die Umsätze ihrer Konkurrenten in etwa abschätzen können, werden Sie kaum unseriöse Marktstudien erkennen können.
Es gibt nichtsdestotrotz einige Tipps:
1. Branchenerfahrung
In der Regel dauert es eine gewisse Zeit, bevor ein Unternehmen in einer Branche zu einem Marktforschungsinstitut so viel Vertrauen gefasst hat, dass es Umsatzzahlen herausgibt. Setzen Sie auf Marktforschungsunternehmen mit Branchenerfahrung, die also bereits seit längerer Zeit in einer Branche Studien erstellen. Hören Sie sich in Ihrer Branche um, welches Marktforschungsunternehmen als Branchenexperte bekannt ist. Wichtiger als ein Methoden-Know-How ist bei den Marktanteilsstudien die Branchenerfahrung.
2. Quellenangabe
Lassen Sie sich alle Quellen angeben, um im Zweifelsfall selbst diese Quellen zu überprüfen.
3. Geschätze Zahlen deklariert?
Bestehen Sie darauf, dass geschätzte Zahlen auch als geschätzte Zahlen deklariert werden.
4. Durchschnittspreise
Vergleichen Sie in einer Studie die Wert-Menge Relation. Daraus ergeben sich die Durchschnittspreise und diese sollten erstens konsistent und zweitens realistisch sein. Der Vergleich der Durchschnittspreise ist für Sie einfacher, da Sie ja in der Regel die Preise der Produkte im Markt kennen.
5. Einflussfaktoren auflisten und erklären lassen
Wenn Prognosen erstellt werden, sollten Sie sich die Einflussfaktoren auflisten und erklären lassen. Wichtig ist auch, das bei der Prognose verwendete Verfahren erklärt zu bekommen (dieses kann von simpler Zeitreihenanalyse bis zu multiplen Regressionen verschiedene Modelle umfassen).
6. Schwierigkeiten bei der Datenerhebung
Ein seriöses Marktforschungsunternehmen informiert Sie als Auftraggeber über Schwierigkeiten bei der Datenerhebung, wenn also nur ein geringer Anteil der befragten Unternehmen seine Umsätze meldet. Zur Not muss in diesem Fall die Studie abgebrochen oder durch andere Erhebungsformen durchgeführt werden.
7. Check-up Befragungen
Achten Sie darauf, dass sich ein Mafo-Unternehmen nicht auf eine einzige Datenquelle verlässt. Es sollten immer Check-up Befragungen stattfinden (Stichwort: Methoden-Mix). Wenn z.B. Hersteller befragt werden, sollten auch Zulieferer oder Händler analysiert werden. Ein Plausibilitätscheck ergibt dann vielleicht, dass eine Firma angeblich unter den Top5, jedoch bei fast keinem Händler gelistet ist.
Im Vergleich zu Marktanteilsstudien gibt es
bei Umfragen mehr Möglichkeiten die Seriösität einer Umfrage abzuschätzen:
1. Mitglied bei ESOMAR
Ein Marktforschungsinstitut, das Sie beauftragen wollen, sollte Mitglied bei ESOMAR (World Association of Opinion and Marketing Research Professionals) sein, also den ESOMAR Kodex unterzeichnet haben. Aus dem Kodex ergeben sich für Marktforschungsinstitute Qualitätsvorschriften für die Abwicklung von Marktforschungsprojekten. Der Kodex lässt sich downloaden unter: www.esomar.org
2. Umfragen sind personalintensiv und teuer
Seien Sie skeptisch, wenn Ihnen ein Institut große Stichproben zu kleinen Preisen anbietet (außer es wird online durchgeführt). Holen Sie sich mehrere Angebote ein und vergleichen Sie die Angebote aufmerksam. Vergleichen Sie jedoch in erster Linie die unterschiedlichen methodischen Ansätze und das Bemühen des Instituts eine wirkliche Lösung für Ihr Problem zu finden.
3. Methodenmix aus qualitativer und quantitativer Marktforschung
Eine Fragestellung wird in der Marktforschung meist besser gelöst, wenn man sich dem Problem von verschiedenen Seiten nähert. Es hat sich bislang am häufigsten ein Methodenmix aus qualitativer und quantitativer Marktforschung bewährt. In einer qualitativen Voruntersuchung (z.B. Fokusgruppendiskussionen) werden dabei Probleme erkannt, Motive erforscht und tiefer liegende Gedankenstrukturen offen gelegt. In einer quantitativen Untersuchung, die dann folgt, werden die durch die qualitative Forschung aufgestellten Hypothesen auf breiter Basis bewiesen oder abgelehnt. Seien Sie skeptisch, wenn Ihnen ein Marktforschungsinstitut eine „schnelle Lösung“ verkauft, also direkt mit dem fertigen Fragebogen in Ihrer Tür steht.
4. Briefing mit dem Auftraggeber
Ein Marktforschungsinstitut sollte Wert auf das Briefing mit Ihnen als Auftraggeber legen. Im Briefing werden Unklarheiten beseitigt und das Projekt auf die richtige Bahn gebracht.
5. Pretests essentiell
Pretests sind bei jeder Umfrage essentiell. Pretest bedeutet, dass ein Fragebogen vor der eigentlichen Umfrage auf Verständnis, Länge und Effizienz getestet wird (und zwar mit richtigen Respondenten, nicht zwei Interviewer untereinander). Bei Problemen im Pretest muss der Fragebogen noch einmal geändert und ein weiteres Mal pregetestet werden.
6. Angabe der Stichprobengröße
Bei jedem Chart oder sonstiger statistischer Auswertung, die Sie bei einer Analyse einer Umfrage bekommen, sollte die Stichprobengröße N angegeben sein. Ein Blick auf die Größe der Stichprobe hilft Ihnen zu entscheiden, ob das Chart überhaupt eine statistische Aussagekraft hat. Dazu später mehr.
7. Zuständige Personen persönlich kennenlernen
Bei größeren Projekten sollten Sie nicht die Kosten und Mühen scheuen ein Marktforschungsinstitut zu besuchen, um sich die Räumlichkeiten anzuschauen und die zuständigen Personen persönlich kennen zu lernen. Eine Homepage eines Unternehmens kann hin und wieder darüber hinwegtäuschen, dass in Wahrheit die Firma ein Ein-Mann-Betrieb ist.
8. Rohdaten im SPSS Format
Lassen Sie sich bei Beendigung eines Umfrage-Projekts immer die Rohdaten im SPSS Format geben. Sollten Sie im Unternehmen kein SPSS (Statistisches Analyseprogramm) haben, lassen Sie sich die Excel-Rohdaten übermitteln. Durch die eigene Auswertung der Rohdaten kann man stichprobenhaft überprüfen, ob die Angaben in den Charts stimmen. Darüber hinaus kann man eigene Auswertungen durchführen. Leider ist die Übermittlung der Rohdaten noch nicht Standard.
9. Größe und Zusammensetzung der Stichprobe entscheidend
Die Größe und die Zusammensetzung der Stichprobe ist ausschlaggebend für die Übertragbarkeit der Ergebnisse aus der Umfrage auf die Grundgesamtheit (Repräsentativität). So wissen z.B. die wenigsten, dass die kurz vor Wahlen veröffentlichten Umfrageergebnisse bei einer Stichprobe von 400 Befragten und einem Ergebnis von 45% eine Schwankungsbreite von immerhin 4,9% aufweisen.
Das bedeutet streng genommen:
Wenn in einer Zeitung steht, dass laut der letzten Umfrage 45% beispielsweise CDU wählen würden, kann man in Wahrheit lediglich folgende Aussage machen: Mit einer Sicherheit von 95% wählen zwischen 40,1% und 49,9% CDU. Bei dieser kleinen Stichprobe ist der Schwankungsbereich also sehr groß.
Die Validität einer statistischen Aussage bezieht sich auf die Gültigkeit eines Messergebnisses und die Reliabilität auf die Zuverlässigkeit eines Messergebnisses: Würde bei wiederholter Messung dasselbe Ergebnis generiert werden?
Wer Marktforschung in Auftrag gibt, sollte sich mit diesen Begriffen auskennen und die Zusammenhänge verstehen. Ich schlage vor, sich ein Grundlagenbuch über Marktforschung (z.B. Marktforschung, Autor: Berekoven/Eckert/Ellenrieder) zu kaufen und die theoretischen Grundlagen einmal durchzuarbeiten.
Fazit:
Es bleibt festzuhalten, dass es gerade bei Umfragen Möglichkeiten der Qualitätskontrolle gibt. Einige davon habe ich in dem Artikel vorgestellt. Leider gibt es zu diesem Thema zum jetzigen Zeitpunkt kaum praxisrelevante Literatur.
Wichtig ist mir zu betonen, dass eine Initiative zur Schaffung von eindeutigeren Qualitätskriterien von den Auftraggebern ausgehen muss. Qualitativ hochwertige Marktforschung (geistige Qualität) kostet nämlich Geld. Marktforschungsinstitute wollen hohe Qualität (der Erkenntnisgewinnung dienend) liefern, aber die Qualität muss von den Auftraggebern auch wahrgenommen werden. Daher mein Appell, setzen Sie sich auch mit den theoretischen Grundlagen auseinander.
Dabei fängt für den Auftraggeber eines Marktforschungsprojekts das Problem schon viel früher an, nämlich:
Wie kann ich gute von schlechter Marktforschung unterscheiden?
Diese Frage umfasst mehr als die Zusammensetzung der Stichprobe bei einer Befragung.
Dieser Artikel gibt Ihnen Hilfestellung bei der Auswahl von Marktforschungsunternehmen und stellt einige Punkte vor, auf die man als Auftraggeber eines Mafo-Projekts achten sollte. Am Ende wird dann ebenfalls auf die theoretischeren Punkte Repräsentativität und Validität von Marktforschung eingegangen.
Ich unterscheide in Folge zwischen Marktanteilsstudien und Auftragsstudien, die als quantitative Umfragen (also z.B. Befragung von 500 Konsumenten) durchgeführt werden.
Bei Marktanteilsstudien
schlechte Marktforschung (z.B. Schätzungen, die nicht als Schätzungen deklariert werden) zu erkennen, ist ungleich schwieriger als dieses bei Umfragen der Fall ist. Wenn Sie sich als Auftraggeber nicht selbst im Markt sehr gut auskennen und die Umsätze ihrer Konkurrenten in etwa abschätzen können, werden Sie kaum unseriöse Marktstudien erkennen können.
Es gibt nichtsdestotrotz einige Tipps:
1. Branchenerfahrung
In der Regel dauert es eine gewisse Zeit, bevor ein Unternehmen in einer Branche zu einem Marktforschungsinstitut so viel Vertrauen gefasst hat, dass es Umsatzzahlen herausgibt. Setzen Sie auf Marktforschungsunternehmen mit Branchenerfahrung, die also bereits seit längerer Zeit in einer Branche Studien erstellen. Hören Sie sich in Ihrer Branche um, welches Marktforschungsunternehmen als Branchenexperte bekannt ist. Wichtiger als ein Methoden-Know-How ist bei den Marktanteilsstudien die Branchenerfahrung.
2. Quellenangabe
Lassen Sie sich alle Quellen angeben, um im Zweifelsfall selbst diese Quellen zu überprüfen.
3. Geschätze Zahlen deklariert?
Bestehen Sie darauf, dass geschätzte Zahlen auch als geschätzte Zahlen deklariert werden.
4. Durchschnittspreise
Vergleichen Sie in einer Studie die Wert-Menge Relation. Daraus ergeben sich die Durchschnittspreise und diese sollten erstens konsistent und zweitens realistisch sein. Der Vergleich der Durchschnittspreise ist für Sie einfacher, da Sie ja in der Regel die Preise der Produkte im Markt kennen.
5. Einflussfaktoren auflisten und erklären lassen
Wenn Prognosen erstellt werden, sollten Sie sich die Einflussfaktoren auflisten und erklären lassen. Wichtig ist auch, das bei der Prognose verwendete Verfahren erklärt zu bekommen (dieses kann von simpler Zeitreihenanalyse bis zu multiplen Regressionen verschiedene Modelle umfassen).
6. Schwierigkeiten bei der Datenerhebung
Ein seriöses Marktforschungsunternehmen informiert Sie als Auftraggeber über Schwierigkeiten bei der Datenerhebung, wenn also nur ein geringer Anteil der befragten Unternehmen seine Umsätze meldet. Zur Not muss in diesem Fall die Studie abgebrochen oder durch andere Erhebungsformen durchgeführt werden.
7. Check-up Befragungen
Achten Sie darauf, dass sich ein Mafo-Unternehmen nicht auf eine einzige Datenquelle verlässt. Es sollten immer Check-up Befragungen stattfinden (Stichwort: Methoden-Mix). Wenn z.B. Hersteller befragt werden, sollten auch Zulieferer oder Händler analysiert werden. Ein Plausibilitätscheck ergibt dann vielleicht, dass eine Firma angeblich unter den Top5, jedoch bei fast keinem Händler gelistet ist.
Im Vergleich zu Marktanteilsstudien gibt es
bei Umfragen mehr Möglichkeiten die Seriösität einer Umfrage abzuschätzen:
1. Mitglied bei ESOMAR
Ein Marktforschungsinstitut, das Sie beauftragen wollen, sollte Mitglied bei ESOMAR (World Association of Opinion and Marketing Research Professionals) sein, also den ESOMAR Kodex unterzeichnet haben. Aus dem Kodex ergeben sich für Marktforschungsinstitute Qualitätsvorschriften für die Abwicklung von Marktforschungsprojekten. Der Kodex lässt sich downloaden unter: www.esomar.org
2. Umfragen sind personalintensiv und teuer
Seien Sie skeptisch, wenn Ihnen ein Institut große Stichproben zu kleinen Preisen anbietet (außer es wird online durchgeführt). Holen Sie sich mehrere Angebote ein und vergleichen Sie die Angebote aufmerksam. Vergleichen Sie jedoch in erster Linie die unterschiedlichen methodischen Ansätze und das Bemühen des Instituts eine wirkliche Lösung für Ihr Problem zu finden.
3. Methodenmix aus qualitativer und quantitativer Marktforschung
Eine Fragestellung wird in der Marktforschung meist besser gelöst, wenn man sich dem Problem von verschiedenen Seiten nähert. Es hat sich bislang am häufigsten ein Methodenmix aus qualitativer und quantitativer Marktforschung bewährt. In einer qualitativen Voruntersuchung (z.B. Fokusgruppendiskussionen) werden dabei Probleme erkannt, Motive erforscht und tiefer liegende Gedankenstrukturen offen gelegt. In einer quantitativen Untersuchung, die dann folgt, werden die durch die qualitative Forschung aufgestellten Hypothesen auf breiter Basis bewiesen oder abgelehnt. Seien Sie skeptisch, wenn Ihnen ein Marktforschungsinstitut eine „schnelle Lösung“ verkauft, also direkt mit dem fertigen Fragebogen in Ihrer Tür steht.
4. Briefing mit dem Auftraggeber
Ein Marktforschungsinstitut sollte Wert auf das Briefing mit Ihnen als Auftraggeber legen. Im Briefing werden Unklarheiten beseitigt und das Projekt auf die richtige Bahn gebracht.
5. Pretests essentiell
Pretests sind bei jeder Umfrage essentiell. Pretest bedeutet, dass ein Fragebogen vor der eigentlichen Umfrage auf Verständnis, Länge und Effizienz getestet wird (und zwar mit richtigen Respondenten, nicht zwei Interviewer untereinander). Bei Problemen im Pretest muss der Fragebogen noch einmal geändert und ein weiteres Mal pregetestet werden.
6. Angabe der Stichprobengröße
Bei jedem Chart oder sonstiger statistischer Auswertung, die Sie bei einer Analyse einer Umfrage bekommen, sollte die Stichprobengröße N angegeben sein. Ein Blick auf die Größe der Stichprobe hilft Ihnen zu entscheiden, ob das Chart überhaupt eine statistische Aussagekraft hat. Dazu später mehr.
7. Zuständige Personen persönlich kennenlernen
Bei größeren Projekten sollten Sie nicht die Kosten und Mühen scheuen ein Marktforschungsinstitut zu besuchen, um sich die Räumlichkeiten anzuschauen und die zuständigen Personen persönlich kennen zu lernen. Eine Homepage eines Unternehmens kann hin und wieder darüber hinwegtäuschen, dass in Wahrheit die Firma ein Ein-Mann-Betrieb ist.
8. Rohdaten im SPSS Format
Lassen Sie sich bei Beendigung eines Umfrage-Projekts immer die Rohdaten im SPSS Format geben. Sollten Sie im Unternehmen kein SPSS (Statistisches Analyseprogramm) haben, lassen Sie sich die Excel-Rohdaten übermitteln. Durch die eigene Auswertung der Rohdaten kann man stichprobenhaft überprüfen, ob die Angaben in den Charts stimmen. Darüber hinaus kann man eigene Auswertungen durchführen. Leider ist die Übermittlung der Rohdaten noch nicht Standard.
9. Größe und Zusammensetzung der Stichprobe entscheidend
Die Größe und die Zusammensetzung der Stichprobe ist ausschlaggebend für die Übertragbarkeit der Ergebnisse aus der Umfrage auf die Grundgesamtheit (Repräsentativität). So wissen z.B. die wenigsten, dass die kurz vor Wahlen veröffentlichten Umfrageergebnisse bei einer Stichprobe von 400 Befragten und einem Ergebnis von 45% eine Schwankungsbreite von immerhin 4,9% aufweisen.
Das bedeutet streng genommen:
Wenn in einer Zeitung steht, dass laut der letzten Umfrage 45% beispielsweise CDU wählen würden, kann man in Wahrheit lediglich folgende Aussage machen: Mit einer Sicherheit von 95% wählen zwischen 40,1% und 49,9% CDU. Bei dieser kleinen Stichprobe ist der Schwankungsbereich also sehr groß.
Die Validität einer statistischen Aussage bezieht sich auf die Gültigkeit eines Messergebnisses und die Reliabilität auf die Zuverlässigkeit eines Messergebnisses: Würde bei wiederholter Messung dasselbe Ergebnis generiert werden?
Wer Marktforschung in Auftrag gibt, sollte sich mit diesen Begriffen auskennen und die Zusammenhänge verstehen. Ich schlage vor, sich ein Grundlagenbuch über Marktforschung (z.B. Marktforschung, Autor: Berekoven/Eckert/Ellenrieder) zu kaufen und die theoretischen Grundlagen einmal durchzuarbeiten.
Fazit:
Es bleibt festzuhalten, dass es gerade bei Umfragen Möglichkeiten der Qualitätskontrolle gibt. Einige davon habe ich in dem Artikel vorgestellt. Leider gibt es zu diesem Thema zum jetzigen Zeitpunkt kaum praxisrelevante Literatur.
Wichtig ist mir zu betonen, dass eine Initiative zur Schaffung von eindeutigeren Qualitätskriterien von den Auftraggebern ausgehen muss. Qualitativ hochwertige Marktforschung (geistige Qualität) kostet nämlich Geld. Marktforschungsinstitute wollen hohe Qualität (der Erkenntnisgewinnung dienend) liefern, aber die Qualität muss von den Auftraggebern auch wahrgenommen werden. Daher mein Appell, setzen Sie sich auch mit den theoretischen Grundlagen auseinander.