Messung und Evaluation

Effektivität von Framing und individuelle Zahlungsbereitschaft am Beispiel der Kernenergie Das Projekt untersucht den systematischen Zusammenhang zwischen dem unterschiedlichen Framing einer strittigen Politik (hier: Kernenergie) und einer spezifischen Einstellungsstruktur des Befragten bzw. deren Änderungspotenzial. Im Besonderen soll hierbei der Fokus auf eine spezielle Form so-genannter Issue-Inkonsistenz gelegt werden, die bisher in dieser Zuspitzung kaum untersucht wurde: das häufige Vorkommen von Wählern, die eine Policy-Position präferieren, die zumindest objektiv in Gegensatz zur deklarierten offiziellen Policy-Position der zum Beobachtungs-Zeitpunkt ‚präferierten’ Partei steht (bspw. Unionswähler die Kernkraft ablehnen). Diese Gruppe steht im Gegensatz zu Issue-Konsistenten, die die Meinung der ‚präferierten’ Partei teilen, und Issue-Indifferenten, die keine eindeutige Meinung zu dieser strittigen Sachfrage haben. Aufbauend auf ersten Sekundäranalysen und Experimenten soll ein besonderer Fokus auf Aspekte des ‚konkurrierenden Framings‘, d.h. der simultanen Betonung von sich widersprechenden Teilaspekten und auf die Variation des Frame-Senders (Politische Parteien, Wissenschaft,…) gelegt werden. In einem zweiten Schritt stellen wir die Frage, in wie fern bei den Befragten eine individuelle Zahlungsbereitschaft (willingness-to-pay) für den Verzicht auf Kernenergie bzw. den alternativen Einsatz erneuerbarer Energien besteht und ob deren Höhe systematisch von den oben genannten Einstellungsstrukturen des Befragten und variierendem Framing abhängt. Eine erste Experimentreihe im Rahmen von MELESSA (Munich Experimental Laboratory for Economic and Social Sciences) ist beantragt. Nach Auswertung der selbigen sollen die Untersuchungen sowohl mit weiteren eingebetteten Experimenten als auch mit Access Panels und repräsentativen Meinungsumfragen kombiniert werden.

Thurner, Dr. Martin Binder

Zuverlässige Inferenz aus Umfragedaten – Eine Synthese aus statistischer Theorie und sozialwissenschaftlicher Forschungspraxis

Augustin, Braun

Verzerrungseffekte bei Befragungen Inhaltlicher Hintergrund, Zielsetzung und verwendete Methoden: In Haushaltsbefragungen sind im Hinblick auf ökonometrische Untersuchungen des Konsum- und Sparverhaltens oft Variablen von Interesse, welche die Befragten nicht ohne weiteres zum Zeitpunkt des Interviews aus dem Gedächtnis abrufen können (beispielsweise die Frage nach der Höhe der Ausgaben für Konsumgüter im abgelaufenen Monat). Die Befragten müssen die Antworten auf solche Fragen mithilfe bestimmter Heuristiken in kurzer Zeit konstruieren, wodurch systematische Verzerrungen entstehen können, die nicht dem üblichen statistischen Modell des klassischen Messfehlers entsprechen. In Zusammenarbeit zwischen Sozialwissenschaftlern, Ökonomen und Statistikern sollen zum einen Befragungstechniken entwickelt werden, die solche Verzerrungen minimieren und zum anderen statistische Verfahren, im Rahmen derer unvermeidliche Verzerrungen adäquat modelliert werden. Von besonderem Interesse ist dabei die Entwicklung von Methoden, welche die speziellen Möglichkeiten von interaktiven Internetbefragungen ausnutzen. Einbindung des Projekts: Dieses Projekt ist international eingebunden in zwei vom U.S. National Institute on Aging (NIA) geförderte Projekte, an denen Joachim Winter maßgeblich beteiligt ist: „Internet Interviewing and the HRS“ (P.I. Arie Kapteyn, RAND, Santa Monica) sowie „Measuring the effect of aging on perceptions and behavior“ (P.I. Daniel McFadden, University of California, Berkeley). Weitere Kooperationspartner sind der Volkswirt Thomas Crossley (University of Cambridge), der Ökonometriker Stefan Hoderlein (Brown University) sowie der Sozialpsychologe Norbert Schwarz (University of Michigan). Als Forschungsprofessor des ifo Instituts wirkt Joachim Winter daneben an der methodischen Weiterentwicklung der Unternehmensbefragungen des ifo Instituts mit. Er ist zudem Mitglied des Advisory Board des Economic & Business Data Center (EBDC).

Winter, Tannhof, Hoffmann, Siflinger

Veränderungsmessung in der Psychologie

Küchenhoff, Bühner

Neue Methoden der Item Response Theorie Die Item Response Theorie (IRT) stellt eine der wichtigsten Neuerungen der psychologischen Diagnostik und empirischen Bildungsforschung des letzten Jahrhunderts dar: Sie ermöglicht die objektive Messung einer latenten Personeneigenschaft durch die Trennung von Aufgaben- und Personenparametern. Darüber hinaus liefert die IRT, im Gegensatz zur klassischen psychologischen Testtheorie, auch Möglichkeiten zur statistischen Überprüfung der Modellannahmen. Das Rasch-Modell, das auch in der PISA-Studie verwendet wird, ist das bekannteste IRT Modell. Im Rahmen einer Interventionsstudie zur Überprüfung der Wirksamkeit von kompetenzunterstützenden Lernumgebungen wurde das Rasch Modell zur Messung der mathematischen Teilkompetenz zum Nutzen von Darstellungen und Modellen in statistischen Kontexten eingesetzt. In dieser Studie ist sowohl die objektive Messung der SchülerInnen-Kompetenzen als auch die Modellierung von Treatment-Effekten von großem Interesse. Methodische Herausforderungen ergeben sich dabei insbesondere durch die Heterogenität der Stichprobe: Die Daten weisen eine hierarchische Struktur auf, weil SchülerInnen in Schulklassen, Schulklassen in Schulen usw. gruppiert sind. Darüber hinaus ist zu prüfen, ob das Messinstrument für unterschiedliche Gruppen von SchülerInnen vergleichbar ist, oder ob sog. Differential Item Functioning vorliegt. Ziel des Projekts ist die Entwicklung und Anwendung von neuen Verfahren der IRT zur Berücksichtigung der Heterogenität der Stichprobe: Zur Diagnose von Differential Item Functioning sollen Methoden aus dem Maschinellen Lernen in Kombination mit Latent-Class-Ansätzen verwendet werden. Die hierarchische Datenstruktur soll bei der Modellierung der Treatment-Effekte mithilfe von gemischten Modellen berücksichtigt werden.

Strobl, Lindmeier, Reiss, Tutz

Der Einfluss von Response-Sets auf die Ergebnisse und die Qualität von multivariaten Analyseverfahren In der Umfrageforschung gibt es Standardregeln, die man bei der Formulierung von Fragen beachten muss. Neben der Fragenformulierung determinieren aber auch die Antwortvorgaben im standardisierten Interview die Qualität der Befragungsergebnisse. Im Fokus stehen dabei die Formulierung von Antwortvorgaben, die Wahl des Skalentyps sowie der Bandbreite von Skalen, die Identifikation von Pseudo-Opinions sowie die Vermeidung von Reihenfolgeeffekten bzw. Antworttendenzen. Zumeist konzentrieren sich Methodenstudien auf das Feststellen von unterschiedlichem Antwortverhalten bei leicht geänderter Formulierung der Antwortvorgaben sowie auf die Identifikation von Variablen, die abweichendes Antwortverhalten determinieren. Anhand dieser Studien können bei der Fragebogengestaltung verschiedene Klippen umschifft werden, jedoch werden keine Hinweise im Umgang mit bereits erhobenen Daten gegeben. Welchen Einfluss hat z.B. ein Anteil von 25 Prozent Pseudo-Opinions auf die Validität der Befunde? Wie geht man mit Befragten um, die offensichtlich zu den "Ja-Sagern" zählen? In dem Projekt soll am Bespiel der Response Sets die Frage beantworten, welchen Einfluss solche Arten von Antwortverhalten auf die Ergebnisse und die Qualität von Datenanalyseverfahren hat. Hierfür wird eine Sekundärdatenanalyse von drei großen, standardisierten Befragungen mit hohen Befragtenzahlen durchgeführt. Dabei spielt der Modus der Befragungen eine große Rolle, weil er Response Sets erleichtert oder erschwert. Wir nutzen Onlinebefragungen, face to face Befragung und schriftliche Befragungen. Auch wenn die reine Menge von Befragten mit Response Sets auf den ersten Blick kein gravierendes Problem darstellt, finden sich Effekte. Der Anteil ist bei der Onlinebefragung deutlich höher als bei der face to face Befragung. Die geringe Zahl an Befragten mit Response Set ist dafür verantwortlich, dass bei einfachen statistischen Verfahren wie Kreuztabellen oder Mittelwerten der Einfluss dieser Befragten auf die Verteilung sehr gering ist. Mit steigender Komplexität der Analyseverfahren steigt deren Einfluss. Wir können im Extremfall zeigen, dass bei einer Stichprobe von 19.119 Befragten nur 24 Befragte, die mit Response Sets geantwortet haben, bei einer Clusteranalyse einen starken Einfluss auf die Typenbildung haben. Auf der Basis dieser Befunde werden Strategien entwickelt, Befragte, die Response Sets verwenden, ausfindig zu machen. Ferner wird das Problem der Differenzierung zwischen Response Set und ökologisch validen Antwortverhalten zu diskutieren sein.

Brosius, Jandura