Abstract & Präsentation 

Ex-post Harmonisierung von Fragen zum gleichen Konstrukt mit Equating und Linear Stretching – Ist fehlende Populationsinvarianz ein Problem? 

Matthias Roth & Ranjit K. Singh
GESIS - Leibniz-Institut für Sozialwissenschaften

pdf-Präsentation

Die Zusammenführung von bereits erhobenen Umfragedaten ermöglicht es Forschenden in den Sozialwissenschaften Stichproben zu vergrößern, Zeitreihen zu verlängern oder internationale Vergleiche durchzuführen. Ein häufig auftretendes Problem ist dabei, dass sozialwissenschaftliche Umfragen gleiche inhaltliche Konstrukte mit einzelnen Items abfragen, die sich in ihren Fragetexten und Antwortoptionen unterscheiden. Es bedarf einer ex-post Harmonisierungsmethode, um die unterschiedlich erhobenen Daten zum gleichen Konstrukt vergleichbar zu machen.  

In diesem Vortrag stellen wir Observed Score Equating in a Random Groups Design (OSE-RG) als Harmonisierungsmethode vor, um unterschiedliche Fragen zum gleichen Konstrukt vergleichbar zu machen. Wir kontrastieren OSE-RG mit dem häufig verwendeten, aber methodisch kontroversen Linear Stretching (LS) Ansatz. OSE-RG ist eine Harmonisierungsmethode aus der Psychometrie und kann zur Harmonisierung von Items verwendet werden, die latente Konstrukte wie Einstellungen oder Werte messen.  

Wir verfolgen dabei zwei Forschungsfragen: Erstens (1), untersuchen wir anhand von empirischen Beispielen über mehrere Konstrukte hinweg, ob OSE-RG niedrigere Harmonisierungsfehler macht als die Referenzmethode LS. Zweitens (2), untersuchen wir die Populationsinvarianz von OSE-RG, also ob die Harmonisierungslösung aus einer Population auf eine andere Population übertragen werden kann (zum Beispiel von formal niedrig gebildeten auf formal hoch gebildete).  

Um diese Fragen zu beantworten, harmonisieren wir 16 Items aus dem GESIS Panel und der deutschen Teilstudie der European Values Study. Wir zeigen, das OSE-RG eine bessere Harmonisierung als LS ermöglicht, wenn die Annahmen von OSE-RG zutreffen. Weiterhin zeigen wir, dass OSE-RG auch dann überwiegend bessere Harmonisierungslösungen bietet als LS, wenn wir OSE-RG Harmonisierungslösungen über Populationen generalisieren.