Techniques for asking sensitive questions in labor market surveys

Kirchner, Antje (2013): Techniques for asking sensitive questions in labor market surveys. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

This dissertation explores methods to improve the quality of data about sensitive labor market topics, such as undeclared work and receipt of basic income support in Germany, using surveys of the general population. Due to the sensitive nature of both topics, respondents may choose to misreport and adjust their answers in accordance with social norms. Over the past decades, special strategies—particularly targeted to reduce misreporting on sensitive topics—have been developed. One such class of data collection strategies are so-called ‘dejeopardizing’ techniques, out of which the randomized response technique (RRT) and the item count technique (ICT) are the most popular and best investigated ones. The goal is to elicit more honest answers from respondents by increasing the anonymity of the question-and-answer process. These techniques provide prevalence estimates as well as estimates of regression coefficients, regressing dependent variables generated by means of RRT or ICT on a set of covariates of interest. However, these dejeopardizing techniques have not been applied to collect data on undeclared work or receipt of welfare benefits in German surveys. This dissertation aims at closing this gap using an experimental design that allows us to compare the performance of these dejeopardizing techniques to direct questioning. In 2010 we conducted two telephone surveys on undeclared work and welfare benefit receipt. We experimentally tested whether the RRT, the ICT, or the newly developed item sum technique (IST) reduce bias due to social desirability compared to direct questioning (under the ‘more-is-better’ assumption and using validation data in one study). Our results suggest that neither the RRT nor the ICT provide unambiguous results with respect to improving the accuracy of reports of the socially undesirable behavior, while the IST results were more promising. This dissertation provides insights into a variety of practical and theoretical factors contributing to a successful implementation of the RRT, the ICT and the IST in labor market surveys.

Abstract

Die vorliegende Dissertation geht der Frage nach, wie das Ausmaß von Schwarzarbeit und Arbeitslosengeld-II-Bezug in Deutschland im Rahmen von Befragungen der allgemeinen Bevölkerung möglichst valide geschätzt werden kann. Aufgrund des heiklen Charakters beider Themen ist davon auszugehen, dass Selbstauskünfte häufig nicht der Wahrheit entsprechen und stattdessen in vielen Fällen sozial erwünschte Antworten gegeben werden und das Verhalten systematisch unterberichtet wird. Um diesen Antwortverzerrungen entgegen zu wirken, wurden in den letzten Jahrzehnten in der empirischen Sozialforschung alternative Befragungstechniken entwickelt. So basieren beispielsweise die Randomized Response Technique (RRT) und die Item Count Technik (ICT) auf dem Prinzip der verschlüsselten Antworten und sollen durch eine Erhöhung der Anonymität in der Interviewsituation sozial erwünschtes Antwortverhalten reduzieren. Der Vorteil dieser Erhebungsverfahren liegt darin, dass zum einen weniger Annahmen hinsichtlich der Schätzungen getroffen werden und zum anderen mittels statistischer Auswertungen ziel gerichtet multivariate Zusammenhänge zwischen einer mit ICT oder RRT generierten abhängigen Variablen und Kovariaten auf individueller Ebene untersucht werden können. Bislang wurden diese Techniken allerdings noch nicht zur Erhebung von Schwarzarbeit oder des Bezugs von Arbeitslosengeld-II in Deutschland eingesetzt. Die Dissertation schließt diese Lücke und beschäftigt sich mit einem experimentellen Vergleich – sowie einer Weiterentwicklung – von Erhebungstechniken speziell für heikle Fragen mit einer direkten Befragung im Kontext von Arbeitsmarktsurveys. Mittels Fragen zum Thema Schwarzarbeit und zum Arbeitslosengeld-IIBezug, wird im Rahmen zweier Bevölkerungsbefragungen aus dem Jahre 2010 empirisch untersucht ob die RRT, die ICT bzw. die eigens entwickelte Item Sum Technik (IST) den Befragten tatsächlich ein höheres Ausmaß sozial unerwünschter Antworten entlocken als die direkte Befragung (unter der bekannten ‘more-is-better’ Annahme sowie mittels einer Validierungsstudie). Die Befunde zeigen, dass die häufig angenommene Wirkung der RRT oder der ICT auf die Bereitschaft der Befragten, sozial unerwünschtes Verhalten zu berichten, nicht eindeutig ausfällt. Die Ergebnisse der IST fallen hingegen positiver aus. Die vorliegende Dissertation liefert somit Hinweise hinsichtlich verschiedener praktischer als auch theoretischer Faktoren, die zu einer erfolgreichen Implementation der RRT, der ICT und der IST in Arbeitsmarktsurveys beitragen können.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: Randomized Response Technique, Item Count Technique, Item Sum Technique, Labor Market Survey, Undeclared Work, Unemployment Benefits II
• Themengebiete: 500 Naturwissenschaften und Mathematik ; 500 Naturwissenschaften und Mathematik > 510 Mathematik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 15. November 2013
• 1. Bericht­erstatter:in: Kreuter, Frauke