Wer einen Fragebogen entwickelt, denkt an Formulierungen, Antwortkategorien, Filterführung. Was dabei oft übersehen wird: Bevor eine einzige Person den Fragebogen ausfüllt, durchläuft das Instrument noch eine weitere kritische Transformation – die technische Implementierung in eine digitale Umgebung. Genau hier können Fehler entstehen, die in den Daten unsichtbar bleiben und dennoch die Messqualität systematisch beeinträchtigen.
Wir arbeiten derzeit an einem Papier, das diese Survey-Programming-Fehler erstmals in einem umfassenden methodischen Rahmen beschreibt. Ausgangspunkt ist die nach wie vor grundlegende Taxonomie von Tarnai und Moore (2004) – die wir jedoch in drei wesentlichen Punkten weiterentwickeln: Erstens erweitern wir den Rahmen auf webbasierte Befragungsumgebungen mit ihren spezifischen Herausforderungen (Geräte- und Browserkompatibilität, komplexe Preloads, Barrierefreiheit). Zweitens ordnen wir Fehlertypen in fünf konzeptuelle Kategorien – Surface Errors, Content Errors, Routing & Logic Errors, Data-Level Errors und System-Level Errors. Drittens führen wir eine sechste Kategorie ein, die bislang in keinem Framework existiert: Specification-Level Errors – Fehler, die nicht in der Programmierung selbst, sondern bereits in der Dokumentation und den Metadaten des Instruments entstehen.
Ein besonderer Fokus liegt auf Längsschnittstudien und Panel-Infrastrukturen, deren kumulierte technische Komplexität (Wellenvariablen, Preloads, Konsistenzanforderungen über Wellen hinweg) eigenständige Fehlerquellen und Qualitätssicherungsanforderungen erzeugt.
Das Papier entsteht aus der Praxis – gespeist durch die Erfahrungen aus großen deutschen Panelstudien bei DJI, DZHW, LIfBi, SOEP und SHARE. Genau deshalb interessiert uns die Perspektive anderer: Wie handhabt ihr die Qualitätssicherung bei der Fragebogenprogrammierung? Welche Fehlertypen begegnen euch immer wieder? Welche Testverfahren haben sich bewährt?
Wir laden Survey-Methodiker:innen, Data-Manager:innen und Programmierer:innen ein, an diesem Papier als Ko-Autor:innen mitzuwirken. Meldet euch gerne direkt bei Knut Wenzig mit einem Github-Namen.
Das nächste Treffen der Arbeitsgruppe „Programmiertestung“ aka “Questionnaire implementation review” (der Text ist auf englisch) findet wieder als Teams-Meeting statt:
- Montag, 13. Juli, 13 Uhr (jeder 2. Montag im Monat)
- Teams-Raum
