1:20 Eli: Okay, Miles, ich hänge an deinen Lippen. Wenn wir also weg vom Bauchgefühl wollen, was ist denn dann das absolute Fundament? Ich meine, wenn ich mir die Unterlagen so ansehe, dann stolpert man ja immer wieder über Begriffe wie Validität und Reliabilität. Das klingt erst mal nach trockenem Statistik-Lehrbuch, aber im Grunde ist das doch die Versicherung, dass wir keinen Quatsch messen, oder?
0:18 Miles: Ja, genau das mein ich. Wenn man’s runterbricht, ist Validität eigentlich die Frage: Messe ich wirklich das, was ich zu messen vorgebe? Stell dir vor, du willst die Intelligenz von jemandem messen, aber dein Test fragt eigentlich nur ab, wie gut er gestern Abend geschlafen hat. Dann hast du zwar ein Ergebnis, aber es ist halt völlig wertlos für dein eigentliches Ziel. In dem Material, das ich hier vorliegen habe, wird das ganz klar als der Kern der Datenqualität identifiziert. Ohne Validität ist alles andere eigentlich nur Rauschen im System.
2:10 Eli: Stimmt, das leuchtet ein. Aber wie stellen wir das sicher? Es gibt ja nicht diesen einen magischen Schalter, den man umlegt, und zack – alles valide. Ich hab da neulich mal was gelesen, dass man das in verschiedene Ebenen unterteilen muss. Da war die Rede von Inhaltsvalidität, Kriteriumsvalidität und Konstruktvalidität. Das klingt erst mal kompliziert, aber eigentlich ist es doch nur eine Checkliste, um sicherzugehen, dass man alle Seiten beleuchtet hat, oder?
2:35 Miles: Guter Punkt, Eli. Genau so muss man das sehen. Nehmen wir mal die Inhaltsvalidität. Da geht es im Grunde darum, ob dein Messinstrument – also zum Beispiel ein Fragebogen oder ein Algorithmus – das Thema in seiner ganzen Breite erfasst. Wenn du die Arbeitszufriedenheit messen willst, aber nur nach dem Gehalt fragst, dann fehlt dir halt die Hälfte. Das ist so, als würdest du ein Haus bewerten wollen, aber nur das Badezimmer anschauen. Das ist eben nicht repräsentativ für das Ganze.
3:00 Eli: Krass, das ist ein super Vergleich. Das heißt, ich muss vorher genau definieren, was mein „Haus“ eigentlich alles umfasst. Aber was ist dann mit der Kriteriumsvalidität? Das klingt für mich immer so ein bisschen nach: „Stimmt mein Ergebnis mit der Realität überein?“
3:14 Miles: Im Grunde ist es genau das. Es geht um den Zusammenhang zwischen deinem Testergebnis und einem externen Kriterium. In einer der Untersuchungen, die ich mir angeschaut habe, wurde das so erklärt: Wenn dein Test vorhersagen soll, ob jemand ein guter Pilot wird, dann muss sich das später auch in der Flugpraxis zeigen. Wenn die Leute im Test super abschneiden, aber im Cockpit ständig Fehler machen, dann ist deine Kriteriumsvalidität im Eimer. Man muss halt schauen, ob die Daten auch in der „echten Welt“ bestehen.
3:41 Eli: Das ist halt echt das Schwierige, gell? Dass man diese Brücke schlägt. Und dann gibt es ja noch dieses Mammut-Thema Konstruktvalidität. Das ist doch die Königsdisziplin, oder? Da geht es doch darum, ob das theoretische Konzept hinter der Messung überhaupt Hand und Fuß hat.
3:55 Miles: Absolut, da triffst du den Nagel auf den Kopf. Konstruktvalidität bedeutet, dass du belegen kannst, dass dein Messwert tatsächlich auf das theoretische Konstrukt zurückzuführen ist, das du messen willst – und nicht auf irgendwelche Störfaktoren. Es ist die Frage, ob dein Modell der Realität logisch konsistent ist. Wenn man’s mal ganz nüchtern betrachtet: Das ist die intellektuelle Hausaufgabe, die man machen muss, bevor man überhaupt die erste Zeile Code schreibt oder den ersten Fragebogen verschickt. Ohne ein sauberes Konstrukt baust du dein ganzes Datengebäude auf Sand.
4:25 Eli: Haett ich nicht gedacht, dass das so tief geht. Aber es macht total Sinn. Wenn das Fundament schief ist, wird das ganze Haus irgendwann wackeln. Aber sag mal, da kommt doch noch was dazu, oder? Reliabilität? Das ist doch dieses Ding mit der Genauigkeit.
4:38 Miles: Ja, genau. Reliabilität ist die Zuverlässigkeit. Stell dir eine Waage vor, die jedes Mal ein anderes Gewicht anzeigt, obwohl du immer das gleiche Paket draufstellst. Die Waage mag vielleicht die richtige Einheit messen – also Gewicht, das wäre dann die Validität –, aber wenn sie nicht jedes Mal das Gleiche anzeigt, ist sie unzuverlässig, also nicht reliabel. In der Datenanalyse heißt das: Wenn wir den Prozess wiederholen, müssen wir unter den gleichen Bedingungen auch zum gleichen Ergebnis kommen. Das ist das Herzstück jeder wissenschaftlichen Methode.
5:06 Eli: Also unterm Strich: Validität ist die Frage nach dem „Was“, und Reliabilität ist die Frage nach dem „Wie genau“. Wenn ich also eine super präzise Waage habe, die mir aber immer die Temperatur statt des Gewichts anzeigt, bin ich zwar reliabel, aber nicht valide. Und wenn ich weiß, was ich messen will, aber mein Instrument ständig schwankt, bin ich valide, aber nicht reliabel. Man braucht halt beides.
5:27 Miles: Perfekt zusammengefasst. Das ist eben das Spannungsfeld, in dem wir uns bewegen. Und das Spannende ist ja, dass diese beiden Konzepte sich gegenseitig beeinflussen. Eine Messung kann nicht valide sein, wenn sie nicht reliabel ist. Wenn mein Instrument nur zufällige Werte ausspuckt, kann es ja gar nicht das messen, was es soll. Aber andersrum geht’s halt: Ich kann hochpräzisen Müll messen. Das ist die Gefahr, in die viele Firmen heute tappen, weil sie zwar tolle Technik haben, aber die falschen Fragen stellen.
5:51 Eli: Das erinnert mich an was, das ich mal in einem Projekt erlebt habe. Wir hatten Unmengen an Daten über das Klickverhalten, aber wir haben überhaupt nicht verstanden, *warum* die Leute klicken. Wir waren also technisch super aufgestellt, aber inhaltlich sind wir völlig am Ziel vorbeigeschossen. Wir hatten zwar Reliabilität, aber null Validität in Bezug auf die Kundenmotivation.
6:11 Miles: Das ist das klassische Beispiel. Und das zeigt eben, dass man diese theoretischen Grundlagen nicht als lästiges Übel sehen darf, sondern als das wichtigste Werkzeug. Wenn man sich die Zeit nimmt, diese Architektur am Anfang sauber zu planen, spart man sich später hunderte Stunden an Korrekturen und Fehlinterpretationen. Es geht halt darum, ein System zu schaffen, das in sich logisch ist.