Mathematische Statistik

Als mathematische Statistik bezeichnet man das Teilgebiet der Statistik, das die Methoden und Verfahren der Statistik mit mathematischen Mitteln analysiert beziehungsweise mit ihrer Hilfe erst begründet. Meist weitgehend synonym werden die Begriffe induktive Statistik, beurteilende Statistik und Inferenzstatistik (schließende Statistik) gebraucht, die den zur beschreibenden Statistik komplementären Teil der Statistik charakterisieren. Gemeinsam mit der Wahrscheinlichkeitstheorie bildet die mathematische Statistik das als Stochastik bezeichnete Teilgebiet der Mathematik.

Die mathematische Grundlage der mathematischen Statistik ist die Wahrscheinlichkeitstheorie.

Gegenstand der Statistik sind Grundgesamtheiten, deren Mitglieder allesamt ein bestimmtes Merkmal aufweisen. Gesucht sind Aussagen darüber, wie häufig dieses Merkmal innerhalb der Grundgesamtheit seine möglichen Werte annimmt. Oft beschränken sich die Aussagen auf abgeleitete Größen wie zum Beispiel den Durchschnitt der Merkmalswerte, die die Mitglieder der Grundgesamtheit besitzen.

Ein Beispiel ist die in der Beschreibenden Statistik häufig als Alterspyramide grafisch dargestellte Verteilung, bei der eine Grundgesamtheit nach Geschlecht und Alter aufgeschlüsselt wird. Dabei kann es sich bei der Grundgesamtheit zum Beispiel um die deutsche Bevölkerung handeln. Da bei einer solch umfangreichen Grundgesamtheit eine präzise Bestimmung der Verteilung von Alter und Geschlecht eine aufwändige Vollerhebung wie eine Volkszählung voraussetzt, sucht man nach Methoden, mit denen weitgehend zuverlässige Aussagen bereits auf Basis von Teilerhebungen möglich sind. Wie im Beispiel des Politbarometers werden dazu nur die Mitglieder einer zufällig ausgewählten Teilmenge der Grundgesamtheit, einer sogenannten Stichprobe, in Bezug auf die interessierenden Merkmale untersucht.

Das mathematische Fundament, das der Planung einer Stichprobenerhebung und der Interpretation der damit erzielten Stichprobenergebnisse zugrunde liegt, bildet den Gegenstand der Mathematischen Statistik.

Ein wichtiges Ziel statistischer Methoden betrifft die Ergründung kausaler Einflüsse, auch wenn mit statistischen Methoden allein niemals eine gerichtete Kausalbeziehung nachgewiesen werden kann. Bei solchen Analysen sind zwei Ausgangssituationen zu unterscheiden:

• Im ersten Fall werden die Mitglieder einer Stichprobe auf mehrere Eigenschaften hin untersucht, etwa im Hinblick Körpergröße und Gewicht oder den Krankheitszustand vor und nach einer zu untersuchenden Medikamentation. Man spricht dann von einer verbundenen Stichprobe.
• Ebenso möglich ist die Untersuchung von zwei oder mehr Stichproben aus jeweils verschiedenen Grundgesamtheiten, zum Beispiel beim Vergleich der Einkommenshöhen von Personen mit und ohne Hochschulabschluss. Solche Fragestellungen heißen Zweistichprobenprobleme.

Wäre die Altersverteilung in der Grundgesamtheit bekannt, könnten mit Formeln der Wahrscheinlichkeitstheorie Wahrscheinlichkeiten für die innerhalb von Stichproben beobachtbaren Altersverteilungen berechnet werden, die aufgrund der Zufallsauswahl der Stichproben zufälligen Schwankungen unterworfen sind. In der mathematischen Statistik nutzt man solche Berechnungen, um umgekehrt vom Stichprobenergebnis auf die Grundgesamtheit schlussfolgern zu können: Dabei werden auf Basis der konkret für eine Stichprobe beobachteten Merkmalswerte jene Häufigkeitsverteilungen innerhalb der Grundgesamtheit charakterisiert, mit denen das gemachte Beobachtungsergebnis in plausibler Weise erklärbar wird. Im Blickpunkt theoretischer Untersuchungen steht dabei nicht nur, welche Schlussfolgerung mit einem gemachten Beobachtungsergebnis legitimiert werden kann, sondern auch Abschätzungen darüber, wie numerisch genau und wie sicher die Richtigkeit der Schlussfolgerung, auch Inferenz genannt, ist. Man spricht daher auch von statistischer Inferenz.

Die einen Anwender interessierenden Häufigkeitsverteilungen sind nur indirekt Gegenstand der Methoden der mathematischen Statistik. Stattdessen beziehen sich diese Methoden auf Zufallsvariablen. Dabei werden insbesondere solche Zufallsvariablen betrachtet, deren Wahrscheinlichkeitsverteilung den relativen Häufigkeiten der Merkmalswerte entspricht. Speziell für das angeführte Beispiel der Altersverteilung ist ein realisierter Wert der Zufallsvariablen gleich dem Alter eines zufällig ausgewählten Deutschen. Auf diese Weise können die einer Stichprobe ermittelten Beobachtungswerte als sogenannte Realisierungen unabhängig und identisch verteilter Zufallsvariablen aufgefasst werden. Das Vorwissen wird in diesem Fall repräsentiert durch eine Familie von Wahrscheinlichkeitsverteilungen beziehungsweise durch eine entsprechende Familie von Wahrscheinlichkeitsmaßen oder sie charakterisierende Parameter. Man spricht von einer Verteilungsannahme. Diese kann sowohl Aussagen über mögliche Merkmalswerte, etwa in Bezug auf deren Ganzzahligkeit, als auch über den Typ der Verteilung, zum Beispiel „die Werte sind normalverteilt“, beinhalten. In dieser Interpretation liefert eine statistische Methode eine Aussage über diejenigen Parameter der Verteilungsannahme, die eine plausible Erklärung für das gemachte Beobachtungsergebnis darstellen.

Werden im Rahmen der Untersuchung einer „verbundenen“ Stichprobe mehrere numerische Merkmalswerte der Stichprobenmitglieder erhoben, können diese durch eine Zufallsvariable mit vektoriellen Werten, also mit Werten in einem ${\displaystyle n}$-dimensionalen reellen Vektorraum ${\displaystyle \mathbb {R} ^{n}}$, repräsentiert werden. Auch in solchen Fällen lässt sich die Verteilungsannahme oft, wie zum Beispiel im Fall einer mehrdimensionalen Normalverteilung, durch wenige Parameter vollständig charakterisieren.

Das zentrale Gebiet der mathematischen Statistik ist die Schätztheorie. In ihr werden Schätzverfahren für unbekannte Parameter der Grundgesamtheit entwickelt. Mathematisch entsprechen solche Schätzformeln Funktionen, deren Werte aus den Beobachtungsergebnissen der Stichprobe berechnet werden. Man spricht daher allgemein von einer Stichprobenfunktion, die im speziellen Fall einer bezweckten Parameterschätzung Schätzfunktion genannt wird.

Gegenstand der Schätztheorie ist es, ausgehend von der Verteilungsannahme bestimmte Klassen von Schätzfunktionen zu untersuchen und hinsichtlich Plausibilität (Maximum-Likelihood-Methode) oder verschiedener Qualitätskriterien (wie Suffizienz oder Effizienz) zu vergleichen.

Soll zum Beispiel die durchschnittliche Körpergröße erwachsener Frauen in Deutschland mittels einer Stichprobe geschätzt werden, ist die Annahme einer Normalverteilung mit den beiden unbekannten Parametern Erwartungswert und Varianz plausibel. Auf dieser Grundlage können für eine beliebige Schätzfunktion, abhängig von den beiden unbekannten Parametern, die möglichen Fehlerwerte samt der zugehörigen Wahrscheinlichkeiten auf ihre Eigenschaften hin untersucht werden. Eine wichtige Eigenschaft ist dabei die Erwartungstreue der Schätzfunktion. Sie ist erfüllt, wenn der Erwartungswert der Schätzfunktion gleich dem gesuchten Wert ist. Für das Beispiel des gesuchten Erwartungswertes liefert der Mittelwert der Stichprobenergebnisse eine erwartungstreue Schätzfunktion.

Außer Schätzfunktionen in Form einer einwertigen Näherung eines gesuchten Parameters haben sich auch Bereichsschätzungen in Form eines sogenannten Konfidenzintervalls bewährt. Dabei liefert die Schätzfunktion mit hoher Wahrscheinlichkeit ein Intervall, das den gesuchten, aber unbekannten Parameter einschließt.

Konkrete Vermutungen über die Grundgesamtheit können durch geeignete statistische Tests überprüft werden. Dabei wird ausgehend von einer Hypothese auf Basis des Stichprobenergebnisses eine 0-1-Entscheidung über die Verwerfung beziehungsweise Beibehaltung der Hypothese herbeigeführt.

Qualitätskriterien eines Hypothesentests sind niedrige Wahrscheinlichkeiten für falsche Test-Entscheidungen, primär für die Verwerfung einer in Wirklichkeit richtigen Hypothese (Fehler 1. Art) und in zweiter Linie für die Nicht-Verwerfung einer in Wirklichkeit falschen Hypothese (Fehler 2. Art).

Eine zentrale Rolle beim Design eines Hypothesentests spielen sogenannte Prüfgrößen, auch Testgrößen oder Teststatistiken genannt. Auch bei ihnen handelt es sich um Stichprobenfunktionen, d. h. ihre Werte werden aus den innerhalb der Stichprobe ermittelten Beobachtungsergebnissen berechnet. Die Interpretation der Prüfgrößenwerte erfolgt mittels eines Verwerfungsbereichs, der abhängig von der Vorgabe einer tolerierten Höchstwahrscheinlichkeit für einen Fehler 1. Art, Signifikanzniveau genannt, gewählt werden muss. Dabei wird die Hypothese genau dann verworfen, wenn der aus der Stichprobe berechnete Prüfgrößenwert im Verwerfungsbereich liegt.

In bestimmten Situationen benötigen Hypothesentests keine Verteilungsannahme. Möglich ist dies insbesondere in Fällen, in denen nicht Parameter einer Verteilung, sondern nur Ränge von Daten Gegenstand der Hypothese sind, zum Beispiel wenn getestet werden soll, ob der Median einer in der untersuchten Grundgesamtheit beobachtbaren Größe einen bestimmten Wert überschreitet. Solche Hypothesentests und die ihnen zugrundeliegenden Modelle werden in der nichtparametrischen Statistik untersucht.

Für die Analyse von kausalen Einflüssen zwischen den Merkmalswerten einer verbundenen Stichprobe gibt es verschiedene Modelle und darauf aufbauende Methoden wie die Regressionsanalyse und die Varianzanalyse.

Bei der Untersuchung verschiedener Stichproben ist die Prüfung auf übereinstimmende Verteilungen im Rahmen eines Homogenitätstests möglich.

Zur mathematischen Statistik gehören auch die Theorien statistischer Auswahlverfahren sowie der optimalen Versuchs- und Erhebungsplanung.

Eine Sonderrolle kommt der Bayesschen Statistik zu, weil ihre Verfahren auf einer anderen Interpretation des mathematisch-formalen Wahrscheinlichkeitsbegriffs beruhen. Dabei werden Wahrscheinlichkeiten nicht frequentistisch, sondern im Sinne der Sicherheit in der persönlichen Einschätzung eines Sachverhaltes interpretiert (siehe Bayesscher Wahrscheinlichkeitsbegriff).

Die praktische Durchführung eines statistischen Verfahrens ist ohne Hilfsmittel bei großen Stichproben sehr aufwändig, da aus den vielen Beobachtungsergebnissen zur Stichprobe der Wert einer Stichprobenfunktion, nämlich einer Prüfgröße zur Hypothesenprüfung bzw. einer Schätzfunktion, zu berechnen ist. Im Fall einer Hypothesenprüfung ist außerdem noch der Verwerfungsbereich anhand der Wahrscheinlichkeitsverteilung zur Prüfgröße festzulegen, wozu früher Quantiltabellen verwendet wurden.

Heute bieten Tabellenkalkulationsprogramme wie Excel für beide Schritte vordefinierte Funktionen. Außerdem zum Einsatz kommen Statistikprogramme wie SPSS oder universelle Programmiersprachen, wobei die Sprache R aufgrund ihrer kostenfrei erhältlichen Entwicklungsumgebung zunehmend Verbreitung gefunden hat.

Eine gänzliche Formalisierung von statistischen Fragestellungen auf Basis mathematischer Objekte wird mit dem Begriff des statistischen Modells erzielt, oft auch als statistischer Raum bezeichnet. Abweichend vom bisher beschriebenen, eher anwendungsorientierten Szenario kann dabei auf die Festlegung einer Grundgesamtheit verzichtet werden:

Die möglichen Stichprobenergebnisse ${\displaystyle x}$ werden zu einer Menge ${\displaystyle {\mathcal {X}}}$, dem Stichprobenraum, zusammengefasst. Die darin beobachtbaren Ereignisse werden formal durch eine zum Stichprobenraum ${\displaystyle {\mathcal {X}}}$ definierte σ-Algebra ${\displaystyle {\mathcal {F}}}$ charakterisiert. Die Verteilungsannahme, das heißt die in Frage kommenden Wahrscheinlichkeitsverteilungen, entsprechen einer Familie ${\displaystyle (P_{\vartheta })_{\vartheta \in \Theta }}$ von Wahrscheinlichkeitsmaßen auf ${\displaystyle ({\mathcal {X}},{\mathcal {F}})}$. Ein statistisches Modell ist damit formal ein Tripel ${\displaystyle ({\mathcal {X}},{\mathcal {F}},P_{\vartheta }\colon \vartheta \in \Theta )}$. Ist ${\displaystyle \vartheta }$ ein reeller Parametervektor, also ${\displaystyle \Theta \subseteq \mathbb {R} ^{d}}$, so spricht man von einem parametrischen Modell mit Parameterraum ${\displaystyle \Theta }$. Den Fall ${\displaystyle d=1}$ eines reellen Parameters nennt man einparametriges Modell.

Eine messbare Funktion ${\displaystyle S}$ von ${\displaystyle ({\mathcal {X}},{\mathcal {F}})}$ in einem weiteren Messraum ${\displaystyle ({\mathcal {S}},\Sigma )}$ heißt Stichprobenfunktion oder Statistik. Eine Schätzfunktion oder kurz ein Schätzer für eine Kenngröße ${\displaystyle \tau (\vartheta )\in {\mathcal {S}}}$ des Parameters ist eine Stichprobenfunktion ${\displaystyle T\colon {\mathcal {X}}\to {\mathcal {S}}}$.

Die Grundlage der Mathematischen Statistik ist die Wahrscheinlichkeitsrechnung. Allerdings wurden einige Inhalte und Begriffe der Wahrscheinlichkeitsrechnung historisch erst durch statistische Anwendungen motiviert. Dazu gehören insbesondere die sogenannten Testverteilungen, d. h. die Wahrscheinlichkeitsverteilungen zu Prüfgrößen bei Hypothesentests. Neben den Wahrscheinlichkeitsverteilungen zu nicht parametrischen Tests zu nennen sind

• die Studentsche t-Verteilung,
• die Chi-Quadrat-Verteilung und
• die F-Verteilung,

wobei die ersten beiden Verteilungen jeweils mit einer Anzahl von Freiheitsgraden und die F-Verteilung durch zwei Anzahlen von Freiheitsgraden parametrisiert sind.

Die Denkweise und Argumentation der Mathematischen Statistik, aber auch die Konstruktion und Untersuchung der für statistische Methoden essentiellen Stichprobenfunktionen geht wesentlich auf britische Forscher zurück. Dazu gehören insbesondere Karl Pearson, der 1900 den Chi-Quadrat-Test beschrieb,^[1] William Sealy Gosset, der 1908 unter dem Pseudonym Student sein Konzept des t-Tests publizierte,^[2] und Ronald Aylmer Fisher, der 1922 eine umfassende Systematisierung statistischer Methoden und Argumentationsweisen veröffentlichte.^[3]

• Jörg Bewersdorff: Statistik – wie und warum sie funktioniert. Ein mathematisches Lesebuch mit einer Einführung in R. 2. Auflage. Springer Spektrum 2021, ISBN 978-3-662-63711-1, doi:10.1007/978-3-662-63712-8.
• Hans-Otto Georgii: Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik, 5. Auflage, de Gruyter, 2015, ISBN 978-3-11-035969-5, doi:10.1515/9783110359701.
• Norbert Henze: Stochastik für Einsteiger: Eine Einführung in die faszinierende Welt des Zufalls. 13. Auflage. Springer Spektrum 2021, ISBN 978-3-662-63839-2, doi:10.1007/978-3-662-63840-8.
• Hermann Witting: Mathematische Statistik, Band 1, Parametrische Verfahren bei festem Stichprobenumfang, Teubner Verlag 1985, ISBN 3-519-02026-2, doi:10.1007/978-3-322-90150-7.
• Herrmann Witting, Ulrich Müller-Funk: Mathematische Statistik, Band 2, Asymptotische Statistik: Parametrische Modelle und nichtparametrische Funktionale, Teubner Verlag 1995, ISBN 3-322-90153-X, doi:10.1007/978-3-322-90152-1.
• Dieter Rasch und Dieter Schott: Mathematische Statistik, Für Mathematiker, Natur- und Ingenieurwissenschaftler. 1. Auflage November 2015, 648 Seiten, Hardcover, 150 Abbildungen, Lehrbuch ISBN 978-3-527-33884-9, Wiley-VCH, Weinheim

1. ↑ Karl Pearson: On the criterion that a given system of derivations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling. In: The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science. Band 50, Nr. 5, 1900, S. 157–175, doi:10.1080/14786440009463897. 
2. ↑ Student: The Probable Error of a Mean. In: Biometrika. Band 6, Nr. 1, 1908, S. 1–25, doi:10.2307/2331554. 
3. ↑ R. A. Fisher: On the mathematical foundations of theoretical statistics. In: Philosophical Transactions of the Royal Society. A 222, 1922, S. 309–368, doi:10.1098/rsta.1922.0009. 

• Literatur über Inferenzstatistik im Katalog der Deutschen Nationalbibliothek