Informationen zu Offline-Tests Statistiken

Übersicht
Fragenanalyse
Definitionen


Übersicht

Wir nehmen an, dass für mindestens einen Studierenden ein Ergebnis existiert, d.h. $\vert S\vert>1$.

Gesamtzahl an vollständig bewerteten Ergebnissen

Anzahl an ausgewertetn Ergebnissen.

Maximal mögliche Bewertung

Maximale Punktezahl, die ein(e) Teilnehmer/in erreichen kann.

Höchste/Niedrigste erreichte Bewertung

Höchste bzw. niedrigste erreiche Bewertung die von Teilnehmer/innen erreicht wurden.

Durchschnittliche erreichte Bewertung

Wir berechnen den Durchschnitt aller Bewertungen (hochgerechnet auf die maximale Bewertung des Offline-Tests).

$\bar{T}=\frac{1}{\vert S\vert}\sum\limits_{s\in S}T_s$.

Median der Bewertungen

Alle Bewertungen ($T_s$) werden sortiert. Falls $\vert S\vert$ ungerade ist, wird der Wert in der Mitte genommen. Falls $\vert S\vert$ gerade ist, wird der Mittelwert der beiden Werte in der Mitte berechnet.

Standardabweichung

Die Standardabweichung aller Bewertungen (hochgerechnet auf die maximale Bewertung des Offline-Tests).

$SD = \sqrt{V(T)} = \sqrt{\frac{1}{\vert S\vert - 1}\sum\limits_{s\in S}(T_s - \bar{T})^2}$.

Schiefe und Wölbung der Bewertungsverteilung

Die Schiefe der Bewertungsverteilung (engl. skewness) beschreibt die ,,Neigungsstärke'' der statistischen Verteilung der Bewertungen. Sie zeigt an, ob und wie stark die Verteilung nach rechts (positive Schiefe) oder nach links (negative Schiefe) geneigt ist. Die Wölbung (engl. kurtosis) ist eine Maßzahl für die Steilheit bzw. ,,Spitzigkeit'' der statistischen Verteilung der Bewertungen. Verteilungen mit geringer Wölbung streuen relativ gleichmäßig. Bei Verteilungen mit hoher Wölbung resultiert die Streuung mehr aus extremen, aber seltenen Ereignissen.

Wir berechnen zuerst:

$m_2=\frac{1}{\vert S\vert}\sum\limits_{s\in S}{(T_s - \bar{T})^2}$

$m_3=\frac{1}{\vert S\vert}\sum\limits_{s\in S}{(T_s - \bar{T})^3}$

$m_4=\frac{1}{\vert S\vert}\sum\limits_{s\in S}{(T_s - \bar{T})^4}$

Dann berechnen wir:

$k_2 = \frac{\vert S\vert}{\vert S\vert - 1}m_2 = V(T)$

$k_3 = \frac{\vert S\vert^2}{(\vert S\vert-1)(\vert S\vert-2)} m_3$

$k_4 = \frac{\vert S\vert^2}{(\vert S\vert-1)(\vert S\vert-2)(\vert S\vert-3)}\left((\vert S\vert+1)m_4-3(\vert S\vert-1)m_2^2\right)$

Dann ist die Schiefe der Bewertungsverteilung:

$Skewness = \frac{k_3}{k_2^(3/2)}$

und die Wölbung der Bewertungsverteilung:

$Kurtosis = \frac{k_4}{k_2^2}$

Koeffizient interner Konsistenz (Cronbachs Alpha)

Der Koeffizient interner Konsistenz (Cronbachs Alpha, oder Alpha) ist eine nach Lee Cronbach benannte Maßzahl für die interne Konsistenz einer Skala und bezeichnet das Ausmaß, in dem die Aufgaben bzw. Fragen einer Skala miteinander in Beziehung stehen (engl. interrelatedness). Es ist hingegen kein Maß für die Homogenität oder Eindimensionalität einer Skala. Wir berechnen den Koeffizienten interner Konsistenz (CIC) wiefolgt:

$CIC=\frac{\vert I\vert}{\vert I\vert-1}\left(1-\frac{1}{V(T)}\sum\limits_{i\in I}V(x_i)\right)$.

Fehlerquotient (Error Ratio) und Standardfehler

Diese Werte geben Auskunft über die Zuverlässigkeit der Testergebnisse. Wir nehmen an, dass das Ergebnis, das eine Studentin bei einem Test erzielt hat eine Kombination von tatsächlichem Können und von Zufallsfehlern ist (wieviel Glück hatte die Studentin). Der Standardfehler ist dann eine Schätzung des Glücksanteils. Wenn der Standardfehler also z.B. ungefähr 10 ist und die Studentin 60 Punkte erreich hat, dann kann man annehmen, dass das eigentliche Können zwischen 50 und 70 Punkten liegt.

Der Fehlerquotient (als Prozentwert) wird berechnet als:

$ER=100*\sqrt{1-CIC}$.

Der Standardfehler wird wiefolgt berechnet:

$SE=\frac{ER}{100}SD$


Fragenanalyse

Leichtigkeits-Index

Der Leichtigkeits-Index (engl. facility index) beschreibt, wie leicht bzw. schwer eine Frage für die Studierenden war. Haben z.B. zwei Studierende ein Item $i$ beantwortet, wobei ein Studierender $50\%$ und der andere $100\%$ der Punkte erreicht hat, dann beträgt der Leichtigkeits-Index $75\%$. Der Leichtigkeits-Index wird also prozentual ausgedrückt:

$F_i = 100\cdot\frac{\bar{x}_i - x_i(min)}{x_i(max) - x_i(min)}$.

Standardabweichung

Die Standardabweichung einer Frage ist ein Maß für die Streuung der erreichten Bewertungen für diese Frage um die durchschnittliche Bewertung.

$SD_i = \frac{\sqrt{V(x_i)}}{x_i(max) - x_i(min)}$.

Beabsichtigte Gewichtung

Gibt die Gewichtung der Frage im Test an, d.h. wieviel Prozent die Frage Gesamtergebnis beisteuert:

$IQW_p = 100\frac{x_p(max) - x_p(min)}{T_{max} - T_{min}}$.

Effektive Gewichtung

Die effektive Gewichtung ist ein Schätzung für den Anteil einer Frage an der Varianz der erreichten Bewertungen.

$EQW_p = 100\frac{\sqrt{C(x_p, T)}}{\sum_{p \in P}\sqrt{C(x_p, T)}}.$

Discrimination Index

Der Korrelations-Koeffizient zwischen $x_i$ and $X_i$ prozentual ausgedrückt:

$D_i= \frac{C(x_i, X_i)}{\sqrt{V(x_i)V(X_i)}}$.



Definitionen

Wir nehmen an, dass mindestens zwei Studierende das Item $i$ beantwortet haben, d.h. $\vert S_i\vert > 1$. Dann sind: