Nach einigen Prüfungen stehen alle Zentren vor dem gleichen Problem: Die Lernenden haben alle Fragen im Lager bearbeitet, und alte Prüfungen messen nichts mehr. Die kurze Antwort: Verwaltung auf der Rohmaterialebene, nicht auf der Ebene der vollständigen Prüfungen.

Was sind Rohmaterialien

Eine vollständige IELTS-Prüfung besteht aus vier Fähigkeiten, aber das, was wiederverwendet werden kann, ist kleiner:

  • Lesen: einzelne Leseartikel mit den dazugehörigen Fragen.
  • Hören: jeder Teil in den vier Abschnitten, mit dem entsprechenden Audio.
  • Schreiben: jede einzelne Aufgabe, Task 1 und Task 2 sind unabhängig.
  • Sprechen: Teil 1 separat, Teile 2 und 3 zusammen.

Wenn das Lager auf diesem Niveau organisiert ist, muss eine neue Prüfung nicht von Grund auf neu erstellt werden – sie ist eine neue Kombination aus bereits vorhandenem Rohmaterial. Mit drei Leseartikeln in einer Leseprüfung reichen einige Dutzend standardisierte Artikel aus, um eine viel größere Anzahl von Prüfungen zu erstellen.

Was vor der Aufnahme ins Lager überprüft werden muss

Dies ist der entscheidende Schritt für die Qualität und kann nicht nachträglich erfolgen:

  • Ausreichende Anzahl an Fragen gemäß den Standards: Hören und Lesen 40 Fragen, Schreiben 2 Aufgaben, Sprechen mindestens drei Teile.
  • Alle Multiple-Choice-Fragen müssen Antworten haben, keine Fragen ohne Antwort.
  • Keine Duplikate: derselbe Leseartikel darf nicht zweimal unter verschiedenen Namen erscheinen.
  • Bei Hören: die Audiodatei muss intakt sein, die Länge muss mit dem Inhalt übereinstimmen, und sie muss von Anfang bis Ende hörbar sein.

Ein Rohmaterial, das diesen Schritt mit fehlenden Antworten übersteht, wird in der Zukunft eine Reihe von fehlerhaften Prüfungen erzeugen, und Sie werden es nur bemerken, wenn die Lernenden Beschwerden einreichen.

Grenzen der Wiederverwendbarkeit

Wenn derselbe Leseartikel in zu vielen Prüfungen erscheint, werden die Lernenden ihn wiedersehen, und die Prüfung verliert ihren Messwert. Eine einfache Kontrollmethode besteht darin, eine Obergrenze für die Anzahl der Male festzulegen, die ein Rohmaterial in allen generierten Prüfungen verwendet werden darf, und das System zu veranlassen, die Kombination abzulehnen, wenn diese Grenze überschritten wird.

Dies ist auch der Engpass: Die Fähigkeit mit den wenigsten Rohmaterialien bestimmt die maximale Anzahl der Prüfungen. Für die meisten Zentren ist das Hören – da jeder Teil ein echtes Audio benötigt, das nicht wie ein Leseartikel handschriftlich erstellt werden kann.

Vor der Ausgabe an die Lernenden überprüfen

Automatisch generierte Prüfungen müssen von einer Person überprüft werden, bevor sie in die offizielle Prüfungsbank aufgenommen werden. Nicht, weil die Maschine die Struktur falsch kombiniert, sondern weil nur Menschen Dinge erkennen können, wie zwei Leseartikel in derselben Prüfung, die so stark thematisch übereinstimmen, dass die Prüfung unausgewogen wird, oder eine Schreibaufgabe, die nicht mehr zum Kontext passt.

Das Prinzip sollte sein: Prüfungen, die von Maschinen erstellt werden, sind standardmäßig Entwürfe. Sie werden nur zur offiziellen Prüfung, wenn jemand sie genehmigt, und in jedem Fall muss es einen Rückholweg geben, falls später Fehler entdeckt werden.

Häufig gestellte Fragen

Soll man Prüfungen kaufen oder selbst erstellen?

Beides, aber es muss legal sein. Gekaufte Prüfungen müssen die richtigen Lizenzen für Testzwecke haben; selbst erstellte Prüfungen benötigen einen internen Überprüfungsprozess.

Wie viel Rohmaterial ist genug, um zu beginnen?

Genug, um die dreifache Anzahl an Prüfungen zu erstellen, die in einer Testperiode geplant sind, plus einen Puffer für Wiederholungsklassen.

Soll man alte Prüfungen löschen?

Nicht löschen, sondern in den Archivstatus versetzen. Alte Prüfungen sind weiterhin wichtig für den Vergleich der Ergebnisse, die zuvor an Lernende zurückgegeben wurden.

Referenzquelle: British Council – IELTS-Testformat; IELTS – Detaillierte Bewertung des IELTS.

Quellen