Ganz herzlichen Dank, dass ich Ihnen hier unser Projekt präsentieren darf.
Es handelt sich ein Projekt zur Einführung von mobilen E-Klausuren
in den Regionalzentren der Fernuniversität in Hagen.
Das Projekt wird von der digitalen Hochschule NRW mit 1,4 Millionen Euro gefördert.
Was Sie hier sehen, ist ein auf der ersten Folie
ein Bild, das den Campus in Hagen zeigt.
Ich werde immer mal wieder gefragt, sie kommen von einer Fernuniversität
, haben Sie dann auch tatsächlich einen Campus?
Ja, den haben wir
In Hagen, aber die Fernuniversität,
die mittlerweile auf eine über 40-Jährige Geschichte zurückblickt und eine Landesuniversität des Landes NRW ist,
mit über 70.000 Studierenden ist auch in der Fläche präsent und zwar in Regionalzentren,
in allen Bundesländern,
die insbesondere berufstätigen Studierenden ein Blended-Learning-Konzept anbietet,
dass es ihnen ermöglicht,
in Begleitung ihres Berufes oder auch im Zusammenhang mit Familienarbeit,
also Raum und Zeitorts
ungebunden zu studieren
Ich gebe Ihnen in diesem Vortrag einen kurzen Überblick über die Ausgangssituation,
die Herausforderungen, denen wir uns mit dem Thema,
die uns zum Thema E-Assessment noch einmal in besonderer Art und Weise geführt haben.
Das sind auf der einen Seite Spezifika der Fernuniversität.
Auf der anderen Seite verbergen sich,
glaube ich, in diesem Projekt sehr viele interessante Ansatzpunkte,
die um das Thema E-Prüfungen herum auch andere Universitäten oder Hochschulen
insgesamt beschäftigen,
insbesondere auch im Zusammenhang mit E-Learning
Ich werde etwas über den Projektstand Ihnen präsentieren und dann auch so, wohin die Reise geht.
Also es ist noch kein abgeschlossenes Projekt, sondern auf dem Weg.
Ja, was ist die Ausgangssituation? Ich habe gesagt,
wir haben an der fernen Universität insgesamt, ich glaube 76.000 Studierende,
die Fakultät für Psychologie erfreut sich sehr nachhaltiger, Beliebtheit,
aber das ist nicht der Grund,
weshalb ich hier in diesem Slot Nachhaltigkeit gelandet bin.
Wir haben insgesamt über 15.000 Studierende an der Fakultät für Psychologie,
die in Bachelor oder in Master im Masterstudiengang
Und insgesamt werden im Studienjahr 10.000 Klausuren an der Fakultät geschrieben.
Also sie sehen ein wirklich sehr großes Mengengerüst. Und das ist eigentlich
auch für E-Prüfungsforschung schon per se interessant. In der Vergangenheit hat die Fernuniversität,
das macht sie auch in anderen Fakultäten noch,
aber für die Psychologie an anderen Kooperieren kooperierenden Universitäten, Hörseele angemietet,
um dort dann die Klausuren schreiben zu können für die Studierenden,
die aus der Region sich dann dort angemeldet haben.
Das führt zu einem sehr hohen logistischen Aufwand und zu einem sehr starren Prüfungsworkflow.
Das bedeutet, Nämlich, dass die Klausuren in unserem Logistikzentrum
in Hagen gedruckt werden müssen und schon sehr frühzeitig gedruckt werden müssen.
Die werden dann quer durch die Republik, also zu den angemieteten Hörserien gebracht.
Auch das ist nochmal mit relativ viel Aufwand in Bezug auf die,
ich sag jetzt mal, Datensicherheit verbunden.
Und wenn die Klausuren dann dort unter Aufsicht absolviert worden sind,
dann werden sie wieder zurücktransportiert nach Hagen. Das ist aufwendig,
aber wenn man sich das Mengengerüst so vor Augen hält,
dann versteht man relativ schnell, warum so andere Lösungen,
die vielleicht an kleineren Institutionen zum Tragen kommen,
Procter-Lösung für das Absolvieren von Prüfung.
Wieso die bei dieser Menge schlicht nicht möglich sind?
10.000 Klausuren zu realisieren, das ist eben nicht per Procter-Lösung möglich.
Und ein anderer Punkt, der insbesondere jetzt die Logistik und
die Materialkosten betrifft und dann auch das Thema Nachhaltigkeit tangiert,
sind die Rückbrittsquoten.
Die haben wir wie an anderen Universitäten auch.
Die kennen die meisten von ihnen, die in der Lehre
tätig sind. Wir haben zwischen 30 bis 50
Prozent Rücktrittsquoten
Das heißt also, es werden Klausuren gedruckt für Studierende,
von denen wir schon annehmen können, dass sie die Prüfung gar nicht antreten.
Aber wir wissen leider nicht, welche Studierende das sind.
Und sie müssen dann eben vorgehalten werden in den Hörserien,
in denen die Klausuren absolviert werden. Und die Studierenden sich angemeldet haben. So,
die Ziele, die wir durch das Projekt E-Assessment erreichen wollen,
wir haben also als erstes den Ansatz gehabt,
wir wollen die Digitalisierung nutzen,
um tatsächlich einmal diese Effizienz der Prüfungsorganisationen zu erreichen,
diesen starren Prüfungs-Workflow mit diesen langen Vorlaufzeiten und dem ganzen Material
und finanziellen Aufwand
zu reduzieren
Die Flexibilisierung des Prüfungsworkflows hat für uns noch einen zweiten wichtigen Punkt.
Sie können sich vorstellen, bei 10.000 Klausuren,
die dann tatsächlich auch geschrieben werden, also das sind nicht die,
wo nochmal abzüglich Abbrecher hinzukommen, ist es unheimlich schwierig,
bei dieser logistischen Konstruktion auch Wiederholungsprüfungen anzubieten.
Einfach aufgrund des hohen Mengengerüstes. Und auch hier brauchen wir
mehr Flexibilität im Rahmen des Prüfungsworkflows. Weiterentwicklung der Prüfungsqualität
durch Digitalisierung Das werde ich jetzt hier nicht vertiefen.
Natürlich gibt es viele Möglichkeiten, wenn man vom Papierformat abweicht,
Prüfungen insgesamt anders zu stellen, wenn man sie digital stellt.
Das kann durch zusätzliche Anreicherung und Einbettung von Materialien geschehen.
Audio, Video etc. Aber das ist nicht das Thema hier.
Und Thema Nachhaltigkeit. Also wir wollen näher dahin kommen,
dass wir die Klausuren für diejenigen anbieten, die tatsächlich vor Ort sind.
Und das auch in einer Art und Weise,
dass wir nicht mehr unsere Fahrer Quer- oder Fahrerinnen quer durch
die ganze Republik schicken müssen,
um Papierklausuren zu verteilen und wieder einzusammeln
Wie stellt sich das insgesamt das Projekt dar?
Wofür haben wir uns entschieden? Ich habe schon kurz angedeutet,
die Fernuniversität verfügt über Regionalzensren im gesamten Bundesgebiet, insgesamt 13,
sie verfügt auch über Studienzentren im benachbarten deutschsprachigen Ausland.
Wir haben relativ viele Studierenden, insbesondere aus Österreich und haben
ein Studienzentrum in Budapest und auch eines in der Schweiz.
Und wir haben uns zunächst mal darauf konzentriert,
die Klausurorte zu wechseln,
das heißt also in die Regionalzentren umzuziehen mit unseren 10.000 Klausuren
In die eigenen Räumlichkeiten. Und das hat folgenden Hintergrund,
wenn man sich dafür entscheidet, dass man E-Klausuren anbietet,
muss man natürlich die entsprechenden rechtlichen Rahmenbedingungen beachten.
Das betrifft unter anderem Prüfungsfährnisprüfungsintegrität, also die Datenintegrität etc.
Und das lässt sich eigentlich nur realisieren,
wenn man die Möglichkeiten hat, über das Entsprechende,
die entsprechende IT-Infrastruktur auch dann, ich sag jetzt mal,
die Hoheit zu haben.
Das heißt, das lässt sich nicht einfach an anderen Hochschulen realisieren,
denn die Hochschulen bedanken sich,
wenn es irgendwie zu einer Datenpanne kommt und sie dann letztlich
für die Widerspruchsverfahren verantwortlich gemacht werden
Das ist der eine Punkt, der notwendig ist. Ich hatte auch schon angesprochen,
dass andere Möglichkeiten, wie also die Studierenden,
das wäre vielleicht die nachhaltigste Lösung,
die einem sofort ins Auge springt, die bearbeiten ja ohnehin,
wir haben ein Blinded Learning Konzept an der Fernuniversität,
viele Aufgaben von heimischen Arbeitsplatz,
PC aus oder auch einem anderen Endgerät und die machen die Prüfung da,
dann kommen wir prüfungsrechtlich in die Schwierigkeiten, die ich schon angesprochen habe.
Das heißt, die Identifizierbarkeit muss gewährleistet sein,
die Prüfungsfairness, also wer ist alles noch im Raum
und was für Materialien
werden genutzt
In den meisten Fällen nicht gegeben,
außer eben in sehr eingeschränkten Propter-Lösungen, die aber dann auch wieder
personalintensiv sind und im Grunde genommen eins zu eins Situationen herstellen,
die wir bei 10.000 Prüfungen nicht herstellen können.
Wir sind in dieser Regionalzentren umgezogen und standen dann vor der nächsten Herausforderung,
die Regionalzentren werden eigentlich für das Studieren genutzt.
Das sind Anlaufstellen, sie können sich vorstellen,
wie kleine Außenstellen der Fernuniversität, viele Seminarräume,
die genutzt werden für Präsenzveranstaltungen, die zum Landed Learning Konzept gehören.
Das heißt, wir können nicht die Regionalzentren jetzt mit stationären PCs belegen,
die dann die die Nutzungsmöglichkeiten in diesem Regionalzentrum einschränken.
Und ich glaube, hier wird es ganz interessant für andere Hochschulen ebenfalls,
was das E-Learning beziehungsweise das E-Assessment und die Gestaltung von Prüfungen angeht.
Es gibt ja an vielen Hochschulen vermutlich auch an einigen der
Hochschulen von Ihnen bereits E-Klausuren.
In der Regel ist das E-Klausurformat aber gekoppelt an stationäre Prüfungsräume,
die dann speziell dafür ausgestattet sind.
Also die RWTH ist unser Kooperationspartner in diesem Kontext,
hat einen sehr großen Prüfungs-Hörsaal ausgestattet mit PCs.
Da werden dann die Klausuren im i-Format präsentiert und die Studierenden können sie dort ablegen.
Die Daten werden zwischengespeichert und werden dann weiterverarbeitet.
Das setzt voraus, dass man eben diese ganze stationäre Struktur hat.
Das ist in unserem Fall nicht möglich. Insofern haben wir
uns auf ein mobiles Szenario. Sind wir auch eins mobiles Szenario gekommen,
das wir entwickelt haben und das möchte ich Ihnen an dieser Stelle kurz vorstellen.
Wir sehen jetzt hier abgetragen zwei unterschiedliche Einheiten.
Ich gucke mal, ob
der Pointer funktioniert
Links ist die Einheit, wie die IT-Infrastruktur an der Fernuniversität aufgebaut ist. Das heißt,
es gibt die Prüferinnen und Prüfer und die haben Zugriff auf einen Server,
der ist hier genannt Orbit,
das hängt jetzt mit der Struktur des Programmes zusammen,
mit dem wir arbeiten, und übertragen die Klausurfragen an den Orbit.
Der Orbit kommuniziert mit sogenannten Satelliten,
das sind auch wieder Server, die in einer geschützten Prüfungsinfrastruktur,
IT-Infrastruktur jetzt in diesem Fall einer WLAN-Infrastruktur in den Regionalzentren kommunizieren,
die Prüfungsfragen werden also auch an das jeweilige Regionalcenzform dann übermittelt.
Es ist aber nur ein Prüfungs-WLAN. Es gibt keine
weitere Kommunikation mit anderen Einheiten innerhalb des Regionalcenzrums.
Am Prüfungstag werden die Studierenden, werden den Studierenden iPads ausgehändigt
und die Studierenden bearbeiten alle Prüfungen auf diesen mobilen Endgeräten.
Also die Prüfungsfragen werden vom Satelliten auf die iPads übertragen.
Die Studierenden melden sich zur Klausur an,
bearbeiten die Prüfungen auf dem iPad
Also die Daten werden auch gar nicht auf den iPads zwischengespeichert, sondern direkt übertragen.
Auf den Server, das hat wieder Hintergründe im Bereich der
IT-Sicherheit und der Datenintegrität. Am Ende der Prüfung,
wenn der Prüfling die Klausur abgeschlossen hat und das auch bestätigt hat,
werden die Daten insgesamt dann für die entsprechende Klausur vom Regionalzentrum
an den Orbit zurück übers Spiel und können dann entsprechend weiterverarbeitet werden.
Also ein ziemlich kurzer Weg in Bezug auf die Vorbereitungszeit auch,
also wenn wir In früheren, in den Papierklausurkampagnen,
was ich genannt hatte, also die Klausuren im Januar fertig haben mussten,
damit sie dann gedruckt und verschickt werden konnten,
damit sie im März vor Ort sind und ausgefüllt werden oder bearbeitet werden können,
ist das natürlich jetzt in sehr viel Kürzerzeit möglich.
Gleiches gilt auch dann eben für die Datenauswertung, die Fragen,
die maschinell tatsächlich ausgewertet können, wenn es Multiple-Choice-Fragen,
beispielsweise sind, sind in wesentlich kürzerer Zeit auszuwerten.
Dann komme ich auch zu den Prüfungsformaten, zunächst noch zu der Prüfungssoftware.
Ich hatte schon gesagt, wir kooperieren mit der RWTH Aachen
in diesem Zusammenhang speziell mit dem Zentrum für Medien für die Lehre.
Und die RWTH hat eine Prüfungssoftware entwickelt,
die nennt sich Deine Excite und hat bereits bei dieser Prüfung
Softwareentwicklung die Empfehlungen zur Verankerung von Ears-Sessments in NRW,
also die ganzen Rechtsgrundlagen, mit berücksichtigt und hat jetzt mittlerweile,
ich glaube, acht oder neunjährige Erfahrungen in der Durchführung von I-Klausuren.
Ich habe jetzt gerade nochmal mit meinem Kooperationspartner über die Zahl
der Prüfungen gesprochen. Das sind, glaube ich,
36.000 I-Klausuren, die schon mit dieser Software durchgeführt worden sind
Ich brauche jetzt oft diese Software hier an der Stelle nicht,
einzeln einzugehen, so einige Punkte,
die die Software interessant machen, sind die unterschiedlichen Rollenkonzepte.
Das betrifft ja die IT-Sicherheit und den Zugang, Datenintegrität,
wer hat letztlich dann Zugang zu den Daten, die die Studierenden eingeben?
Vielfältige Rollenvergaben sind möglich. Es ist benutzerfreundlich,
man kann die Klausur fragen, Klausuren müssen nach dem Vier-Augen-Prinzip konstruiert werden,
dann auch über ein Review-Verfahren gegenseitig nochmal die Qualitätskontrolle vornehmen.
Man hat viele Möglichkeiten, Klausuren auch zusammenzustellen,
beispielsweise aus Fragen, Pools, man kann Fall,
wenn man es denn möchte,
also tatsächlich für jeden Studierenden aus einem Pool eine individuelle Klausur beispielsweise zusammenstellen.
Und die Frage Formate, ich denke, das ist meine nächste Folie.
Noch nicht ganz. In Bezug auf die Anmeldung zur Prüfung.
Wir haben jetzt die ganze Zeit über die Digitalität gesprochen,
muss ich aber leicht dazu sagen,
dass die Studierenden sich ganz herkömmlich anmelden und immer noch viel Arbeit bei der Klausur auf sich liegt.
Also soweit sind wir noch nicht,
dass wir beispielsweise mit Paradaten individuelle Anmeldungen herstellen oder herstellen
können oder Identitätsprüfungen machen könnten in den Regionalzentren gibt es Aufsichten
und die müssen auch die Identität kontrollieren.
Die Studierenden werden über Matrikonummern angemeldet
Aber die Identitätskontrolle erfolgt dann über das Aufsichtspersonal. Also da
ist noch nichts eingespart. In Bezug auf die Klausurfragen,
die Software deiner Zeit ist entwickelt worden für den Einsatz in unterschiedlichen Fakultäten.
Das können Multiple-Choice-Fragen sein, so verwenden wir sie in
der Psychologie vielfach, aber nicht ausschließlich.
Die können maschinell ausgewertet werden, aber es sind auch Freitextaufgaben möglich,
wenn sie jetzt nicht zu lang sind.
Prinzipiell wären auch längere Texte möglich. Wir sind jetzt bei
dem Projekt allerdings erstmal gestartet unter der Prämisse Keep it Simple
Wir haben jetzt keine externe Tastatur. Wir haben nur die Interstatur,
die die Studierenden verwenden können. Das heißt also,
wir haben Lückentextformate, die Studierenden müssen beispielsweise in der Psychologie
in der Statistik auch rechnen und dann auch mal Zahlen eingeben oder mal eine Formel.
Das ist alles möglich, aber bei dem Format,
das wir momentan realisieren, wenig Freitext.
So, und die Studierenden können auch über diese Software dann
Klausureinsicht nehmen und das können sie dann auch von zu Hause
über eine geschützte Umgebung
Habe jetzt gerade das Zeichen bekommen, ich habe noch fünf Minuten,
ich verzichte jetzt mal hier auf diese Demo,
da wäre jetzt eigentlich nur die Demonstration der unterschiedlichen Klausurformate,
das habe ich jetzt mündlich schon vorweggenommen.
Ich komme eher nochmal zu der Frage, die vielleicht den
einen oder anderen interessiert, Multiple Choice Prüfung an Hochschulen.
Ich bin Psychologe, deshalb mache ich gerne Werbung dafür, sich mit diesem Format nochmal auseinanderzusetzen.
Wir prüfen in der Psychologie die Kompetenzen des Hochschulqualifikationsrahmens,
also auf der einen Seite die Fachkompetenzen,
die sich unterteilen in Fachwissen und dann auch die Kompetenz,
dieses Fachwissen anzuwenden über Multiple-Choice-Fragen, die dann aber etwas komplexer sind,
aber auch die sogenannten Selbstkompetenzen,
also beispielsweise professionelles Selbstverständnis als angehender Psychologe, angehende Psychologin.
Wen es interessiert, hier gibt es einen wunderbaren Artikel von Kolleginnen vom Leibnetz-Institut für die Pädagogik der Naturwissenschaften und Mathematik am IPN. Weiteres Vorgehen,
ja, wir hatten eine ausgiebige Pre-Test-Phase,
an deren Ende im September dann tatsächlich eine Echtklausur stand,
allerdings nur in zwei Regionalzentren der Fernuniversität und auch nur in einem Modul,
um diese ganzen IT-Infrastruktur-Komponenten zu testen, den Umgang mit dem Endgeräten,
das haben wir auch in Pre-Tests, in kleineren Seminaren,
dann mit Studierenden getestet, jetzt in der Klausurkampagne im März,
führen wir die E-Klausur an vier Regionalzentren ausschließlich ein.
Also in Hamburg, Stuttgart, Bonn und Berlin werden nur noch
E-Klausuren geschrieben. Das sind in etwa 1.500 bis 2.000 Klausuren
in den anderen Regionalzentren wird noch die herkömmliche Papierklausur geschrieben.
Wir begleiten dieses Projekt wissenschaftlich, wir kooperieren mit der RWCH,
hatte ich kurz schon angesprochen und auch einem Kollegen und einer
Kollegin am Lightnings-Institut für Wissensmedien in Tübingen, dem IWM.
Und beschäftigen uns ansonsten, ich mich auch persönlich weiter,
damit meine Kolleginnen und Kollegen in anderen Fakultäten auch über
den Projektstand zu informieren und auch dazu einzuladen,
sich an dem Projekt zu beteiligen.
Ein letzter Punkt, wenn die iPads nur angeschafft werden,
dass sie dann für die Prüfung genutzt werden,
dann wäre es ein nicht sehr nachhaltiger Umgang.
Wir entwickeln weiter auch im Bereich des Blended Learnings alternative Nutzungsszenarien
für den Umgang mit den iPads insbesondere in den Präsenzveranstaltungen,
in den Regionalzentren und haben haben hier auch schon entsprechende Projekte aufgesetzt.
Das Interessante aus wissenschaftlicher Sicht noch einmal in der nächsten Klausurkampagne
und das macht es für die wissenschaftliche Begleitung interessant.
Wir haben so was wie ein natürliches Experiment. Wir haben einmal Regionalzentren,
in denen wir die E-Klausur zum Einsatz bringen und das andere,
das zeigt wie dieser untere Strang.
Sie sehen da auch diesen Multiple-Choice-Eingabebogen, den wir verwenden,
der wirklich sehr antiquiert und aufwendig ist.
Die müssen dann eingescannt werden und so weiter,
bevor sie dann weiterverarbeitet werden können,
aber sie haben im Grunde genommen zwei Bedingungen,
die sie jetzt
schön miteinander vergleichen können
Wir haben sehr, eine sehr diverse Studierendenschaft,
also das Durchschnittsalter unserer Studierenden ist bei Mitte 30 mit einer sehr großen Streuung,
also ganz anders als an anderen Universitäten,
auch in Bezug auf Migrationshintergrund oder andere diversitätsstiftende Variablen.
Und wir haben jetzt hier eigentlich wirklich einmalige Bedingungen,
die Effekte auch, der entsprechenden Formate auf zum Beispiel,
ja, psychologische Variablen, also Angst vor Prüfung,
Prüfungsvorbereitung, etc. zu erfassen,
aber auch dann auf Prüfungsparameter,
wie die Bearbeitungsgeschwindigkeit und im Endeffekt wahrscheinlich
sogar auf die Noten
Ja, das war mein Vortrag.
Das wollte ich Ihnen weitervermitteln über unser Projekt und ich
danke für Ihre Aufmerksamkeit