Ich möchte heute über das Thema domänenspezifische Kompetenzmessung sprechen,
mit der Idee, dass mittlerweile ja das Thema E-Assessment
und an den Universitäten jetzt eigentlich ganz gut etabliert ist.
Und wir haben mittlerweile verschiedene E-Assessment Center und wenn es nur so leicht wäre,
wie Dinge wie Gewicht oder Größe oder Schnelligkeit zu messen,
das ist halt nicht.
Also gerade wenn wir uns damit beschäftigen,
vielleicht sogar Kompetenzen messen zu wollen, dann wird es schwieriger.
Wo sind wir momentan beim E-Assessment? Ich denke,
wir haben zum Beispiel auch mich okay,
das hat ja auch ein E-Assessment-Center bei sich an der Universität
und es gibt große Einheiten mittlerweile in den letzten Jahren gegründet worden sind.
Und bei dem Thema das Erinnern, das Verstehen und das Anwenden zu testen,
sind wir auf einem guten Weg und haben das eigentlich ganz gut im Griff.
Insofern, wenn wir aber was darüber hinaus, also Kompetenzen messen wollen,
ist es halt nicht so leicht wie einfach Fertigkeiten oder Fähigkeiten zu messen.
Also wenn man es vorstellen würde, wir wollen wissen,
wie stark sie sind,
dann könnten wir jetzt draußen so vier Blöcke hinlegen und dann
könnten wir das sehr leicht einschätzen
Und mittlerweile wollen wir aber in unseren Eloning Centern auch höher gehende,
ja, eine höher gehende Kompetenzen messen.
Und wir wollen vor allem in der Taxomie hochgehen zum Thema Analysieren,
evaluieren und auch zum Erzeugen von neuen Problemlösungen.
Und wie kann man das nun machen? Das hier ist
ein Bild aus den 60er Jahren. Da hat der Kollege Rich Havison,
damals für die NASA, sollte der denen helfen,
bei der Auswahl von Astronauten, Und die Wolken testen,
inwieweit wer gut geeignet dafür ist, dann im Weltall sich im Weltraumanzug zu bewegen.
Und man hätte nun einfaches Fitnessmaß machen können und hätte
die verschiedene Ausdauer und Beweglichkeits- und etc. Messungen machen können.
Es hat sich aber gezeigt, dass das kein gutes Maß dafür ist,
wie man sich dann tatsächlich im Raumanzug bewegt.
Und deswegen hat dann mit Javison den ganzen Bereich der Performance,
Space Assessment entwickelt. Und die Grundidee davon ist,
dass man halt genau die Leistung misst,
die gelernt werden soll und nicht in irgendeiner Weise andere, Teil-Kombinationen.
Und das Interessante dabei ist halt immer dann herauszufinden irgendwann,
was macht eigentlich etwas schwierig, was macht das schwierig,
zum Beispiel in der Raumanzug sich zu bewegen.
Und man muss sich immer die Frage stellen,
ob halt eine Kombination von verschiedenen Faktoren tatsächlich eine authentische Prüfung notwendig macht.
Kann ich Dinge einfach isolieren,
die ich dann einfacher testen kann oder muss ich in irgendeiner
Weise in der Testsituation sowas ähnliches machen,
wie man dann später zum Beispiel im Berufsalltag dann auch
leisten müsste
Und wenn das dann so ist, dann muss man sich Gedanken darüber machen,
wie man das umsetzt. Jetzt ist es so,
dass viele, viele von unseren Absolventner den Hochschulen natürlich,
deren Arbeit findet, zunehmend an Computern statt.
Also das spricht schon mal dafür,
dass ich dort eigentlich vielleicht mit Computern, mit E-Assessment,
das ja auch testen können sollte, was sie später machen.
Es gibt etwas, das wird Washback-Effekt genannt,
die Rückwirkung des Testformates aus die Lernanstrengung. Wir haben eben gerade
sehr schöne Beispiele dafür gesehen, wie intensiv dort gearbeitet wird.
Wenn dann aber am Ende nur eine sehr einfache,
wissensbasierte Test steht, konnte karikiert, dass die Mitarbeiter der Studierenden.
Irgendwann kriegen die das mit, dass sie zum Schluss eigentlich
nur noch auswendig lernen sollen. Und dann werden sie dann
auch noch nach auswendig lernen und sich halt nicht mehr damit beschäftigen.
Also insofern am Computer testen wäre eine gute Idee.
Eine ganz einfache Lösung wäre natürlich,
ich nehme so die sogenannten Tools of a Trade.
Beispiel in der Methodenausbildung. Ich nutze einfach eine Statistik-Software,
möglichst eine Open-Source-Statistik-Software und lasse die dann,
die Studierenden,
dann echte Daten auswerten
Das ist auf alle Fälle eine gute Möglichkeit. Es gibt ein paar Probleme,
manchmal ist es einfach, hat man,
kauft man sich da mal so eine Überkomplexität,
gerade für die Prüfungssituation ein, sowohl in der Bereitstellung,
in der Vorbereitung selber, aber auch für die Studierenden selber.
Man kann die auch schlechter anleiten, während das Prüfungsprozess ist, also in Richtung der Prüfungsdidaktik.
Man kann nicht unbedingt Szenarien ansetzen, die Datensammlung wird schwierig,
man hat plötzlich diese Daten in diesem System konvolutartig.
Und auch die Ausordnung ist schwierig. Und insofern geht man
dorthin mittlerweile in der E-Assessment-Bereich von den Maltebescheust-Formaten hin zu eher innovativen altem Formaten hinzugehen,
also neue Formate zu entwickeln, die können zum einen offen sein,
also das ist vielmehr konstruierte Antworten gegeben werden mit längeren Texten,
dass man die Auswertungsalgorithmen anpasst, dass man halbautomatische Auswertungsmöglichkeiten hat,
auch von Kurzantworten oder sogar von Essays und dann die Authentizität.
Es ist viel mehr daran, sich orientiert,
was man später tatsächlich zu tun hat und dass auch die
Arbeitsumgebung authentischer sind.
Nicht vollkommen eins zu eins,
aber authentischer
Möglichkeit, natürlich der Medienanreicherung. Ich kann zum Beispiel Videosequenzen
einspielen, um dann in Heilungssituationen herzustellen oder Analysemöglichkeiten aufzubauen.
Und man kann sogar mit Simulation, Interaktivität entwickeln.
Jetzt ist das so mit der Authentizität natürlich so eine Sache.
Man sieht mal zum Beispiel so ein Beispiel,
das ist an einem Beispiel, wie zum Beispiel Tennis,
vorstellt, es gibt sehr, sehr gute Tennissimulationen.
Doch, wenn man jetzt am Rechner sitzt,
ist halt schon ein Unterschied, ob ich so an Tennis
weggehen in der Hand habe oder mit einem Controller.
Es gibt sowas dazwischen halt mit den Wie-Controllern. Dennoch ist es
natürlich nicht dasselbe. Also sehr gute PlayStation-Tennisspieler werden trotzdem nicht
in die Welthangliste eingehen. Das ist eine andere Sache. Jetzt ist die Frage,
wie kann man jetzt,
also es gibt ja auch große Bemühungen mit Multiple Scheuses,
viel abzubilden und man muss natürlich auch sagen,
dass man auch mit Multiple Scheuses auf dieser Saxonomie-Ebene sehr hoch gehen kann,
aber dann ist die Konstruktion extrem aufwendig.
Dann muss ich, also in den USA für gute Multiple
Scheus fragen, wird pro Item 1500 Dollar ungefähr bezahlt.
Es ist so aufwendig, während der Multiple Scheuses für die Berufsabschlüsse dort entwickelt.
Aber natürlich ist das Problem, wenn der Malte Bescheust es ist,
dass man einmal die Problemlöse, Prozesse verliert.
Man hat dann wirklich nur noch Ergebnisse. Gut,
man kann es auch aufwendig versuchen, das in Prozesse aufzuteilen.
Aber da hat man wieder Schwierigkeiten mit der Validität.
Und natürlich die Gefahr der Dekonsexualisierung. Man macht das in
kleine Teile dort hinein, hat nicht mehr diese gesamte Aufgabe.
Ich habe ja meinen Titel so ein bisschen geändert,
den habe ich nämlich, habe ich vorhin gar nicht gesagt.
Ich habe gesagt, in Open E-Assessment-Systemen, weil jetzt im
Gegensatz von Herrn Igel, will ich das vorstellen, was ich zeigen darf.
Und was, wo wir auch ins Gespräch kommen können,
dass sie es benutzen können. Wir haben Projekte,
was beim BMWF gefördert ist, im Rahmen der Escort-Initiative,
und da geht es um die Messung von Domänen spezifischer Problemlöse-Fähigkeit.
Am Beispiel der Industriekaufleute. Okay, ich gebe zu,
Industriekraftleute sind noch nicht auf dem Niveau,
wie wir es jetzt an der Universität kennen,
aber ich denke, dass zumindest im Bachelor-Bereich einige von den Elementen,
die wir dort messen,
durchaus auch in Einführungsveranstaltungen
einsetzbar wären
Und wenn man sich ein erfolgreiches Problem lösen anschaut in Domänen,
dann geht es da halt nicht nur um kognitive Prozesse,
sondern auch um meta-kobitive Prozesse.
Also um das darüber nachdenken, was sie dort eigentlich machen.
Und das ist so ein Bereich, der sicherlich im E-Sessment
bisher wenig angeschaut wird, um emotional multivationale Prozesse.
Wie viel Lust habe ich eigentlich jetzt, mich damit auseinanderzusetzen?
Wie kann ich meine Stimmung regulieren, um jetzt hier
eigentlich noch weiterzukommen? Wir haben in dieser Projektgruppe,
das ist eine Projektgruppe aus vier verschiedenen Universitäten, aus Frankfurt,
Mannheim, Bamberg und Bremen und das Dipf in Frankfurt ist auch mit dabei.
Haben wir erstmal so ein allgemeines Modell, domänspezifische,
problemlöse Kompetenz entwickelt, wo man hier wiederfindet, Wissen,
Handlungsregulation, also kognitive Aspekte und dann nicht kognitive Aspekte.
Und die haben wir in Richtung Selbstkonzept.
Also wie weit traue ich mir das überhaupt zu,
dafür eine Lösung zu finden und das Interesse an dem Ganzen über den Verlauf von den Problemlöseprozess.
Und die Sache ist ja die, dass wir eigentlich,
wenn wir testen an den oder Prüfungen machen an der Uni,
dass wir auf der einen Seite ja vor unserem Auge ein
gewisses Domänenmodell eigentlich haben davon,
was die Personen können und dann dafür
einen Test machen
Außer Testtorie müssen wir ja eigentlich dazwischen ein echtes Kompetenzmodell haben.
Das gibt es nicht immer so explizit. Das ist ja momentan
auch Inhalt von mehreren Projekten, die ja vom BMBF gefördert werden.
Und das zeigt sich schon, dass es relativ schwierig ist.
Was das größte Problem tatsächlich eigentlich an den Testmodellen,
aktueller Präger, unserer Meinung nach ist,
dass sie versuchen mit einzelnen Tests einzelne Elemente,
dass der Testmodelle zu prüfen.
Und dadurch werden die einzelnen Items eigentlich so ein bisschen nicht mehr valide.
Und wir versuchen das zu umgehen, indem wir sagen,
tatsächlich hat jede Aufgabe, die man macht,
hat meistens doch Elemente von mehreren Aspekten des Kompetenzmodells.
Das macht es natürlich von der statistischen Modellierung ziemlich komplex.
Deswegen haben wir auch das Tipp in Frankfurt dabei,
die da mit uns diskutieren. Jetzt ist das Schöne gut.
Das ist natürlich so Forschungskontext und das ist ungleich Lehrpraxis.
Und man denkt sich, gut, wir wissen,
dass wir eigentlich unser Prüfung auf Kompetenzvorstellung, Kompetenzmodellen aufbauen müssten.
Aber wie kommen wir überhaupt dahin? Wie könnten wir
das machen? Und wir haben jetzt eine Plattform entwickelt,
eine Software, mit der sie mit uns kooperierente arbeiten können.
Wir haben ein Beispiel, das ist jetzt die Ries und Müller,
das ist eine Firma, mit der wir zusammenarbeiten,
um jetzt tatsächlich authentische Problemstellung zu entwickeln im Kontext von Industriekaufleuten.
Da haben wir drei Problemssanalien entwickelt, jeweils 30 Minuten lang
ein Szenario. Man merkt schon, man muss sich,
also das sind keine kurzen Aufgaben, sondern das sind wirklich komplexe Dinge,
mit denen man sich eine gewisse Zeit beschäftigen muss.
Und die steigern sich in den Anforderungsherniveaus. Wer aus der Wirtschaftswissenschaft kennt,
der wird diese Themen kennen, Abweichungsanalyse bedeutet,
ich habe was produziert und es ist irgendwie teurer geworden,
als ich dachte.
Jetzt muss ich reingehen und sagen, warum ist denn das
eigentlich teuer geworden? Lieferantenauswahl, ich habe verschiedene Anbieter,
die mir was produzieren würden oder was liefern würden.
Ich nehme den billigsten oder vielleicht den besten.
Das ist so die Frage, wer ist da der Beste?
Und Eigenfertigung versus Fremdbezug, ich will ein neues Produkt machen
Soll ich mir das von jemand anderes produzieren lassen oder politisiere ich selber?
Okay, das sind so typische Prozesse bei Industriekaufleuten,
aber sie können das natürlich immer in ihrer Domäne jetzt übertragen.
Weil was wir gemacht haben, ist,
dass wir in der Umgebung entwickelt haben, indem man Szenarien entwickeln kann,
entwickeln kann, indem man im Verlauf steuern kann.
Und wir haben jetzt, und ein System gemacht,
in dem man beliebige, eigenentwickelte Item-Formate aneinander und ineinander schachteln kann.
Das, was man jetzt hier sieht, ist so eine Art,
generalisierte Arbeitsumgebung eines kaufmännischen Mitarbeiters und Mitarbeiterinnen. Das heißt,
ich habe eine E-Mail-Umgebung, wo ich E-Mails bekomme,
sehr viel der Kommunikation läuft, über E-Mails.
Ich bekomme eine E-Mail, eine Nachricht von meiner Vorgesetzten.
Das ist aber prinzipiell die Aufgabe, die dort gestellt wird.
Und habe dann gleichzeitig verschiedene andere Werkzeuge wie Zugang zu verschiedenen Dokumenten.
Und all diese Sachen, die Sie sehen,
die sind in XM11 definiert. Das heißt,
Sie werden während das System läuft,
neu im Grunde aufgebaut dafür
Wenn Sie ein anderes Szenario bauen wollen, könnten Sie tatsächlich
das Werkzeug nehmen und damit ihre eigenen Szenarien aufbauen.
Wir haben ein weiteres Item-Format erstellt, und zwar,
das heißt Tabellenkalkulation. Okay, jetzt sagen Sie,
gut, Tabellenkalkulation gibt es natürlich, gibt es ja schon,
Open Office, Microsoft Office, Aldi haben alle eine Exabellenkalkulation eingebaut.
Das ist jetzt eine vereinfachte Tabellenkalkulation, die uns erlaubt,
genau mitzuschneiden, was die Personen dort machen, dort verschiedene Unterstützungen zu geben.
Und man kann sich jetzt Aus jeder Domäne verschiedene Werkzeuge vorstellen. Man könnte im Projektmanagement sich vorstellen,
dass man ein Gunshart-Tool hat oder in der Softwareanalyse vielleicht bestimmte Debugger oder ähnliche Dinge,
sodass man dort immer wieder eigene domänspezifische Werkzeuge einbauen kann,
die dann als Itemers innovative Item genutzt werden können.
Und so arbeiten dann die, in dem Fall jetzt
die Schüler und Schülerinnen, aber Zukunft natürlich auch Studierenden.
Und dabei werden und die bauen sich dann zum Beispiel eine Antwort,
E-Mails zu sagen, wo sie dann an die Analyse dort vorstellen,
die die Tabellenkollklasse zu tun.
Und das hat Vorteile gegenüber denen, wenn ich es mit
normalen Tools mache. Ich könnte natürlich auch sagen,
wir machen hier, schicken wirklich echte E-Mails rum.
Aber all das in einem Prüfungskontext umzusetzen, ist zum ersten schwierig.
Und dann wird es schwierig im Kontext von der Auswertung.
Das ist jetzt ein Blick, das ist tatsächlich
noch gerade als Baustelle, das ist die Rating-Umgebung.
Also sobald ich solche offenen Formate mache, dann musste man
sich überlegen, okay, wie kann ich das bewerten?
Man kann bestimmte Sachen automatisiert machen. Da kann man gucken,
ob bestimmte Sachen einfach richtig sind. Dann gibt es aber
immer wieder Fälle, wo man sich das anschauen muss.
Und hier ist eine Detailvergrößerung jetzt. Das heißt,
wir haben hier links ein Codierschema, wo dargestellt wird,
wann der Proband jetzt hier, in dem Fall die Teilnehmerin,
einen Punkt kriegen soll oder nicht.
Auch diese Codierschemata sind wieder frei definierbar. Und was jetzt die Umgebung macht,
ist, dass man gleichzeitig aber auch Unterstützungs Ja,
also man kann definieren, wonach zum Beispiel die Plattform suchen soll,
in den Antworten, die dort gegeben worden sind.
Das heißt, die durchsucht den kompletten Lösungsraum, der jetzt,
der kann in dem Fall jetzt zum Beispiel sagen,
die E-Mail, der ist Notizblatt, die Tabellenkalkulation, Blätter,
die dort erstellt worden sind und kann dann dort solche richtigen Wörter oder richtigen Strukturen markieren,
sodass sich als Raiter tatsächlich ein Spiel schnelleren Überblick habe,
wo es eigentlich jetzt vielleicht was richtig oder nicht.
Ich muss es trotzdem noch semantisch prüfen als Raiter und zum Beispiel bei den Tabellenkalkulationen bedeutet,
dass es nicht nur Werte auf richtig falsch geprüft werden können,
sondern natürlich auch die Formen, die dahinter stehen.
Genau. Und insofern, also die Plattform heißt Teba Goslar für
Technology Based Domain Specific Learning Assessment. Wir haben sie jetzt umgesetzt,
wir haben sie jetzt umgesetzt für Industriekaufleute, mit ganz speziellen Itemformaten,
aber sie ist prinzipiell eine offene Architektur zu verstehen,
dieses Open Source und wird auch in Kürze öffentlich bereitgestellt.
Es gibt diese XML-basierten Szenarienbeschreibungen, das heißt,
sie können ihre Szenarios entwickeln in der Umgebung
Als Beispiel für solche Rich Items sind halt die Tabellenkalkulationen und die E-Mail-Umgebung zu verstehen,
aber sie können sich ganz andere Dinge dort im Grunde vorstellen.
Wir protokollieren automatisch das, was dort passiert, um Prozesse zu analysieren.
Das kann teilweise dann automatisch erfolgen, dass sie wissen wollen,
welche Dokumente geöffnet worden sind und ob die richtigen Dokumente lange genug geöffnet worden sind.
Solche Sachen können sie machen. Und sie haben sowohl eine Zeit als
auch eventbasierte Steuern des Testverlaufs. Das heißt, sie können sagen,
nach zehn Minuten kriegt man eine Störung und dort kriegt man plötzlich das Bild eines Kollegen,
der rein anschaut und Hallo sagt und sagt, du,
schau mal, was ich hier auf Facebook gesehen habe und dann kann man gucken,
wie lange halten sie sich damit auf.
Und auch eventbasiert. Wenn ich etwas abschicke,
wenn ich etwas öffne, dann kann etwas passieren.
Der Testverlauf, der gesamte Ablauf kann man nachher auch sich anschauen.
Man kann auch sehen, wie Lösungen aufgebaut worden sind.
Dekodierung ist auch wieder im XML basiert.
Das heißt, ich kann mir eigene Kodierschematas entwickeln
Und auch mir Auswertungsunterstützung definieren. Also welche Wörter, welche Formeln etc.,
wer sollen gesucht werden, worauf soll er mich im Hintergrund hingewiesen werden,
wenn ich dort auswerte. Des Weiteren haben wir,
ja, R-Skripte zur automatisierten Auswertungsmöglichkeit,
die ganze Nutzung wird halt in der Datenbank reingeschrieben und dann kann man da wiederum Muster analysieren und ausführbar ist das Ganze und das war wichtig für uns,
weil wir das in ganz Deutschland eingesetzt haben bei knapp 1000 Schülern und ganz,
ganz vielen verschiedenen Berufsschulen, dass man es wirklich über Stick-Terminal-Server Tablet,
online, alles im Gründer, deployen konnte,
weil das war in den Crew-Kontext schwierig.
Ich hoffe ja immer, dass es an den Unis mittlerweile
viel einfacher ist. Ich würde mich sehr freuen,
wenn sie so stepping up your ear Assessment-Game,
also wenn sie jetzt ein bisschen in die Richtung gehen wollen,
auch mal auszuprobieren, wirklich weitergehende Szenarien zu nutzen.
Da würde ich mich sehr freuen,
dass sie mich kontaktieren oder über das ZMML.
Vielen Dank für die Aufmerksamkeit