Ja, ich möchte heute über ein Thema sprechen zusammen mit
meinem Kollegen, das mich schon sehr lange begleitet.
Seit meiner Zeit als Rektoratsreferent am Karlsruher Institut für Technologie
zu einer Zeit, als wir damals in die Exzellenz,
in die Bewerbung um die Exzellenzinitiative gezogen sind.
Und heute kann ich in meiner neuen Funktion das mit
Big Data Analysen kombinieren. Und der Big Data ist ja
das Thema der Tagung
Und wie wir gesehen haben, haben wir ja heute in
allen möglichen Bereichen enorm viele Daten zur Verfügung,
die uns für die Nutzung zur Verfügung stehen.
Mein Vorredner hat über Forschungsrohdaten gesprochen, die heute in immer größeren Umfängen anfallen.
Mein Kollege und ich möchten heute über einen anderen Typ von
Mengen oder Massendaten sprechen, nämlich über die Potenziale,
die Publikationsmetadaten zur Verfügung stellen.
Zum Beispiel als Grundlage für die Erarbeitung einer zukunftsfähigen Forschungsstrategie
Wie wichtig sind Keymetricks für strategische Planungen und Überlegungen?
Und vielleicht kennt der ein oder andere von Ihnen diesen Dilbert Comic.
Wir möchten heute aber nicht so pessimistisch und zynisch sein,
was den Wert von sogenannten Keymetricks für die Strategiebildung betrifft,
sondern wir möchten in einer etwas optimistischeren Weise versuchen zu zeigen,
Das eine zum Zwecke der Profilbildung eine Forschungsstrategie hilfreich sein kann.
Wir möchten zeigen, dass ein klassischer Regelkreis auch die Umsetzung
einer Forschungsstrategie innerhalb der Hochschule unter bestimmten Voraussetzungen ermöglichen kann.
Und wir möchten dann an einem Praxisbeispiel ein paar Big Data-Analysen vorführen,
die eine Standort und eine Zielbestimmung auf dem Weg in eine
bestimmte Forschungsstrategie
Nun, wie notwendig ist, eine Forzenstrategie. Ich denke,
wir sind uns alle einig, dass Forschung ein Schlüsselgeschäftsfeld einer Hochschule ist,
neben der Lehre und den Finanzen. Viele setzen,
wenn es darum geht, für ihr Forschungsportfolio eine Strategie,
eine Roadmap zu definieren, lediglich auf, sagen wir mal,
weitsichtige Berufungen und auf eine gute Ausstattung.
Das kann subsidiär zu hervorragenden Resultaten führen. Manchmal verlangt aber der Wettbewerb als externer Faktor eine Profilbildung in der Forschung,
zum Beispiel der Exzellenzwettbewerb, die Internationalisierung,
Rankings, eine wirtschaftliche Autonomie,
in die die Hochschule strebt oder in der sie sich plötzlich wieder willen,
findet und hier können tatsächlich Instrumente,
bewährte Instrumente vorsichtig und mit Augenmaße eingesetzt für mehr Planung und Steuerung
am Ende zu einer Profilbildung im Bereich der Forschung für die Hochschule führen
Eine Forschungsstrategie zu entwickeln und auch durchzusetzen,
ist sicher eine Herausforderung, wie sie mir bestätigen werden,
den Universitäten sind und bleiben besondere Organisationen.
Fakultäteninstitute und sonstige Forschungsverbünde fühlen sich der Zentralverwaltung in der Regel nur sehr lose verbunden.
Mir hat mal der Direktor eines drittmittelstarken Instituts gesagt,
er erfülle sich der Zentralverwaltung überhaupt nicht rechenschaftspflichtig und überhaupt die würden die nur behindern letztes Mal,
als er versucht hätte,
jemanden einzustellen,
hätte das viel zu lange gedauert und so fort
Daher hat sich zur Entwicklung einer Forschungsstrategie, die natürlich auch von denen,
die sich am Ende umsetzen sollen, mitgetragen wird,
ein Beteiligungsprozess, als probates Mittel etabliert in diesem Kontext,
diskutieren und entwickeln Management und Wissenschaftler,
die Forschungsstrategie gemeinsam nach dem sogenannten Gegenstrom-Prinzip.
Aber selbst wenn es gelingt, in einer Gegenstromdiskussion so etwas wie eine Priorisierung,
eine Forschungsstrategie zu entwickeln, kann man die nicht einfach top down umsetzen.
In der Praxis hat sich so ein Er hat sich
das Tick and Carret-Prinzip, wie man so sagen,
so als Schlechtes, als Bestes der unvollkommenen Steuerungsinstrumente bewährt,
um eine Forschungsstrategie tatsächlich durchzusetzen. Im Idealfall gelingt es,
an einer Hochschule tatsächlich so einen zyklischen Regelkreis zur Umsetzung einer Forschungsstrategie zu etablieren,
der in sich selber läuft, der einmal im Jahr abläuft,
der im Sinne fast des agilen Prinzips eine kontinuierliche Korrektur und Zielerreichungsüberprüfung ermöglicht,
Der beginnt immer mit einer Standortbestimmung.
Hier werden wir nachher noch ein Beispiel zeigen,
der beinhaltet die Definition von strategischen Zielen zunächst abstrakter Natur,
der verlangt im Weiteren die Definition von Erfolgskriterien.
Und das sind dann tatsächlich smarte, also spezifische,
messbare Dinge, wie zum Beispiel der Impact von Publikation,
die absolute Höhe von Drittmitteln,
Technologietransfer,
Informationen bekanntlich haben ja die Empfehlung des Wissenschaftsrates für den Kerndatensatz
hier zuletzt einen Anlauf gemacht hier
einen Standard zu etablieren
Leistung muss gemessen werden, das kann intern passieren,
das kann extern passieren, in den großen Publikationsdatenbanken.
Leistungsdaten müssen natürlich interpretiert werden. Mir hat mal ein Professor gesagt,
ich hatte 400 Publikationen letztes Jahr. Ich sage, ja,
das ist ja gut, aber er war da mehr oder weniger
oder haben sie die mit mehr oder weniger Ressourcen?
Erwirtschaft ist letztes Jahr, haben sie damit eine Benchmark erreicht
und wie gut waren die eigentlich und so weiter.
Also man muss die in Beziehung setzen zu strategischen Zielen natürlich,
zu Sollgrößen und so
Um dann schließlich eine Management-Entscheidung zu treffen.
Ich war immer geschockt von der Brutalität dieses Prinzips,
da sagen ja viele Leute, oh Gott,
da müssen wir halt stärken, stärken, schwächen, schwächen.
Und dann geht es wieder los mit der Standortbestimmung und so
rollt das immer weiter ab. Entscheidend,
und jetzt kommen wir zum eigentlichen Thema, ist ja,
dass sie rund um diesen Zyklus drei Dinge brauchen.
Daten, Daten, Daten, und zwar in allen Phasen.
Und jetzt reden wir über Datenmengendaten, die es ermöglichen,
die Qualität und die Verortung der Forschung der Institution
seriös zu messen
Genau. Und hier stehen tatsächlich inzwischen interessanter und sehr,
sehr taugliche Instrumente zur Verfügung. Denken Sie an die großen Publikationsdatenbanken,
Skopus, Web of Science, Social Media, Networks,
aber auch Forschungsinformationssysteme, können hier hilfreich sein.
Verfügbare Informationen sind dort nicht nur die Forschungsfelder,
also die Themen, in denen die eigene Institution sich bewegt,
sondern auch Qualitätsindikatoren wie traditionelle Metriken oder alternative Metriken,
die immer populärer
Werden. Wir möchten jetzt mal an einem Praxisbeispiel,
mein Kollege wird das im Wesentlichen tun,
eine solche Standortbestimmung und eine Zieldefinition anhand von Echtdaten vornehmen.
Stellen wir uns mal vor, eine Institution möchte sich um
den Exzellenzstatus bewerben oder in irgendeinen anderen Wettbewerb gehen,
indem sie mit anderen in Konkurrenz steht.
Hier muss natürlich zunächst entschieden werden, mit welchen Themen die vielversprechend sind.
Gehen wir denn in den Antrag und welche Wissenschaftlerinnen und Wissenschaftler
Schicken wir ins Rennen. Und um die,
und das ist jetzt wichtig, um die Erfolgschancen zu steigern,
ist die Hochschule natürlich Idealiter in den gewählten Themen bereits profiliert und
die gewählten Themen sind heiß, wie man so schön sagt.
Also die entwickeln sich besonders dynamisch und versprechen eine Aussicht.
Und da wollen wir mal hier, wie schon erwähnt,
einerseits einen Standort bestimmen und dann auch Ziele definieren.
Und das wird jetzt mein Kollege Thomas Asmussen tun
Ja, schönen guten Tag, auch von meiner Seite.
Wir möchten ihn, unseren Big Data Analytics Ansatz aufzeigen.
Ich würde sie, um sie abzuholen, auch ein wenig erläutern,
welche Daten wir verwendet haben und wir, wie die verarbeitet haben.
Herr Wieder, der interessanterweise sehr spannende Fakten über Forschungsdatenmanagement und Verarbeitung
und über die grundlegende Infrastruktur, die davon notwendig ist, erläutern.
Elsevier ist in dem Bereich mindestens ein,
zwei Schritte weiter, weil genau,
wir haben diese Data Scientists in verschiedenen Ausprägungen
Zu Elsevie geholt, um einen ganz besonderen Datensatz oder Big
Data Analytics Ansatz zu entwickeln, auf Basis der Publikationsdatenwachsskopus.
Ja, da gibt es vielleicht, sprechen wir nicht über Petabyte
Dimensionen, da geht es eher auch um große Volumina.
Wir haben da für unseren Big Data einen Ansatz,
den wir ihnen gleich vorstellen,
wo wir ihnen gleich die Ergebnisse daraus vorstellen möchten,
haben wir im Prinzip alle Publikationen aus Skopus genommen, ab dem Jahr 1996,
das sind insgesamt 40 Millionen Einzelpublikationen mit den entsprechenden Metadaten,
von wem wurde das Pape obliziert, von welcher Hochschule,
welche Autoren waren beteiligt welche Paper wurden wie untereinander zitiert.
Wir sind da nicht im Petabyte-Bereich,
aber auch da mit den Metadaten sind das,
ist das ein Datensatz von weit über zwei Terabyte, die dort analysiert haben.
Gerade bei unseren Daten ist die, nicht nur das Volumen der Daten relevant,
sondern auch die Tiefe der Daten und die Qualität der Metadaten, die da hinzugenommen wurden.
Genau. Und dann Big Dead Unalytics Ansatz,
kann man halt dafür nutzen, um überhaupt diese Standortbestimmung vorzunehmen,
die ja von der Mann erläutert hat und auch zu sehen,
welche Themen oder welche Themen in denen ich profiliert bin,
sind wirklich im weltweiten Benchmark auch heiß oder sind es wert,
dort Ressourcen und Investment in Infrastruktur reinzusetzen.
Genau, was wir im Prinzip vorgenommen haben mit diesen 40 Millionen Artikeln,
ist, dass wir die Abstraktexte auch herangezogen haben,
darüber einen im Rahmen eines Text and Data-Manning-Prozesses, die Konzepte,
sprich die Themen, die dort erforscht wurden oder zu dem publiziert wurde,
herausgearbeitet haben mit Natural Language Processing-Experten und wir haben diese Konzepte innerhalb der einzelnen Paper über eine Metaklasse-Analyse in Verwendung von einem High-Performance-Computer geclustert,
auf weltweiter Ebene und haben dem Ganzen auch noch zusätzliche Kennzahlen,
Metriken hinzugenommen, zugezogen.
Beispielsweise, wenn es um die Standortbestimmung geht, eignen sich Publikationsdaten sehr gut,
weil es einfach ein vollkommen transparentes, globales Ökosystem ist,
wo man direkt und wo man den kompletten wissenschaftlichen Output sehr gut visualisieren kann,
hier am Beispiel einer Hochschule aus der Schweiz.
Dort sieht man eine Voll-Universität publiziert in allen Bereichen.
Einer der Schwerpunktbereiche ist der Bereich Ingenieurswesen mit elf Prozent der Publikationen,
die dort in dem Bereich generiert wurden.
Das heißt, erstmal grob, wo bin ich stark,
wo bin ich schon sehr aktiv? Das gibt einem erstmal
die Grundeinsicht. Dann haben wir natürlich bei uns im Haus auch Experten,
die den Impact, die Wertigkeit jeder einzelnen Publikation und der Publikation in Gänze messen,
bewerten und auch mit entsprechenden Metriken in den internationalen, in einen internationalen Benchmark setzen.
Das ist eins der, einer der Metriken,
die wir in bei L sie entwickelt haben,
ist ja Field Weight Ascitation Impact, dass eine Feldgewichtete Impact-Metrik,
wo das Out-Publikationsauswirkt aus Ingenieurswesen gegenüber Physik oder Medizin mit der gleichen Metrik verglichen werden kann,
weil wir da berücksichtigen, weil wir da den Habitus,
die Publikations- und Zitationshabitus,
der einzelnen Disziplin berücksichtigt und gewichtet haben.
Weiterhin gibt es diverse andere Metriken, die man ansetzen kann,
um Publikationsauto zu bewerten, ein anderer Ansatz ist,
wie viel, welcher Prozentteil, wo den Top,
in der Top-Person-Teil der weltweiten Journale probuziert.
Auch hier sieht man zum Beispiel,
wenn es um Kennzahlen geht, eine sehr gute Entwicklung,
dass 40 Prozent der Paper in den Top 10 Publikationen weltweit erfolgen.
Also hier folgt, gerade in diesem Forschungsfeld, Publikationsleistung auf
einem sehr hohen internationalen Niveau. Ja, ich weiß,
2,24 und das liegt über oberhalb des Durchschnitts. Genau,
der globale Durchschnitt für diese Disziplin,
für Paper in dieser Disziplin liegt bei 1. Das heißt,
man liegt hier 124 Prozent über dem internationalen Durchschnitt
Das heißt, die Paper werden überdurchschnittlich häufig zitiert.
Bei einer Standortbestimmung geht es natürlich auch darum, zu erfahren,
welche Experten etablierten Forscher habe ich schon bei mir in der Institution,
wo muss ich vielleicht, ja, was sind die etablierten Experten,
das kann man auch anhand ganz klarer Publikationsbibliometrischen Kennzahlen herausziehen.
Man kann einfach nach der Anzahl der Publikationen gehen,
man kann aber auch nach gewichteten Zitationsmetriken wie dem Field Weight Ed Sitation Impact gehen.
Natürlich bei der schieren Anzahl der Publikationen und bei den Experten,
bei den gesetzten Forschern sind das natürlich Metriken,
ist das schiere Volumen schon sehr aussagekräftig und auch der Age-Index.
Wenn es darum geht, Rising Stars zu identifizieren,
die haben vielleicht noch nicht den hohen Agent-Decks,
da muss man halt andere Metriken ansetzen, um diese zu finden an einer Institution.
Da kann man zum Beispiel nehmen, okay,
was sind denn die Wissenschaftler,
die wir schon an unseren Institutionen haben,
die vielleicht noch nicht so viel publiziert haben,
mal die mit sehr hohem internationalen Impact,
die sehr häufig zitiert und wurden,
was sind sozusagen die Rising Stars bei uns?
Auch das können sie
sehr schnell herausfinden
Und dann gibt es natürlich noch eine Reihe weiterer Metriken,
wo man halt auch Forscher, Forscherteams hinsichtlicher Publikationsleistung bewerten kann. Hier sehen Sie eine Matrix-Analyse,
wo drei Metriken aus Scrollerly Output, sprich Volumen an Publikation,
Field Redizitation Impact, und die Anzahl der Publikationen im Top,
in Top 1% der Journal Personal Times in einer Grafik dargestellt werden,
was hier zu dem Ergebnis führt,
dass in dem Fall Professor Koller die stärkste Kombination aus hohem Volumen,
knapp 240 Paper, 239 Paper,
mit einem Fieldweight-Esitation Impact von 4,76 im Bereich Ingenieurswesen,
Fräuling hat.
Also war wirklich der Platzhirsch, wenn man ihn vielleicht so bezeichnen möchte,
an der Hochschule. So, das sind Sachen,
die wir, wo auch schon Big Data oder eine High-Performance-Computer
für notwendig ist, um diese Zitationsauswertung durchzuführen.
Wir haben aber auf Basis dieser Daten auch noch unsere Algorithmen
weiterentwickelt und einen neuen flächendeckenden Big-Data-Ansatz entwickelt und ausgerollt.
Wir bezeichnen das als Topics of Prominence. Es geht darum,
mit Hilfe von Data Text Mining erst einmal relevante Topics,
Mikroforschungsfelder zu ermitteln, durch eine Metaklasse-Analyse über diesen kompletten Datensatz und dann halt zu gucken,
diesen einzelnen Topics auch eine gewisse Metriken zuzufügen,
um zu erfahren, welches Momentum steckt dahinter, steckt dahinter.
Wenn Sie sich fragen, schon gut,
wozu macht oder welche Relevanz hat denn dieses Momentum,
dass wir identifizieren anhand von drei, kennst die da mit reinspielen.
Das ist der Zitationscount, also wie viele Scitations innerhalb von zwei Jahren aufgebaut wurden,
wie häufig die Paper gesichtet, gelesen wurden und dann auch noch in welchem Journal wurde das entsprechende Paper publiziert. Der Grund,
wieso das dieser Prominenzfaktor oder dieses Momentum höchst relevant ist,
den haben wir, der basiert auf einer Studie für den US-Markt,
wo man geschaut, wo man eine Expostanalyse gemacht hat und sind 94.000 Topics heraus errechnet hat,
aus dem Skopus-Datensatz und geschaut und das halt kombiniert hat und die Korrelation ermittelt hat zwischen US-Funding in Höhe von circa 40 Jahren US-Dollar,
der großen Funding-Buddies in den USA,
NSF von NRH und das Ergebnis sehen sie hier dargestellt,
grob zusammengefasst kann man sagen, 5 Prozent,
die 5 Prozent der Topics mit dem höchsten Momentum haben
75 Prozent des gesamten Funding-Volumens angezogen.
Ja, das macht natürlich dieses,
diesen Big Data Analytics sowohl aus wissenschaftlicher Sicht der Wissenschaftler interessant,
weil sie halt in eine datenbasierte Bestätigung haben,
ich bin in einem Forschungsfeld hier,
die das hohes Momentum hat und halt auch eine hohe Wahrscheinlichkeit hat,
Drittmittel zu generieren und auch Forschungsplanungssicht habe ich halt die,
auch die Sicherheit,
dass das zu meiner Profilschärfung beitragen kann,
dass es nicht nur eine Bauchgefühlentscheidung ist,
dass das sozusagen im internationalen Benchmark eine relevante und die richtige Positionierung ist,
sei es allein auch nur im deutschen Benchmark,
um zu wissen,
okay,
ich bin mit dem Cluster
besser positioniert als Wettbewerber von mir
im Exzellenzwettbewerb
Schauen wir uns das mal konkret an und am Beispiel einer Hochschule.
Das ist eine, das Profil,
wo die Topics berechnet wurden für diese jeweilige Hochschule.
Man sieht da einen klaren Schwerpunkt auf der Engineering und Physik-Seite.
Wenn wir uns eins der Topics herauswählen,
aus Hot Topics an dieser Hochschule, im Campital Engineering-Bereich.
Ist das der Bereich Summer Conductor Contom dort und Nano Crystals Excision Generation?
Also wirklich ein sehr spezifisches Feld im Bereich Campital Engineering.
Dort hat die ETH Zürich ein Publikationsanteil von sagen wir mal 4, 7 Prozent.
Das klingt jetzt noch nicht vermeintlich noch nicht so groß,
aber es ist nachweislich, ist die,
in dem Fall die ETH Zürich hier,
das 1 der Top-8-Institute, was dieses Mikroforschungsfeld mit Publikation,
mit wissenschaftlichen Erkenntnissen in den letzten Jahren befüttert hat.
Und man kann auch direkt sehen, hier sogar,
dass man den führenden Experten an der Hochschule schon,
dass er dort schon vorhanden ist.
Also. Genau, also als kurze Zusammenfassung ist,
dass wir glauben, dass eine datenbasierte Forschungsstrategie zur Profilbildung nicht nur hilfreich,
sondern heute unabdingbar ist im internationalen Wettbewerb, Wettbewerb der Hochschulen.
Ja, und der klassische Regelkreis ermöglicht diese Umsetzung und erst recht,
wenn man Big Data-Analysen aus dem Publikations-,
auf dem Publikationsdatensitz zur Entscheidungsfindung für diesen Beteiligungsprozess der Fakultäten und der Zentralverwaltung heranzieht.
Genau, und zusätzlich Haben wir ein Praxisbeispiel erläutert,
die ihnen auch aufzeigen,
welche Metriken sozusagen diesen Regelkreis wieder zurückgespielt werden können,
zu wo stehe ich,
wo möchte ich hin und welche Etappenziele kennzahlen kann ich anwenden in mein internen System,
um auch die Erreichung dieser Etappen oder den Weg zu dem Endziel auch fortlaufend zu messen.
Ja, vielen Dank von unserer Seite und
gerne hier Fragen