Wetten über die Zukunft von Lernmaterialien

Draft - originally published in: Schön, S., Ebner, M. (2017) Wetten über die Zukunft von Lernmaterialien. „Trendy, hip und cool“: Auf dem Weg zu einer innovativen Hochschule?. Bücker, D., Dander, V., Gumpert, A., Hofhues, S., Lucke, U., Rau, F., Rohland, H., Van Treeck, T. (Hrsg.). W. Bertelsmann Verlag. Bielefeld. S. 33-44. ISBN 978-3-7639-5790-3

Weten über die Zukunf von Lernmaterialien Wie zuverlässig sind Weten zu Aussagen über die Zukunf von Lernmaterialien als Grundlage für zukünfige Einschätzungen? – Wie gut die Expertnnen und Experten bei L3T’s BET lagen. Sandra Schön und Martn Ebner

Inhalt Zusammenfassung................................................................................................................................2 Abstract................................................................................................................................................2 1. Einleitung..........................................................................................................................................2 2. Konzept der Live-Wete zur Zukunfsforschung ..............................................................................2 2.1. Konzept „L3T’s bet!“ im Überblick........................................................................................................2 2.2. Zuordnung zum Ansatz der Prognosemärkte........................................................................................3 2.3. Konzeptonelle Besonderheiten des Verfahrens und Überlegungen dazu............................................4 Zielsetzung: Informierte Einschätzungen zur Zukunf mit Experten.......................................................4 (Kurze) Zeitdauer und Zahl der Teilnehmer (weniger als 50)..................................................................5 Zusammensetzung der Teilnehmer/innen und wechselseitge Beeinfussungen...................................5 Rolle der Währung und der Anreize.......................................................................................................6 Bestmmung einer Jury...........................................................................................................................7

3. Durchführung der Wete und Interpretaton des Wetverhaltens .................................................7 4. Validität der Ergebnisse ...................................................................................................................8 5. Diskussion: Sind Weten für die Zukunfsforschung brauchbar?...................................................10 Literaturverzeichnis............................................................................................................................11 Autoren...............................................................................................................................................13

1/13

Zusammenfassung Aus dem Wetverhalten, so die Erfahrung bei Sportweten und Präsidentschafswahlen, lassen sich relatve gute Vorhersagen für den Ausgang von Sportereignissen und Wahlen ableiten. In diesem Beitrag wird das Konzept und Erfahrungen mit einer Live-Wete beschrieben, bei der Expertnnen und Experten auf kurzfristge Entwicklungen im Bereich der Lern- und Lehrmaterialien weten. Der Beitrag schließt mit Empfehlungen für Nachahmer/innen.

Abstract Betng on presidental electons and sport results are relatvely good sources for predictons about their outcomes. The concept and experiences with a live bet on future developments is described within this contributon. A frst implementaton was about the future of learning and teaching materials. Finally, the contributon gives recommendatons for imitators.

1. Einleitung Die Beobachtung von Wetverhalten bzw. das Verhalten auf Wetmärkten als eine Möglichkeit zu betrachten, Aufschlüsse über zukünfige Entwicklungen zu erhalten, hat eine erstaunlich lange Traditon. Mangels entsprechender Umfrageergebnisse wurden entsprechende Analysen der Quoten und des Wetverhaltens bei Wetbüros so in den USA schon nach dem Ende des Bürgerkrieges in der Wahlprognose angewendet, wo sie erfolgreich zur Vorhersage des Ausgangs von Präsidentschafswahlen eingesetzt wurde (vgl. Wolfers, Zitzewitz 2004, S. 1-2; Armstrong, Green 2006, S. 3; Zhao et al., 2008). Für uns waren diese Erfahrungen und Einsichten so interessant und erprobenswert, dass wir ein Wetverfahren entwickelten und mit ihm Aussagen über die Zukunf von Lern- und Lehrmaterialien generierten. In diesem Beitrag werden das Verfahren und seine Hintergründe sowie die Erfahrungen mit dem Einsatz kurz vorgestellt und hinterfragt, wie gut wir damit mitelfristge Entwicklungen zutrefend vorhergesehen haben.

2. Konzept der Live-Wete zur Zukunfsforschung Zunächst möchten wir das Konzept der Live-Weten vorstellen und werden dabei auch auf die Erfahrungen und Empfehlungen im Feld der Prognosemärkte verweisen, die zur Entwicklung des Ansatzes führten.

2.1. Konzept „L3T’s bet!“ im Überblick Entwickelt wurde das Verfahren für ein Expertentrefen zur Zukunf von Lern- und Lehrmaterialien. Der Titel des Verfahrens „L3T's bet!“ beruht auf einer Abkürzung für das „Lehrbuch für Lernen und Lehren mit Technologien“ (L3T) und einer Veranstaltung, bei der sich fast 50 Expertnnen und Experten im Frühsommer 2012 mit der „Zukunf von Lern- und Lehrmaterialien“ auf einer 2 ½ tägigen Fachveranstaltung mit dem Titel „L3T's work“[1] austauschten. Die Fachveranstaltung war so konzipiert, dass die Teilnehmer dabei keine Vorträge anhörten, sondern sich gezielt in unterschiedlichen Arbeitsgruppen mit einzelnen Aspekten auseinandersetzen, diskuterten und eigene Vorstellungen dokumenterten konnten. „L3T's bet!“[2] war dabei integraler Bestandteil der Abendveranstaltung am 2. Tag (und letzten Abend) der Veranstaltung. 32 Teilnehmer/innen haben beim festlichen Abendessen und an den Weten teilgenommen, die zwischendurch erklärt, moderiert und ggf. während ca. 150 Minuten geändert werden konnten. Ein 2/13

Teilnehmer fungierte als Moderator und erklärte die Spielregeln, die neben den Tischen auch auf Flachbildschirmen eingeblendet wurden; Zetel mit allen 12 Thesen wurden ausgeteilt; die Jury, die Preise und drei Pokale präsentert. Dann wurden Spielsteine (Jetons) nach spezifschen Regeln gesetzt. Als Zeithorizonte, auf die man setzen konnte wenn man davon ausging, dass die Aussage dann eintrefen wird, wurden „in 6 Monaten“, „in 7 bis 12 Monaten“, „in 13 bis 18 Monaten“ bzw. „später/nie“ vorgegeben. Die Teilnehmer/innen müssten sich dabei nicht auf ein bestmmtes Feld beschränken, sondern könnten ihre Spielsteine häufeln bzw. verteilen (max. 3 Steine pro Aussage). Es war gewünscht, dass sich die Expert/inn/en dabei austauschen, ein neues Setzen der Spielsteine innerhalb der Setzphase war jederzeit möglich. Tab.1: Beispiel für die Auswertung des Wetverhaltens im Hinblick auf die Wahrscheinlichkeit des Eintrefens einer Aussage in den nächsten 6 M.

in 7 bis 12 Monaten

in 13 bis 18 Monaten

später /nie

Aussage

5 Jetons

20 Jetons

20 Jetons

5 Jetons

Wahrscheinlichkeit

10 Prozent

40 Prozent

40 Prozent

10 Prozent

Aus dem Wetverhalten, also der prozentualen Verteilung der Jetons, können dann Aussagen über die Wahrscheinlichkeit zukünfiger Ereignisse abgeleitet werden. In unserem Beispiel (siehe Tabelle 1) ist es so unwahrscheinlich (10%), dass die Aussage bereits in den nächsten 6 Monaten eintrif, aber wahrscheinlich (90%), dass sie in den nächsten 18 Monaten eintreten wird. Nach 6, 12 und 18 Monaten entscheidet eine Jury über das Eintrefen der Wetaussagen. Für jeden Zeitraum kann so ein/e Wetkönig/in gekürt werden. Gleichzeitg ist damit inhärent eine Überprüfung der Validität des Verfahrens möglich. Ein ähnliches Verfahren wurde auch für Aussagen zur Zukunf von Linked Media eingesetzt, die Erfahrungen damit fießen in diesen Text ein, werden aber nicht explizit vorgestellt (vgl. Schön & Güntner, 2013).

2.2. Zuordnung zum Ansatz der Prognosemärkte Als „Prognosemarkt“ (englisch „predicton market“) werden Märkte bezeichnet, die mit Vorhersagen bzw. Weten auf zukünfige Entwicklungen „handeln“ und deren Handelsaktvitäten Aussagen über zukünfige Entwicklungen erlauben. Die Methode ist auch unter den Bezeichnungen „Betng Markets“, „Informaton Markets“, „Event Futures“, „Decision Markets“, „Idea Futures“, „Iowa Electronic Markets“ oder „Future Markets“ bekannt. Um die unterschiedlichen Prognosemärkte besser darstellen, beschreiben und vergleichen zu können entwickelten Geifman, Raban und Sheifaz (2011) ein Klassifkatonsschema. Neben der Art der Anteilsscheine und dem Marktmodell, werden in diesem Klassifkatonsschema alle wichtgen prozeduralen Prozesse (z. B. Art der Währung), Incentves (Belohnungen und Anreize), die Art der Teilnehmer/innen und das Ziel (Themengebiet, Zielsetzung) genannt. Zwei Marktstrukturen sind dabei zu unterscheiden (u.a. Christansen, 2007): die ständige Aukton und das 3/13

gegenseitge Weten. Die erste Variante erinnert an den Aktenhandel und wird als ständige (Doppel-) Aukton (engl. „contnuous double aucton“) bezeichnet. Hier wird versucht, möglichst viele Nachfragerinner und Nachfrager und Bieter/innen eines Anteils zu einem bestmmten Preis zusammenzubringen und den Kurs ständig zu aktualisieren. Wenn es nur wenige Teilnehmende gibt, kann es bei dieser Marktstruktur jedoch passieren, dass es kaum zum Handel kommt. Eine zweite mögliche Marktstruktur ist das Weten (engl. „pari(-)mutual betng“), das ähnlich wie die Pferdeweten funktoniert. Bei Pferdeweten setzt jeder einen bestmmten Betrag auf ein Pferd. Von dem gesamten Wetbudget behält die Kommission einen gewissen Anteil und zahlt den Rest an alle aus, die auf den Gewinner getppt haben. In der Anwendung zeigen sich unterschiedliche Realisierungen der Marktstrukturen, genau genommen scheint fast jede Prognosemarkt-Sofware unterschiedliche (Misch-) Formen und Regeln für Prognosemärkte zu verwenden. Gerne häten wir mit unseren Zielgruppen Prognosemärkte durchgeführt, die auch den Handel mit Optonen bzw. Wetaussagen ermöglicht. Folgende Gründe führten jedoch dazu, dass wir es nicht als durchführbar hielten: •

Für die Durchführung eines Prognosemarktes ist ein mehrwöchiger Zeitraum vorzusehen und immer wieder Aktvitäten der Teilnehmenden wünschenswert. Eine solch hohe, regelmäßige Beteiligung und Commitment mit dem Verfahren ist schwer erreichbar, insbesondere wenn man nur eine relatv überschaubare (ca. 40 Personen) und berufich stark eingespannte Zielgruppe als direkte Ansprechpersonen hat, die sich freiwillig beteiligen (sollen).

•

Die Sofware bzw. die Funktonalitäten von Prognosemärkten sind komplex, v.a. für Personen die zum Beispiel keine Vorkenntnisse mit dem Handel von Derivaten oder Optonen haben. Eine Einschulung wäre notwendig.

•

Es gibt eine Reihe von Möglichkeiten, den Verlauf von Online-Prognosemärkten zu manipulieren und die Erfahrung zeigt, dass dies auch geschieht, wenn es möglich ist.

Wir wählten und entwickelten daher ein Verfahren, dass im Rahmen eines Expertentrefens durchgeführt werden kann und dabei auf den Erfahrungen bei Prognosemärkten beruht. Dazu wurde das Format des parimutuellen Wetens gewählt, welches sich also grob an den Abläufen von Pferdeweten orientert. Bei dem von uns entwickelten Verfahren handelt es sich also nicht um einen Prognosemarkt, da nicht mit Weten gehandelt wird, sondern diese nur abgeschlossen werden. In der Literatur zu Prognosemärkten wird jedoch immer wieder auf das normale Weten (parimutal betng) verwiesen, so dass wir auch unser Verfahren dem Ansatz der Prognosemärkte zuordnen und uns aus den dort getätgten Erfahrungen inspirieren ließen.

2.3. Konzeptionelle Besonderheiten des Verfahrens und Überlegungen dazu Live-Weten auf die Zukunf können auch als eine Variante der Befragung von Expert/innen zur Zukunf gesehen werden. Tatsächliche weist das Verfahren Ähnlichkeiten mit Delphi- oder Fokusgruppenverfahren auf. Wie dargestellt sehen wir es aber als eine simple Variante von Prognosemärkten, beispielsweise durch den Einsatz von einer Jury, und greifen daher auch auf die dort getätgten Erfahrungen zurück. Bei der folgenden Darstellung der konzeptonellen Überlegungen bei der Gestaltung des Verfahrens orienteren wir uns an der Beschreibung von Prognosemärkte nach Geifman, Raban & Sheifaz (2011).

4/13

Zielsetzung: Informierte Einschätzungen zur Zukunf mit Expertnnen und Experten Die Zielsetzung unseres Verfahrens ist es, konkrete und valide Aussagen zur mitelfristgen. Dabei sollten Expert/innen, die zu einem bestmmten Zeitpunkt gemeinsam an einem Ort sind, mit möglichst unterschiedlichen Perspektven zu einem Fachthema beteiligt und eingebunden werden. Das Verfahren soll zum einen unterhalten und anregend sein; gleichzeitg aber nicht zu viel risikofreudiges, abweichendes Verhalten provozieren. Vielmehr ist es gewünscht, dass die Entscheidungen informiert geschehen und sich die Teilnehmer/innen austauschen bzw. sehen, wie die anderen weten.

(Kurze) Zeitdauer und Zahl der Teilnehmenden (weniger als 50) Im Unterschied zu Prognosemärkten die sich am Aktenhandel orienteren und deren Handelsphasen of mehrere Monate dauern, ist bei unserem Setng die Phase des „Setzen“ zeitlich befristet und die Teilnehmerzahl beschränkt. Wir haben uns daher informiert, ob dies problematsch ist und das Verfahren in Frage stellt. Prognosemärkte werden häufg unter dem Stchwort „Wisdom of Crowds“, also der Weisheit der Massen, eingereiht (Surowiecki, 2004). In unserem Setng mit einer begrenzten Zahl von möglichen Teilnehmenden (ca. 40 bzw. 17) stellt sich also die Frage, ob auch mit dieser kleinen Teilnehmerzahl das Verfahren des Prognosemarkts brauchbare Ergebnisse liefern kann, oder ob die Zahl der Teilnehmenden dazu zu klein ist. Diese Frage untersuchte beispielsweise Christansen (2007), indem er in einem experimentellen Setng die Prognosegenauigkeit von Marktergebnissen mit wenigen Teilnehmenden untersuchte. Dazu wurden 39 Prognosemärkte zu Ruderwetbewerben mit sehr kleinen Teilnehmerzahlen (unter 10 bis über 20) untersucht und verglichen. Zusammenfassend stellt Christansen fest, dass die Kalibrierungskurve der aggregierten Daten zeigt, dass auch bei kleinen Teilnehmerzahlen die Gewinner von Ruderwetbewerben akkurat vorhergesagt werden können (S. 37). Dies trif sogar auf Märkte mit sehr kleinen (unter 10) Teilnehmenden zu, allerdings zeigt sich im Vergleich, dass bei 15 und weniger Teilnehmern ungenauere Ergebnisse zu erwarten sind als bei größeren Zahlen von Teilnehmenden. Auch beim unternehmensinternen Einsatz wird berichtet, dass kleinere Teilnehmerzahlen (um die 15) nicht notwendigerweise die Qualität der Vorhersage beeinträchtgt, sondern dass die Zahl der Handelsaktvitäten entscheidend ist. Bei Hewlet-Packard konnten so nach Gebert (2008, in Rieg & Schoder, 2010a) auch mit sehr kleinen Teilnehmerzahlen (12) sehr genaue Vorhersagen getrofen werden. In Experimenten kommen Rieg und Schoder (2010b) zu den gleichen Ergebnissen: „having a small group of partcipants does not necessarily mean the market will fail“ (Rieg & Schoder, 2010b, S. 37). Sicher ist dabei, dass auch die Gestaltung des Prognosemarkts (welche Marktstruktur; Anteile etc.) hier mitentscheidend ist. Allgemein wird übrigens – wie von uns realisiert – für kleine Teilnehmerzahlen eher ein parimutuelles Marktsystem als ein Auktonsmodell empfohlen, da es hier sofort zu Aktvitäten und Marktanpassungen kommen kann. Bei kleineren Teilnehmerzahlen können natürlich nicht zahlreiche ähnlich lautende Anteile ausgegeben werden, die sich auf das gleiche Ereignis beziehen. Dennoch können, verglichen mit anderen Methoden der Zukunfsforschung, relatv granulare Aussagen generiert werden. Ob über die Vorhersage des Gewinners eines Ruderwetbewerbs diese spezielleren Aussagen (z. B. Anteile eines Produktes am Markt) auch valide Prognosen getätgt werden (können), bzw. welche Ableitung aus einem Prognosemarkt bei welcher Teilnehmerzahl angemessen ist, dazu fehlen bisher Untersuchungen.

Zusammensetzung der Teilnehmer/innen und wechselseitge Beeinfussungen Prognosemärkte werden wie eben erwähnt häufg als ein Anwendungsfall für die „Weisheit der Massen“ beschrieben: Durch den Handel von Vielen, die sich aus unterschiedlichen Perspektven mit etwas beschäfigen, werden gute Prognosen möglich. Von Surowiecki (2004) gibt es einen Artkel, in dem die zentralen Kriterien für solche „weisen“ Crowds genannt werden. Diese folgenden Kriterien sollten also auch 5/13

für die Teilnehmer/innen an Prognosemärkten gelten (vgl. Dye, 2008): Eine Vielfalt an Meinungen ist gefragt, sie sollten unabhängig voneinander sein und beispielsweise auch nicht durch Drite beeinfusst sein. Die Beteiligten agieren dezentral, können aus ihrer eigenen Perspektve, in ihrer eigenen Region Informatonen und Eindrücke sammeln und Meinungen bilden. Es ist also dafür zu sorgen, dass Teilnehmende mit unterschiedlichem Hintergrund – regional, insttutonell und disziplinär – an den Weten teilnehmen und entsprechend ausgewählt werden sollen. Prognosemärkte werden in der Regel online durchgeführt, unsere Wete ist jedoch eine Live-Wete am selben Ort. Das könnte dazu führen, dass es nicht (nur) zu einem Informatonsaustausch kommt sondern auch zu unerwünschten Beeinfussungen führen: Die räumliche Nähe der Experten/innen könnte sich so auswirken, dass es zu einem ähnlicherem Abstmmungsverhalten kommt, als es in einem räumlich verteilten Setng der Fall wäre. Das lässt zumindest die Untersuchung von Cowgill, Wolfers & Zitzewitz (2009) vermuten. In einer detaillierten Untersuchung der Meinungsbildungsprozesse in Firmen und ihrer Auswirkung auf Prognosemärkte werteten Cowgill, Wolfers & Zitzewitz (2009) den wohl größten frmeninternen Prognosemarkt, den von Google (mehr als 6.000 Mitarbeiter haben einen Account) aus. Dazu verwendeten sie ergänzende Informatonen über die Mitarbeiter, beispielsweise Dauer der Betriebszugehörigkeit, soziale Netzwerke in der Firma, Mail-Verteiler-Zugehörigkeiten uvm. die aus einer Umfrage stammen. Dabei zeigt sich ähnliches Handelsverhalten von Mitarbeitenden, die räumlich eng zusammenarbeiten und/oder sich kennen.

Rolle der Währung und der Anreize Bei unserem Verfahren wird mit virtuellem Geld gehandelt: Es werden Jetons gesetzt und Punkte vergeben. Der Anreiz ist aus einer ausgewiesenen Expertenrunde eine besonders gute individuelle Vorhersagegenauigkeit zu erhalten um schließlich einen der ersten drei Plätze bzw. einen Pokal zu erhalten. Prinzipiell stellt sich dabei die Frage, ob es nicht sinnvoll(er) wäre, die Teilnehmer/innen um echtes Geld oder auch eigenem Geld spielen zu lassen. Etliche Studien haben sich daher bereits mit der Frage beschäfigt, ob die Vorhersagekraf von Prognosemärkten größer ist, wenn ein tatsächlicher Einsatz getätgt wird, also z.B. um „echtes“ Geld gewetet wird. Zusammenfassend zeigt sich, dass es hier keine großen Unterschiede gibt was die Genauigkeit der Vorhersage von Ereignissen betrif, aber dass man eventuell davon ausgehen kann unterschiedliche Personen anzusprechen. Servan-Schreiber u.a. (2004) haben beispielsweise die Ergebnisse von ähnlichen Prognosemarktplatormen bei einem bestmmten Sportereignis verglichen. Der einzige wesentliche Unterschied zwischen den Platormen ist, dass eine mit echtem Geld spielt (TradeSports.com, ein kommerzieller Sportwetenanbieter), die andere mit Spielgeld (Newsfutures.com) – und dass unterschiedliche Personen beteiligt sind. Die Auswertung ergab keine signifkanten Unterschiede. Die Autoren interpreteren ihr Ergebnis so, dass Wissen und Motvaton essentell für gute Vorhersagen bei Prognosemärkte sind, aber dass Geld einfach nur eine Möglichkeit ist zu motvieren: Bei Angeboten mit Spielgeld kann das Ansehen in der Community oder auch Preise entsprechende Anreize setzen (Servan-Schreiber u.a., 2004,250). Auf ähnliche Ergebnisse verweisen u.a. Slamka, Soukhoroukova und Spann (2008). Aus diesen Studienergebnissen lässt sich folgern, dass es u.U. für einzelne Teilnehmer/innen atraktver wäre (häten sie die Wahl) um (eigenes) echtes Geld zu spielen. Das könnte dazu führen, so die Annahme, dass sie sich noch intensiver mit den einzelnen Aussagen auseinandersetzen würden. Wir vermuten jedoch, dass es sich bei unserer Zielgruppe um Personen handelt, die sich alle (zu Recht) als Expertnnen und Experten im Fachgebiet beschäfigen und die gewählten, wenn auch nicht vollständig „ernst“ gemeinten, Anreize (Bekanntgabe der besten drei Weter bzw. entsprechende Pokale für die Sieger) darstellen, aber die Motvaton ggf. passend erhöhen (sofern sie nicht eh schon vorhanden ist). Durch die rechtlichen Rahmenbedingungen – Glücksspiel ist nur unter strengen Aufagen erlaubt – haben wir in unserem Setng virtuelles Geld gewählt. 6/13

Neben der Währung und den Gewinnen haben wir uns auch über die konkreten Spielregeln Gedanken gemacht: Eine Herausforderung dabei ist, dass Wetverfahren häufg abweichendes bzw. risikofreudiges Verhalten unterstützen (Luckner und Weinhardt, 2007), was erstaunlicherweise u.U. die Qualität der Vorhersagen erhöht (ebenda), aber auch nicht gezielt unterstützt werden sollte. Daher wurde darauf verzichtet, dass abweichendes Verhalten die Quote im Erfolgsfall erhöht (wie es beispielsweise bei Sportweten der Fall ist), für jeden richtg gesetzten Jeton gibt es 5 Punkte. Ebenso sollte es möglich sein, sein Verhalten aufgrund des Wetverhaltens anderer überdenken und ändern zu können. Auch sollte es möglich sein, dass die Teilnehmenden sich informieren oder austauschen können. Gleichzeitg sollten alle Teilnehmenden dazu gebracht werden zu möglichst jeder Aussage eine Einschätzung abzugeben. Daher gibt es einen längeren Zeitraum und Möglichkeiten des Austauschs (z.B. während des Essens oder Mitagspause).

Bestmmung einer Jury Zum Prinzip von Prognosemärkten gehört es, dass möglichst objektv festgelegt wird, dass ein Ereignis eingetreten ist oder nicht, vor allem wenn keine (100%) objektven Aussagen möglich sind. Beispielsweise ist dies bei Aussagen wie „im Irak werden bis zum 30.8. Massenvernichtungswafen gefunden“ schwierig. Gaspoz und Pigneur (2008) schlagen daher den Einsatz einer Jury und eine exakte Beschreibung des Verfahrens vor, auf welcher Grundlage später festgelegt wird ob das Ereignis eingetreten ist oder nicht (u.a. Datengrundlage, Expertenjury, Fehlergenauigkeit, was passiert wenn Daten nicht veröfentlicht werden). Wir haben daher Expert/innen, die nicht an den Weten beteiligt sind gebeten, sich in der Jury zu beteiligen.

3. Durchführung der Wete und Interpretaton des Wetverhaltens Der Ablauf des Verfahrens und auch die Ergebnisse der Weten wurden bereits in einer Publikaton vorgestellt (Schön & Ebner 2012). Dort haben wir bereits von einer hohen Akzeptanz und positven Einschätzungen der Teilnehmer/innen berichtet. Das Konzept wird dabei u.a. als „eine tolle Idee“ bezeichnet [3]. Durch das Setng gehen wir davon aus, dass weitgehend eine informierte, ausgewogene Experteneinschätzung zustande kam, auch wenn nur wenige Personen während des Verfahrens ihre Einsätze umpositonierten: Mindestens 3 Prozent der Jetons wurden verlegt. Die Ergebnisse des Einsatzes wurden ebenso im Beitrag vorgestellt und u.a. ausgewertet, inwieweit sich das Wetverhalten der drei älteren (erfahreneren) Teilnehmer/innen von dem der jüngeren Teilnehmer/innen unterscheidet – und es wird festgestellt, dass sie nicht pessimistscher weteten als die jüngeren. Neben dieser simplen Berechnung der Wahrscheinlichkeit eines Ereignisses aus der Verteilung der Jetons heraus, können natürlich auch Diagramme eingesetzt werden. Eine weitere Auswertungs- und Darstellungsform ist zum Beispiel eine Liste von Aussagen, die in einem bestmmten Zeithorizont mit großer Wahrscheinlichkeit (kumulierte Wahrscheinlichkeit z. B. > 80%) eintrefen – oder auch nicht eintrefen (vgl. Ergebnisdarstellung in Ebner & Schön 2012). Genaugenommen sind diese Darstellungsvarianten natürlich keine Speziftät des Verfahrens. Wie bereits allgemein beschrieben wurde auch aus dem spezifschen Setzverhalten unterschiedliche Darstellungen über die Wahrscheinlichkeit des Eintrefens der 12 Aussagen gewählt. Eine Darstellung zu den kumulierten Wahrscheinlichkeiten wird in der folgenden Tabelle vorgestellt. Hier kann man gut ablesen, bei welcher Aussage zu welchem Zeitpunkt mit mehr als 50 Prozent Wahrscheinlichkeit davon auszugehen ist, dass sie eingetrofen ist. 9 der 12 Aussagen sollten demnach (eher) in den nächsten 18 Monaten eintrefen. Nur eine der Aussagen sollte demnach mit sehr hoher Wahrscheinlichkeit (95% und mehr) eintrefen: Es wurde als sehr 7/13

wahrscheinlich (97%) gesehen, dass es innerhalb von 18 Monaten es in allen D-A-CH-Ländern mindestens 5 Tablet-Klassen gibt. Tab.2: Kumulierte Wahrscheinlichkeiten für die Aussagen bis zu 18 Monate sowie „später/nie“ (N=32) in den n. 6 in 7 bis 12 in 13 bis 18 später/ nie M. M. M. 1. Staatlichen Stellen liberalisieren den Schulbuchmarkt und verzichten auf Kontrolle.

13%

20%

27%

73%

2. Digitale Kompetenzen sind fester Bestandteil der Stellenausschreibungen für Hochschullehrende.

5%

18%

50%

50%

3. In einem Unternehmen mit mehr als 2000 Mitarbeitern werden min. 10 Prozent der Lern- und Lehrmaterialien von Lernenden mitgestaltet.

18%

38%

73%

27%

4. Eine Fakultät einer Universität stellt eigene Lehr- und Lernmaterialien als OER zur Verfügung.

20%

48%

78%

22%

5. HTML5 ist die Standardformat für E-Books.

2%

14%

35%

65%

6. Mindestens fünf deutschsprachige Lehrbücher sind mit einem Verfalldatum / notwendigen Aktualisierungsdatum versehen

2%

18%

48%

52%

7. In jedem DACH-Land gibt es jeweils an mindestens fünf Schulen Tablet-Klassen.

51%

84%

97%

3%

8. Die erste Schulklasse in plant ein ganzes Schuljahr lang ausschließlich digitale Materialien zu verwenden.

42%

65%

87%

13%

9. Klapp- und faltbare Displays werden erstmalig zum Lernen eingesetzt.

2%

33%

76%

24%

10. Ein Schulbuchverlag bietet personalisierte gedruckte Schulbücher an.

2%

12%

50%

50%

11. Das ZUM-Wiki oder ein neues, alternatves Angebot übersteigt bei der Zahl der mitwirkenden Autoren die 10.000-Grenze.

2%

31%

76%

24%

12. Surface-Oberfächen sind erstmalig als Tafelersatz im Einsatz.

60%

78%

93%

7%

8/13

4. Validität der Ergebnisse Durch das spezifsche Verfahren der Weten und die Überprüfung ihres Eintrefens ist es relatv einfach möglich, Aussagen zur Validität des Verfahrens zu tätgen. Zum jetzigen Zeitpunkt hat so die Jury im Setng A schon für den Zeitraum bis 12 Monaten, also bereits zwei Mal darüber entschieden, welche Aussagen eingetrofen sind. Für den ersten Zeitraum bis 6 Monaten sind dies die Aussagen 7, 8 und 10. (Leider mussten wir feststellen, dass zwei Aussagen sogar vor der Wetdurchführung eingetrofen sind), Für den zweiten Zeitraum wie auch den driten Zeitraum wurde bestmmt, dass keine (weitere) Aussage eingetrofen ist. (vgl. Tabelle 3). Tab.3: Wahrscheinlichkeiten für die Aussagen, kursiv jeweils die häufgste Opton sowie das tatsächliche Eintrefen lt. Jury (markiert durch Fetdruck; Stand nach 18 Monaten) in den n. 6 in 7 bis 12 in 13 bis 18 M. M. M.

später/ nie

1. Staatlichen Stellen liberalisieren den Schulbuchmarkt und verzichten auf Kontrolle.

13%

7%

7%

73%

2. Digitale Kompetenzen sind fester Bestandteil der Stellenausschreibungen für Hochschullehrende.

5%

13%

32%

50%

3. In einem Unternehmen mit mehr als 2000 Mitarbeitern werden min. 10 Prozent der Lern- und Lehrmaterialien von Lernenden mitgestaltet.

18%

20%

36%

27%

4. Eine Fakultät einer Universität stellt eigene Lehr- und Lernmaterialien als OER zur Verfügung.

20%

28%

30%

22%

5. HTML5 ist die Standardformat für E-Books.

2%

12%

22%

65%

6. Mindestens fünf deutschsprachige Lehrbücher sind mit einem Verfalldatum / notwendigen Aktualisierungsdatum versehen

2%

16%

30%

52%

7. In jedem DACH-Land gibt es jeweils an mindestens fünf Schulen Tablet-Klassen.

51%

33%

13%

3%

8. Die erste Schulklasse in plant ein ganzes Schuljahr lang ausschließlich digitale Materialien zu verwenden.

42%

23%

23%

13%

9. Klapp- und faltbare Displays werden erstmalig zum Lernen eingesetzt.

2%

31%

43%

24%

10. Ein Schulbuchverlag bietet personalisierte gedruckte Schulbücher an.

2%

10%

38%

50%

11. Das ZUM-Wiki oder ein neues, alternatves Angebot

2%

29%

44%

24%

9/13

übersteigt bei der Zahl der mitwirkenden Autoren die 10.000-Grenze. 12. Surface-Oberfächen sind erstmalig als Tafelersatz im Einsatz.

60%

18%

15%

7%

Betrachtet man, welche Aussagen eingetrofen sind, fällt auf, dass die Aussage mit der im Vergleich im Zeitraum größten Wahrscheinlichkeit (Aussage 12) nicht eingetrofen ist, allerdings zwei Aussagen die an 2. und 3. Stelle lagen. Völlig überraschend ist hingegen eine Aussage eingetrofen, mit der nahezu niemand gerechnet hat (Aussage 10). Insgesamt zeigt sich, dass die jeweils häufgste Einschätzung bei jeder Opton in der Hälfe der Fälle (also bei 6 der 12 Optonen) die korrekte Einschätzung ergab. Wie zufriedenstellend ist das? Um festzustellen, wie gut die Expertnnen und Experten als Gruppe sind, kann man beispielsweise berechnen, wie gut man beraten ist, ob man sich an den Aussagen orientert, die jeweils am meisten Zuspruch erhalten haben oder ob man irgendwie, d.h. zufällig setzt: Wer zufällig setzt, kann von einer Wahrscheinlichkeit, dass seine Aussagen auch wie erwartet eintrefen (theoretsch), von 25 % ausgehen. Wer so setzt, dass er sich daran orientert wo die meisten Stmmen der Expertnnen und Experten gesetzt wurden, erhöht seine Chance auf 50 Prozent. Man verdoppelt als die Chance, mit Hilfe des Verfahrens zu einer korrekten Einschätzung zu bekommen – und das ist doch ein zufriedenstellender Wert. Interessant wäre es natürlich auch zu vergleichen, ob bei anderen Methoden (z.B. einer Befragung von Expertnnen und Experten) ein vergleichbares Ergebnis zu erhalten ist.

5. Diskussion: Sind Weten für die Zukunfsforschung brauchbar? Insgesamt ist die Validität in unserem Beispiel zufriedenstellend – denn es ist schon deutlich besser als einfaches Raten. Die Validität der Ergebnisse ist dabei ein interessanter Aspekt, der ggf. zwischen unterschiedlichen Verfahren auswählen lässt. Allerdings ist Validität nicht in jedem Fall ein wichtges Kriterium für Zukunfsforschung, so soll mit Zukunfsforschung ja zum Beispiel auch Zukunf beeinfusst werden (ein Beispiel ist hier die Forschung zur Klimaerwärmung, vgl. Schön & Markus 2011). Gerade in einer emotonal aufgeladenen Stmmung, wie sie derzeit um den Einsatz von Medien in der Schule herrscht, können hier eventuell entsprechende Aussagen und Einschätzungen, bei entsprechender Aufmerksamkeit der Öfentlichkeit, auch zu gegenläufgen Entwicklungen führen. Ein Verfahren zur Zukunfsforschung muss sich aber auch hinsichtlich Praktkabilität beweisen. Zwar ist der Aufwand für die Erstellung des Spielmaterials (Filz; Jetons) bzw. in unserem Fall auch die Entwicklung des Verfahrens, groß gewesen. Auch sind die Auswertung (Eingabe der einzelnen Weteinsätze) sowie die Überprüfung der Ergebnisse durch Jury und Bekanntgabe von Gewinnerinnen und Gewinner für den Veranstalter aufwändiger als herkömmliche Verfahren. Das Weten selbst scheint jedoch, insbesondere durch den Unterhaltswert eine kurzweilige, auch unterhaltsame Angelegenheit zu sein. Gerade im Fall unserer Zielgruppe die sonst häufg als Interviewpartner gefragt ist oder gebeten wird einen Fragebogen auszufüllen scheint es auch eine willkommene Abwechslung zu sein. Insgesamt war das Weten eine gute Ergänzung zum Abendessen, das sonst schwerlich mit inhaltlicher Arbeit zu belasten ist. An den letzten Punkt möchten wir noch einmal anknüpfen und eine Eigenschaf des Verfahrens betonen: Es ist nicht nur aus Sicht der Zukunfsforschung methodisch interessant, sondern gleichermaßen auch aus Sicht des Veranstaltungsdesigns: Es ist ein unterhaltsames, spielerisches und interaktves Verfahren, das 10/13

auch erlaubt, eine gute Einschätzung der Zukunf durch Expertnnen und Experten zu erhalten. Zudem sind der Einsatz einer Jury und die weiteren Auswertungen nach 6, 12 und 18 Monaten aufwändig. Aus Perspektve von PR und Marketng der Ergebnisse oder für eine Einrichtung ergeben sich daraus jedoch weitere Vorteile: Es ist möglich immer wieder Nachrichten zu einer Untersuchung oder zu einer Einrichtung zu verteilen, durch Einbindung einer Jury auch mit mehreren potentellen Verteilern. Zukunfsforschung wird betrieben, um mehr über die Zukunf zu erfahren. Sehr allgemeine Aussagen sind dabei of nur wenig hilfreich, hingegen eine gewisse Anschaulichkeit des Datenmaterials hilfreich, um sich die Zukunf besser vorzustellen. Der Vorteil des Verfahrens der Weten liegt in der konkreten, klaren Formulierung der Weten. Allerdings sind solche Einzelaussagen nicht notwendigerweise hilfreich für andere, wenn sich die Aussage nicht auf exakt den Aspekt konzentriert, für den man gerne eine Aussage häte. Hier sind andere Verfahren, die allgemeine Trends identfzieren oder Entwicklungen beschreiben sicher (ergänzend) sinnvoll (er). Wir denken, dass die Beschreibung des Verfahrens seine Stärken und Schwächen deutlich macht. Aus der Charakteristk des Verfahrens, den existerenden Erfahrungen aus dem Bereich der Prognosemärkte sowie unseren persönlichen Erfahrungen lassen sich folgende Empfehlungen ableiten: •

Allgemein scheint das Verfahren empfehlenswert, wenn ein Verfahren gesucht wird, dass bei einem Trefen von Expert/innen eingesetzt werden kann und sich unterhaltsam von herkömmlichen Diskussionsverfahren unterscheidet. Dabei ist die Zusammensetzung der Expert/innen – wie auch bei anderen verwandten Verfahren – sorgfältg und auch (im Themenfeld) heterogen zu gestalten.

•

Es ist dann sinnvoll, wenn konkrete Einschätzungen zu einzelnen Aussagen erwünscht werden. Es scheint v.a. als Ergänzung zu anderen Methoden hilfreich.

•

Die Formulierung der Aussagen bedarf großer Aufmerksamkeit, auch sollte dringend überprüf werden ob eine Aussage nicht bereits schon eingetrofen ist.

•

Das Verfahren ist aus Sicht der Organisaton aufwändig, ggf. aufwändiger als andere Methoden, die Teilnehmer/innen erleben es jedoch als kurzweilig und als Abwechslung, auch gibt es Möglichkeiten immer wieder auf die Ergebnisse aufmerksam zu machen.

•

Die derzeitgen Regeln und das Vorgehen sind nicht abschließend untersucht, es gibt jedoch bereits Hinweise auf Verbesserungsmöglichkeiten: So hat sich bisher nicht unbedingt als „problematsch“ aber eher „langweilig“ erwiesen, dass es keine Veränderungen der Wetkönige bei einem Durchgang gibt, bei dem keine (weitere) Aussage als „eingetrofen“ gilt. Problematsch wäre es für die Bestmmung eines Wetkönigs bei unseren Regeln zudem, wenn beim ersten Durchgang keine Aussage als eingetrofen bewertet wird. Hier sind Modifkatonen sinnvoll.

•

Einige Aspekte sind noch unklar und bedürfen weiterer Untersuchungen und Ergebnisse: So ist von unserer Seite geplant, die Validität des Verfahrens weiter auszuwerten, sobald hier die Ergebnisse vorliegen. Außerdem ist bereits ein Konzept für eine Facebook-App entwickelt, dass das Wetverfahren für das soziale Netzwerk adaptert (Albustn, Ebner & Schön 2013). Auch sollten Varianten des Verfahrens und Weiterentwicklungen systematsch geprüf werden.

Literaturverzeichnis •

Albustn A., Ebner M., Schön, S. (2013) Predictng Developments in Technology-enhanced Learning 11/13

through Betng – The Concept for a Facebook App, In: M. Hamada (ed.), E-Learning: New Technology, Applicatons and Future Trends. Nova Science Publishers: NY, pp. 207-220. •

Armstrong J., Green K. C. (2006) Demand Forecastng: Evidence-based Methods. A chapter for the forthcoming book Strategic Marketng Management: A Business Process Approach, edited by Luit Moutnho and Geof Southern. URL: htp://marketng.wharton.upenn.edu/ideas/pdf/Armstrong/DemandForcastng.pdf [2011-08-30]

•

Christansen J. D. (2007) Predicton Markets: Practcal Experiments in Small Markets and Behaviours Observed. In: The Journal of Predicton Markets, Volume 1, Number 1, February 2007 , pp. 1741(25)

•

Cowgill B., Wolfers J., Zitzewitz E. (2009) Using Predicton Markets to Track Informaton Flows: Evidence from Google. URL: htp://bocowgill.com/GooglePredictonMarketPaper.pdf [2011-09-16]

•

Dye R. (2008) The promise of predicton markets: A roundtable. McKinsey Quarterly, April 2008. URL: htps://www.mckinseyquarterly.com/The_promise_of_predicton_markets_2114 [2011-0920]

•

Ebner M. & Schön S. (2012) Die Zukunf von Lern- und Lehrmaterialien: Entwicklungen, Initatven, Vorhersagen. Norderstedt. URL: htp://o3r.eu [2013-09-20]

•

Gaspoz C., Pigneur Y. (2008) A design science approach for developping predicton markets in a research and development community. Proc. 41th Annual Hawaii Internatonal Conference on System Sciences (HICSS), volume 41. IEEE Computer Society, January.

•

Gebert C. (2008) Predicton markets - A guide to practcal adopton in the pharmaceutcal industry, Foresight, Issue 9 (Spring 2008), 25-29.

•

Geifman D., Raban D. R., Sheizaf, R. (2011) P-MART: Towards a classifcaton of online predicton market. In: First Monday, Volume 16, Number 7 - 4 July 2011. URL: htp://frstmonday.org/htbin/cgiwrap/bin/ojs/index.php/fm/artcle/viewArtcle/3203 [2011-09-17]

•

Luckner S. & Weinhardt C. (2007) How to pay traders in informaton markets: Results from a feld experiment. In: The Journal of Predicton Markets, 1/ 2, Buckingham University Press, Buckingham, 147-156.

•

Rieg R., Schoder, R. (2010a) Corporate Predicton Markets: Pitalls and Barriers. In: Foresight, Spring 2011, 35-40.

•

Rieg R., Schoder R. (2010b) Forecastng accuracy: Comparing predicton markets and surveys - An experimental study, The Journal of Predicton Markets, 4(3), 1-19.

•

Schön, S. & Ebner, M. (2012). Die Zukunf von Lern- und Lehrmaterialien: Wetergebnisse bei zwölf ausgewählte Thesen zur Entwicklung in den nächsten 18 Monaten. In: bildungsforschung, Jahrgang 9, Ausgabe 1, September 2012, URL: htp://bildungsforschung.org/index.php/bildungsforschung/artcle/view/148 [2015-03-15]

•

Schön S., Markus M. (2011) Zukunfsforschung und Innovaton – … wissen was kommt. In: Martn Ebner & Sandra Schön (Hrsg.), Lehrbuch zum Lernen und Lehren mit Technologien. 12/13

URL:htp://l3t.tugraz.at/index.php/LehrbuchEbner10/artcle/view/85 •

Schön S., Güntner G. (2013) Zukunf von Linked Media: Trends, Entwicklungen und Visionen. Salzburg: Salzburg Research.

•

Servan-Schreiber E., Wolfers J., Pennock D. M., Galebach B. (2004) Predicton Markets: Does Money Mater? Electronic Markets, 14/ 3, Routledge, New York, 243-251. URL: htp://bpp.wharton.upenn.edu/jwolfers/Papers/DoesMoneyMater.pdf [2011-09-16]

•

Slamka C., Soukhoroukova A., Spann M. (2008) Event Studies in Real- and Play-Money Predicton Markets. In: The Journal of Predicton Markets, 2/ 2, Buckingham University Press, Buckingham, 5370. URL: htp://www.ingentaconnect.com/content/ubpl/jpm/2008/00000002/00000002/art00004 [2011-09-16]

•

Surowiecki J. (2004) The Wisdom of Crowds: Why the Many Are Smarter Than the Few and How Collectve Wisdom Shapes Business, Economies, Societes and Natons Litle, Brown.

•

Wolfers J., Zitzewitz E. (2004) Predicton Markets. In: Journal of Economic Perspectves. Stanford Graduate School of Business, 18 2, 107-126.

•

Zhao S. J., Wagner C., Chen H. (2008) Review of predicton market research: Guidelines for informaton system research. Pacis 2008 Proceedings, Paper 193. URL: htp://aisel.aisnet.org/pacis2008/193/ [2011-09-16]

Autoren Dr. Sandra Schön: Wissenschafliche Mitarbeiterin bei der Salzburg Research Forschungsgesellschaf im Bereich „InnovatonLab“, forscht zu innovatven Formen des Lernens und Arbeitens mit Social Media. Salzburg Research Forschungsgesellschaf mbH, Jakob Haringer Strasse 5/III, A-5020 Salzburg, +43.662.2288-429, [email protected] Univ.-Doz. Dr. Martn Ebner: Leiter der Abteilung Vernetztes Lernen an der Technischen Universität Graz und ist für sämtliche E-Learning-Belange zuständig, forscht und lehrt zudem als Medieninformatker am Insttut für Informatonssysteme Computer Medien. Abt. Vernetztes Lernen des Zentralen Informatkdienstes an der TU Graz, Münzgrabenstraße 35A, A-8010 Graz, +43 316 873-8540, [email protected]

[1] vgl. htp://l3t.eu/zukunf/?p=535 (2012-07-16) [2] Video zur Veranstaltung: htp://youtu.be/6Nhf1xz3SuU (2012-07-25) [3] htp://trainingkonzepte.blogspot.co.at/2012/06/l3t-s-work-meine-inspiraton.html (2012-11-15)

13/13