FFIs prediksjonsturnering – idé- og metodebeskrivelse
Abstract
Så lenge fremtiden er preget av usikkerhet, vil det være nødvendig å legge noen antagelser om
den fremtidige utviklingen til grunn i alle forsvars- og sikkerhetspolitiske studier, ekspertutredninger,
fagmilitære råd og langtidsplaner for Forsvaret. Å «predikere» handler om å gjøre
beregninger av fremtidige forhold. Flere stridsspørsmål i den norske forsvarsdebatten kan f.eks.
spores tilbake til ulike «prediksjoner» om hvordan et fremtidig angrep på Norge vil se ut, hvor
sikre vi kan være på alliert støtte og hva en angriper kan tenkes å gjøre. Konklusjoner om hva vi
anser som sannsynlige utviklinger i våre strategiske omgivelser, kan også legge føringer for
hvilke løsninger vi velger å utrede videre og beregne de økonomiske kostnadene av senere.
Prediksjon er derfor en uunngåelig del av forsvarsplanleggingen. Problemet er at alle eksperter,
forskere og offiserer kan ikke ha like rett om hva som vil skje i fremtiden. Gitt de store konsekvensene
av å ta feil, er det heller ikke likegyldig hvem beslutningstagerne hører på. Treffsikkerheten
til det norske forsvars- og sikkerhetspolitiske miljøet har imidlertid aldri blitt målt.
De neste tre årene vil FFI derfor arrangere en «prediksjonsturnering» for alle forsvars- og sikkerhetspolitisk
interesserte i Norge. Denne rapporten beskriver idéen og metoden bak. Turneringen
vil gjennomføres som en spørreskjemabasert konkurranse, der alle deltagere får en mail
med fem spørsmål i begynnelsen av hver måned. Spørsmålene vil handle om alt fra valgresultat,
krig og konflikt til økonomisk utvikling og teknologi. Tidsperspektivet til spørsmålene vil variere
fra noen uker til flere år. Turneringen vil være åpen for alle interesserte, både i og utenfor
forsvarssektoren, med og uten forsvars- og sikkerhetspolitisk erfaring. Hensikten er å måle hvor
gode eller dårlige vi er til å forutsi hendelser og utviklinger av relevans for det norske forsvaret.
Treffsikkerheten vil bli målt ved hjelp av Brier-score. Her måles deltagerne ut fra hvor sikre de er
i sine prediksjoner. Deltagerne må derfor anslå hvor sannsynlig (i antall prosent) de tror hvert
utfall er. Prediksjonsevne handler i denne turneringen om å oppgi høy sannsynlighet til de utfallene
som faktisk skjer, og lav til de som ikke gjør det. Alle deltagere vil få tilsendt resultater med
sin score og plassering etter hvert spørsmål som blir avgjort. De fem beste deltagerne navngis,
og én gang i året kåres det vinnere innenfor ulike kategorier. Deltagernes treffsikkerhet vil også
bli sammenlignet med enkle algoritmer som «tilfeldig gjetning» og «prediker ingen endring».
Resultatene fra turneringen vil for første gang gjøre det mulig å tallfeste treffsikkerheten til det
norske forsvars- og sikkerhetspolitiske miljøet på spørsmål av relevans for Forsvaret i fremtiden.
Resultatene vil også si noe om hvilke temaer vi klarer å predikere mer nøyaktig enn andre, om
det er store forskjeller mellom ulike grupper deltagere og om det finnes noen enkeltpersoner i
Norge som har en systematisk og målbar evne til å forutsi fremtiden mer nøyaktig enn resten.
Det endelige målet er at ved å få mer kunnskap om hva vi kan og ikke kan forutsi om fremtiden,
vil vi også kunne bidra til å øke treffsikkerheten i beslutningsgrunnlaget for fremtidens forsvar. In all defence planning, it is necessary to make some assumptions about the future strategic
environment. However, given that it is impossible to be certain about what the future may entail,
defence and security analyses, expert opinions, threat assessments and scenarios will always
involve some degree of forecasting. To forecast, or to predict, is to make estimates about future
events, e.g. about the scope of threats, changes in defence spending or the conduct of war.
Yet, the forecasting accuracy of the Norwegian defence and security community has never been
measured. Furthermore, all researchers, experts and officers cannot be equally right about what
may happen in the future. Given the potentially catastrophic consequences of preparing for the
wrong threats, the degree to which the predictions we base our planning on are correct, will be
decisive for how well prepared the Norwegian Armed Forces will be in face of future challenges.
Over the next three years (2017–2020), FFI will therefore be conducting a forecasting tournament
for everyone who is interested in or works on defence and security policy-related topics in
Norway. The main objective is to measure the Norwegian defence and security community’s
ability to forecast developments and events of relevance to the Norwegian Armed Forces. The
tournament will be conducted through a monthly survey with five questions on topics ranging
from international politics and the economy to armed conflicts, technology and future warfare.
The tournament will be open to everyone, both from within and outside the Norwegian defence
sector, regardless of formal background or previous experience. Thus, it will be possible to
compare the forecasting ability of amateurs with that of professionals who work on the questions
posed on a daily basis, including military planners and intelligence analysts.
Forecasting accuracy will be measured using Brier score, which is a commonly used proper
score function that measures the accuracy of probabilistic predictions. Thus, all participants will
be asked to estimate how likely (in percentages) they believe each different outcome is. The
goal is to assign high probabilities to outcomes that do occur, whilst assigning low probabilities
to outcomes that do not. All participants will receive an individual score and rank on every question.
The five best participants will be named and winners will be announced once a year. All
scores will also be measured against various algorithms and groups of other participants.
The tournament’s results will provide the first quantitative measure of the Norwegian defence
and security policy community’s forecasting accuracy. It will also provide insights on whether
there are some topics that are harder to predict than others, whether some groups of people are
better than others and whether there are some individuals in Norway who are particularly good.
Hopefully, the knowledge gained through this forecasting tournament will help increase the accuracy
of analyses in support of decisions on the future of the Norwegian Armed Forces.
Collections
Related items
Showing items related by title, author, creator and subject.
-
Eksponering for skyterøyk i pansrede kjøretøy
Author::Johnsen, Ida Vaa; Author::Johnsen, Arnt; Author::Karsrud, Tove Engen (2017-11-30)Under skyteøvelser med panserkjøretøy blir personell utsatt for skyterøyk. For å avdekke hvilke konsentrasjoner det gjelder, ble det bestemt at det skulle utføres målinger. I samarbeid med Forsvaret valgte Forsvarets ... -
Overvåking av sauer på Leksdal skyte- og øvingsfelt
Author::Johnsen, Ida Vaa; Author::Mariussen, Espen (2017-12-06)Forsvarets skyte- og øvingsfelt (SØF) inneholder metallforurensinger som bly (Pb) og kobber (Cu) fra ammunisjonsrester. Norske SØF er sjelden inngjerdet og kan derfor være en del av utmarksbeitet for dyr fra nærliggende ... -
Videreutvikling av forsvarssektorens innovasjonsmodell – trekantmodellen versjon 2.0
Author::Bjørk, Hanne Marit; Author::Iversen, Sigurd; Author::Skøelv, Åge; Author::Sendstad Ole Jakob (2018-10-16)Norsk forsvarsindustri har opplevd en betydelig utvikling i etterkrigstiden, noe som har gitt Norge en posisjon som nisjebasert leverandør av svært konkurransedyktige høyteknologiske produkter til et proteksjonistisk ...