Norske eksperters prediksjoner om krigen i Ukraina – hvor godt har de truffet?

Abstract

I denne studien undersøker vi norske eksperters evne til å forutsi utviklingen i krigen i Ukraina. Eksperters prediksjoner påvirker befolkningens og beslutningstagernes forventinger om sikker-hetspolitiske spørsmål. Vi har imidlertid lite kunnskap om hvor godt eksperter evner å forutsi fremtidig utvikling. Tidligere studier har målt treffsikkerheten deres gjennom spørreundersøkel-ser der ekspertene har blitt bedt om å tallfeste prediksjonene sine. Disse studiene har vist at eksperter ikke treffer særlig bedre enn ren gjetning. Samtidig er ikke spørreundersøkelser repre-sentativt for måten eksperter normalt uttaler seg om fremtiden på. Ekspertene uttaler seg oftest kun om temaer de har kompetanse på, og bruker ord snarere enn tall når de beskriver sannsyn-ligheter. Her måler vi ekspertenes treffsikkerhet basert på deres egne uttalelser i norske medier. Studien er basert på 173 prediksjoner fra 10 av de mest siterte ekspertene i norske medier i for-bindelse med krigen i Ukraina. Prediksjoner defineres her som uttalelser om fremtidige utfall som inkluderer en sannsynlighetsvurdering. Med sannsynlighetsvurdering mener vi ord og uttrykk som beskriver hvor sannsynlig utfallet er, for eksempel «lite sannsynlig» eller «trolig». Treffsikkerheten er målt ved å undersøke hvor ofte det utfallet som ekspertene pekte på som det mest sannsynlige, faktisk skjedde. Resultatene viser at ekspertene har truffet på mer enn fire av fem prediksjoner (81 prosent). Ekspertene traff derimot vesentlig dårligere på spørsmål om hvorvidt Russland ville gå til full-skalainvasjon, og hvordan invasjonen ville arte seg (48 prosent). Ekspertene som «bommet» på invasjonsprediksjonene, hadde imidlertid omtrent like god treffsikkerhet på prediksjoner om andre utfall som ekspertene som «traff». Ekspertenes individuelle treffsikkerhet varierer fra 68 prosent til 100 prosent, men det er betydelig forskjell i hvor mye ekspertene har predikert. Data-settet gir ikke grunnlag for å si noe om systematiske individuelle forskjeller i prediksjonsevne fordi ekspertene i media predikerer ulike utfall på ulike tidspunkt. I tillegg gjør bruken av språk-lige sannsynlighetsvurderinger, i stedet for tallfestede, det vanskelig å skille ut eksperter som pekte på samme utfall, men som kanskje ikke var like overbevist om at det ville skje. Den overraskende høye treffsikkerheten i forhold til tidligere studier skyldes trolig at ekspertene først og fremst har uttalt seg på etterprøvbare måter om utfall som har lav sannsynlighet for å inntreffe, for eksempel bruk av atomvåpen. Til sammenligning ville en enkel tilnærming som å predikere «ingen endring» oppnådd omtrent samme treffsikkerhet som ekspertene (80 prosent). Selv om resultatene viser at det er grunn til å forvente at eksperters tydeligste prediksjoner i media vil treffe, er det usikkert hvor overførbare funnene er til andre situasjoner hvor eksperter ofte brukes. Hvis den høye treffsikkerheten i spørsmål om Ukraina-krigen delvis skyldes at eks-perter ofte kun uttaler seg på etterprøvbare måter på spørsmål om relativt sjeldne fenomener, kan ikke den samme treffsikkerheten forventes på spørsmål om vanligere typer hendelser.

This study assesses the accuracy of Norwegian experts’ predictions about the war in Ukraine. Expert predictions play an important role in shaping expectations about political and military de-velopments. Despite this, our understanding of the ability of experts to predict the future is rela-tively limited. Previous studies have attempted to measure the accuracy of expert predictions through surveys, where the experts had to assign numerical probabilities to specific outcomes. These studies suggest that the accuracy of the experts is on par with pure guesswork. However, experts do not normally make predictions through tournaments and surveys. Rather, they gen-erally predict outcomes only within their area of expertise, and they use words, rather than num-bers, when describing probabilities. Here, we assess the accuracy of expert predictions based on their own statements to the media. Our study is based on 173 predictions from 10 of the most cited experts in the Norwegian media on questions about the war in Ukraine. We manually surveyed the expert statements to identify predictions. We define predictions as statements about future outcomes that include a probabil-ity assessment. By probability assessment, we mean words and expressions that describe how likely the outcome is, such as ‘not likely’ and ‘probable’. Accuracy is measured by examining how often the outcome that experts pointed to as the most probable actually occurred. The results show that experts anticipated the correct outcome on more than four out of five pre-dictions (81 percent). However, the experts performed significantly worse on questions about whether Russia would engage in a full-scale invasion and how the invasion would unfold (48 percent). Interestingly, the experts that failed to anticipate the invasion were not significantly less accurate in their predictions about other outcomes compared to the experts that correctly predicted the invasion. Individual hit rates range from 68 percent to 100 percent, but the number of predictions each expert made varies significantly. Our dataset does not provide a basis for making claims about systematic individual differences in predictive ability because experts in the media make predictions about different topics and at different times. Additionally, the use of ver-bal probability assessments, instead of numerical, makes it hard to identify experts who pointed to the same outcome, but may not have been equally convinced that it would happen. The surprisingly high accuracy compared to previous studies is most likely explained by the type of outcomes experts make verifiable predictions about in the media. Many of the expert predic-tions identified in this study concern outcomes that are considered very unlikely, such as the use of nuclear weapons. By comparison, consistently predicting ‘no change’ on the same ques-tions would have achieved the same level of accuracy as the experts’ (80 percent). Although the results suggests that the most explicit expert predictions in the media will be correct, the generalizability of these findings to other situations where experts are used is uncer-tain. If the high hit rates on questions about the war in Ukraine is partly explained by the fact that experts only make verifiable statements about relatively rare phenomena, the same level of accuracy cannot be expected for questions about more common types of events.