Stordata og avansert analyse – sluttrapport for FFI-prosjekt «Informasjonsintegrasjon for et moderne forsvar»

Abstract

Stordata kan best forstås som et begrep heller enn en konkret teknologi eller familie av teknologier. I dette arbeidet karakteriseres stordata som data av forskjelligartet natur (variety), som kommer i store mengder (volume) og/eller har hyppig oppdateringsfrekvens (velocity) og som et resultat av dette ikke lar seg effektivt håndtere eller bearbeide ved hjelp av tradisjonelle metoder. Stordataproblemer er, ut fra den samme tankegangen, beregningsoppgaver som enten er så komplekse, vokser så raskt eller fordrer tilgang til så mye data at de ikke kan løses ved hjelp av tradisjonelle metoder. En stordataløsning betyr i denne konteksten rett og slett et system som er designet for å løse et stordataproblem. I en tid der det produseres mer data enn noensinne, vil Forsvaret møte på stordataproblemer når de søker å omsette tilgjengelige data til gode beslutninger. De trenger derfor å øke sin evne til å håndtere disse problemene. FFI-prosjektet Informasjonsintegrasjon for et moderne forsvar har studert stordata og avansert analyse, hovedsakelig gjennom litteraturstudier for å bygge opp kompetanse på sentrale konsepter og teknisk eksperimentering for også å få praktisk erfaring med teknologier forbundet med disse problemstillingene. Formålet med denne rapporten er å oppsummere funnene i prosjektet og kommunisere anbefalinger innenfor fire sentrale områder: Stordataløsninger, kunnskapsgrafer, nevrosymbolsk kunstig intelligens og gjenbruk av modeller. Teknologier for å håndtere stordataproblemer har lenge vært under enorm utvikling, mye takket være at store aktører deler mange løsningskomponenter av høy kvalitet som åpen kildekode. Dette gjør at tilgangen er stor på tekniske komponenter som kan brukes i stordataløsninger. Vi mener derfor tiden er moden for Forsvaret å ta stordatateknologier i bruk, og anbefaler at: • Forsvaret setter opp en stordataløsning for et utvalgt stordataproblem for å få erfaring med hvordan slike problemer bør beskrives, hvordan løsninger bør spesifiseres og hvordan løsninger kan realiseres. På den måten vil Forsvaret også få verdifull innsikt i hvilken kompetanse som er nødvendig for å gjennomføre en slik prosess. • Forsvaret tester bruk av kunnskapsgrafer i et utvalgt analysemiljø for å se om et slikt verktøy gir verdi i form av bedre og raskere analyseresultater. • Forsvaret setter seg i stand til å ta i bruk teknikker innen nevrosymbolsk kunstig intelligens på et tidlig tidspunkt for automatisert prosessering og analyse av data. • Forsvaret sikrer seg tilgang til oppdatert kompetanse på gjenbruk av modeller til maskinlæring slik at slike teknikker kan tas raskt i bruk så snart behovet er der. Dette er tiltak som reduserer risikoen relatert til å anskaffe stordataløsninger, og etter vårt syn vil Forsvaret ved å gjennomføre disse ta et viktig steg i retning av å kunne løse sine nåværende og framtidige stordataproblemer.

The concept of big data remains elusive to define, but is in this work characterized as data of a varied nature (variety), that arrives in large amounts (volume), and is updated at a high rate (velocity), and due to this cannot be efficiently treated with traditional methods. Using the same starting point, big data problems are calculations that cannot be efficiently solved by traditional methods due to the complexity or speed of growth of the task, or the amount of data needed to solve it. Big data solutions, correspondingly, are systems designed to solve big data problems. Today, more data than ever is produced. This means that the Norwegian Armed Forces will encounter big data problems in the process of translating available data into good decisions. They will therefore need to improve their ability to deal with these issues. The FFI project Information integration for a modern defense has studied big data and advanced analysis, mainly through literature studies on key concepts and technical experimentation to also gain practical experience with technologies associated with these issues. The purpose of this report is to summarize the findings of the project and communicate recommendations in four key areas: Big data solutions, knowledge graphs, neurosymbolic artificial intelligence, and model reuse. The development of technologiesfor dealing with big data problems have long had a big momentum, thanks in large part to large technology actors sharing many high-quality components as open source. This has led to the situation where the supply of technical components that can be used in big data solutions is plentiful. We therefore believe that it is time for the Norwegian Armed Forces to make use of big data technologies, and recommend that: • The Armed Forces set up a big data solution for a selected big data problem in order to gain experience of how to describe such problems, and how solutions should be specified and realized. In this way, the Armed Forces will also gain valuable insight into the competence required to carry out such a process. • The Armed Forces start testing the use of knowledge graphs for a selected analysis task to see if these tools provide value in the form of better and faster analysis results. • The Armed Forces make sure that they have the ability to use techniques in neurosymbolic artificial intelligence for automated processing and analysis of data at an early stage. • The Armed Forces ensure access to updated expertise on the reuse of models for machine learning so that such techniques quickly can be taken advantage of as soon as the need arises. These are measures that will reduce the risk related to acquiring big data solutions, and will in our view ensure that the Norwegian Armed Forces take an important step towards being able to solve their current and future big data problems.