Exploring data reuse using a big data infrastructure

Abstract

Making good military decisions requires a high level of situational awareness, and building this situational awareness is improved by access to as much relevant information as possible. This information can arrive to a decision maker via many different avenues, one of which is the reuse of information already collected or prepared for other purposes. Data reuse is acknowledged as an important ingredient in the process for a military organization to fulfill their information needs by both NATO and the Norwegian Armed Forces as they the last 15 years have sought to turn their data strategies from the traditional need-to-know to the more open responsibility-to-share paradigm. Ubiquitous information sharing and reuse have, however, certain prerequisites in order for it to happen. For example, the sharer of data must have trust that only authorized users will have access to it. The potential user, on the other hand, must be able to determine the provenance and reliability of the data, and whether or not it is in a suitable format, before eventual use. This report documents a technical experiment setting out to explore whether it is feasible to build a big data infrastructure with the appropriate requirements to make it suitable for data reuse in the military domain using open source components. The exploration is supported by an experimental setup that expands on a previously explored big data infrastructure based on open-source components, extending it with suitable components for facilitating data reuse. Specifically, the two lines of inquiry explored in this report are 1. Simplifying the re-purposing and joining of data sets by publishing data as linked data, which is a structured representation that makes it easy to interlink with other data. 2. Utilizing lineage-based data governance for provenance tracking and fine-grained access control in a big data ecosystem that is comprised of many different components. The technical exploration is performed against a fictitious backdrop of real-time news analysis, where a team of analysts keeps track of events in a region in support of an on-going military operation. This case requires merging of information from real-time news streams together with static background knowledge. The technical infrastructure is laid out and explained from a conceptual level, including brief introductions to the components used. Key features, as well as how they address the outlined issues with respect to data reuse, are explained and highlighted through the use of the underlying news analysis case. As identified in a previous FFI report, there is no one generic big data infrastructure that fits all; the choice of big data components in an infrastructure is very much dictated by the case and problem at hand, and the setup explored in this report, which was crafted for a specific case, is no exception to this. The main contribution of this report is that it provides the reader with an example of how today’s open-source, off-the-shelf big data technologies from the civilian sector can be utilized in the military domain to facilitate data reuse, governance and fine-grained access control. The results are thus supporting evidence of the feasibility of building such an infrastructure, and can be of utility for personnel considering different architectural approaches for dealing with information management in a military setting.

Å ta gode militære avgjørelser krever et høyt nivå av situasjonsbevissthet, noe som kan forbedres ved å ha mest mulig relevant informasjon tilgjengelig. Denne informasjonen kan nå en beslutningstaker via mange forskjellige veier, hvorav gjenbruk av informasjon som allerede er samlet inn eller forberedt for andre formål står sentralt. Gjenbruk av data er anerkjent som en viktig ingrediens i prosessen med å tilfredsstille informasjonsbehovet i militære organisasjoner: Både NATO og Forsvaret har i de siste 15 årene fokusert mindre på det tradisjonelle need-to-know-regimet og mer på en mer åpen responsibility-to-share-strategi. Imidlertid er det visse forutsetninger som må på plass for at omfattende informasjonsdeling og gjenbruk skal kunne skje. En datatilbyder vil kunne kreve forsikringer om at data som deles kun blir tilgjengelig for autoriserte brukere, mens en potensiell bruker vil kunne ønske å ettergå dataenes opphav for å vurdere om kvaliteten, påliteligheten og formatet er adekvat for ønsket bruk. Rapporten beskriver et eksperiment der formålet var å undersøke hvorvidt det er gjennomførbart å bygge en stordatainfrastruktur med egenskaper som gjør det mulig å gjenbruke data kontrollert i en militær kontekst. Eksperimentet besto i å ta utgangspunkt i en tidligere dokumentert stordatainfrastruktur bestående av åpen-kildekode-komponenter og utvide denne infrastrukturen for å fasilitere datagjenbruk. Konkret er følgende to spor utforsket: 1. Publisere data som lenkede data, en strukturert datarepresentasjon som gjør det lett å knytte data sammen med andre data, for å forenkle gjenbruk og integrasjon av forskjelligartede datasett. 2. Utnytte og avlede opphavshistorikk for å styre data og tilby provenansstyring og finmasket aksesskontroll i et stordata-økosystem med mange forskjellige komponenter. Eksperimentet ble utført ved hjelp av en oppdiktet case på nyhetsanalyse i sanntid, der et tenkt team av analytikere holder oversikt over hendelser i en region til støtte for en pågående militæroperasjon. Dette tilfellet krever at informasjon fra sanntids nyhetsstrømmer blir slått sammen med statisk bakgrunnskunnskap. Rapporten beskriver den tekniske infrastrukturen som ble satt opp for å løse casen på et konseptuelt nivå, og går igjennom hvordan de behandler de skisserte problemene med hensyn til gjenbruk av data. Som identifisert i en tidligere FFI-rapport, finnes det ikke en generisk stordatainfrastruktur som passer alle brukstilfeller: Hvilke komponenter infrastrukturen består av bør dikteres av de karakteristiske trekkene ved det problemet som skal løses. Infrastrukturen som blir utforsket i denne rapporten, er heller ikke noe unntak ettersom den ble satt sammen for å løse en bestemt nyhetsanalysecase. Rapportens viktigste bidrag er å gi et eksempel på hvordan man kan utnytte stordatateknologier (basert på åpen kildekode) fra sivil sektor i det militære domenet for å legge til rette for økt, kontrollert datagjenbruk Dette støtter hypotesen om at dette kan gjennomføres, og rapporten kan være nyttig informasjonsgrunnlag når man vurderer forskjellige tilnærminger for å håndtere informasjonsforvaltning i en militær kontekst.