Hvordan har produktivitet i Forsvarsmateriell utviklet seg? – modellering og analyse

Abstract

For å måle effekten av forbedringsarbeid i en organisasjon må vi forstå forholdet mellom innsats-faktorer og produksjon, altså produktivitet. I Forsvarsmateriell er det tre momenter som har gjort det vanskelig å analysere produktivitet: For det første er det ikke definert hva som er etatens produkter og tjenester. For det andre er leveransene Forsvarsmateriell står for, gjerne et resultat av komplekse prosesser. For det tredje omsettes ikke produksjonen i markeder, og produktene har derfor ikke priser som signaliserer hvilken verdi forskjellige leveranser har opp mot hverandre og for samfunnet. Vi foreslår å bruke dataomhyllingsanalyse som metode for å imøtekomme disse utfordringene. Denne metoden gir fleksibelt valg av innsatsfaktorer og produkter og belager seg dessuten ikke på at det må være kjent hvordan priser eller mekanikker gjør innsatsfaktorer om til produkter. Dette gjør metoden ypperlig for å måle produktivitet i komplekse organisasjoner som opererer utenfor markedet, slik som Forsvarsmateriell. I denne rapporten benytter vi dataomhyllingsanalyse til å estimere produktivitet på investerings-området i Forsvarsmateriell i perioden 2018 til 2023. Vi illustrerer hvordan denne modellen kan benyttes for å anslå utviklingen i produktivitet og objektive normer for produktivitet. Vi benytter detaljerte data på registrerte milepæler i investeringsprosjekter for å approksimere produksjonen. Vi benytter detaljerte data på registrerte milepæler i investeringsprosjekter for å beregne produksjonen. Spesifikt benytter vi milepælene som representerer fire leveranser som Forsvars-materiell har ansvar for: produksjonen av sentrale styringsdokumenter, utarbeidede konkurranse-grunnlag og kontraktsigneringer, fremsendte materielloverføringsprotokoller og terminerings-rapporter. På innsatsfaktorsiden benytter vi kostnader tilknyttet arbeidskraft (fastlønn, overtid, til-legg, annen lønn og konsulentkostnader), kostnader knyttet til kapital (hus- og maskinleie, avskrivninger, vedlikehold og drift) og arbeidstimer i prosjekter. Resultater fra seks modeller antyder at Forsvarsmateriell har hatt en positiv produktivitetsutvikling i perioden 2018 til 2023. Dette stemmer med forståelsen vår av hvordan produktiviteten har utviklet seg i etaten, og vi diskuterer produktivitetsendringene i lys av annen forskning på og andre analyser av drivere av produktivitetsendringer i Forsvarsmateriell. Videre finner vi at produktivitetsendringene har liten sammenheng med rapportert resultatoppnåelse. Samtidig er estimatene på produktivitet usikre på grunn av lav kvalitet på dataene fra tidlige perioder og grov-kornede data på innsatsfaktorbruk for deler av perioden. I tillegg er det heller ikke justert godt for kvalitetsforskjeller i produksjonen. Vi anbefaler at Forsvarsmateriell viderefører måling og analyse av produktivitet slik som det er gjort i denne rapporten. Modellen bør utvides til å inkludere de andre områdene Forsvarsmateriell har ansvar for, spesielt forvaltningsområdet. Et første steg er å samle data og inkorporere tilsyns-aktivitet og avdekkede avvik i modellen. Vi anbefaler også at modellen videreutvikles til å inkludere kvalitetsindikatorer for produkter og tjenester som leveres både på investeringsområdet og forvaltningsområdet.

To assess the impact of efficiency, quality, and effectiveness initiatives in an organization, it is crucial to grasp how inputs and outputs relate, defining productivity. In the Norwegian Defence Material Agency (NDMA) it has proven difficult to analyze this relationship. Three aspects make productivity analyses difficult: First, it is unclear which deliveries are to be considered final products or services. Second, NDMA delivers a spectrum of products and services, many of which require complex processes to be produced. Third, the value of each product or service must be known to derive the total factor productivity, but as NDMA operate outside of markets, prices—a natural approximation of value—is absent. Data envelopment analysis, or DEA for short, can be used to overcome these issues. DEA provides considerable flexibility in selection of inputs and output. Moreover, the absence of prices or prior knowledge of the complexity of production is not an issue in DEA. Consequently, DEA can be used to assess productivity in NDMA. In this report, we use DEA to estimate productivity in NDMA’s investment activities from 2018 to 2023. We illustrate how a DEA model can be used to examine trends in productivity and identify best-practice periods. We use data on registered milestones in investment projects to approximate production. We focus on four milestones: production date of project initiation documents, date of contract signing, date of material deliveries, and production date of project termination reports. When it comes to input, we gather and use data relating to labor and capital costs as well as hours worked in investment projects. Inputs and outputs are varied in six different DEA models. We find that NDMA has increased its productivity from 2018 to 2023. This aligns with our general understanding of the productivity trend in the organization. We discuss the changes in light of other research and analyses relating to productivity in NDMA. Our findings also indicate that productivity and goal attainment, as reported tertially by NDMA, are largely unrelated. However, our findings should be interpreted with some caution due to limitations in the data. Most notably, our analysis suggest that the quality of the data is low prior to 2020. Moreover, due to high variance, several productivity estimates do not differ significantly from each other. Lastly, we do not have data that allow us to adjust for quality differences in production, which could mean that productivity is not being adequately measured. We advocate the continuation of performance and efficiency measurement in NDMA, and further development of the model presented in this report. First and foremost, other deliverables that NDMA are responsible for, such as those relating to material readiness, should be included in the model. A first step would be to gather data on, and include in the model, the number of material inspections NDMA undertakes as well as any findings of non-compliance. We also view the lack of quality indicators as a severe limitation to our analysis. As such we recommend that quality indicators be developed and measured.