Operationele Research: MultiCriteria Analyse (MCA)

Multicriteria Analyse (MCA)

Achtergrond

Multicriteria analyse (MCA) is een aanpak van evaluatie- en beslissingsproblemen die een bijzonder kenmerk heeft: je houdt expliciet rekening met verschillende beoordelingsaspecten en belangen die niet allemaal even belangrijk hoeven te zijn en dus niet alle even zwaar hoeven mee te tellen in een eindoordeel. Wij gaan er hierbij vanuit dat er twee of meer keuzemogelijkheden zijn, anders valt er immers weinig te kiezen en te beslissen; ook de beslissing om je morgenochtend eens niet te scheren heeft twee keuzemogelijkheden: wel doen of niet doen elk met eigen (on)aantrekkelijke gevolgen. Eigenlijk hebben de meeste dagelijkse problemen, klein of groot, in het privédomein of bedrijfsleven of in de beleidsmatige overheidssfeer, dat meervoudige kenmerk. Soms echter is er één aspect of belang dat allesoverheersend en dus bepalend is voor het eindoordeel: bijvoorbeeld de laagste kostprijs, de snelste vervoersmogelijkheid, of de kortste afstand.

Het besef dat zelfs dagelijkse beslissingen uit afwegingen tussen verscheidene en van elkaar verschillende beoordelingsaspecten bestaan, valt al te lezen in een brief die de van oorsprong Engelse maar later naar Amerika verhuisde uitgever/drukker/wetenschapper/diplomaat (en medeopsteller van de Amerikaanse Onafhankelijkheidsverklaring) Benjamin Franklin in 1772 schreef aan de Britse theoloog/filosoof/wetenschapper en politiek theoreticus Joseph Priestly. De laatste zat met een probleem: hij kreeg een nieuwe baan aangeboden die weliswaar aantrekkelijk was maar zijn lopende betrekking was dat eigenlijk ook, dus wat te doen? Een probleem met slechts twee alternatieven, maar volgens Franklin toch een soort van problemen die “are difficult chiefly because while we have them under consideration all the reasons pro and con are not present to the mind at the same time; but sometimes one set present themselves, and at other times another, the first being out of sight. Hence the various purposes or inclinations that alternately prevail, and the uncertainty that perplexes us.” [zie referentie]
Franklin gaf hem advies op welke wijze tot een beslissing te komen: schrijf op een vel papier op de ene helft onder “Pro” alle argumenten om het wel te doen en op de andere helft onder “Con” de argumenten om dat niet te doen; neem hier de tijd voor en als de lijsten compleet lijken, ga dan de argumenten tegen elkaar wegstrepen waarbij je kijkt hoeveel argumenten op de ene helft (één of meer) steeds opwegen tegen een argument op de andere helft; de helft waar nog argumenten over zijn, bepaalt wat je doet (hopelijk zijn ze niet allebei volledig weggestreept!). Dit noemde hij “Moral or Prudential Algebra“. Tegenwoordig noemen we dat (een eenvoudig-heuristische vorm van) multi-criteria analyse.

Vanaf de jaren ’60 van de vorige eeuw zijn veel methoden en technieken en zelfs complete theorieën tot ontwikkeling gekomen om multi-criteria problemen te lijf te gaan. Daarbij werd ook aandacht besteed aan het soort informatie dat beschikbaar was of zou moeten komen: kwantitatief (dus in de vorm van getallen uit metingen of als resultaat uit afzonderlijke deelstudies) of kwalitatief (in de vorm van meningen van personen of minder harde studieresultaten), of, meestal, een mix van beide. Ook werden methoden ontwikkeld om die informatie op een voor elk soort criterium geschikte meetschaal uit te drukken.
De factor mens speelt een belangrijke rol speelt bij de afwegingen, in het bijzonder bij het bepalen hoe belangrijk elk beoordelingsaspect is. En dus hoe zwaar de informatie die bij elk aspect hoort moet meetellen bij de vereiste synthese. Vele wetenschappers hebben hun eigen visie op hoe dat in het werk gaat of zou moeten gaan. Dit is de reden waarom de meeste van die theorieën van elkaar verschillen in de manier waarop subjectieve informatie wordt verwerkt, hoe onzekerheid moet worden behandeld, welke betekenis verschillen tussen beoordelingen in dit verband hebben, en eigenlijk om te beginnen: hoe je personen (experts, belanghebbenden) op zinvolle wijze uitspraken ontlokt over waardering en belang.
Ook de mate van wiskundigheid (het “mathematisch gehalte”) van de methoden en technieken verschilt; ogenschijnlijk zeer kwalitatieve methoden verbergen vaak complexe wiskunde om tot wetenschappelijk verantwoorde syntheseresultaten te komen. Er zijn inmiddels hele “scholen” ontstaan die elkaar maar moeizaam kunnen vinden – figuurlijk dan, want conferenties en symposia en kritische wetenschappelijke publicaties zijn er genoeg.

MCA bij TNO

Bij TNO op de Waalsdorpervlakte zijn in de jaren ’70 en ’80 door de afdeling Operations Research de eerste schreden gezet op dit gebied. Dit begon met bestudering van vooral de Franse ELECTRE-methoden en de Amerikaanse Analytic Hierarchy Process (AHP)-methode (“methode Saaty”): in veel opzichten geheel verschillende benaderingen. Door contacten met diverse universiteiten en congresbezoek, gebruik van software die voor deze methoden was ontwikkeld (maar in die tijd nog tamelijk primitief in vergelijking met die van nu), en zelfs ook de oprichting en voorzitterschap van een Nederlandse Werkgroep voor MCA, kon de kennis worden uitgebreid.
Inmiddels werden in die jaren ook al mondjesmaat studies in het kader van het Defensie Materieel Proces gedaan: bijvoorbeeld Vervanging Wielvoertuigen Koninklijke Landmacht, aanbesteding Netherlands Armed Forces Integrated Network (NAFIN), behoeftestelling Short Range Air Defence systemen (SHORAD).

De potentie van de MCA werd echter steeds beter onderkend, en ook de behoefte aan flexibele software die niet slechts één methode bood maar een scala aan methoden, nam toe. Daarbij kwam ook de behoefte om een soort overkoepelende analyse te kunnen doen die resultaten van deelstudies bij elkaar zou kunnen brengen: een zogenaamd “Top-model”. In de jaren ’90 werd gestart met de ontwikkeling van het eigen softwarepakket “TOPSystem” (The Option Preferred System, of kortweg “TOPSYS”). Hoewel dit een bij wijlen moeizaam ontwikkelings-, verbeterings- en uitbreidingstraject is geweest van vele jaren en veel geld, zijn er grootse studies mee ondersteund gedurende meer dan 20 jaar (!).
Maar ook zonder TOPSYS is veelvuldig MCA-expertise ingebracht in studies. Als bijproduct van de MCA expertise bij TNO op de Waalsdorpervlakte zijn veel publicaties in (al dan niet gerefereede) tijdschriften gepubliceerd. Ook is onderwijs in MCA gegeven aan Defensie onderwijsinstellingen en de Universiteit van Nijmegen en zijn interne colloquia gehouden om de bekendheid van MCA te verhogen.

MCA bij TNO na het millennium

Voorbeelden van studies vanaf zo ongeveer 2000 zijn vooral als verwervingsprojecten in het kader van het Defensie Materieel Proces te vinden: bijvoorbeeld Stinger raketten, Future Ground Based Air Defence System (FGBADS), Medium-altitude long-endurance unmanned aerial vehicle (MALE-UAV), torpedosystemen, vervanging F-16 jachtvliegtuigen, geïntegreerde gevechtshelmen, enz. Ook meer strategisch-beleidsmatige kwesties werden met MCA ondersteund: bijvoorbeeld concepten voor landoperaties in 2020, relatief strategisch belang van militaire functies en capaciteiten, prioritering van het defensieonderzoek, beoordeling van de samenwerkingspotentie met andere landen ten aanzien van defensieonderzoek, prioriteren van concepten rond niet-letale wapens, organisatiealternatieven rond de positie van de Chef Defensie Staf, enz.

In een brainstorm met behulp van bijvoorbeeld post-its worden aspecten gegenereerd die kunnen dienen als beoordelingscriteria.

Tevens werd MCA-kennis ingebracht in civiele projecten: bijvoorbeeld de selectie van telecommunicatieproviders ten behoeve van de overheid en de impactbeoordeling van scenario’s voor aantasting van de nationale veiligheid (de “Nationale Risico Beoordeling” die in 2009 door de OESO tot internationaal “best practice” werd benoemd samen met de nationale risicobeoordelingsmethode van het Verenigd Koninkrijk).

Voor een (fictieve) probleemsituatie waarin plannen moeten worden beoordeeld ter verbetering van de lange termijn winstpositie van een bedrijf, worden de beoordelingsaspecten eerst vastgesteld en vervolgens gerangschikt in een geschikte hiërarchische structuur. De lagergelegen criteria bepalen de hoger gelegen en er zijn op deze manier groepen criteria onderscheiden. De criteria worden onderling naar belang gewogen ( gewichten) en de alternatieve verbeterplannen worden beoordeeld op de onderste laag criteria ( scores). De informatie wordt via één of meer MCA-rekenmethoden samengevoegd tot een eindoordeel. — Voor een (fictieve) probleemsituatie, waarin plannen moeten worden beoordeeld ter verbetering van de lange termijn winstpositie van een bedrijf, worden de beoordelingsaspecten eerst vastgesteld en vervolgens gerangschikt in een geschikte hiërarchische structuur.

De lagergelegen criteria bepalen de hoger gelegen en er zijn op deze manier groepen criteria onderscheiden. De criteria worden onderling naar belang gewogen (=gewichten) en de alternatieve verbeterplannen worden beoordeeld op de onderste laag criteria (=scores). De informatie wordt via één of meer MCA-rekenmethoden samengevoegd tot een eindoordeel.

De zogenoemde scorekaart: beoordelingen van de alternatieven op de onderste laag criteria

De ervaring heeft geleerd dat veel opdrachtgevers argwaan koesteren ten aanzien van de waarde van MCA: je krijgt eruit wat je wilt, het is toch allemaal subjectief, enz. Ondanks de kern van waarheid die hier in zit, is onze boodschap toch steeds geweest dat je wel degelijk op objectieve wijze met subjectiviteit kan omgaan. Vooral de software helpt om de vaak ingewikkelde afwegingshiërarchieën van criteria te visualiseren en door te rekenen, de gevolgen te laten zien van afwijkende meningen over bepaalde informatie (bijvoorbeeld de gewichten van criteria die aangeven hoe zwaar iets moet meetellen in een eindoordeel) en of iets andere beoordelingswaarden op een specifiek criterium er werkelijk iets toe doen (bijvoorbeeld of alternatief-X dan nog steeds op de 1^e plaats blijft staan).

Het bleek steeds van belang om transparant en grafisch te laten zien hoe informatie wordt verwerkt tot een eindoordeel, dat daarbij wetenschappelijke principes worden gevolgd, en gevolgen van meningsverschillen voor de einduitkomst kunnen worden onderzocht.

De einduitkomst per alternatief op het "topcriterium" LT Winst op een gestandaardiseerde schaal. Vergelijkbare plaatjes kunnen voor elk tussengelegen criterium worden gemaakt, dus per groep criteria — De einduitkomst per alternatief op het “topcriterium” LT Winst op een gestandaardiseerde schaal. Vergelijkbare plaatjes kunnen voor elk tussengelegen criterium worden gemaakt, dus per groep criteria.

Voorbeelden van gevoeligheidsanalyses — Voorbeeld van gevoeligheidsanalyse rond drie verschillende verbeterplannen

Voorbeeld van gevoeligheidsanalyses — Voorbeeld van gevoeligheidsanalyse

Voorbeeld van een vergelijking van de eindoordelen van individuele (gekleurde) experts ten opzichte van het (blauwe) groepsgemiddelde. Het betrof een analyse van argumenten voor het wel (rechts) of niet (links) intensiveren van een specifiek (defensie)onderzoeksgebied.

Impressie van de hiërarchie van criteria die is opgesteld ter definitie van de systeem-effectiviteit van de kandidaten voor de vervanging van de F16; deze criteria zijn gebruikt voor hun beoordeling. Het eindoordeel samen met een gevoeligheidsanalyse die onzekerheidsgrenzen rond dat eindoordeel opleverde, is met behulp van MCA gedaan — Impressie van de hiërarchie van criteria die is opgesteld ter definitie van de systeemeffectiviteit van de kandidaten voor de vervanging van de F16. Deze criteria zijn gebruikt voor hun beoordeling. Het eindoordeel samen met een gevoeligheidsanalyse die onzekerheidsgrenzen rond dat eindoordeel opleverde, is met behulp van MCA gedaan.

Voorbeeld van een scorekaart uit de Nationale Risicobeoordeling waarbij scenario's van aantasting van de nationale veiligheid worden beoordeeld op tien impactcriteria — Voorbeeld van een scorekaart uit de Nationale Risicobeoordeling waarbij scenario’s van aantasting van de nationale veiligheid worden beoordeeld op tien impactcriteria.

Een ander voorbeeld uit de Nationale Risicobeoordeling, waarbij de beoordeling van 13 scenario's op 10 impactcriteria in de vorm van een grafische scorekaart (spider web) wordt weergegeven — Een ander voorbeeld uit de Nationale Risicobeoordeling, waarbij de beoordeling van 13 scenario’s op tien impactcriteria in de vorm van een grafische scorekaart (spider web) wordt weergegeven.

Voorbeeld van een risicodiagram uit de Nationale Risicobeoordeling (uit het 2011 rapport, Analistennetwerk Nationale Veiligheid, RIVM). De verticale as geeft de eindscore van de scenario's weer, bepaald met behulp van een MCA van hun impact op de nationale veiligheid volgens een aantal criteria (zie vorige plaatjes). De horizontale as geeft een inschatting van hun waarschijnlijkheid van vóórkomen weer — Voorbeeld van een risicodiagram uit de Nationale Risicobeoordeling (uit het 2011 rapport, Analistennetwerk Nationale Veiligheid, RIVM). De verticale as geeft de eindscore van de scenario’s weer, bepaald met behulp van een MCA van hun impact op de nationale veiligheid volgens een aantal criteria (zie vorige plaatjes). De horizontale as geeft een inschatting van hun waarschijnlijkheid van vóórkomen weer.

Referenties

“From Benjamin Franklin to Joseph Priestley, 19 September 1772”, Founders Online, National Archives, version of January 18, 2019, https://founders.archives.gov/documents/Franklin/01-19-02-0200.
[Original source: The Papers of Benjamin Franklin, vol. 19, January 1 through December 31, 1772, ed. William B. Willcox. New Haven and London: Yale University Press, New Haven and London, 1975, pp. 299–300.]
Overzicht project Nationale Risico Beoordeling/Nationaal VeiligheidsProfiel.
TNO Pamflet Multi Criteria Analyse.

Met dank aan

Diederik Wijnmalen, jarenlang trekker van de TNO MCA-researchactiviteiten.