In nummer 7/11 van het Tijdschrift voor de Politie staat een interview met prof dr Peter van Koppen. Daarin geeft hij onder meer kritiek op een evaluatieonderzoek naar Burgernet, dat is verricht onder leiding van prof dr Kees van der Vijver. In onderstaand artikel reageert Van der Vijver op Van Koppen.
In nummer 7/11 van het Tijdschrift voor de Politie staat een interview met Peter van Koppen. Daarin geeft hij onder meer kritiek op een onder mijn leiding verricht evaluatieonderzoek naar Burgernet. Hij begrijpt niet dat Burgernet landelijk wordt geïmplementeerd op basis van de resultaten van een onderzoek waarbij geen controlegroep is gebruikt. Op die manier kun je immers de effectiviteit van Burgernet onmogelijk vaststellen, zo luidt zijn commentaar.
Helaas heb ik het betreffende nummer van het TvdP wat later gelezen waardoor mijn reactie op zich heeft laten wachten. Omdat Burgernet als een belangrijke ontwikkeling wordt beschouwd waarin veel tijd, geld en energie is gaan zitten, lijkt het mij toch belangrijk om alsnog te reageren. Ik realiseer mij dat ik Van Koppen niet zal overtuigen. Die is gewoon tegen dat systeem. Hij heeft er eerder merkwaardige en (bij hem niet ongebruikelijk) badinerende uitspraken over gedaan. Zo werd hij, om commentaar gevraagd naar aanleiding van de implementatie van Burgernet in Kennemerland, in het Haarlems Dagblad geciteerd met onder meer de uitspraken dat de politie er lui van wordt en de burger bang. Hoe hij daaraan komt liet hij wijselijk in het midden. Zijn uitspraken worden in geen enkel opzicht geschraagd door onderzoek. Dat laat, voor zover het om angst gaat, juist zien dat burgers die deelnemen aan Burgernet minder angstgevoelens rapporteren. En de opmerking dat de politie er lui van wordt is zo onzinnig dat ik die verder maar onbesproken laat. Het gaat mij er vooral om dat degenen die op welke wijze dan ook aan Burgernet bijdragen weten dat zijn kritiek op het onderzoek onterecht is en dat de conclusies van het onderzoek destijds voor de stuurgroep voldoende waren om de minister te adviseren door te gaan met de invoering van het systeem. Degenen die zich uitgebreid op de hoogte willen stellen van de resultaten kunnen het rapport inzien op of downloaden van de website smvp@smvp.nl.
Van Koppen’s kernprobleem is dat er geen controlegroep is gebruikt. Een merkwaardig probleem, want het klopt niet. Er is wel degelijk een controlegroep gebruikt. Wij hebben in ons onderzoek de deelnemers aan Burgernet uitgebreid vergeleken met niet-deelnemers in dezelfde gemeenten, onder meer op angstgevoelens, de mate waarin onveiligheid als een probleem wordt ervaren en oordelen over de politie en de gemeente. Beide groepen hebben wij aan zowel het begin als aan het einde van de proefperiode geënquêteerd. De uitkomsten daarvan zijn in de rapportage verwerkt.
Wat wij niet hebben gedaan is het gebruik maken van een controlegroep om een vergelijking te maken qua effectiviteit in de opsporingsresultaten tussen gebieden die wel Burgernet gebruiken en gebieden die geen Burgernet gebruiken. Daar hebben wij heel bewust van afgezien omdat het een volstrekt zinloze (en dure) uitbreiding van het onderzoek zou hebben betekend. Wij hebben, als het om effectiviteit gaat, in de proefperiode in de negen deelnemende proefgemeenten 18 gevallen van succes kunnen vaststellen die met aan zekerheid grenzende waarschijnlijkheid konden worden gedefinieerd als een ‘zuiver’ effect van Burgernet. Dat betekent dat in 9% van het aantal inzetten een opsporingsresultaat werd behaald en dat voldeed aan de norm van de stuurgroep – een vaststelling waarvoor geen controlegroep nodig is. Wat wij niet hebben vastgesteld (en wat ook onmogelijk valt vast te stellen, ook als je wel een controlegroep hebt) is in hoeveel van die 18 gevallen het succes later alsnog zou kunnen zijn geboekt en tegen welke investeringen. En evenmin is vast te stellen of in gemeenten zonder Burgernet een even groot aantal successen zou zijn geboekt. Gelet op de aantallen inzetten, de aantallen successen, de diversiteit (zowel aan situaties als aan incidenten) en de spreiding is dat onmogelijk op een betekenisvolle manier te meten. Een controlegroep was wat dit betreft zinloos geweest. Evenmin had een controlegroep zin als het gaat om mogelijke verbanden aan te tonen met veranderingen in bijvoorbeeld surveillancepatronen of verplaatsingseffecten. Burgernet heeft daarop immers geen enkele invloed en beoogt dat ook niet. Of het bij effectiviteit nu gaat om extra resultaten in de sfeer van opsporingsresultaten of om het uitsparen van kosten, het werken met een controlegroep helpt niet om daarover uitspraken te doen.
Effectiviteit heeft in ons onderzoek dus wel een rol gespeeld, maar op een andere manier dan Van Koppen kennelijk voor zinvol houdt. De stuurgroep die als opdrachtgever optrad had een aantal normen geformuleerd als criterium om vast te stellen of Burgernet voldoende effectief was. Eén ervan is, ik noemde het al, het percentage opsporingsresultaten, een norm die in de proefperiode ruimschoots werd gehaald. Er waren er meer, zoals normen voor het aantal keren dat Burgernet in de praktijk wordt gebruikt (het aantal inzetten), het aantal deelnemers aan Burgernet, hun tevredenheid met het systeem en hun bereidheid om te blijven participeren na afloop van de proef, et cetera. De toetsing aan die normen wordt uitgebreid beschreven in het rapport. Daarbuiten hebben wij aandacht besteed aan de ontwikkeling van angstgevoelens, de tevredenheid over de politie en de gemeente en aan de manier waarop Burgernet in de verschillende korpsen werd geïmplementeerd. En de toetsing van al die resultaten aan de normen van de stuurgroep heeft ertoe geleid dat er een positief advies kwam op basis waarvan tot een landelijke invoering werd besloten. Een volstrekt legitieme en wetenschappelijk verantwoorde benadering van dit type evaluatieonderzoek, en ook nog eens correct gebruikt bij de besluitvorming.
Overigens is bij de invoering van een systeem als Burgernet helemaal maar de vraag in hoeverre effectiviteit een doorslaggevend criterium moet zijn. De eventuele invoering wordt immers niet alleen bepaald door hoe effectief het precies is en hoe rendabel. Er spelen ook hele andere overwegingen een rol. Het responsibiliseren van burgers is op dit moment een breed gedragen beleidsdoel en daarin past Burgernet heel goed. Dat kan op zichzelf al voldoende reden zijn te kiezen voor een dergelijk systeem. Beleidsrelevantie wordt immers niet alleen bepaald door effectiviteit maar ook door het antwoord op de vraag welke kant een samenleving op een bepaald moment uit wil met de veiligheidszorg.
Kortom: waar het mogelijk was hebben wij een controlegroep gebruikt en waar wij dat niet hebben gedaan waren daarvoor goede gronden. Ik weet dat psychologen graag met controlegroepen werken. Maar dat betekent niet dat onderzoeken die worden gebaseerd op andere uitgangspunten bij voorbaat bij het grof vuil moeten worden gezet. Het zal Van Koppen sieren als hij stopt met zijn onterechte kritiek.
Kees van der Vijver
Stichting Maatschappij, Veiligheid en Politie
