Navigation – Plan du site

AccueilNumérosVolume 8 Numéro 2Dossier : La nature des sciences ...Évaluation de la qualité de la co...

Dossier : La nature des sciences de l’environnement : quels enjeux théoriques, pour quelles pratiques ?

Évaluation de la qualité de la connaissance dans une perspective délibérative

Knowledge Quality Assessment in a Deliberative Perspective
J van der Sluijs, Jean-Marc Douguet, M O’Connor et Jerry Ravetz

Résumés

Cet article propose une vision des démarches d’évaluation de l’adéquation de la connaissance scientifique dans des situations d’incertitude forte et irréductible en recourant à des processus délibératifs élargis. Dans l’optique de la Science Post-Normale, la démarche s’appuie, d’un point de vue épistémologique, sur l’articulation des approches scientifiques et de sciences sociales pour définir la qualité intrinsèque de la connaissance et sa pertinence dans des contextes sociaux, culturels et politiques différents.

Cet article présente un outil de contrôle de la qualité de la connaissance et de « bonnes pratiques » scientifiques (NUSAP). La question de la pertinence de la connaissance, qu’elle soit scientifique ou vernaculaire, s’intègre dans un processus multidimensionnel délibératif, associant divers acteurs, critères, échelles, sites… et portant sur les indicateurs et sur les orientations politiques à travers la Foire Kerbabel™ aux Indicateurs et la Matrice Kerbabel™ de Délibération.

Haut de page

Texte intégral

1Les évaluations scientifiques des risques complexes tels que le changement de climat, la perte de biodiversité, l'épuisement des ressources naturelles, les nanotechnologies, ou les perturbateurs endocriniens sont confrontées à un certain nombre d’incertitudes qui revêtent des formes diverses, difficilement appréhendables, de manière efficace, dans la pratique. Pourtant des décisions doivent être prises, et ce, avant que des preuves concluantes soient disponibles, en sachant que les impacts potentiels de mauvaises décisions peuvent être tout aussi importants.

2Selon la conception classique du conseil scientifique aux décideurs, la certitude est nécessaire à la gestion des problèmes complexes. Cependant, l’incertitude fait partie de la vie. Les évaluations scientifiques doivent intégrer l'information allant de l’ensemble de connaissances scientifiques bien établies aux conjectures intuitives, aux modèles préliminaires, aux hypothèses expérimentales. Dans de tels contextes, l'incertitude ne peut, la plupart du temps, pas être réduite par des recherches additionnelles ou par des expertises comparatives guidées par la recherche d’une interprétation consensuelle des risques. Plus de recherche peut au contraire conduire à plus d'incertitudes, affaiblir la preuve et, par voie de conséquence, aggraver la polémique. Analyser « techniquement » l'incertitude ou simplement feindre la recherche d’interprétations consensuelles de preuves peu concluantes, n’est donc pas suffisant.

3Les études en sciences sociales sur les expertises scientifiques montrent que dans beaucoup de problèmes complexes, les processus suivis, tant au sein de la communauté scientifique qu'entre elle et les décideurs, les parties prenantes et les autres membres de la société, pour l’évaluation des connaissances scientifiques jouent un rôle déterminant dans la façon dont elle est reçue en tant que base commune pour l'action (Ravetz, 2005 ; Douguet et al., à paraître ; Barnes et Edge, 1982)

4C’est dans cette perspective que cet article se situe en posant la question de la validité et de la pertinence de la connaissance scientifique pour traiter de problèmes complexes. Cette question donne lieu à tout un ensemble de réflexions et de formalisations, qui s’identifie en tant que tel autour de la notion de « contrôle de la qualité de la connaissance ». La nouveauté qu’introduisent ces réflexions est qu’au-delà de ses pratiques habituelles visant à identifier et évaluer de façon rigoureuse les incertitudes relatives à la production et la structuration de la connaissance, l’activité scientifique doit prendre en considération cette notion et trouver les modalités de son intégration dans la démarche d’acquisition des connaissances. On doit souligner l’importance du changement de posture que suppose cette intégration, dans la mesure où invoquer la nécessité d’un « contrôle de la qualité » de la connaissance implique une communauté de pairs élargie par l’intermédiaire d’un processus délibératif au sein de la société. Ce qui conduit, fait également à souligner, à s’interroger sur la pertinence de ces connaissances dans des contextes sociaux, culturels et politiques variés.

5Trois outils proposant des méthodes d’évaluation de la qualité et de leur pertinence seront présentés et discutés. En guise de conclusion, sera introduite une discussion sur la recherche de sens, de partage et de communication de la connaissance.

Vers une identification des formes d’incertitude

6Le politique voit dans l'incertitude associée des connaissances scientifiques une entrave à l’évaluation et à l’exercice de prospective qu’il lui revient de faire lorsqu’il est confronté à des problèmes complexes. Dans son face-à-face avec la recherche, trois facteurs interdépendants entrent en ligne de compte : l’incertitude dans la base des connaissances, les différences dans la façon de poser le problème et les insuffisances dans  dispositifs institutionnels régissant l'interface entre les politiques et les scientifiques (Craye et al., 2005). Les méthodes traditionnelles d'appréhension de l’incertitude, telle que l'analyse de Monte Carlo par exemple, ne sont pas appropriées à de telles évaluations.  En effet, les cas de figure considérés se caractérisent par des incertitudes non quantifiables. Et celles-ci tendent même à dominer les incertitudes quantifiables, car elles ont trait à la structuration même du problème et des modèles, aux hypothèses, aux frontières du système, à ses indéterminations, et aux valeurs sociales et politiques sous-jacentes.

7Bien qu’essentielles dans toute analyse de l'incertitude, les techniques quantitatives (voir Saltelli et al., 2000, 2004) ne peuvent suffire. En effet, ses dimensions sont multiples et pas seulement du ressort du quantitatif. Elles sont d’ordre technique (inexactitude), méthodologique (manque de fiabilité), épistémologique (ignorance) et social (robustesse sociale) (Funtowicz and Ravetz, 1990; Nowotny, 1999).  De plus, chacune d’elles peut être appréhendée à différents niveaux, que ce soit lors de la structuration du problème, du choix de l'indicateur, des hypothèses et des paramètres du modèle, et des données (Van der Sluijs, 1997). Les méthodes d’évaluation quantitative se focalisent sur la seule dimension de l’inexactitude et, en pratique, leur application est même habituellement limitée aux incertitudes au niveau des données et des paramètres (Van der Sluijs, 1997). Or, dans de nombreux problèmes écologiques complexes, c’est des autres dimensions que découle pour l’essentiel l'incertitude. L’évaluation quantitative n’a donc qu’une portée limitée. D’où l’intérêt de la compléter par de nouvelles approches traitant des dimensions qualitatives de l'incertitude, difficiles à mesurer et largement sous-estimées : le Contrôle de la Qualité de la Connaissance et des Bonnes Pratiques.

Le Contrôle de la Qualité de la Connaissance et des Bonnes Pratiques

8Bien que les développements récents concernant la question de l'« ignorance » ne soient pas très connus de lui, le public est largement conscient du risque que surviennent de mauvaises surprises sur le plan environnemental, et des désaccords entre les experts - ou du caractère confus de leurs expertises - lorsqu’il s’agit pour eux de se prononcer sur la nature et les conséquences des accidents qui se produisent. Il est également conscient que la science n’est pas infaillible et que l’avenir en réserve d’autres. La grande question est bien de savoir comment faire au mieux avec les outils dont on dispose, tout en espérant que le mieux sera suffisamment satisfaisant. Mais qu’est-ce que le "suffisamment satisfaisant" ? Quels sont les critères ? Et qui sont les évaluateurs ?

9De même, comment concevoir que l’on puisse parler d’une décision correcte lorsqu’elle porte sur un ensemble de processus systémiques imbriqués les uns dans les autres, chacun ayant sa temporalité propre, et alors que ses effets ne pourront être mesurés que dans des décennies ? Face à une telle situation, nous sommes, en fait, dépourvus des informations permettant le jugement. C’est alors que se pose la question d’une nouvelle façon d’apprécier les démarches scientifiques et technologiques. Et c’est dans cette optique que l’on  introduit dans leur évaluation la notion de « qualité ». Le type de dialogue entre les scientifiques et leurs partenaires ne peut plus être du même ordre. La définition des critères de cette qualité déborde le monde scientifique. Pour concevoir l’évaluation, des avis provenant d’horizons différents peuvent être d’un intérêt non négligeable, au moins pour définir sa structure. Cet élargissement de la communauté des « pairs » associés à l’évaluation a comme premier intérêt d’accroître la légitimité de la démarche. En outre, elle conduit à une information réciproque de participants ayant des domaines de compétence différents. La légitimité des acteurs impliqués dans ces sortes d’audiences élargies devient de plus en plus indépendante de leur statut, elle tient plutôt aux intérêts qu’ils représentent et aux compétences qu’ils ont.

10Le développement de « bonnes pratiques » implique une assimilation des évaluations critiques de la qualité de la connaissance et l’application de critères de qualité articulés les uns aux autres. L’idée n'est pas de juger si un modèle peut être classé comme « bon » ou « mauvais » : les résultats d’une modélisation ne sont en général ni « bons » ni « mauvais » (il est impossible de valider un modèle en pratique), ils sont « plus » ou « moins » pertinents pour un problème particulier. Il s’agit donc plutôt de montrer qu'il existe de « meilleures » et « plus mauvaises » formes de pratique de modélisation. Une bonne pratique dans un domaine donné peut être en contradiction avec les exigences de bonne pratique dans un autre, la solution dépend souvent du contexte (Risbey et al, 2005). Il convient évidemment de se prémunir contre les pratiques qui vont probablement produire des résultats de modélisation pauvres ou inappropriés.

11Sans doute, n’existe-t-il pas de code simple des « bonnes pratiques » (Van der Sluijs, 2005a). Mais, on peut imaginer un dialogue continu entre producteurs et utilisateurs de connaissance, conduisant à une meilleure appréhension et compréhension par chacun des implications de l’utilisation de telles ou telles méthodes, outils, données, etc. Dans cette situation, l'incertitude n'est pas traitée comme un déficit, mais comme une opportunité de partage de connaissances (Funtowicz et Ravetz, 1993 ; Van der Sluijs, 1997, 2002; Craye et al., 2005). Ce dialogue devrait permettre d’inclure les acteurs non-scientifiques et s’inscrire dans un processus tenant compte des différentes perspectives sur la question. La façon de structurer le problème est alors perçue comme un élément crucial de l'évaluation de l'incertitude.

Un diagnostic de l’incertitude

12Le défi de l’introduction de connaissance scientifique dans la perspective d’une gouvernance délibérative est d’être le plus transparent possible dans le traitement de l’incertitude. Différentes institutions à l’interface entre la communauté science et le monde politique, ont adopté des approches d’évaluation de la qualité de la connaissance en réponse à ce besoin émergent. Il s’agit, par exemple, du cas de l’Agence d’Évaluation Environnementale aux Pays Bas (Milieu en Natuur Planbureau, MNP) qui a récemment commissionné l’Université d’Utrecht pour le développement d’un guide pour l’évaluation et la communication de l’incertitude. Ce guide a été réalisé en consultation étroite avec des experts internationaux des questions d’incertitude. Il vise à faciliter le processus de prise en compte de l’incertitude tout au long du processus d’évaluation scientifique. Il met explicitement en évidence les aspects institutionnels du développement de la connaissance, l’indétermination, l’ignorance, les hypothèses, les ‘charges’ de valeurs, permettant un débat de fond au sein de la société.

13Ce guide n’est pas conçu comme un protocole rigide. Tout au contraire, il encourage une approche heuristique favorisant une auto-évaluation systématique et une réflexivité sur les pièges associés à la production et à l’utilisation de la connaissance. Il fournit également un diagnostic permettant de localiser et d’identifier les incertitudes. Le souhait des concepteurs de ce guide est de contribuer à la réalisation de choix en étant plus conscient, plus explicite et mieux documenté.  

14La présentation du diagnostic est suivie, dans le guide, par celle d’un ensemble d’instruments et d’outils (Mini-Checklist, Quickscan, and Detailed Guidance ; Janssen et al., 2005). Cette dernière est destinée à l’usage de praticiens ou de chef de projet. En utilisant « Mini-Checklist » et « Quickscan Questionnaire », l’utilisateur identifie les questions clés qui nécessitent une considération plus importante. Selon la sélection des questions clés, l’utilisateur est amené à utiliser les documents « Hints & Actions » et « Detailed Guidance » pour identifier les pièges et les actions à mener.

15Dans « Mini Checklist », six thèmes sont distingués et pour lesquels une réflexion critique systématique concernant l’incertitude et la qualité de la connaissance peut aider à une meilleure compréhension de la connaissance. Il s’agit de : Structurer le problème ; Participation des acteurs; Sélection des indicateurs ; Évaluation de la base de connaissance ; Cartographie et évaluation des incertitudes pertinentes et Rapport sur les informations relatives à l’incertitude. Le Tableau 1 propose un résumé des questions clés qui nécessite une réflexion systémique pour chacun des six thèmes (Van der Sluijs et al., 2003, Petersen et al., 2003, Janssen et al, 2003).  

Tableau 1. Thèmes et questions clés de l’évaluation de la qualité de la connaissance.

Thèmes

Questions clés

Structuration du problème

Autres points de vue sur le problème, relation avec d’autres problèmes ; délimitation du problème ; rôle des résultats dans le processus politique ; relation avec de précédentes évaluations.

Implication des acteurs

Identification des acteurs ; leur point de vue et leur rôle, les controverses, le mode de participation

Sélection des indicateurs

Système de sélection des indicateurs; indicateurs alternatifs; support pour leur sélection dans le domaine science, sociétal et politique

Évaluation de la base de connaissance

Qualité exigé; limite au niveau des connaissances et des méthodes existantes, Impacts sur la qualité du résultat.

Cartographie et évaluation des incertitudes pertinentes

Identification et prioritisation des incertitudes clés; choix des méthodes pour évaluer l’incertitude; évaluation de la robustesse des conclusions

Rapport sur les informations relatives à l’incertitude

Contexte du rapport; robustesse et clarté des messages principaux; implications politiques de l’incertitude; représentation équilibrée et argumentée pour permettre une découverte progressive des informations relatives à l’incertitude; traçabilité

16Les trois outils présentés ci-dessous illustrent deux perspectives complémentaires d’intégration de l’incertitude dans la gouvernance environnementale. Le premier outil, nommé NUSAP, pose la question de l’aptitude à l’emploi de la connaissance. Son utilisation s’insère dans le questionnement du cinquième thème, Cartographie et évaluation des incertitudes pertinentes, dans le Tableau 1.  L’évaluation interne de la qualité de la connaissance répond à un besoin de documentation de l’incertitude relative à la robustesse, à la rigueur et cohérence de la connaissance.

17Le recours aux outils Kerbabel™ met en évidence plus explicitement les besoins d’apprentissage et de communication de la connaissance scientifique. L’utilisation des ces outils permet de parcourir l’ensemble des thèmes signalés dans le Tableau 1. La Foire Kerbabel™ aux Indicateurs fournit une structure pour une évaluation de la pertinence de la connaissance. La Matrice Kerbabel™ de Délibération révèle quant à elle un ensemble de demandes sociales. Ces démarches vise à établir un dialogue entre les producteurs et les utilisateurs de la connaissance, favorisant une meilleure compréhension du partenariat autour de la connaissance nécessaire à la gouvernance environnementale fondée sur la science (O’Connor, 2006).

NUSAP, un outil d’évaluation de la qualité interne de la connaissance

18NUSAP est un système de notation proposé par Funtowicz et Ravetz (1990), qui vise à fournir une NUSAP est un système de mesure et d’évaluation qui fournit une mesure intégrée de différentes formes d'incertitude inhérentes à la production de connaissances scientifiques (Funtowicz et Ravetz, 1990). Cette démarche permet une appréhension, de manière quantitative et qualitative, de l'incertitude d'une manière normalisée et conviviale. L'idée de base est de qualifier l'information quantitative au moyen de cinq items (d’où l’acronyme NUSAP : Numeral, Unit, Spread, Assessment, Pedigree). Le premier qualificateur est le « Nombre » ; il s’agit habituellement d’un nombre ordinaire ; il peut être, selon les cas, une quantité plus générale, telle que l'expression « million ». Le deuxième qualificateur est l'Unité, de manière conventionnelle. Il peut également contenir des informations supplémentaires, comme la date de l’évaluation. La catégorie Dispersion aborde la question de "l'erreur aléatoire" des expériences ou des variances statistiques. L’évaluation de la dispersion peut être effectuée par des analyses de données statistiques, des tests de sensibilité ou de Monte Carlo. La combinaison avec des regards d’experts est aussi envisageable.

19Si les trois premiers éléments de NUSAP expriment la dimension quantitative de l’analyse, les deux derniers constituent le côté qualitatif. L'Évaluation exprime les jugements qualitatifs de scientifiques et d’experts concernant l'interprétation des informations scientifiques produites. Le jugement « d’optimiste » ou de « pessimiste » pourrait être retenu pour qualifier les résultats issus de tests statistiques. Dans le cas des estimations numériques destinées aux décideurs, c’est la mise en évidence de l'erreur systématique qui importe, l’ordre de grandeur ne pouvant être estimé que de manière rétrospective.

20Le « pédigrée » est exprimé au moyen d'un ensemble de critères pour caractériser le processus de production de l’information scientifique. L'évaluation du pédigrée implique le jugement qualitatif de scientifiques et d’experts. Pour réduire au minimum le caractère arbitraire et la subjectivité de la mesure, une matrice de pédigrée est employée pour coder des jugements experts qualitatifs pour chaque critère, en recourant à une échelle numérique de 0 (faible) à 4 (fort) avec des descriptions linguistiques (modes) à chaque niveau de l'échelle. Chaque type d'information a ses caractéristiques propres à son pédigrée. Ainsi, différentes matrices de pédigrée peuvent être développées pour qualifier différents types d'information en recourant à des critères différents. Le tableau 1 donne un exemple d'une matrice de pédigrée (voir Tableau 1). Van der Sluijs et al. (2005a) fournissent une procédure systématique d’explicitation, d’un point de vue expert, des scores de la matrice de pédigrée.

21L’outil NUSAP a été développé pour appréhender l’incertitude sous différentes formes, complétant l'analyse quantitative par le recours à des jugements de scientifiques et d’experts concernant l‘interprétation (Évaluation) et la fiabilité (Pédigrée) des informations scientifiques produites (Van der Sluijs et al., 2002, 2005a ; Craye et al. 2005). Cette démarche s’est focalisée sur l’incertitude relative aux données et aux paramètres scientifiques, c’est-à-dire au niveau de la robustesse interne de la connaissance scientifique. Le Tableau 2 en fournit l’exemple d'une matrice de pédigrée pour évaluer le processus de production d’un chiffre et pour indiquer les différents aspects sous-jacents et le statut scientifique de la connaissance d’où il provient.

Tableau 2. Matrice de Pédigrée concernant le suivi de données d'émission, (Van der Sluijs et al., 2005b)

Score

Proxy

Empirique

Méthode

Validation

4

Mesure exacte

Large échantillon de mesures directes

Meilleure pratique disponible

Comparée avec des mesures indépendantes des mêmes variables

3

Bonne mesure et adéquation

Faible échantillon de mesures directes

Méthode fiable communément acceptée

Comparée avec des mesures indépendantes des variables proches

2

Bonne corrélation

Modélisé/ dérivé de données

Méthode acceptée avec un minimum de consensus sur la fiabilité

Comparée avec des mesures non indépendantes

1

Faible corrélation

Conjecture avisée / Estimation

Méthode préliminaire dont la fiabilité est inconnue

Validation faible/indirect

0

Pas de relation claire

Pure Spéculation

Pas de rigueur identifiée

Pas de validation

22Le pédigrée est composé de quatre critères à savoir ‘Proxy’ – qui se réfère à la question de la qualité de l’approximation qui est fournie par les quantités que l’on mesure – ‘Qualité Empirique’ – c’est-à-dire le degré d’utilisation des observations directes pour estimer les variables –, ‘rigueur méthodologique’ – en d’autres termes, la qualité et la robustesse de la méthode utilisée – et la ‘validation’ – portant sur l’existence d’anomalies internes dans les données. Pour chacun des critères, une note est attribuée pour qualifier le chiffre étudié.

23Le Tableau 3 fournit un exemple d’application de ce pédigrée à l’évaluation de l’incertitude concernant les émissions de COV (composés organiques volatiles) des peintures au Pays-Bas, (Van der Sluijs et al., 2005b). L’objectif de cette étude était de développer un protocole de remplissage de NUSAP par des experts pour identifier systématiquement les sources d’erreurs et de biais. Le recours à une matrice de pédigrée a permis de qualifier les données et les paramètres en termes de robustesse et de statut scientifique des chiffres et des hypothèses retenus pour le calcul des émissions. Ce calcul est réalisé à partir des statistiques nationales de vente de peinture (NS) pour 5 secteurs d’activités (la construction navale (SHI), la décoration dans le domaine du bâtiment et de l’acier (B&S), les ménages (DIY), l’industrie automobile (CAR) et l’industrie (IND)) ainsi que les hypothèses relatives à une faible utilisation supplémentaire dans chacun des cinq secteurs d’activité (Th%), au niveau forfaitaire de peinture importée et au pourcentage de COV qu’il contient.

Tableau 3. Matrice de pédigrée - présentation détaillée des scores

Tableau 3. Matrice de pédigrée - présentation détaillée des scores

(Code couleur: score <1.4 rouge; 1.4-2.6 orange; >2.6 vert)

24Pour chacun des critères du pédigrée, le groupe d’experts a attribué un score à chaque chiffre fournit. Le cinquième critère, la robustesse, est construit à partir des quatre autres critères ramenés à l’unité. Plus les scores sont importants, plus la valeur de la robustesse est proche de 1.

25Sans entrer dans le détail des résultats de l’étude, l’analyse, par les experts, de l’utilisation de NUSAP, met en évidence l’intérêt de l’outil en termes de prise de conscience de la complexité des enjeux à étudier, de l'incertitude et de l'ignorance. La mise en perspective de l’objectivité de la science a amené les experts à s’interroger sur l’identification des personnes pouvant être considérées comme compétente et reconnue pour traiter de telles problématiques. Plusieurs participants ont suggéré que l'approche soit appliquée de manière plus constructive, notamment lors de la définition des orientations politiques. Cependant, certains considèrent que la méthode est trop orientée par rapport aux préoccupations scientifiques, réduisant la possibilité des citoyens d’interagir et de contribuer à partir de leur connaissance. L'expérience indique également la nécessité de réfléchir sur l'intégration de ces processus et de leurs résultats dans une approche inclusive globale.

Les outils Kerbabel™ : pour une connaissance partagée et une analyse de la pertinence

26La conception des outils Kerbabel™ s’inscrit dans l’optique de l’évaluation intégrée de la connaissance dans le processus de gouvernance environnementale. Ces outils, comme les précédents, constituent des supports pour évaluer la pertinence de la connaissance et identifier les différentes formes d’incertitude qui sont à prendre en compte au cours de processus de délibération. Mais ils vont plus loin. Ils sont au nombre de deux : la Foire Kerbabel™ aux Indicateurs (FKI) et la Matrice Kerbabel™ de Délibération (MKD). Le premier (FKI) répond à la nécessité de s’entendre sur les indicateurs utilisés ; il est conçu pour établir un dialogue autour de leur qualité et de leur pertinence. Il comporte deux volets : une démarche visant à appréhender l’incertitude de la connaissance à travers l’évaluation de sa qualité, ce qui se fait à l’aide de l’outil présenté ci-dessus (voir aussi Van der Sluijs et al., 2003) ; et, par ailleurs, un questionnement sur leur pertinence pour traiter des problèmes complexes en cause. Le second (MKD) élargit la perspective en partant de l’idée selon laquelle la question de l’incertitude ne relève pas seulement du choix et de la qualité des indicateurs utilisés, mais tient aussi à la construction des options pour les futurs, ou des scénarios, et de leur jugement par différentes catégories d’acteurs.

Favoriser le dialogue autour des indicateurs

27La FKI est un outil multimédia regroupant les méta-informations des indicateurs – c’est-à-dire des informations relatives à la description des indicateurs (nom, acronyme, description, interprétation…) et à leur production (nom du producteur, hypothèses retenues, qualité) – produits par les scientifiques, afin d’établir un dialogue entre les producteurs et les utilisateurs des connaissances scientifiques pour évaluer leur pertinence dans des situations de gouvernance de problèmes complexes (O’Connor, 2004). La FKI dresse un « profil » pour chaque catégorie d’indicateur. Celui-ci dépend, de façon dynamique, des contributions faites par les acteurs : en devenant des utilisateurs de la FKI, ceux-ci deviennent parties prenantes de l’exercice. Ils participent ainsi à un processus d’évaluation de la connaissance scientifique mobilisant deux dimensions complémentaires : les considérations scientifiques et techniques habituelles de rigueur, de cohérence et de validation des mesures ; des considérations ayant trait à la pertinence des informations destinées aux utilisateurs, pour traiter d’un problème et pour aider à un apprentissage multi-acteurs.

28La FKI est donc conçue comme un cadre de gestion de données – un système de « méta-informations » – qui facilite un « croisement » de ces deux perspectives complémentaires sur le contenu et la qualité des connaissances.

29Appliquant le principe de la « découverte progressive de l’information » (Guimarães Pereira et al., 2003), les utilisateurs peuvent accéder à l’information scientifique, à travers la navigation multimédia, à partir d’écrans présentant les méta-informations relatives au concept de l’indicateur, au processus de sa production (hypothèses, évaluation de la qualité de la connaissance…), à son évolution dans le temps (selon les scénarios, évaluation de la qualité des simulations réalisées) et à son mode de représentation (sous forme graphique, dans un système d’information géographique ou dans une réalité virtuelle). La démarche proposée par la FKI est complémentaire de celle de l’évaluation de la qualité de la connaissance, au sens où il est possible d’accéder à une documentation concernant la production de l’indicateur, son évolution dans le temps et les résultats des analyses menées à l’aide notamment de NUSAP ou d’autres outils traitant de la qualité interne de la connaissance (voir aussi Van der Sluijs et al., 2005a ; Janssen et al., 2005, Douguet et al., à paraître).

30Une section de la FKI offre, en plus, l’opportunité aux utilisateurs de l’outil d’évaluer la pertinence de l’information ou « son aptitude à l’emploi », et ce, en fonction du contexte d’utilisation. Les différents utilisateurs peuvent participer à la définition de la pertinence de l’information en considérant les questionnements suivants : l’échelle à laquelle elle peut être utilisée, le site pour lequel elle est appropriée, l’enjeu de performance  et les scénarios pour lesquels elle a un sens. En d’autres termes, la FKI propose aux utilisateurs de donner leur jugement sur la pertinence de l’information scientifique pour traiter des enjeux de performance, pour les différentes catégories d’acteurs qui prennent part au processus de délibération, pour les différentes échelles d’organisation auxquelles l’information est utilisée et pour les différents sites étudiés.

31Elle concilie, dès lors, en son sein deux exigences généralement déconnectées l’une de l’autre, si ce n’est opposées l’une à l’autre, concernant les connaissances scientifiques : la nécessité qu’elles soient exprimées de façon à être communiquées, c’est-à-dire socialement partageables, mais aussi la nécessité de leur réinterprétation sociale.

Intégrer l’incertitude dans les débats sur les futurs possibles

Figure 1. Les axes de la Matrice Kerbabel™ de Délibération

Figure 1. Les axes de la Matrice Kerbabel™ de Délibération

32De manière symétrique et complémentaire à la FKI, la Matrice Kerbabel™ de Délibération propose de greffer, sur l’évaluation multicritères et multi-acteurs des propositions d’évolution de la situation pour le futur, un dialogue autour de l’incertitude (O’Connor, 2002). Appréhender le futur nécessite, en effet, de prendre en compte les considérations relatives à l’ignorance de ce qui peut se produire, mais aussi à l’acceptabilité des futurs proposés. La délibération se construit sur la base de trois axes (Figure 1) :

  • les futurs possibles : un nombre limité d’actions et d’options ou de scénarios (l'axe vertical Y, allant du haut vers le bas)  ;

  • les enjeux de performance : un nombre réduit d'axes distincts d'évaluation (en profondeur sur l'axe Z, de gauche à droite)  ;

  • les principales catégories d'acteurs : groupes sociaux, etc. (l'axe horizontal X, allant de gauche à droite).

33Cet outil d'évaluation permet à chaque catégorie d’acteurs d’effectuer un jugement (bon, juste, mauvais, etc.) à propos de chaque option/scénario, en tenant compte de chaque enjeu de performance. Ces jugements produisent une image composite, visualisée en 3D, quelque peu apparentée au fameux Rubik’sTM Cube . Ainsi, à partir d'un angle d'observation, il est possible d’accéder à une tranche de la matrice. Cette dernière représente les évaluations effectuées par une catégorie d’acteurs sur les options/scénarios. En regardant sous un autre angle, on obtient les évaluations des options/scénarios par les différents acteurs par rapport aux enjeux de performance (voir Figure 2). Et ainsi de suite.

34Le processus et les résultats de l'évaluation dans MKD sont établis sous forme de plusieurs niveaux de jugements (choix d’» indicateurs-candidats », signification attribuée à chaque indicateur, poids de chaque indicateur, comparaison globale des options/scénarios par rapport aux enjeux de performance, selon les points de vue des différents acteurs…). L’échange entre ces derniers, lors du processus de délibération et de négociation, peut amener à des modifications dans les choix et les jugements associés à chaque cellule de la Matrice (voir Figure 3).

Figure 2. Tranche d’une Matrice KerBabel™ de Déliberation

Figure 2. Tranche d’une Matrice KerBabel™ de Déliberation

Figure 3. Panier d’indicateurs pour établir un jugement dans la MKD

Figure 3. Panier d’indicateurs pour établir un jugement dans la MKD

35La structure de la Matrice met en évidence les besoins d'information pour, d'une part, représenter la situation et ses possibles évolutions et, d'autre part, effectuer des jugements au sujet de la situation actuelle et, éventuellement, future (par l'intermédiaire d'un ensemble d’indicateurs). Elle fournit un cadre pour une discussion et une évaluation structurées des   évolutions politiques ou de gouvernance face aux différentes formes d'incertitude qui peuvent être associées aux diverses catégories d'informations empiriques, aux modèles et aux résultats de simulation introduits dans la délibération.

D’une recherche de sens à la communication et au partage de la connaissance

36Les problèmes complexes ont des caractéristiques qui nécessitent une approche en termes de science post-normale, au sein de laquelle l’incertitude, les hypothèses et les valeurs sous-jacentes sont explicitées, analysées systématiquement et communiquées. Nous nous sommes interrogés sur l’intérêt de la délibération et d'une approche par le dialogue pour la construction de partenariat de la connaissance. Cette perspective s’insère dans le « modèle de dialogue autour de la connaissance » (O’Connor, 1999). Mais cette « épistémologie du dialogue » a plusieurs facettes. Elles évoquent simultanément un ensemble de dimensions sociales et institutionnelles, notamment les dialogues multi-acteurs sur la qualité et la pertinence de la connaissance.

37L’instauration d’une contextualisation des indicateurs et de leur utilisation s’est traduite, dans cet article, par un questionnement sur l’aptitude à l’emploi de la connaissance. L’évaluation interne de la qualité de la connaissance, dont les débats concernent principalement la communauté scientifique (rigueur, cohérence de la connaissance) propose un ensemble de connaissances et précise, selon leur optique, leur rôle en réponse aux demandes exprimées par la société. Le processus d’évaluation de la qualité de la connaissance répond à un besoin de documentation de l’incertitude.

38Le recours aux outils Kerbabel™ permet de répondre plus explicitement aux besoins d’apprentissage et de communication de la connaissance scientifique. La Foire Kerbabel™ aux Indicateurs fournit une structure pour une évaluation de la pertinence de la connaissance. La Matrice Kerbabel™ de Délibération révèle quant à elle un ensemble de demandes sociales. Il s’agit, pour la communauté scientifique, d’un retour sur la qualité et l’intérêt des connaissances qu’elle a fournies. Pour la société, au-delà de la question du choix de l’indicateur, ces démarches permettent d’établir un dialogue entre les producteurs et les utilisateurs de la connaissance, favorisant une meilleure compréhension du partenariat autour de la connaissance nécessaire à la gouvernance environnementale fondée sur la science (O’Connor, 2006).

39Ces quelques réflexions épistémologiques permettent également de souligner les espoirs placés dans les « dialogues entre acteurs » et la délibération, et de s’interroger sur l’apport de la « démocratie » délibérative comme modèle politique dans l’analyse de la robustesse et de la légitimité des décisions relatives aux problèmes complexes, en confrontant les avis d’experts à l’expression de la demande sociale à travers une intégration élargie des acteurs de la société.

Haut de page

Bibliographie

Barnes, B., Edge, D. (Eds), 1982. Science in Context: Readings in the Sociology of Science, Milton Keynes, Open University Press.

Craye, M., et al., 2005. A reflexive approach to dealing with uncertainties in environmental health risk science and policy, International Journal for Risk Assessment and Management, 5, 2, 216-236.

Douguet J.-M., O’Connor M., van der Sluijs J.P., à paraître, Tools to assess uncertainty in a deliberative perspective. A Catalogue, A. Pereira Guimaraes & S. Funtowicz (eds), Science for Policy: Opportunities and Challenges, Oxford University Press, India.

Funtowicz ,S.O., Ravetz, J.R., 1993. Science for the Post-Normal Age, Futures, 25, 735-755.

Funtowicz, S.O., Ravetz, J.R., 1990. Uncertainty and Quality in Science for Policy, Dordrecht: Kluwer.

Guimarães Pereira, Â., Blasques, J., Corral Quintana, S., Funtowicz, S., 2003. TIDDD – Tools To Inform Debates Dialogues & Deliberations: The GOUVERNe Project at the JRC. European Commission, Ispra, EUR 21880 EN.

Janssen, P.H.M., et al., 2005. A guidance for assessing and communicating uncertainties. Water science and technology, 52, 6, 125–131.

Nowotny, H., 1999. The place of people in our knowledge, European Review, 7, 2, 247–262.

O’Connor, M., 2006. Building knowledge partnerships with ICT? Social and technological conditions of conviviality, in Guimarães Pereira, Â, Guedes Vaz, S., Tognetti, S., Interfaces between Science and Society, Sheffield, Greenleaf Publishing.

O’Connor, M., 2004. The Kerbabel Indicator Dialogue Box (v.3), C3ED Research Report, C3ED, University of Versailles Saint-Quentin-en-Yvelines, November 2004.

O’Connor, M., 2002. Greening the Cube, C3ED Research Report, C3ED, University of Versailles Saint-Quentin-en-Yvelines, France.

O’Connor, M., 1999. Dialogue and Debate in a post-normal practice of science: a reflexion, Futures¸ 31, 671-687.

Petersen, A. C., Janssen, P. H. M., van der Sluijs, J. P., Risbey, J. S., and J. R. Ravetz, RIVM/MNP Guidance for Uncertainty Assessment and Communication: Mini-Checklist & Quickscan Questionnaire, Bilthoven, The Netherlands: RIVM/MNP. ISBN 90-6960-105-1, 2003.

Ravetz, J., 2005. The Non-Sense Guide to Science, London, New Internationalist Publications.

Risbey, J., et al., 2005. Application of a Checklist for Quality Assistance in Environmental Modelling to an Energy Model, Environmental Modelling & Assessment, 10, 1, 63-79.

Saltelli, A., et al., 2004. Sensitivity Analysis in Practice: A Guide to Assessing Scientific Models, John Wiley & Sons publishers.

Saltelli, A., et al., 2000. Sensitivity Analysis John Wiley & Sons publishers, Probability and Statistics series.

Van der Sluijs, J.P., 2005a. Uncertainty as a monster in the science policy interface: four coping strategies, Water science and technology, 52, 6, 87–92.

Van der Sluijs, J.P., Risbey J. S., Ravetz J., 2005b. Uncertainty Assessment of VOC Emissions from paint in the Netherlands using the NUSAP System, Environmental Monitoring and Assessment, 105, 229-259.

Van der Sluijs, J.P., 2002. A way out of the credibility crisis of models used in integrated environmental assessment, Futures, 34, 133–146.

Van der Sluijs, J.P., 1997. Anchoring amid uncertainty; On the management of uncertainties in risk assessment of anthropogenic climate change, Ph.D. Thesis, Utrecht University, 1997, 260 pp.

Van der Sluijs, J. P., et al., 2002. Uncertainty assessment of the IMAGE/TIMER B1 CO2 emissions scenario, using the NUSAP method. Dutch National Research Program on Climate Change, Bilthoven, 2002, 225 pp. (available from www.nusap.net).

Van der Sluijs, J. P. et al., 2003. RIVM/MNP Guidance for Uncertainty Assessment and Communication: Detailed Guidance Utrecht University & RIVM.

Van der Sluijs, J.P., et al., 2005. Combining Quantitative and Qualitative Measures of Uncertainty in Model based Environmental Assessment: the NUSAP System, Risk Analysis, 25 (2). 481-492

Haut de page

Table des illustrations

Titre Tableau 3. Matrice de pédigrée - présentation détaillée des scores
Légende (Code couleur: score <1.4 rouge; 1.4-2.6 orange; >2.6 vert)
URL http://journals.openedition.org/vertigo/docannexe/image/5035/img-1.png
Fichier image/png, 8,6k
Titre Figure 1. Les axes de la Matrice Kerbabel™ de Délibération
URL http://journals.openedition.org/vertigo/docannexe/image/5035/img-2.png
Fichier image/png, 7,7k
Titre Figure 2. Tranche d’une Matrice KerBabel™ de Déliberation
URL http://journals.openedition.org/vertigo/docannexe/image/5035/img-3.jpg
Fichier image/jpeg, 16k
Titre Figure 3. Panier d’indicateurs pour établir un jugement dans la MKD
URL http://journals.openedition.org/vertigo/docannexe/image/5035/img-4.jpg
Fichier image/jpeg, 16k
Haut de page

Pour citer cet article

Référence électronique

J van der Sluijs, Jean-Marc Douguet, M O’Connor et Jerry Ravetz, « Évaluation de la qualité de la connaissance dans une perspective délibérative »VertigO - la revue électronique en sciences de l'environnement [En ligne], Volume 8 Numéro 2 | octobre 2008, mis en ligne le 24 novembre 2008, consulté le 29 mars 2024. URL : http://journals.openedition.org/vertigo/5035 ; DOI : https://doi.org/10.4000/vertigo.5035

Haut de page

Auteurs

J van der Sluijs

Professeur assistant, Copernicus Institute for Sustainable Development and Innovation, Université d’Utrecht, Les Pays-Bas j.p.vandersluijs@chem.uu.nl

Jean-Marc Douguet

Maître de Conférences et Professeur en Sciences Economiques, UMR C3ED n°063 (IRD-UVSQ), Université de Versailles Saint-Quentin-en-Yvelines, France jean-marc.douguet@c3ed.uvsq.fr

Articles du même auteur

M O’Connor

Maître de Conférences et Professeur en Sciences Economiques, UMR C3ED n°063 (IRD-UVSQ), Université de Versailles Saint-Quentin-en-Yvelines, France

Jerry Ravetz

Philosophe, James Martin Institute for Science and Civilization, Université d’Oxford, Oxford, OX1 1HP UK, jerry.ravetz@lineone.net

Haut de page

Droits d’auteur

CC-BY-NC-ND-4.0

Le texte seul est utilisable sous licence CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search