À la recherche des règles de la recherche qualitative

En 2003, la section Sociologie de la NSF, dont de nombreux chercheurs avaient critiqué le programme, jugeant qu’il rendait difficile, voire impossible, la recherche et l’obtention de financements pour des projets de recherche qualitative, organisa une table ronde réunissant 32 sociologues, dont sept affiliés à la NSF, afin de débattre des normes pouvant s’appliquer à ce genre de recherche, de la manière dont la NSF pouvait les mettre en œuvre, et de la manière dont on pouvait renforcer la recherche qualitative en général. J’ai participé à cette table ronde, pour laquelle j’écrivis une petite communication, et, quelques années plus tard, j’ai collaboré avec Robert R. Faulkner à une étude qualitative de l’activité musicale financée par une bourse de la NSF.

Charles Ragin, l’organisateur de cette première table ronde, en écrivit le rapport (j’ai lu l’original), dont la version finale (et quelque peu différente) fut élaborée en collaboration avec Joane Nagel et Patricia White, de la NSF (c’est le premier des deux documents dont j’ai donné la référence, et que j’appellerai dorénavant rapport 2004). La table ronde elle-même fut conflictuelle. De nombreux participants attaquèrent certaines politiques de la NSF établies de longue date, qui favorisaient les recherches contenant une formulation théorique solide du sujet de recherche transformée en hypothèses testables par des méthodes clairement définies de recherche et analyse de données. Ces critiques soulignaient le fait que la recherche qualitative peut prendre de nombreuses formes, dont certaines des plus importantes (notamment le long travail de terrain) ne peuvent se formuler ainsi car (et les chercheurs qui avançaient cette objection considéraient ce qui suit comme une raison scientifique solide) l’on ne sait jamais quelles idées il pourra s’avérer intéressant ou nécessaire d’étudier et de tester avant d’avoir commencé la recherche. Les règles concernant la protection des sujets humains suscitèrent des réactions particulièrement fortes, de nombreux critiques objectant que, pour cette raison et quelques autres, ils ne pouvaient de manière réaliste produire les documents-« sujets-humains » exigés par les procédures existantes. Quelques chercheurs avancèrent que la section sociologie de la NSF leur semblait particulièrement rétive au financement d’études de terrain hors des États-Unis. L’essentiel du rapport consista en de brefs « appendices » rédigés par les participants sur toute une variété de sujets – il s’agissait le plus souvent d’analyses et études finement pensées sur diverses questions par des chercheurs aussi expérimentés que Jack Katz, Mitchell Duneier, Kathleen Blee ou Elijah Anderson.

Surprise par la teneur de la discussion, l’équipe de la NSF organisa une seconde table ronde en 2005 ; elle fut présidée par Michèle Lamont et compta vingt-neuf participants. Outre des sociologues, cette table ronde (la seconde référence donnée plus haut correspond au rapport co-rédigé par Lamont et Patricia White, membres de la section sociologie de la NSF, et je l’appellerai dorénavant rapport 2009) rassembla des chercheurs issus des sciences politiques, du droit et de l’anthropologie, afin que ses résultats pussent être utiles dans ces autres champs produisant également de la recherche qualitative. Seuls quatre participants étaient déjà présents à la première table ronde – ce renouvellement important des acteurs pouvant peut-être s’expliquer par l’inclusion de chercheurs issus d’autres domaines. On remarquera cependant qu’aucun des critiques les plus virulents des politiques de la NSF ne fut invité à cette seconde table ronde. J’ai lu le second rapport comme une tentative de réparer le mal commis par le premier, même sous sa forme révisée.

Là encore, l’essentiel du texte consiste en de brefs appendices rédigés par les participants. Comme dans le rapport 2004, ces appendices sont très différents les uns des autres. Certains portent sur des sujets spécifiques, tels la présentation instructive par l’anthropologue Linda Garros du développement de ses recherches sur la maladie dans la vie quotidienne, la présentation réaliste et pertinente des méthodes envisageables pour améliorer la formation en recherche qualitative de Susan Silbey, et le compte rendu sur la politique des méthodes de recherche en criminologie de Jody Miller. John Comaroff avance des remarques pertinentes sur la méthode ethnographique : « [l’]anthropologie repose toujours sur une dialectique entre la méthode déductive et la méthode inductive, entre le concept et le concret, entre ses objectifs et ses sujets, dont les intentions et les inventions définissent souvent le programme. Le fait de ne pas saisir cela peut expliquer le rejet automatique de l’ethnographie comme science non rigoureuse, non réplicable, non falsifiable, et autres qualificatifs en ‘non-’ qu’on lui accole régulièrement pour la vouer aux gémonies. » (p. 37)

Beaucoup plus nombreux, cependant, sont les articles qui répètent le message délivré par Lamont et White dans les quinze pages de leur synthèse et brève introduction, que l’on pourrait résumer comme suit : « Arrêtez de pleurnicher et apprenez à faire de la vraie science en posant des hypothèses testables dérivées de manière théorique, avec des méthodes de collecte et d’analyse de données clairement spécifiées avant de vous lancer dans ce champ scientifique. Alors, vous obtiendrez des financements de la NSF comme les autres vrais scientifiques. » De manière moins polémique, on pourrait dire que ce rapport propose une version incomplète et sans nuances du message délivré par King, Keohane et Verba dans Designing Social Inquiry (1994) : commencez par formuler des hypothèses claires, solidement fondées en théorie, déterminez un échantillon qui vous permettra de tester ces hypothèses, et utilisez une méthode pré-établie d’analyse systématique pour vérifier si elles sont justes.

Les participants à la première table ronde avaient critiqué cette méthode en profondeur, mais le rapport 2009 ignore les questions et critiques soulevées alors, pour déduire ses principes et ses recommandations de l’analogie avec le modèle des sciences de la nature, non pas tel que ces sciences se pratiquent effectivement, mais tel que les philosophes des sciences, les épistémologues et leurs collègues spécialistes de méthode recommandent qu’elles le soient, par déductions à partir de principes premiers. La sociologie des sciences, un des domaines les plus fertiles de la sociologie de ces deux dernières décennies, et les domaines similaires de l’histoire et de l’anthropologie, ont montré de manière répétée que ces recommandations ne correspondent pas à la manière dont les scientifiques travaillent réellement – voir, par exemple, Latour et Woolgar, La vie de laboratoire : la production des faits scientifiques, (1986 [1993, 2006]), ou Ainsi s’achèvent les expériences : la place des expériences dans la physique du XX^e siècle, de Peter Galison (1987 [2002]). Nous obtenons une meilleure vision de la manière dont construire notre pratique en étudiant ce que les physiciens, chimistes, biologistes et autres spécialistes des sciences de la nature font effectivement (comme Thomas Kuhn (1970 [1972, 2008]) l’a décrit, et comme de nombreuses recherches empiriques l’ont depuis confirmé), en nous attachant à des travaux exemplaires reconnus et en décrivant ce que leurs auteurs firent pour qu’ils fussent exemplaires. Les auteurs des innombrables recommandations avancées au fil des ans pour améliorer la recherche qualitative en imitant les procès de la recherche quantitative ne s’appuient jamais sur cette méthode empirique, ni n’expliquent jamais pourquoi ils s’abstiennent de le faire.

Nous ne manquons pas de travaux qualitatifs que la plupart des sociologues reconnaissent comme adéquatement scientifiques (et je ne crois pas qu’il y ait grand-chose sur quoi l’on puisse dire que la plupart des sociologues s’accordent). Street Corner Society : la structure sociale d’un quartier italo-américain, de Whyte (1955 [1996]) est un modèle d’excellence en matière de pratique méthodologique, tout comme le sont Asiles, de Goffman (1961 [1990]), Sidewalk, de Duneier (1999), All Our Kin, de Stack (1975), ou La vie de laboratoire (mentionné plus haut). Ces classiques reconnus (et d’autres moins connus aujourd’hui) nous offrent la matière première à partir de quoi il est possible d’inférer un certain nombre des principes méthodologiques qui informent la bonne recherche qualitative. L’étude de ces exemples indique que les méthodes testées empiriquement utilisées par ces auteurs s’écartent considérablement des principes non empiriquement fondés (et donc – pourrions-nous dire ? – non scientifiques) recommandés par le rapport 2009. Dans son célèbre appendice sur ses méthodes (p. 279-358, et notamment 283-6), Whyte décrit comment, en 1936, il prépara un projet de recherche très éloigné de la réalité de son futur terrain, puis comment il en vint à comprendre qu’il ne savait pas de quoi il parlait, avant de développer et de tester les idées qu’il développe dans son livre sur les faits collectés sur le terrain pendant une période de plusieurs années. Il ne pouvait absolument pas savoir ce que serait son sujet de recherche final, ni comment l’étudier, avant d’avoir passé quelques années dans cette communauté.

Première observation suscitée par l’étude de ces classiques : la bonne recherche qualitative est un processus itératif, dans lequel les données collectées au moment T1 informent les opérations de collecte de données effectuées au moment T2. Les bons chercheurs savent qu’ils commencent leur travail en ne sachant que très peu de choses sur leur objet d’étude, et utilisent ce qu’ils apprennent jour après jour pour guider leurs décisions ultérieures quant à savoir quoi observer, qui interviewer, que chercher, quelles questions poser. Ils interprètent les données à mesure qu’ils les obtiennent, sur des périodes de plusieurs mois ou plusieurs années, sans attendre (comme on le fait, par exemple, dans le cas d’un sondage) de les avoir toutes pour commencer à réfléchir à ce qu’elles signifient. Ils élaborent des interprétations préliminaires, posent les questions que ces interprétations suggèrent et qui leur serviront de test, puis retournent sur le terrain collecter les données qui rendront ces tests possibles. (C’est la méthode dont le mathématicien George Polya (1954 [2008]) estimait qu’elle est non seulement adéquate mais encore la seule possible pour les sciences empiriques. Pour des études de cas plus développés, voir Becker (1998, 151-7 [2002, 239-49]) et Faulkner (2009, 82-86).

Ainsi conduite, la recherche est une procédure d’investigation systématique, rigoureuse et absolument fondée en théorie. Mais les chercheurs ne peuvent connaître à l’avance toutes les questions qu’ils vont étudier, quelles théories ils finiront par juger pertinentes au regard des découvertes effectuées pendant leur recherche, ou quelles méthodes produiront les informations nécessaires à la résolution des questions soulevées en cours de route.

En réalité, le rapport 2009 contient un excellent exemple de ce type de recherche : le compte rendu de Linda Garros sur ses travaux sur la maladie dans deux communautés mexicaines. Elle cite (en l’approuvant) la description que fait Agar (1996, 62) du travail de terrain en ethnographie : « Vous apprenez quelque chose (vous ‘collectez des données’), puis vous essayez de les comprendre (vous ‘produisez des analyses’), puis vous retournez sur le terrain pour voir si votre interprétation fait sens à la lumière de nouvelles expériences (vous ‘collectez de nouvelles données’), puis vous raffinez votre interprétation (vous ‘produisez de nouvelles analyses’), et ainsi de suite. Ce processus n’est pas un processus linéaire ; c’est un processus dialectique. » Elle décrit ensuite une technique d’interview simple – demander aux gens de donner une liste de toutes les maladies qu’ils connaissent, puis les interroger sur la nature de ces maladies, leurs remèdes possibles, etc. – qui fonctionna parfaitement dans la première communauté qu’elle étudia, fournissant ainsi les fondements pour l’élaboration d’un guide d’interviews plus structuré (démontrant ainsi la manière dont on utilise des connaissances acquises en cours d’étude pour guider une nouvelle phase de collecte de données). Un événement encore plus instructif eut lieu lorsqu’elle utilisa cette méthode, désormais testée et validée, dans une autre communauté – où elle échoua de manière spectaculaire, parce que cette seconde population ne parlait pas de la maladie de la même manière, et ne pouvait ou ne voulait pas fournir le type de liste bien nette que Garros eût pu utiliser comme base pour passer à la phase 2 ; elle fut donc forcée d’inventer une nouvelle méthode dont elle ne pouvait savoir qu’elle aurait besoin avant que les circonstances ne la lui imposent.

Certains textes inclus dans le rapport 2009 réfutent ainsi les conclusions de Lamont et White, et démontrent que les critiques formulées en 2004 n’étaient pas du flanc. Au risque de me répéter, j’ajouterai que l’étude des classiques de la recherche cités plus haut montre que les chercheurs ne définissent pas intégralement leurs méthodes, théories ou données avant le début de leur recherche. Ils se lancent avec des idées, des lignes directrices, voire des hypothèses précises, mais une fois leur travail commencé, ils étudient de nouvelles pistes, appliquent de nouvelles idées théoriques aux données (parfois inattendues) qu’ils récoltent, et conduisent à tous égards une recherche scientifique systématique et rigoureuse. Chaque entretien et chaque journée d’observation produisent des idées passées au test des données qui leur sont pertinentes. Ne pas définir précisément et intégralement ces idées et procédures, et être prêt à en changer dès que les résultats l’imposent, n’est pas une faiblesse mais au contraire une des grandes forces de la recherche qualitative, qui rend possible l’élaboration efficace puis le test ou l’évaluation des hypothèses.

Other People’s Money, de Donald Cressey (1953) invite à une deuxième remarque (débattue sur des bases quelques peu différentes par Garfinkel, Cicourel et de nombreux autres auteurs) : vous ne pouvez attendre des catégories des autres qu’elles produisent du savoir fiable sur un problème sociologique spécifique. Cressey voulait étudier le détournement de biens, en définissant cela sociologiquement (plutôt qu’en étudiant un échantillon de personnes condamnées pour ce délit tel qu’il est défini par le code pénal) comme violation criminelle de la confiance financière. Mais, en interviewant des personne condamnées pour délit de détournement de biens, il constata que les procureurs, en quête de condamnations, accusaient les suspects du crime ou délit dans la définition juridique duquel il était possible de les faire entrer plutôt que de l’acte auquel Cressey s’intéressait. Certaines personnes coupables de violation de confiance se voyaient condamnées pour abus de confiance ou faux et usage de faux, tandis que des personnes condamnées pour détournement de biens pouvaient n’avoir commis aucune violation de confiance financière, quoi qu’ils eussent fait par ailleurs. Cressey ne pouvait savoir si un cas allait lui permettre de tester ses hypothèses avant de commencer l’interview. Son travail montre que les chercheurs peuvent utiliser des statistiques que d’autres ont collectées, mais seulement après avoir indépendamment étudié leur pertinence pour tel but défini théoriquement, chose qui ne peut jamais être prise pour acquise. Prendre de telles précautions pousse à une rigueur souvent absente des études moins critiques sur la nature des données plus facilement collectées qu’elles utilisent.

Autre classique, Labeling the Mentally Retarded, de Jane Mercer (1973), montre comment des équipes pédagogiques génèrent et utilisent les scores des élèves aux tests de QI de manières qui engendrent une discrimination systématique à l’encontre des élèves issus des minorités. Elle développa ses propres méthodes à mesure qu’elle découvrait la complexité du processus en jeu, pour finir par collecter elle-même des données par des biais innovants dont elle n’avait a priori pas soupçonné la nécessité, afin de tester les hypothèses élaborées en cours de recherche. Au bout du compte, elle démontra de façon convaincante que l’arriération mentale légère était une maladie dont les enfants noirs et latinos de Riverside, en Californie, souffraient à leur entrée à l’école et dont ils étaient guéris à leur sortie.

De manière plus générale, c’est sur le terrain que les chercheurs découvrent les données susceptibles d’être collectées et comptées qui leur seront utiles pour tester des idées élaborées empiriquement, au cours de leur recherche. Cela n’implique en aucun cas que les auteurs de recherche qualitative n’utilisent jamais de chiffres. Mais ils insistent sur le fait que leurs chiffres doivent faire sens et résister à l’analyse critique. Peneff (1995) découvrit de nombreuses possibilités simplement en observant comment les gens qu’il observait collectaient et utilisaient des chiffres, dont il découvrit le sens en regardant comment leurs utilisateurs leur donnaient sens.

Relire les ouvrages classiques évoqués plus haut amène à une troisième remarque. Nous faisons le meilleur usage de la théorie lorsque nous refusons de fonder notre approche sur ce que les responsables nous disent ou sur ce que « tout le monde sait » (choses qui génèrent presque à coup sûr le type de théorisation a priori que recommandent Lamont et White) et qu’au contraire nous fondons nos travaux sur des observations inattendues effectuées sur le terrain. Latour (Latour et Woolgar, 1986, 45-9 [2006]) commença son travail de terrain dans le laboratoire de biologie qu’il étudiait en refusant de prendre quoi que ce fût pour acquis. Ce qui l’amena à une première découverte « naïve » : certains travailleurs portaient des blouses blanches, d’autres non. Au lieu de traiter cela comme une donnée de la vie au laboratoire sans importance, il se demanda qui portait la blouse et qui ne la portait pas, ainsi que quels types de travail chacun des groupes différemment vêtus effectuait. Et il découvrit ceci :

Une zone du laboratoire (la zone B…) contient divers appareils, tandis que l’autre (la zone A) ne contient que des livres, des dictionnaires et des revues. Dans la zone B, les individus travaillent de différentes manières avec des appareils : on les voit couper, coudre, mixer, remuer des liquides pour les mélanger, visser, marquer, etc. ; dans la zone A, en revanche, les individus travaillent sur du matériel écrit : ils lisent, ou écrivent, ou tapent des textes. En outre, alors que les occupants de la zone A, qui ne portent pas la blouse blanche, passent de longues périodes de temps avec leurs collègues en blouse blanche dans la zone B, l’inverse n’est que rarement vrai. Les individus appelés docteurs lisent et écrivent dans des bureaux de la zone A, tandis que d’autres membres de l’équipe, appelés techniciens, passent l’essentiel de leur temps à manipuler les appareils de la zone B.

Cela lui suggéra des idées à propos de la division du travail au sein du laboratoire, idées qu’il testa ensuite par de nouvelles observations, le menant plusieurs chapitres plus tard à une théorie du cycle d’activité par lequel les articles scientifiques produisent de l’argent (sous forme de bourses ou subventions), qui permet le financement de nouvelles recherches, qui aboutissent à de nouveaux articles, qui apportent de nouveaux financements, etc. (Latour et Woolgar 1986, 187-234 [2006]).

Contrairement à ce qu’affirme de manière insistante le rapport 2009, c’est avec moins de théorie au départ que l’on produit typiquement de la bonne science sociale. Les chercheurs n’en savent en général pas assez pour formuler de bonnes hypothèses avant d’être déjà bien avancés dans leur travail (cela découle de la nature itérative de la recherche qualitative en sciences sociale). Il s’ensuit qu’ils doivent systématiquement et délibérément remettre en question les notions communes sur lesquelles une telle théorisation a priori devrait se fonder.

L’étude de plusieurs grandes entreprises privées que Melville Dalton décrit dans Men Who Manage (1959) me suggère une quatrième remarque. Les recherches qualitatives exemplaires montrent typiquement que les méthodes conventionnelles d’élaboration et de résolution des questions reposent souvent sur l’acceptation de conceptions conventionnelles qui font écran à ce que nous devrions étudier. Analysant les politiques internes d’entreprises commerciales, Dalton montra (parmi nombre d’autres choses) que le délit de vol commis par des employés n’était pas le « crime individuel » que les analyses conventionnelles supposaient, mais bien au contraire un système de rémunération informel par lequel les compagnies payaient leurs employés (à tous les niveaux et jusqu’au sommet de l’organisation) pour ce qu’elles ne pouvaient légitimement leur demander de faire (p. 194-218). Mais il n’aurait pas pu formuler cette hypothèse, et encore moins la tester, sans qu’une longue observation lui eût au préalable montré l’étendue et l’importance des systèmes d’échange conventionnellement regroupés sous l’appellation de « vol commis par des employés ».

Dernière remarque. Ces classiques de la recherche en sciences sociales analysent le plus souvent des processus observés de manière directe, des chaînes d’événements qui produisent les résultats que nous cherchons à comprendre. Ainsi, dans The Mental Hospital (1954), Alfred Stanton et Morris Schwartz montrent que les symptômes et comportements psychiatriques s’originent dans l’organisation sociale de l’hôpital. Dans Opiate Addiction (1947) Alfred Lindesmith montre comment des processus de définition collective produisent le comportement apparemment individualiste des opiomanes. Diane Vaughan, dans The Challenger Launch Decision (1996), déconstruit le fil des événements triviaux qui aboutirent à la célèbre catastrophe, ce qui, en retour, la conduit à une théorie générale de la manière dont les cultures organisationnelles normalisent la déviance. Dans French Canada in Transition (1943) [Rencontre de deux mondes, 1945], Everett Hughes suit les ramifications de l’industrialisation, des données démographiques et économiques jusqu’aux subtilités de la vie des famille et des organisations, comme éléments constitutifs des processus interactifs qui se mettent en branle lorsque l’industrie vient s’installer en un lieu où elle n’existait pas auparavant. Dans son ouvrage très documenté intitulé The Derelicts of Company K (1978), Tamotsu Shibutani analyse le moral du groupe au fil de ses réactions face aux contingences perpétuellement changeantes de la vie de l’organisation. L’analyse de processus présente des difficultés majeures pour les études quantitatives, qui doivent le plus souvent remplacer une observation empirique plus ou moins continue par des expédients tels que les sondages par échantillons, les comptages de populations à divers moments définis, etc.

Les deux rapports traitent longuement de questions que je n’ai pas abordées ici : comment la NSF devrait accorder ses financements et dépenser son argent, comment les chercheurs qualitatifs pourraient réorienter leur travail de manière à accroître leurs chances d’obtenir un financement de la NSF, etc. Il me semble probable que la NSF continuera à accorder des bourses comme elle l’a fait par le passé, en réaction aux pressions politiques et organisationnelles que les sociologues, individuellement ou collectivement, ne peuvent aisément contrer ou contrôler. J’ai donc laissé ces questions de côté pour me concentrer sur ce qui me semble être le danger le plus sérieux et le plus immédiat du rapport 2009 : le fait que, portant le label de la National Science Foundation, il pousse des lecteurs inattentifs et peu critiques à penser que tous les problèmes de la recherche qualitative sont désormais réglés et que le rapport 2009, notamment dans ses sections introductives, peut être recommandé à tous les collègues non informés (et, pire encore, aux étudiants) comme une résolution faisant autorité des remarquables problèmes soulevés. Rien ne pourrait être plus éloigné de la vérité. Ce n’est qu’en traitant les nombreuses questions que les chercheurs qualitatifs et leurs recherches ont soulevées (et que j’ai résumées ici) avec franchise et ouverture d’esprit, en se fondant sur les nombreux résultats de recherches empiriques disponibles dans la vaste littérature qui lui est consacrée, que nous pourrons définir des protocoles de recherche qui soient recommandables en toute confiance auprès de nos étudiants.

D’un autre côté, il se pourrait bien – l’avenir le dira – que les méthodes recommandées par la NSF produisent un résultat que de nombreuses personnes attendent depuis longtemps : un financement de la NSF pour leurs recherches. Quiconque espère ce genre d’heureux événement devrait se rappeler une des autres critiques souvent répétées au cours de la première table ronde. La NSF applique une règle apparemment implacable qui veut qu’aucun financement ne soit accordé pour du temps de travail universitaire libéré de l’enseignement. Mais, dans toute recherche qualitative, ce qui coûte le plus cher, c’est toujours le temps passé par le chercheur. Faire ce qu’ont fait Whyte, Goffman, Duneier, Hughes, Vaughan et les autres que j’ai cités plus haut ne coûte en réalité pas très cher. Le matériel nécessaire pour enregistrer, stocker et analyser les interviews et les notes de terrain est bon marché. Les chercheurs qualitatifs ont besoin d’argent pour payer leur temps, afin de pouvoir faire des observations, mener des interviews, et inscrire toutes ces données sous une forme pérenne. La NSF, de toute façon, ne paiera pas pour cela.

Traduit de l’anglais par Jacques Mailhos