Ett symposium om process tracing

Process tracing har varit en tillväxtindustri i samhällsvetenskapen de senaste 15 åren eller så, och år 2013 hade tidskriften European Journal of Political Science ett temanummer om just PT, med den mycket läsvärde Bernhard Kittel (som jag haft som metodlärare) som en av redaktörerna. Stjärnan i numret är dock inte Kittel utan den extremt kände Peter A. Hall som inte bara är VoC-stjärna utan tydligen också en metodologisk tungviktare.

Kittel och Kuehn

Kittel och Kuehn börjar med att konstatera att idéerna som ingår i begreppet "process tracing" diskuterats i decennier, men att själva begreppet PT bara slog igenom i statsvetenskapen efter publiceringen av Alexander George och Andrew Bennetts Case Studies and Theory Development år 2004. Sedan King Keohane Verba 1994 har frågan om kausal inferens stått i centrum för den metodologiska debatten tvärs över kvant-kval-klyftan. K och K menar att på 90-talet och i början av 00-talet så uttrycktes en del skepsis mot att small-n-metoder som PT kunde användas för kausal inferens (t ex Goldthorpe 2000), men att den debatten "can now be considered settled" och att konsensus råder idag om att man kan dra kausala slutsatser från small-N-studier. En del forskare hävdar för den delen att PT bara står efter experimentell forskning i att visa kausala samband och testa kausala argument, eftersom i motsats till statistiska analyser tillåter PT identifikationen av kausala mekanismer och "proximate causal relationships, and thus does not fall prey to the correlation-causation fallacy" (Bennett 2004, Vennesson 2008, Mahoney 2010). Därför har debatten flyttat från frågan om intern validitet till den om extern validitet. Hur kan man generalisera från kvalitativa studier? K och K menar att det här inte bara handlar om en metodologisk fråga, utan också om forskning som har olika syften*:

"Operation science searches for regularities in bounded systems, whereas origin science attempts to explain singular events, using established knowledge on regularities uncovered by operation science. From a very different perspective, a similar idea underlies the proposal by Ginzburg (1989) to differentiate between a ‘Galilean’ and a ‘conjunctural’ perspective. Roughly speaking, quantitative techniques work well for research questions in the ‘Galilean’ perspective concerning ‘operation’. But for ‘conjunctural’ questions of ‘origin’, they fail exactly because the assumption of independent regularities is difficult to sustain in such a context." (s 3)

Med referens till Peter Hall (2003, 2006) förfinar de resonemanget till att handla om mer statsvetenskapliga frågor:

"A study on revolutions, for instance, could treat the French Revolution as an important event in its own right, which needs to be explained by uncovering a specific set of historical conditions (e.g. social and institutional context, actors’ preferences and strategies). Alternatively, it could be conceived of as a specific manifestation of a more general phenomenon, which can be subsumed under well-known regularities. Consequently, the problem is not primarily one of method but of research interest (see also Kittel, 2005) – and methodological answers must result from the respective research interest. As Hall shows in his methodological analyses and substantive research, process tracing can be a powerful tool for a rigorous ‘origin science’ as it allows the analysis of temporal sequences of events that lead to the explanandum. As such, it is a promising technique for studying phenomena such as institutional change, precisely because rare, dynamic, and highly contingent events do not lend themselves readily to quantification and statistical analysis." (s 3)

PT har nått mycket snabb spridning i statsvetenskapen, säger de, men det finns ingen enhetlig definition av hur man egentligen gör utan olika författare (George och Bennett 2004 kap 10; Hall 2006; Gerring 2007; Mahoney 2007) har olika definitioner. Collier (2011: 823) klagar nyligen på att metoden ofta varken är korrekt förstådd eller rigoröst applicerad. Kittel och Kuehn hävdar att det framför allt är på fyra frågor som olika uppfattningar om och versioner av PT skiljer sig åt. Ett, vad är ens uppfattning om kausalitet. De med en humeansk uppfattning där kausal förklaring beror på "uncovering of regularities, that is, the covariation of dependent and independent variables in a large sample of cases". Då kan inte process tracing med N=1 utan kontextuella antaganden etc etablera kausalitet, utan behöver vara en del av en större analys (Gerring 2007). De med en mekanistisk uppfattning om kausalitet är mer optimistiska om PT:s möjlighet att i sig uncover kausalitet. Fråga två är ens uppfattning om teorins roll: George och Bennett (2004) menar att PT beror på a priori-specifikation av den förväntade processen och att testa denna processhypotes, medan t ex Hall (2006) snarare menar att man ska dra ut så många prediktioner som möjligt ur teorin och testa dem, medan ingen hypotes behöver omfatta hela processen. Tre, medan litteraturen om konceptualisering av ens oberoende och beroende variabler i kvalitativ forskning har gjort stora framsteg (Goertz 2006), så beror PT också på vad Collier et al (2010) kallar "causal process observations", och hur CPOs ska kodas och formaliseras är underutvecklat vilket enligt K och K ökar risken för mätfel och försvårar replikation (Kuehn och Rohlfing 2009). Fyra, samhällsvetarna som jobbar med PT har inte integrerat sin metod med historikernas metoder för att analysera förändring. (s 5)

Blatter

Efter Kittel och Kuehns inledning börjar symposiet med tre kommentarer av europeiska forskare till Peter Halls arbeten om PT; de ställer frågor som Hall sedan besvarar. Joachim Blatter från universitetet i Luzern börjar. Han tar sitt avstamp i att jämförande fallstudier enligt Hall (2006) är "the statistical method writ small". Blatter är inte helt nöjd med detta utan menar att det i själva verket finns två alternativ till "the co-variational template derived from statistics" (som i Gerring 2007), och inte bara en som Hall (2006) implicerar. De två är enligt Blatter:

"1. A process-centred one in which time and temporality plays a major role in the explanatory endeavour. For this approach, the term ‘causal process tracing’ introduced by George and Bennett (2005) seems to be an adequate label.

2. A theory-centred one, where small-N studies are used for testing, comparing and refining a set of competing theories. For such an approach, we introduced the term ‘congruence analysis’, building on and expanding the ‘congruence method’ of George and Bennett." (s 10)

Blatter efterfrågar klargörande från Hall här, också eftersom han tycker att Halls egna texter delvis motsäger varandra: kapitlet i Mahoney och Rueschemeyer (2003) betonar tidens, sequence och processernas ökade vikt i samhällsvetenskapen och lutar åt alternativ 1 ovan, medan artikeln från 2006 snarare lutar åt alternativ 2. Blatter frågar också Hall om vad han anser om begreppet kausala mekanismer, om det är användbart/viktigt och om det är en skillnad mellan kausal mekanism och kausal faktor. Hans sista fråga är: vilken roll spelar tolkning i att göra prediktioner och dra slutsatser från observationer.

Beach

Nästa kommentator är Derek Beach från universitetet i Aarhus. Han börjar sin diskussion med att hävda att avsikten med PT är att öppna den "svarta lådan" av kausalitet och klargöra den teoretiska kausala mekanismen, men att många praktiker som hävdar att de använder PT i själva verket "bara" (1) spårar de empiriska händelsena mellan X och Y, eller (2) utforskar en teoretiserad mekanism "as a set of intervening variables". Beach är inte nöjd med detta förhållningssätt till "kausala mekanismer":

The most widely used definition of causal mechanism is where they are seen as a series of intervening variables through which an explanatory variable exerts a causal effect on an outcome variable (e.g., King et al, 1994; George and Bennett, 2005: 6; Gerring, 2007, 2010; Hedstrom and Ylikoski, 2010; Waldner, 2010; Falleti and Lynch, 2009: 1146). This understanding is best exemplified in the definition of causal mechanisms given in King, Keohane and Verba’s (KKV) 1994 book Designing Social Inquiry. Here they write that ‘This definition would also require us to identify a series of causal linkages, to define causality for each pair of consecutive variables in the sequence, and to identify the linkages between any two of these variables and the connections between each pair of variables’. (King et al, 1994: 86). For KKV, mechanisms are simply chains of intervening variables that connect the original posited cause and the effect on Y (ibid.: 87).
Treating mechanisms as intervening variables ends up grey boxing the causal mechanism itself (Bunge, 1997; Mahoney, 2001; Waldner, 2012). While the mechanism is slightly unpacked, the actual transmission of causal forces from X that produce Y are not explicitly studied (Bunge, 1997)." (s 13f)

Beach förespråkar en "mekanismisk" (mechanismic) förståelse av kausalitet. Hans två frågor till Hall är (1) what exactly is the nature of causal mechanisms? Med den rätt ledande fortsättningen: "Are they a series of empirical events that lead to an outcome, or should they be understood in a ‘mechanismic’ fashion, where a causal mechanism is understood as a system that transmits causal forces from X to produce Y through the interaction of a series of parts?" (s 14) Fråga två är om Hall förespråkar samma tekniker för inferens för inom-fall-analys och jämförande fallstudier: "I would suggest that inferences within a case should be made using Bayesian likelihood analysis, whereas inferences between small numbers of process-tracing case studies should be done using comparative methods of inference." (s 15)

Rohlfing

Tredje kommentator/utfrågare är Ingo Rohlfing från universitetet i Köln (numera i Bremen). Han utgår från "disciplinen" Comparative Historical Analysis (CHA), såsom hos Mahoney och Rueschemeyer (2003), och menar att PT är en del av CHA (!?!). CHA -- inte minst genom Mahoney -- har i mångt och mycket definierat sitt forskningsprogram de senaste femton åren i motsats till kvantitativ forskning och KKV-paradigmet. Rohlfing menar att det är svårare att se skillnaden mellan CHA och "vanliga" fallstudier (s 17). Också om fallstudier brukar man säga att de är "attentive to sound concept formation and measurement", och processer och PT är "key to all qualitative case studies". (s 17) Hans andra fråga är var CHA står idag och vilka vägar framåt har denna forskning? Framför allt: hur jobbar man med temporalitet och sequencing? Sequencing är centralt i CHA -- t ex om A händer före B orsakar A C, men inte om B händer före A -- men det är svårt att finna matchande fallstudier här, och Rohlfing anknyter till Halls (2003) egna mål: vi vill att metodologin ska matcha ontologin.

Hall

Efter dessa tre inlägg kommer Halls eget. Han börjar med att konstatera att alla tre utfrågare arbetar på varsin bok om fallstudier och PT och att de ställer stora och viktiga frågor, på vilka Hall bara kan ge korta och preliminära svar -- symposiets stora bidrag bör snarare vara att identifiera dessa frågor än att besvara dem. Han går över till sin syn på vad statsvetenskap och samhällsvetenskap överhuvudtaget går ut på, som är lakatosiansk: det handlar om att formulera teorier och utvärdera dem i ljuset av empiriska observationer. (Hans gamla medarbetare Bob Hancké har skrivit en lakatosiansk lärobok i forskningsdesign som är mycket användbar.) Teorins "key characteristic" är att den inte bara identifierar en empirisk regelbundenhet, utan också lägger fram orsaker till denna regelbundenhet -- t ex genom kausala mekanismer. För Lakatos gäller det att inte bara konfrontera en teori utan två konkurrerande teorier med empirin -- vetenskapen är en "three-cornered fight". Hall går vidare med en annan fundamental fråga: vad för typer av förklaringar har vi i samhällsvetenskapen? I sin artikel från 2006 diskuterar han tre typer (utan att säga att det inte finns några fler). 1, historiskt specifika förklaringar: förklarar varför Y hände utan att säga att detta är generaliserbart. 2, multivariata: "On this view, a good explanation consists of precise estimates for the impact of a small number of variables on a general class of outcomes, ideally with confidence intervals attached to them." Och 3, teoriorienterad förklaring, "Its proponents see a good explanation as one that elaborates and tests a theory identifying the main determinants of a broad class of outcomes along with the causal mechanisms associated with those determinants." Detta täcker det mesta arbetet inom statsvetenskap. I ljuset av detta ser Hall Blatters fråga om skillnaden mellan "causal process tracing" och "congruence analysis". Vad Blatter kallar CPT motsvarar George (1979) approach till PT, som handlar om att förklara och berätta om fall men utan ambitioner till generaliserbarhet, och i Halls typologi av förklaringar, typ 1. Hall menar att sådana förklaringar har ett värde men inte motsvarar vad de flesta statsvetare vill göra -- de vill ha vad Campbell (1975) kallar "portable truths". Denna inställning motsvarar då vad Hall själv (2003, 2006) kallat "systematic process analysis", ett begrepp som han använt för att distansera sig från en mer narrativ förståelse av PT. (s 22) Hall föredrar alltså vad Blatter kallar "congruence analysis" framför CPT.

Vad gäller frågorna om vad en kausal mekanism egentligen är, så menar Hall att han inte har tänkt färdigt om detta och att det är ett fält där det händer mycket idag. Men han betonar att en kausal mekanism inte är en intervening variable (inte w som i påståendet "x orsakar y eftersom x orsakar w som orsakar y"). Istället är en kausal mekanism "a theoretical formulation, one that adduces properties of the relationships among phenomena with the potential to recur, which helps explain why x causes y." Som ett exempel tar han Paul Piersons teori att socialstatens program uppräthåller sig själva genom att skapa "a sense of entitlement" hos förmånstagarna, som bestraffar politiker som vill skära ner i programmen. Då är sense of entitlement den kausala mekanismen. "this is a causal mechanism that alludes to clearcut variables, without being entirely reducible to them, and it is possible to assess empirically whether it is present or absent in any given case." (s 23) Detta är, säger Hall, en mycket enkel framställning av en kausal mekanism som undviker en del av de svårare frågor som Beach ställer, men tematiserar ändå en del relevanta poänger om KM. 1, att KM sätts i spel kan vara avhängigt vissa andra förhållanden (Falleti och Lynch 2009). 2, mekanismen kan bygga på rationellt beräknande men behöver inte göra det -- här håller Hall inte med Hedström och Swedberg (1998). 3, vi kan använda SPA för att testa vår teoris KM:s hållbarhet (ehh... detta är väl helt självklart/nästan tautologiskt?).

Hall går vidare till Beachs fråga om tolkningens roll i PT. Hall menar att han själv (2006) designat sin variant av PT för att utesluta tolkning i mer kulturvetenskaplig bemärkelse (s 24). Så här drar han upp distinktionen mellan ett mer kulturvetenskapligt förhållningssätt och ett mer positivistiskt, som i PT:

"[1] If the quality of an interpretation turns in large measure on the quality of the resonances it summons up and the underlying coherence it draws out of seemingly unrelated events, [2] the quality of most positive enquiries turns on how well their propositions about causal regularities measure up against empirical evidence that is systematically obtained and could, in principle, falsify them." (s 24)

En tunnare definition av "tolkning" i linje med en tunn läsning av Webers Verstehen förespråkar Hall däremot som en del av PT, att det inte räcker med att à la Friedman (1968) klarlägga empiriska regelbundenheter, utan forskaren bör också diskutera aktörernas avsikter (även om det inte räcker med att klargöra avsikter för att förklara skeenden).

Vad gäller Rohlfings fråga om skillnaden mellan CHA och vanliga fallstudier så säger Hall att Mahoney vore en bättre person att fråga, och att Halls förståelse ligger nära Rohlfings egen -- det finns ingen artskillnad mellan fallstudier i CHA och annanstans. CHA, säger Hall, avskiljs snarare av sitt empiriska ämne än av sin metod. Desto mer diskuterar Hall ett sidospår: han konstaterar att CHA eller åtminstone Mahoney på sistone argumenterat för att man arbetar med nödvändiga och tillräckliga orsaker snarare än med ett probabilistiskt ramverk, men Hall menar att probabilism är användbar också i small-N-studier (s 25). Här kommer Hall också in på qualitative comparative analysis (QCA) och fuzzy set-analys. Denna metod har varit särskilt lyckad i integrationen av small-N och medium-N (Ragin 2000) och kan t ex förklara equifinality -- hur en rad olika fall får samma utfall, men av olika orsaker. (s 26)

Den sista frågan som han tar upp är Beachs fråga om bayesiansk inferens för within-case-analys. Hall håller med om att det är användbart att uppdatera sina priors under arbetet med fallet, men varnar för att detta kan bli för bekvämt, ett sätt att undkomma det lakatosianska "motståndet" mellan teori och empiri, så att teorin alltid kommer bli bekräftatd, som i Bates et al analytical narratives, där författarna vill bekräfta rational choice-perspektivet. (s 27) Detta handlar också om förhållandet mellan induktion och deduktion: när en kvantitativ forskare ändrar sin modellspecifikation för att förbättra model fit ändras också teorin men utan att nya fall beaktas; detta kan ändå förbättra teorin kraftigt.

Fotnot

*George och Bennet (2004) om vad fallstudier huvudsakligen bidrar med: ‘to incrementally refine middle-range contingent generalisations, either by broadening or narrowing their scope or introducing new types and subtypes through the inclusion of additional variables’.