Strategier för kausala slutsatser i jämförande studier

Studier med ett litet antal fall ("small N-analysis") är en omdebatterad metod i samhällsvetenskapen, säger den prominente statsvetaren James Mahoney i en artikel från 2000.

"This debate still animales lively methodological commentaries (e.g., Goldthorpe 1997; Ragin 1997; Rueschemeyer and Stephens 1997), but most analysts now agree there is a place for small-N studies in the scholarly cycle of research, even if they disagree about the prominence and importance of this place." (s. 387)

"the scholarly cycle of research", det begreppet gillar jag. För ett tag sen läste jag om en recension som jag skrev för sju år sen av Francesco Boldizzonis intresssanta och polemiska bok The Poverty of Clio, där han yvigt kritiserade kvantitativ ekonomisk historia som utgår från teori och testar hypoteser. Jag förstod inte problemet med en sådan approach, och gör det inte nu heller: det är klart att det behövs utforskande studier, och deskriptiv forskning, men det beror väl på forskningsläget och hur mycket vi vet. Att testa hypoteser kvantitativt kan väl inte per definition vara fel? Med Mahoneys begrepp skulle jag nu säga att det beror på var man befinner sig i "the scholarly cycle of research". 

I alla fall, så säger Mahoney i sin artikel från 2000 att debatten "nu" gått vidare till att handla om de specifika procedurerna för kausala slutsatser som används i liten-N-forskning. Den sedan länge pågående debatten om Mills method of difference och method of similarity, så bråkar man nu till och med om huruvida forskare i comparative historical analysis ens använder Mills metoder: Katznelson (1997) menar att CHA vilar på Mill, medan Goldstone (1997) starkt förnekar det. En annan axel i den "nutida" (alltså sent 90-tal) debatten handlar om hur strategierna för kausala slutsatser i small-N och large-N statistisk forskning relaterar till varandra. King, Keohane och Verba (1994) hävdade i en epokgörande metodbok att kvalitativ forskning i grund och botten bygger på samma logik som den kvantitaitva: "All good research can be understood--and is indeed best understood--to derive from the same underlying logic of inference."  Ragin och Zaret (1983), Skocpol (1984), McKeown (1999) och Munck (1998) hävdar tvärtom att kvalitativ och kvantitativ forskning är mer substantiell än så. En relaterad kontrovers är ifall small N-forskare förstår kausaslitet deterministiskt* eller probabilistiskt. Kritiker av small N-forskning (Lieberson 1991, 1994, 1998; Goldthorpe 1997) menar att dessa forskare använder en deterministisk "method of inference" som är oförenlig med den statistiska forskningens probabilistiska modell av kausalitet. I kontrast till detta menar en del av de kvalitativa forskarna (Collier och Collier 1991; Goldstone 1997; Rueschemeyer och Stephens 1997).

Mahoneys syfte med sin artikel är att utveckla just frågan om vilka strategier för kausala slutsatser som används i small-N analysis. Flera forskare (Skocpol och Somers 1980; Skocpol 1984; Nichols 1986; Lieberson 1991) har hävdat att denna forskning bygger på bara en strategi för kausal inferens, men Mahoney menar att forskare väljer mellan, och ofta kombinerar, tre olika strategier: nominal comparison, ordinal comparison, och within-case analysis (som jag kommer sammanfatta som WCA). Som tabell 1 (inklistrad ovan) visar så skiljs de tre strategierna åt efter två dimensioner: nivå man mäter på, och nivå av aggregering. Nominell och ordinal strategi bygger på jämförelser på högt aggregerad nivå, mellan fall. WCA bygger tvärtom på studier inom ett fall. Den nominella strategi bygger explicit eller implicit på en deterministisk förståelse av kusalitet som bygger på begreppen om nödvändiga och tillräckliga orsaker. Detta är väldigt olikt logiken i den kvantitativa forskningen. Den ordinala approachen är däremot kompatibel med den probabilistiska förståelsen av kausalitet som är typisk för kvant-forskningen.

Det nominella angreppssättet

Mahoney definierar och beskriver detta så här:

"Nominal (or categorical) comparison entails the use of categories that are mutually exclusive (cases cannot be classified in terms of more than one category) and collectively exhaustive (one of the categories applies to each case). With respect to different levels of measurement, nominal categorzation is sometimes considered unsophisticated because it does not incolve the rank ordering of cases, much less quantifying the degree to which particular cases differ from one another." (s. 390)

Det grova i denna "klassificerande" metod gör den också mycket användbar för att kommunicera tydligt t ex i en artikel-inledning, påpekar Mahoney: man kan använda "vivid labels" för sina nominella kategorier och göra det väldigt tydligt vilka olika utfall det handlar om. Men det behöver inte vara hela historien: forskaren kan också använda andra strategier i analysen, även om det nominella angreppssättet också används. Nominell jämförelse mellan fall kan också användas som "a central strategy of hypothesis assessment", vilket är vad Mahoney fokuserar på. "I argue that small-N analysts often employ nominal comparison to eliminate rival explanations based on the logic of necessary and sufficient causation and have great difficulty using nominal comparison as a strategy for evaluating partial and probabilistic causation." (s. 391) "Deterministiska" förklaringar är viktiga för det nominella angreppssättet, och med "determinism" menar Mahoney ett tankesätt där förklarande variabler ses som potentiellt nödvändiga och/eller tillräckliga för att ge upphov till (orsaka) ett visst utfall. Mills metoder fungerar t ex med ett sådant tankesätt: method of agreement kan användas för att eliminera möjliga nödvändiga orsaker, medan method of difference kan användas för att eliminera möjliga tillräckliga orsaker. (s. 392) Däremot kan Mills metoder inte hantera mer komplexa analyser med multipla förklarande faktorer eller interaktions-effekter. Men Theda Skocpol i sin klassiska studie från 1979 av revolutioners orsaker använder Mills metoder för att eliminera relativ deprivering, system i ojämvikt, multipel suveränitet, transformativa ideologier, och urbana arbetar-revolter som orsaker till revolutionerna i Frankrike, Ryssland och Kina. Goodwin (2000) använder på ett liknande sätt method of difference för att eliminera fattigdom, social misär, och professionella revolutionära organisationer som orsaker till revolutioner i Tredje världen. (s. 393) Forskare använder också nominella jämförelser för att visa att deras egna föredragna förklaringar inte kan uteslutas med ett antagande om deterministisk kausalitet. Przeworski och Teunes (1970) formulering av "most similar systems design" och "most different systems design" liknar Mills metod och utvecklar den; Ragins användning av Boolean algebra är också förenlig med analysen av nödvändiga och tillräckliga orsaker. Ett exempel på en sådan studie är Wickham-Crowleys studie (1992) av varför småbönder stödjer eller inte stödjer guerrillarörelser i Latinamerika. Wickham-Crowley studerade 20 fall och använde fyra förklarande variabler: agrar struktur (A), agrar omstrukturering (B), rebelliska kulturer (C) och "peasant linkages" (D). Först poolar han alla fall där böndernas stöttade gerillan och kodar varje fall på variablerna A-D. Han identifierar alla kombinationer av A-D som är förenliga med utfallet bondestöd och reducerar sedan variationen genom att ta de kombinationer som finns med flera olika värden på en enda variabel, och då dra slutsatsen att då är den sista variabeln inte avgörande. Till slut har han fyra möjliga kombinationer av förklarande variabler som ger stöd till gerillan: ABD, AC, CD, och abD. Han identifierar inte någon individuell faktor som är nödvändig eller tillräcklig, men kombinationer som är tillräckliga: t ex kombinationen ABD. (s. 394-395) En viktig begränsning med den "nominella" metoden är att man kanske inte kollat på tillräckligt många fall, eller inte på rätt fall -- slutsatserna kanske inte håller i ett större sample. (Geddes 1990.) Collier och Mahoney (1996) menar dock att det inte alltid är så tydligt i small-N-forskning vilken populationen är till vilken man vill generalisera baserat på sitt sample. Dion (1998) menar att med en deterministisk förståelse av kausalitet behövs inte så många fall för att uppnå stor säkerhet om orsaker: fem fall räcker för att "yield 95 percent confidence about necessary causes." Avgränsningen om när nominell metod är rimlig handlar snarare om hur vi ser på de orsakssamband som ska studeras. Kausala faktorer som snarare är probabilistiska fångas inte väl med nominell metod: Lieberson (1991) använder i sin kritik exemplet med rattfylla och bilolyckor. (s. 396) Rattfylla leder inte alltid till en bilolycka (är alltså inte en tillräcklig orsak), och bilolyckor involverar inte alltid rattfylla (så den är inte heller en nödvändig orsak) -- rattfyllans ökade risk är av probabilistisk natur. Mahoney menar dock att detta inte räcker för att döma ut den nominella analysen. Small-N-forskare skulle också kunna använda within-case analysis för att studera probabilistiska effekter. En annan kritik som Lieberson (1991) riktar mot nominella metoder är att de inte tillåter mätfel: om man kodar en variabel som ska vara "närvarande" som "frånvarande" eller vice versa, så får man helt missvisande resultat. Mahoney menar att detta inte är ett så stort problem som Lieberson menar: small-N-forskare är experter på varje av sina fall och torde lyckas med sina kodningar; om de misslyckas, kommer någon annan small-N-forskare påpeka detta. (s. 397-8)

Ordinal comparison in cross-case analysis

"Ordinal jämförelse" är när man kodar fallen som mer/mellan/mindre eller liknande: man använder inte siffror för att mäta grader av variablerna, men har ändå en mer-mindre-åtskillnad. Denna typen av jämförelse är basen för Mills "method of concomitant variation". Metoden bygger just på att jämföra hög/mellan/låg-nivåer på en oberoende variabel, med dito på en beroende variabel. Om samvariationen är stark kan analytikern dra slutsatsen att förhållandet är kausalt. Frågan är då: vad är en "stark" samvariation? (s. 399-400) Med denna metod accepterar man också ett avvikande fall, olikt i "methods of agreement and difference". Tabellerna 2 och 3 illustrerar skillnaden mellan de två approacherna. I båda fallen identifierar forskaren ett fall (Case 4) som inte stämmer med mönstret överlag.

Metoden om "concomitant variation" är inte en determinisitsk metod och sambandet i tabell 3 kan ses som "quite strong"; Mahoney menar att med antagandet att fallen är valda utifrån beroende variabeln och fördelningen av värden på den förklarande variabeln är rättvisande för ett större universum av fall, så är sannolikheten att slumpmässigt få fördelningen i tabell 3 1 på 360 (0.029).

Luebberts (1987, 1991) analys av de politiska regimer som uppstod i mellankrigstidens Europa "employs the method of concimitant variation to strengthen a primarily nominal argument."  I den övergripande nominella värderingen menar Luebbert att närvaron eller avsaknaden av "lib-labism" före första världskriget förklarar liberala vs icke liberala utfall under mellankrigstiden: England, Schweiz och Frankrike och hade lib-labism och fick liberala utfall, medan de skandinaviska länderna, Tyskland, Italien och spanien saknade lib-labism och på olika sätt fick icke-liberala utfall. Att han använder ordinell jämförelse tillåter honom viss nyansering: Belgieen och Nederländerna "most closely approximated the British-French-Swiss pattern of liberal hegemony" och fick också nåt slags variant av den liberala regimen under mellankrigstiden.

Sverige och Italien är i Luebberts analys de två länder som inte funkar. För dem identifierar han "missing variables" som kan förklara det förvånande fallet. För Italien menar han t ex att de hade mycket lib-labism före 1914 men ändå misslyckades etablera en liberal regim pga den "extreemly fragmented nature of the secular middle-class community, which led to an extremely weak Liberal Party" (Luebbert 1991, s. 242-243).

Också Theda Skocpol (1979) i hennes klassiska analys av revolutioner kompletterar sin nominella approachh med en ordinal jämförelse. Nominella variabler disaggregeras till "constitutient subvariables that are evaluated through ordinal comparison". Hennes förklarande variabel "conditions for state breakdown" används i "methods of agreement and difference" som en dikotom variabel men disaggregeras sedan till tre sub-variabler -- internationell press, statsautonomi, och "agrarian backwardness" -- som mäts ordinellt. Även den dikotoma variabeln revolution eller ingen revolution förfinas; social revolution definieras som "rapid, basic transformations of a society's state and class structures", och Skocpol bryter ner detta när hon rankar det som att revolutionen gick snabbast i Ryssland, långsammast i Kina, och något däremellan i Frankrike. Detta förklaras med ordinala värden på den förklarande variabeln internationell press. "In sum, even though Skocpol's book is famous for its use of nominal comparison through the methods of agreement and difference, ordinal analysis plays a major role in underpinning the nominal argument." (s. 405)

Collier och Colliers (1991) stora verk om "labor incorporation" i 8 latinamerikanska länder använder "ordinal comparison" mer rakt igenom. De idenfierar fyra typer av "labor incorporation periods" och förklarar ordinala skillnader i "scope of mobilization" under denna period. Först eliminerar de förklaringsfaktorer som saknar "consistent relation" till utfallsvariabeln, t ex arbetarrörelsens styrka. De visar sedan att deras huvudsakliga variabel, oligarkins politiska styrka, har en stark korrelation med mobiliseringen under "the incorporation period". Två fall är avvikande: Argentina och Peru som båda har en stark oligarki men också stark arbetarrörelse-moblisering. Collier och Collier förklarar detta med centrala "flaws" i oligarkierna i dessa två länder.

Ännu ett klassiskt verk som använder ordinal jämförelse är Ann Shola Orloffs (1993) studie av välfärdsstatligt stöd för de äldre i Storbritannien, Kanada och USA. Hon konceptualiserar sina egna centrala förklarande variabler med ordinalskalor, och avfärdar också rivaliserande förklaringar på detta sätt, t ex vad gäller förklaringar av äldrevårdens utveckling som fokuserar på andelen äldre personer i samhället.

Den kausala logiken i ordinala jämförelser med small-N liknar mer den logik som används i large-N studier (King, Keohane och Verba 1994, s. 79-82) än vad tänkandet i nominella jämförelser gör. KKV (1994) vill förbättra kvalitativ forskning genom att importera insikter från kvant-forskning, medan Ragin (1997, 1998), McKeown (1999) och Munck (1998) varnar för att göra just detta. (s. 407) Mahoney diskuterar de olika logikerna och ifall det är rimligt att använda båda i samma studie -- det verkar han tycka att det är.

Within-case analysis

Utöver nominala och ordinala jämförelserm ellan fall, använder small-N-forskare också within-case analyser. I WCA används nominala och ordinala mått, men det är på en disaggregerad nivå inom fallet, så värt att diskutera separat. Oftast använder man inom WCA pattern matching, "a procedure in which the analyst assesses cross-case associations in light of multiple within-case hypotheses." (s. 409) En viktig sub-typ inom denna kategori är process tracing, "a technique in whihc the analyst attempts to locate the causal mechanisms linking a hypothesized explanatory variable to an outcome." En tredje teknik, causal narrative, "combines cross-case analysis and within-case analysis by comparing cases in terms of highly disaggregated sequences of processes and events that lead to outcomes." (s. 409) Begreppet pattern matching myntades av Campbell (1975) som påpekade att jämförelser mellan fall ofta för med sig implikationer för vad som händer inom fallen, och att mönster-matching då ger en kraftfull metod för teori-falsifiering: håller verkligen cross-case-slutsatserna within-case? Tekniken används bl.a. i Goldstones (1991) studie av tidigmoderna revolutioner "Goldstone's cross-case nominal agument suggests that demographic growth leads to revolutions by triggering struvtural crises (i.e. fiscal crises, elite-state and intraelite conflict, and mass opposition)." För att stödja detta cross-case-argument tar han fram kvantitativa mått på utvecklinegn inom länderna över tid, för en "political stress indicator", och stödjer med denna statistiska analys cross-case-argumentet. Olikt Goldstone så använder Luebbert (1991) ordinal och nominell jämförelse i sin pattern matching. Hans argument att en "röd-grön" allians mellan socialdemokrati och bönder orsakade socialdemokratiska utfall har within-case-implikationer: den styrande sociala koalitionen saknar stabilitet, arbetarklassen har en hög grad av autonomi från staten, och höga nivåer av strejker och arbetaraktivism utvecklas. Andra within-case-implikationer är nominella: socialisterna kommer inte utmana fördelningen av ägandet på landsbygden eller mobilisera det rurala proletariatet, och "the middle peasantry will not provide a viable social base for the socialists" (Luebbert, s. 268-9, 272, 286-8). I sin within-case analys finner Luebbert mycket riktigt stöd för dessa analyser. (s. 411)

Process tracing, ett begrepp myntat av George och McKeown (1985), används för att identifiera kausala mekanismer, genom vilka en förklarande variabel utövar kausal effekt på en utfallsvariabel (Bennett 1997). PT används för att undvika att man misstar en spuriös korrelation för ett kausalt samband. Skocpol (1979) använde t ex PT för att avfärda existensen av ett ideologiskt motiverat avantgarde som förklaring till sociala revolutioner. De var alltid närvarande, men genom PT kunde Skocpol visa att avantgarden var marginella för de sociala uppror som ledde till revolutionerna. Liknande så använde Luebbert (1991) PT för att eliminera Moore-Gerschenkron-tesen, att fascistiska regimer var utfall av en "labor-repressive landed elite that is able to draw substantial lower-class rural support for facism" (s. 413; ref. Luebbert 1991, s. 308-309). Det finns, säger Luebbert, en korrelation mellan närvaro/frånvaro av repressiv jordägande elit och närvaro/frånvaro avfascism, men de historiska fallen stödjer inte just den kausala mekanismen. Närmare bestämt så var det lantliga stödet för fascismen inte koncentrerat till mer jordägar-dominerade områden. (Här kan vi tänka på Värmland som ett nazistiskt fäste i Furugårds Sverige!) Så trots makro-korrelationen avfärdar Luebbert, baserat på sin process tracing, Moore-Gerschenkron-hypotesen. Andra forskare användet PT inte för att avfärds hypoteser uytan för att stödja dem. Collier och Collier (1991) använder PT i sin analys av Colombia och Uruguay för att identifiera processerna och händelserna genom vilka "electral mobilization by a traditional party" gav utfallet "electoral stability and social conflict".

Begreppet "causal narrative" myntades av William Sewell (1996). Med denna teknik, "the analyst attempts to validate aggregated cross-case associations by separating variables into constituent sequences of disaggregated events and comparing these disaggretated sequences across cases. The purpose of unpacking aggregated variables through narrative is not simply to provide a contextualized description of cases; rather, the goal is to support a cross-case argument at a more disaggregated level." (s. 415) Tekniken har debatteas mycket på 1990-talet: Abbott (1990, 1992); Aminzade (1992); Franzosi (1998); Griffin (1992, 1993); Isaac (1997); Somers (1992), m fl. Men procedurerna genom vilka "analysts decide whether a narrative account lends support to a cross-case causal pattern have not been well specified." (s. 415) Griffin (1993)s förslag om en "eent-structure analysis" är den mest utvecklade varianten. Ett exempel på hur det gjorts i praktiken är Skocpols (1979) analyser av kedjor av händelser som orsakar varandra och leder till revolutioner; Sewell (1996) menar att detta stärker hennes analys trovärdighet. Ett annat exempel är Deborah Yashars (1997, Demanding Democracy) analys av varför Costa Rica blev en demokrati 1949 medan Guatemala 1954 fick en auktoritär regim, en förklaring som centrerar kring politiska koalitioner och mönster av allianser.

Slutsatser

I sin slutsatssektion ger Mahoney några rekommendationer för small-N-forskare. Ett, man måste vara explicit om ifall man använder nominell jämförelse som en informell straregi för att utveckla en idé om ifall variabler grovt sett är matchade, eler om de använder den nominella jämförelsen "as a central strategy of inference". I så fall måste man förstå att denna metod följer en deterministisk förståelse av kausalitet. Om man inte själv tror på nödvändiga och tillräckliga orsaker så bör man inte använda nominella metoder för att avfärda rivaliserande hypoteser. 

Två, man måste ock så vara implicit om hur man använder ordinala jämförelser. Mahoney menar att ordinala metoder används flitigt i small-N-forskning, men att forskarna inte riktigt utvecklar hur de gör detta, vilket också har gett den felaktiga bilden att kvalitativ forskning bara kollar på skillnader "in kind" snarare än skillnader "in degree". När man använder både nominella och ordinala strategier behöver man också göra ett bättre jobb med att förklara relationen mellan de två metoderna. "Is ordinbal analysis used to supplement a primarily nominal assessment, or is ordinal analysis the principal strategy of causal inference? Is ordinal annalysis used at the same level of aggregation as nominal analysis, or are variables disaggregated in the move from nominal analysis to ordinal analysis?" (s. 418)

Tre, small-N-forskare behöver förklara vilken typ av within-case-analys de använder. "There is no inherent reason why within-case analysis must remain an underspecified and implicit strategy." (s. 418) Om man använder pattern matching: är proceduren för kausala slutsatser nominal, ordinal eller statistisk? Om man använder process tracing, dito.

Mahoney ger också råd till forskare som vill utvärdera small-N-forskning utifrån large-N-standards. Ett, man måste beakta att small-N-forskare använder olika metoder, och man kan inte låtsas om att de alla använder samma strategi för kausala slutsatser. Två, man måste likaså beakta att insikter från large-N-analyser inte alltid kan översättas till small-N-forskning: t ex insikter från linjär regressionsanalys överförs inte till small-N-forskning som använder nominala jämförelser. "Likewise, it remains to be seen how statistical research can best inform small-N efforts to identify causal mechanisms." (s. 419)

Referens
James Mahoney (2000) "Strategies of Causal Inference in Small-N Analysis", Sociological Methods and Research 28: 387-424.

Fotnot

*på s. 391-392 konstaterar Mahoney att det inte är helt tydligt eller konsekvent i debatten vad "deterministisk" egentligen betyder. Han använder själv d. för att referera till ""the way in which explanatory variables are assumed to affect outcome variables". Framför allt så är en d. förklaring en "in which explanatory variables (or combinations of explanatory variables) are treated as potential necessary and/or sufficient causes of an outcome." (s. 392)