Explorations in Economic History har ett intressant format som heter "Surveys and speculations" och där publicerade LSE-ekonomisk-historikern Eric B. Schneider för några år sen en artikel med rubriken "Collider bias in economic history research". Vad artikeln gör är att introducera det tänkande om hur man kan modellera kausalitet som datorvetaren Judea Pearl har utvecklat och där olika diagram med kausala pilar, som de som jag klistrat in högst upp, är centrala. Det handlar om att tänka på olika sätt hur ens beräkningar av kausala effekter kan kontamineras av olika variabler som man missat att fånga upp och som på olika sätt är relaterade till de variabler man undersöker.
Den enklaste formen av en DAG (directed acyclic graph) är en där man har en förklarande variabel A och en utfallsvariabel B, och så en kausal pil från A till B. Denna enkla variant är högst upp i Figur 1. Version två är en där den kausala effekten förmedlas av en tredje variabel (mediator variable). Här finns det fortfarande ingen omvänd kausalitet. Den tredje varianten, confounding, är mer komplicerad:
"the third is a confounding path where an ancestor variable causes both the exposure and the outcome. This can be through a direct line of causation as in Fig. 1 C: Exposure ← D →Outcome. Or it could include a number of variables as in the lower path in Fig. 1 C: Exposure ← E ← F →Outcome."
Också den fjärde, colliding, är komplicerad för beräkningar av kausalitet:
"a colliding path is one where two arrows collide on (are pointed toward) the same variable. The simplest form is when a variable is a descendant of both the exposure and outcome as in the top path in Fig. 1 D: Exposure →G ← Outcome. Colliding paths can also be more complex though as in the lower path: Exposure →H ← I →Outcome. Variables where two arrows collide are called collider variables, i.e. variables G and H."
Idén med DAGs är att om vi vill beräkna effekten av A på B på ett rimligt sätt så vill vi stänga alla andra vägar (backdoor paths) mellan A och B: alla confounders och alla colliders. I relation till figur 1C så säger han att om man kontrollerar för E eller F i regressionen så räcker det för att kontrollera för den undre kausala kedjan. Man måste också kontrollera för D så att man inte får omitted variable bias, som illustreras av den röda streckade linjen.
Att hantera colliders är ännu mer komplicerat i ekonomisk-historisk kontext:
"Colliding paths can also create bias, but unlike confounders, collider variables naturally close non-causal paths. Thus, the upper path in Fig. 1 D, Exposure →G ← Outcome, is naturally closed. However, controlling for or conditioning on a collider (or a descendent of the collider) opens a non-causal path between exposure and outcome, inducing bias in the effect of interest. The lower path in Fig. 1 D is an example of this. Conditioning on variable H opens the non-causal path Exposure → ← I →Outcome, inducing bias in the estimated causal eff ect between exposure and outcome, again represented by a red, dashed line. This bias is known as collider bias or endogenous selection bias and is far less intuitive and straightforward than confounding bias. It can take many forms from traditional sample-selection bias to attrition and survival bias to the bad controls described by Angrist and Pischke (2009) . In historical research, conditioning on a collider is often a product of the study design since historical sources may have only been collected or survive for selected samples and is especially likely to occur when sample selection is related to the outcome. Note that in many cases, identifi cation strategies commonly used by economic historians cannot overcome collider bias because the colliding non-causal path either occurs after the treatment has occurred or is unrelated to the treatment, meaning that randomisation of the treatment or other quasi-experimental identifi cation strategies such as IV and diff -in-diff do not eliminate the bias."
Schneider konkretiserar sin diskussion genom tio exempel ur ekonomisk-historisk forskning. Han börjar med fyra sorters colliders som alla är "direct descendants of the outcome variable": truncation bias, sample-selection bias, nonresponse bias, och ascertainment bias. Hans exempel på truncation bias är Floud, Wachter och Gregorys bok Height, health and history: nutritional status in the United Kingdom, 1750-1980 från 1990. Militära arkiv är en central källa för deras breräkningar av hur kroppslängden utvecklats i Storbritannien men ett problem med denna källa är att armén alltid hade minimikrav på hur lång man skulle vara för att få bli militär: utfallsvariabeln längd är alltså trunkerad, "i.e. we are implicitly adjusting on the outcome variable."
Nästa typ är sample-selection bias och här utgår Schneider från Bodenhorn et als (2017) kritik av den historiska längdlitteraturen. Bodenhorn et al argumenterade för att folk som var långa (dvs hade god hälsa) hade bättre jobbmöjligheter än korta människor vilket gjorde att den militära karriären relativt sett var mindre attraktiv för de långa. När ekonomin förbättrades under den industriella revolutionen och arbetsmarknaden förbättrades, så ökade därför biasen i vilka män som valde den militära karriären. Detta, säger Bodenhorn et al i sin kritik av Komlos (1998), gör att soldaterna blev kortare under det brittiska 1800-talet även när levnadsstandarden förbättrades. I ett DAG-perspektiv är detta att säga att Bodenhorns kritik är om Komlos (1998) och liknande studier: "Since the researcher can only observe the heights of men who enlisted in the military, they are implicitly conditioning on a descendant of the outcome, introducing a non-causal association between the exposure and error term and biasing the estimated effect between nutrition and adult height." Alltså: hälsotillståndet (för vilket kroppslängden är en proxy) påverkar yrkesvalet men eftersom datat bara omfattar ett yrke (militärer) så är ens mått av utfallsvariabeln conditioned på den uteslutna variabeln, arbetsmarknadsmöjligheterna. Hur man man då hantera detta?
"Finding an instrumental variable (IV) for nutrition would not change the fact that enlistment could still be driven by height, especially since enlistment would occur after the exposure. Thus, one either has to model the selection explicitly as Zimran (2019) did, or seek to show that there is no causal link between the outcome and collider as Komlos and A’Hearn (2019) did. As a general note, one must always break the causal link between the outcome and the collider if the collider is a direct descendant of the outcome."
Ett annat exempel är Bodenhorn et als (2012) studie av brottslingar i USA:s 1800-tal. Likt militärerna är detta ett väldigt selekterat urval: de som fångats och straffats för ett brott som de (antagligen) begått. Bodenhorn et al vill beräkna effekterna av näring på ens välmående och sannolikheten för att man ska begå brott. Här pekar Schneider på att ens sannolikhet att begå brott också beror på brottslighetens alternativkostnad vilket är att leva ett hederligt liv och jobba hederligt. Och ens förutsättningar för sådana hederliga jobb påverkas i sig av ens näringsnivå när man var barn. (Se figur 3 ovan.) Hur kraftigt ens problem med bias är, beror på hur starka relationerna mellan näringsvärde och lön var, och relationen mellan lön och sannolikheten att begå brott. Flera ekonomisk-historiker har utforskat dessa två relationer:
"The extent of the bias that this creates depends on the strength of the relationships between the exposure and outcome and the collider. For instance, it is possible that nutrition in childhood explains a very small share of human capital formation in the nineteenth-century economy because most human capital was gained through learning by doing and cognitive ability was less important. Thus, the correlation between nutrition in childhood and the wage in the labour market might be very small and therefore introduce only a small amount of bias. Likewise, one could argue that women’s wages were not as strongly determined by their height as men’s wages since men tended to work in the most physically demanding jobs where physical size might be most valued. This would mean that the bias introduced by conditioning on a collider might be smaller for women than for men, which is reassuring since prison records are one of the very few sources of women’s heights that economic historians have. As Zimran (2019) shows, just because some bias is detectable in the data does not mean that the bias is large enough to overturn findings from the raw data that did not formally account for the collider. Finally, many researchers focus on local gaols like Houses of Correction rather than penitentiaries which housed criminals convicted of serious off ences. By focusing on minor crimes such as drunkenness and disorderly conduct, these historians have argued that the link between an individual’s wage in the labour market and their propensity to commit a crime was very small, reducing the potential bias (Horrell et al., 2009, p. 104). One could extend this approach by showing that height trends by birth cohort were similar among those committing crimes strongly related and unrelated to labour market conditions. These solutions are not formally as convincing as modelling the selection directly, but they could help to assuage fears of substantial bias. "
En tredje form av bias är nonresponse bias. Här tar Schneider sitt exempel från ett papper som han själv skrivit med David de la Croix och Jacob Weisdorf om relationen mellan social klass och kvinnors sannolikhet för att gifta sig eller inte gifta sig i historiska England. De använder Cambridge-gruppens familjerekonstruktioner av 26 engelska socknar, och har då fullständiga data för personerna som bor i dessa socknar, men intenågra andra. Den förklarande variabeln är social klass, som mäts genom förmögenheten när man boupptecknades och som klassificerats i sju grupper från låg till hög. Här är kruxet att varje person som flyttar ut ur en av de 26 socknarna försvinner ut ur datat, vilket gör att datat inte är representativt. Mer specifikt så är problemet med collider bias att ens klasstillhörighet kan påverka ens benägenhet att flytta ut ur socknen, vilket ju påverkar vad som mäts. Och kanske är sannolikheten att gifta sig olik för migranter och icke-migranter? Schneider resonerar om hur de hanterade detta. De gjorde två tester för att övertyga om att deras beräknade kausala effekt av social klass på äktenskapsbeslut inte var biased av deras samples begränsning till folk som stannade inom sina socknar. Det första testet var att se ifall sannolikheten att migrera varierade med social klass. Det gjorde den inte på något statistiskt signifikant sätt. Det andra testet var att jämföra äktenskapsmönster för in-migranter till de 26 socknarna, med kvinnor som fötts och stannat inom dessa socknar. "We showed that the share of in-migrant brides was fairly constant across social groups and that upper class women were not more likely to migrate for marriage. Thus, it seems unlikely that there was a strong causal relationship between marriage and migration, and it certainly did not vary substantially by social group. This allowed us to argue that conditioning on non-migrants did not substantially bias our results."
Den fjärde typen av bias är ascertainment bias. Schneider tar ett hypotetiskt exempel: tänk att du vill beräkna ifall dödligheten i pest i tidigmoderna England var större bland rika eller bland fattiga. Man kan jämföra förmögenheten för boupptecknade som dog under pest-år med förmögenheten för folk som dog andra år. "This empirical setup implicitly conditions on a collider because not all individuals were probated: the wealthy were more likely to be probated and people were probably less likely to leave wills and be formally probated during plague epidemics." Då kan man få ett spuriöst resultat: att de som dog under pest-år var rikare än andra, fast detta bara drivs av selektionen in i att boupptecknas och hur denna skilde sig mellan pest-år och andra år.
Dessa fyra första typer av bias är varianter av att the collider is a descendant of the outcome. Från detta går Schneider in på the more nuanced and trickier cases where the collider is an intermediate variable. Också här tar Schneider fyra exempel: (1) survival bias, (2) M-bias, (3) imperfekta proxy-mått, (4) Collider Bias due to Conditioning on a Mediator.
Hans exempel på survival bias är en studie som Schneider själv gjort med Vellore Arthi (2020) om effekterna av bröstmjölk på ens hälsa som (lite större) barn. De har data från London Foundling Hospital och kruxet här är att bröstmjölken påverkar bara inte ens hälsa utan också ens chanser att över huvud taget överleva. De har ju per definition bara mått på hälsa för barn som överlevt, så de beräknade effekterna av bröstmjölk kan vara biased. Om barnen med svagast hälsa dog innan deras hälsa som lite större barn kunde observeras, så har ju en del av hälsofördelningen försvunnit, och om det framför allt var icke ammande barn som dog, så kan man få en spuriös effekt att det var bra för hälsan att inte amma.
"In order to combat this bias, we were able to find birth weights for a sub-sample of the Foundling Hospital children and compare their birth weights to a random sample of children born in London during the same period. Our results suggest that although mortality may have been higher among the never breastfed group, this mortality did not appear to be related to latent health, proxied by birth weight. Birth weights of breastfed and never breastfed children observed later in infancy were not statistically different from one another or from birth weights in the comparative sample of children. This casts doubt on the causal relationship between latent health and survival within breastfeeding categories at least insofar as birth weight captures latent health. We also controlled directly for birth weight as a proxy of latent health, which closes the non-causal path between exposure and outcome through the collider survival, eliminating the collider bias. This example highlights the importance of key controls in managing collider bias on intermediate variables."
Här för Schneider också ett intressant resonemang om att kvasi-experimentella metoder med instrumentvariabler eller diff-in-diff inte skulle lösa collider bias-problemet här eftersom utfallet ur samplet sker efter treatment (att amma eller inte). I Schneider och Arthis approach var alltså kontroller för olika kontextvariabler en viktigare strategi. De använder också Osters (2019) metod för att kolla på ens selection on unobservables.
Schneiders andra typ av bias som kommer av en collider som är en intermediate variable är så kallad M-bias, som fått detta namn eftersom DAG-grafen i detta fall ser ut som ett M. Han illustrerar detta med Bleakleys (2007) studie av hur sjukdomar under barndomen påverkade ens utfall senare i livet, i fallet hookworm (en sjukdom som tar energi ur barnen och gör det svårt för dem att koncentrera sig i skolan) i USA:s Sydstater i det tidiga 1900-talet. Hookworm dog man inte av, så Bleakleys studie har inte den typ av survival bias som Schneider och Arthi tampades med. Bleakley visar att barn som hade hookworm fick lägre inkomster i 50-årsåldern. Risken här är att resultatet påverkas av M-bias efersom Bleakley bara har data på utfallsvariabeln (inkomster i 50-årsåldern) för de som stannade i Södern. En stor del av den svarta befolkninegn i Södern migrerade i själva verket norrut under denna period, the Great Migration, och Collins och Wanamaker (2015) visar att de som migrerade överlag kom från lite rikare, mer utbildade och mindre jordbrukande familjer. Dessa socioekonomiska faktorer bör också ha påverkat ens risk att drabbas av hookworm, eftersom de lite mer välbärgade familjerna kan ha betalat för mer hygieniskt boende och så vidare. Risken är då att Bleakleys sample, som består av icke-migranter, i oproportionerligt hög grad plockar upp folk från sämre ekonomiska förhållanden. Bleakley hanterar denna collider bias genom att använda en deworming-kampanj som drevs av en Rockefeller-stiftelse efter 1910, som en exogen chock som påverkade barn som växte upp efter 1910, men inte före 1910. Han jämför barn som växte upp före och efter 1910, i områden med höga och låga grundnivåer av hookworm. En annan strategi är att ta in alla barn som föddes i stater med hookworm, också de som senare migrerade. Då får han dock en mindre precis mått av den oberoende variabeln eftersom han då bara har data på vilken delstat man växte upp i, inte vilket county.
Den tredje typ av intermediate collider bias är imperfekta proxies som själva kan vara beroende av (descendants of) andra variabler i DAG-en. Dessa blir då en "bad control" som diskuterat av Angrist och Pischke (2009). Här är Schneiders exempel Acemoglu, Johnson och Robinsons (2001) berömda paper där de argumenterar för att europeiska kolonisatörer valde att etablera extraherande eller inkluderande institutioner i sina kolonier beroende på om de själva ville bo på platsen eller ej, något som bestämdes av deras dödlighet i malaria och liknande sjukdomar. Albouy (2012) har kritiserat AJR:s artikel och inte minst för att deras dödlighetsdata i hög grad kommer inte från 1500-talet, när kolonierna etablerades, utan från europeiska militärer i det sena 1700-talet och 1800-talet, långt efter koloniseringen. [1] DAG:en i figur 8 ovan visar att dessa mortalitetsdata visserligen är en proxy för tidigare dödlighet (pilen längst till vänster), men att 1700- och 1800-talens dödlighet troligen också påverkas av de institutioner som utvecklats sedan 1500-talet -- vilket ju ska vara utfallsvariabeln i första steget och alltså inte bör påverka den oberoende variabeln, dödlighet! Mera specifikt så säger McNeill (1999) att gula febern var prevalent i Afrika och att den kom över Atlanten genom slavhandeln. De myggor som spred gula febern var perfekt ägnade åt att leva i de områden som producerade socker, och gula febern tog död på en stor mängd kolonisatörer. Därmed så plockar AJR:s data för den oberoende variabeln i själva verket upp en effekt från utfallsvariabeln, institutioner.
Den fjärde diskussionen i sektionen om uteslutna variabel som påverkar genom medierande variabler handlar om medieringsanalys och kausala mekanismer. Denna typ av analys är, säger Schneider, inte särskilt vanlig inom ekonomisk historia, men används inom persistens-studier. "Collider bias arises in mediation analysis if the mediator shares a common cause with the outcome. If this is the case, then conditioning on the mediator is conditioning on a collider, which opens a non-causal path between exposure and outcome. This case is the second form of ‘bad control’ discussed by Angrist and Pischke ( 2009, pp. 64-66)." Exemplet här kommer från Nunn och Wantchekons (2011) analys av hur slavhandelns intensitet i Afrika historiskt sett på verkar tillitsnivåer idag. De använder individuella surveydata från Afrobarometer Surveys från idag och får t ex fram att tilliten till lokalpolitiken är lägre i områden som såg större export av slavar under tidigmodern tid. Då frågar de sig ifall den lägre tilliten till lokalpolitiken i dessa områden drivs av mindre tillit i sig, eller av att slavhandelns arv helt enkelt orsakat sämre kvalitet i det politiska styret. När de kontrollerar för olika mått på lokalstyrets kvalitet får de fram att denna medierande variabel förklarar ungefär hälften av effekterna av slavhandeln på tilliten. Schneider kommenterar:
"However, by conditioning on the mediator, they also opened a non-causal path between exposure and outcome because unobserved factors may have aff ected both trust in the local council and the eff ectiveness of the local council. This induces a spurious correlation between slave exports and these unobserved factors, which biases the analysis. One such factor would have been local public goods. In actuality, Nunn and Wantchekon (2011) control for local public goods in a second specifi cation, which closes the backdoor path through the collider, but as mentioned above, any variable that is a common ancestor of the mediator and outcome will lead to bias when conditioning on the mediator. This type of bias does not arise frequently in economic history research, but those trying to understand causal mechanisms by controlling for mediators should consider it carefully."
Den tredje och sista allmänna typen av collider bias handlar om när "the researcher conditions on a pre-treatment collider." Exemplet här handlar om Beach och Hanlons (2018) papper om effekter av industriella föroreningar i rökform, på barnadödlighet. De har data om föroreningar på distriktsnivå, och individdata för barnens död eller överlevnad. Problemet för kausala slutsatser här, säger Schneider, är att familjer sannolikt väljer var de ska bo baserat bland annat just på lokala för- och nackdelar som nivån av föroreningar. "Because Beach and Hanlon only observe the deaths of infants where their parents had chosen to live, they are implicitly conditioning on a collider. Their direct causal estimate is biased by all of the non-causal paths that run from pollution through the collider (residence location choice) to mortality, i.e. the raw association captures not only the effects of pollution on mortality but also that of disease exposure, neighbourhood crowding and income." Hur kan man då hantera detta? För det första, säger Schneider, så kan man försöka kontrollera för en indikator för varje väg från collider-variabeln till utfallet: områdets inkomstnivå, trångboddhet och sanitära förhållanden. Den andra strategin är att försöka bryta den kausala länken mellan föroreningarna och boendet. Det räcker inte att använda förorening för 50 år sedan som instrument, eftersom sorteringen mellan distrikt då fortfarande sker efter randomiseringen. Istället behöver man något annat som händer och orsakar mer slumpmässig variation: en chock till en lokalt dominerande industri (t ex Lancashires "bomullssvält"), eller uppfinnandet av bättre eldningsarrangemang som gjorde att kolet förorenade mindre. Beach och Hanlons strategi är att jämföra effekterna av kolet som eldas upwind and downwind of a particular district.
I slutsatserna så betonar Schneider att taxonomin över olika slags collider bias är användbar, men att det är ännu viktigare att utveckla "a detailed understanding of the underlying data generating process than to fit every form of bias into this taxonomy". En väldigt rimlig rekommendation! Resonemangen om olika typer av bias är inte nya för ekonomisk-historiker, säger han vidare, men det är användbart att använda DAG-ramverket av minst två skäl. För det första, eftersom en DAG tvingar forskaren att tydliggöra sina antaganden om olika kausala relationer, och därmed hjälper en diagnosticera möjliga källor till collider bias. Här säger han intressant nog att DAG-en kanske är ännu mer relevant för ekonomisk-historiker än för nationalekonomer. Ekonomisk-historikerna har ju de historiska fall de har, och det är ofta inte särskilt enkelt att hitta motsvarande data med någon variation som gör att man kan överkomma bias, så som nationalekonomer som arbetar med nutida data kan göra. Därför blir det extra viktigt att tänka igenom forskningsdesignen för de data man har. Det andra skälet till att DAG-ramverket är särskilt användbart för konomisk-hisotirker är för att förtydliga i vilka fall som randomisering eller kvasi-randomisering av den oberoende variabeln löser problem med collider bias. Det löser inte problemet om ens collider är en direct descendant of the outcome eller i olika fall när collider bias inträffar efter att den oberoende variabeln observerats. Det tredje skälet är att tänkande genom DAGs hjälper en att tänka på andra sätt än randomisering för att hantera collider bias och mäta kausala effekter. Man kan resonera mer historiskt om hur starka de kausala länkarna bör vara mellan ens collider och variablerna man mäter i ens historiska kontext, eller när ens problem handlar om sample selection dependent on the outcome (som med kroppslängd mätt med militära data som diskuterat ovan) så kan man modellera ens sample selection explicit. Schneider avslutar med att påpeka att DAGs också kan vara ett bra och pedagogiskt sätt att undervisa strategier för kausala slutsatser för studenter: att förklara endogenitetsproblem som omitted variable bias och omvänd kausalitet på icke-tekniska sätt, och även för att förklara sample-selection bias och andra typer av bias. Vilket jag tror att han har helt rätt i!
referens
Eric B Schneider (2020) "Collider bias in economic history research", Explorations in Economic History.
fotnoter
[1] Förra året kom det en fascinerande artikel om vilka resultat ekonomerna tror på nu för tiden, 25 år efter AJR:s artikel och 20+ år efter att den första versionen av Albuoys kommentar cirkulerades: Martin Buchner, Julian Rose, Magnus Johannesson, Mandy Malan, and Jörg Ankel-Peters, "Seeking Scientific Consensus – An Expert Survey on the Replication Debate Between Acemoglu et al. (2001) and Albouy (2012)", Ruhr Economic Papers #1176. De gjorde en survey bland 352 forskare som citerat AJR:s eller Albuoys artiklar och fann att: "ur findings indicate no consensus on whether the original results hold after Albouy’s replication, although there is a slight tendency among experts to side with the replicator. Exploratory heterogeneity analysis suggests that experts with greater academic credentials are more likely to align with Albouy."











