Explorations in Economic History har ett intressant format som heter "Surveys and speculations" och där publicerade LSE-ekonomisk-historikern Eric B. Schneider för några år sen en artikel med rubriken "Collider bias in economic history research". Vad artikeln gör är att introducera det tänkande om hur man kan modellera kausalitet som datorvetaren Judea Pearl har utvecklat och där olika diagram med kausala pilar, som de som jag klistrat in högst upp, är centrala. Det handlar om att tänka på olika sätt hur ens beräkningar av kausala effekter kan kontamineras av olika variabler som man missat att fånga upp och som på olika sätt är relaterade till de variabler man undersöker.
Den enklaste formen av en DAG (directed acyclic graph) är en där man har en förklarande variabel A och en utfallsvariabel B, och så en kausal pil från A till B. Denna enkla variant är högst upp i Figur 1. Version två är en där den kausala effekten förmedlas av en tredje variabel (mediator variable). Här finns det fortfarande ingen omvänd kausalitet. Den tredje varianten, confounding, är mer komplicerad:
"the third is a confounding path where an ancestor variable causes both the exposure and the outcome. This can be through a direct line of causation as in Fig. 1 C: Exposure ← D →Outcome. Or it could include a number of variables as in the lower path in Fig. 1 C: Exposure ← E ← F →Outcome."
Också den fjärde, colliding, är komplicerad för beräkningar av kausalitet:
"a colliding path is one where two arrows collide on (are pointed toward) the same variable. The simplest form is when a variable is a descendant of both the exposure and outcome as in the top path in Fig. 1 D: Exposure →G ← Outcome. Colliding paths can also be more complex though as in the lower path: Exposure →H ← I →Outcome. Variables where two arrows collide are called collider variables, i.e. variables G and H. "
Idén med DAGs är att om vi vill beräkna effekten av A på B på ett rimligt sätt så vill vi stänga alla andra vägar (backdoor paths) mellan A och B: alla confounders och alla colliders. I relation till figur 1C så säger han att om man kontrollerar för E eller F i regressionen så räcker det för att kontrollera för den undre kausala kedjan. Man måste också kontrollera för D så att man inte får omitted variable bias, som illustreras av den röda streckade linjen.
Att hantera colliders är ännu mer komplicerat i ekonomisk-historisk kontext:
"Colliding paths can also create bias, but unlike confounders, collider variables naturally close non-causal paths. Thus, the upper path in Fig. 1 D, Exposure →G ← Outcome, is naturally closed. However, controlling for or conditioning on a collider (or a descendent of the collider) opens a non-causal path between exposure and outcome, inducing bias in the effect of interest. The lower path in Fig. 1 D is an example of this. Conditioning on variable H opens the non-causal path Exposure → ← I →Outcome, inducing bias in the estimated causal eff ect between exposure and outcome, again represented by a red, dashed line. This bias is known as collider bias or endogenous selection bias and is far less intuitive and straightforward than confounding bias. It can take many forms from traditional sample-selection bias to attrition and survival bias to the bad controls described by Angrist and Pischke (2009) . In historical research, conditioning on a collider is often a product of the study design since historical sources may have only been collected or survive for selected samples and is especially likely to occur when sample selection is related to the outcome. Note that in many cases, identifi cation strategies commonly used by economic historians cannot overcome collider bias because the colliding non-causal path either occurs after the treatment has occurred or is unrelated to the treatment, meaning that randomisation of the treatment or other quasi-experimental identifi cation strategies such as IV and diff -in-diff do not eliminate the bias."
Schneider konkretiserar sin diskussion genom tio exempel ur ekonomisk-historisk forskning. Han börjar med fyra sorters colliders som alla är "direct descendants of the outcome variable": truncation bias, sample-selection bias, nonresponse bias, och ascertainment bias. Hans exempel på truncation bias är Floud, Wachter och Gregorys bok Height, health and history: nutritional status in the United Kingdom, 1750-1980 från 1990. Militära arkiv är en central källa för deras breräkningar av hur kroppslängden utvecklats i Storbritannien men ett problem med denna källa är att armén alltid hade minimikrav på hur lång man skulle vara för att få bli militär: utfallsvariabeln längd är alltså trunkerad, "i.e. we are implicitly adjusting on the outcome variable."
Nästa typ är sample-selection bias och här utgår Schneider från Bodenhorn et als (2017) kritik av den historiska längdlitteraturen. Bodenhorn et al argumenterade för att folk som var långa (dvs hade god hälsa) hade bättre jobbmöjligheter än korta människor vilket gjorde att den militära karriären relativt sett var mindre attraktiv för de långa. När ekonomin förbättrades under den industriella revolutionen och arbetsmarknaden förbättrades, så ökade därför biasen i vilka män som valde den militära karriären. Detta, säger Bodenhorn et al i sin kritik av Komlos (1998), gör att soldaterna blev kortare under det brittiska 1800-talet även när levnadsstandarden förbättrades. I ett DAG-perspektiv är detta att säga att Bodenhorns kritik är om Komlos (1998) och liknande studier: "Since the researcher can only observe the heights of men who enlisted in the military, they are implicitly conditioning on a descendant of the outcome, introducing a non-causal association between the exposure and error term and biasing the estimated effect between nutrition and adult height." Alltså: hälsotillståndet (för vilket kroppslängden är en proxy) påverkar yrkesvalet men eftersom datat bara omfattar ett yrke (militärer) så är ens mått av utfallsvariabeln conditioned på den uteslutna variabeln, arbetsmarknadsmöjligheterna. Hur man man då hantera detta?
"Finding an instrumental variable (IV) for nutrition would not change the fact that enlistment could still be driven by height, especially since enlistment would occur after the exposure. Thus, one either has to model the selection explicitly as Zimran (2019) did, or seek to show that there is no causal link between the outcome and collider as Komlos and A’Hearn (2019) did. As a general note, one must always break the causal link between the outcome and the collider if the collider is a direct descendant of the outcome."
Ett annat exempel är Bodenhorn et als (2012) studie av brottslingar i USA:s 1800-tal. Likt militärerna är detta ett väldigt selekterat urval: de som fångats och straffats för ett brott som de (antagligen) begått. Bodenhorn et al vill beräkna effekterna av näring på ens välmående och sannolikheten för att man ska begå brott. Här pekar Schneider på att ens sannolikhet att begå brott också beror på brottslighetens alternativkostnad vilket är att leva ett hederligt liv och jobba hederligt. Och ens förutsättningar för sådana hederliga jobb påverkas i sig av ens näringsnivå när man var barn. (Se figur 3 ovan.) Hur kraftigt ens problem med bias är, beror på hur starka relationerna mellan näringsvärde och lön var, och relationen mellan lön och sannolikheten att begå brott. Flera ekonomisk-historiker har utforskat dessa två relationer:
"The extent of the bias that this creates depends on the strength of the relationships between the exposure and outcome and the collider. For instance, it is possible that nutrition in childhood explains a very small share of human capital formation in the nineteenth-century economy because most human capital was gained through learning by doing and cognitive ability was less important. Thus, the correlation between nutrition in childhood and the wage in the labour market might be very small and therefore introduce only a small amount of bias. Likewise, one could argue that women’s wages were not as strongly determined by their height as men’s wages since men tended to work in the most physically demanding jobs where physical size might be most valued. This would mean that the bias introduced by conditioning on a collider might be smaller for women than for men, which is reassuring since prison records are one of the very few sources of women’s heights that economic historians have. As Zimran (2019) shows, just because some bias is detectable in the data does not mean that the bias is large enough to overturn findings from the raw data that did not formally account for the collider. Finally, many researchers focus on local gaols like Houses of Correction rather than penitentiaries which housed criminals convicted of serious off ences. By focusing on minor crimes such as drunkenness and disorderly conduct, these historians have argued that the link between an individual’s wage in the labour market and their propensity to commit a crime was very small, reducing the potential bias (Horrell et al., 2009 , p. 104). One could extend this approach by showing that height trends by birth cohort were similar among those committing crimes strongly related and unrelated to labour market conditions. These solutions are not formally as convincing as modelling the selection directly, but they could help to assuage fears of substantial bias. "
En tredje form av bias är nonresponse bias. Här tar Schneider sitt exempel från ett papper som han själv skrivit med David de la Croix och Jacob Weisdorf om relationen mellan social klass och kvinnors sannolikhet för att gifta sig eller inte gifta sig i historiska England. De använder Cambridge-gruppens familjerekonstruktioner av 26 engelska socknar, och har då fullständiga data för personerna som bor i dessa socknar, men intenågra andra. Den förklarande variabeln är social klass, som mäts genom förmögenheten när man boupptecknades och som klassificerats i sju grupper från låg till hög. Här är kruxet att varje person som flyttar ut ur en av de 26 socknarna försvinner ut ur datat, vilket gör att datat inte är representativt. Mer specifikt så är problemet med collider bias att ens klasstillhörighet kan påverka ens benägenhet att flytta ut ur socknen, vilket ju påverkar vad som mäts. Och kanske är sannolikheten att gifta sig olik för migranter och icke-migranter? Schneider resonerar om hur de hanterade detta. De gjorde två tester för att övertyga om att deras beräknade kausala effekt av social klass på äktenskapsbeslut inte var biased av deras samples begränsning till folk som stannade inom sina socknar. Det första testet var att se ifall sannolikheten att migrera varierade med social klass. Det gjorde den inte på något statistiskt signifikant sätt. Det andra testet var att jämföra äktenskapsmönster för in-migranter till de 26 socknarna, med kvinnor som fötts och stannat inom dessa socknar. "We showed that the share of in-migrant brides was fairly constant across social groups and that upper class women were not more likely to migrate for marriage. Thus, it seems unlikely that there was a strong causal relationship between marriage and migration, and it certainly did not vary substantially by social group. This allowed us to argue that conditioning on non-migrants did not substantially bias our results."
Den fjärde typen av bias är ascertainment bias. Schneider tar ett hypotetiskt exempel: tänk att du vill beräkna ifall dödligheten i pest i tidigmoderna England var större bland rika eller bland fattiga. Man kan jämföra förmögenheten för boupptecknade som dog under pest-år med förmögenheten för folk som dog andra år. "This empirical setup implicitly conditions on a collider because not all individuals were probated: the wealthy were more likely to be probated and people were probably less likely to leave wills and be formally probated during plague epidemics." Då kan man få ett spuriöst resultat: att de som dog under pest-år var rikare än andra, fast detta bara drivs av selektionen in i att boupptecknas och hur denna skilde sig mellan pest-år och andra år.
Dessa fyra första typer av bias är varianter av att the collider is a descendant of the outcome. Från detta går Schneider in på the more nuanced and trickier cases where the collider is an intermediate variable. Också här tar Schneider fyra exempel: (1) survival bias, (2) M-bias, (3) imperfekta proxy-mått, (4) Collider Bias due to Conditioning on a Mediator.
referens
Eric B Schneider (2020) "Collider bias in economic history research", Explorations in Economic History.
