Comparació entre pacients que actualment reben tractaments i pacients aparentment similars que en el passat van rebre altres tractaments per la mateixa malaltia
En ocasions, els investigadors poden comparar pacients que actualment reben tractaments amb pacients aparentment similars que en el passat van rebre altres tractaments per la mateixa malaltia. Aquestes comparacions poden aportar evidència científica fiable si els efectes del tractament són espectaculars; per exemple, quan un tractament nou en la pràctica aconsegueix que alguns pacients sobrevisquin d’una malaltia que havia estat universalment mortal.
No obstant això, quan les diferències entre els tractaments no són notables i tot i així és útil conèixer-les, aquestes comparacions que fan servir “controls històrics” són potencialment problemàtiques. Encara que els investigadors utilitzin ajustos i anàlisis estadístiques per assegurar que es comparen elements semblants, aquestes anàlisis no podran tenir en compte les característiques rellevants dels pacients dels grups de comparació que no s’hagin registrat. Com a conseqüència, mai no es pot estar segur que s’està comparant una cosa amb una altra de similar.
Es poden presentar problemes similars si es comparen els resultats del mateix tractament administrat a pacients semblants però en diferents moments. Prenguem una anàlisi de les taxes de mortalitat anuals dels pacients amb càncer de pulmó avançat corresponents a 19 moments diferents, amb característiques similars sotmesos exactament als mateixos tractaments. Encara que s’haguessin esperat poques diferències en les taxes de mortalitat, de fet les diferències van ser considerables: les taxes de mortalitat van oscil·lar del 24% (millor) al 46% (pitjor).[4]
Clarament, la causa d’aquestes diferències no consistia en què els tractaments havien canviat, ja que eren iguals, ni perquè els pacients eren notablement diferents, ja que no ho eren. Les taxes de mortalitat discrepants probablement reflectien diferències no detectades entre els pacients o altres canvis no registrats amb el pas del temps (millor atenció d’infermeria o control de les infeccions, per exemple), que potser no es van tenir en compte en les comparacions.