Sobre el uso de la evidencia y la validez externa en la evaluación de intervenciones sociales: una mirada crítica



Título del documento: Sobre el uso de la evidencia y la validez externa en la evaluación de intervenciones sociales: una mirada crítica
Revista: Colombia Internacional
Base de datos: CLASE
Número de sistema: 000507028
ISSN: 0121-5612
Autores: 1
Instituciones: 1Universidad del Norte, Atlántico. Colombia
Año:
Periodo: Ene-Mar
Número: 105
País: Colombia
Idioma: Español
Tipo de documento: Artículo
Enfoque: Analítico, descriptivo
Resumen en español Objetivo/contexto: son cada vez más las voces críticas sobre la idoneidad de prácticas dominantes en la evaluación de intervenciones sociales (por ejemplo, las RCT) frente al objetivo de informar políticas basadas en evidencia. Este artículo se enfoca en dos elementos centrales de dicha reflexión: i) la evidencia, como concepto y como resultado de un proceso de razonamiento; y ii) la noción de validez externa. Metodología: el uso de literatura en los campos de la evaluación y de la filosofía del conocimiento me permite hacer una deconstrucción del concepto de causalidad en las ciencias sociales. A partir de este ejercicio, y de la distinción entre teorías de causalidad sucesionista y generativa, identifico criterios para examinar críticamente algunos postulados epistemológicos implícitos en argumentos de exponentes de las técnicas experimentales de evaluación. Conclusiones: las técnicas experimentales no permiten, por sí mismas, informar decisiones sobre cómo invertir recursos de forma eficiente. Pese a su fortaleza para cuantificar posibles efectos causales, es necesario complementar el análisis estadístico contrafactual con formas de razonamiento cualitativo conducentes a solucionar interrogantes sobre las causas eficaces detrás del resultado de intervenciones sociales, y los factores de soporte que podrían permitir pensar en la extrapolación de políticas o programas sociales entre diferentes contextos. Originalidad: la literatura en español sobre críticas y alternativas a las técnicas de evaluación de impacto es escasa. Más que presentar un resumen de argumentos de otros autores, este artículo construye una narrativa coherente para repensar el papel de la evaluación en la sociedad
Resumen en inglés Objective/Context: There is a growing criticism of the mainstream evaluations of the social interventions (e.g. RCTs) which shape evidence-based policies. This article focuses on two central aspects of this question: i) the notion of evidence, as a concept and a result of a process that entails reasoning, and ii) the understanding of external validity. Methodology: Through an analysis of the literature on evaluation and the philosophy of knowledge, I deconstruct the concepts of causality in the social sciences. This exercise allows me to distinguish between successionist and generative theories of causality and establish criteria to critically examine some epistemological postulates of experimental evaluation techniques. Conclusions: By themselves, experimental methods of evaluation do not allow for informed decisions about an efficient investment of resources. Despite their strength in quantifying possible causal effects, counterfactual statistical analyses need to be complemented by forms of qualitative reasoning in order to answer questions about the direct and indirect causes of the results of social interventions, and thus strengthen our understanding of the extrapolation of social policies or programs from certain contexts. Contribution: There are few studies in Spanish which criticize experimental evaluation techniques or suggest alternatives to them. Instead of summarizing the arguments of other authors, this article presents a coherent narrative which asks us to rethink the current role of the evaluation of social interventions
Resumen en portugués Objetivo/contexto: há cada vez mais vozes críticas sobre a adequação das práticas dominantes na avaliação das intervenções sociais (por exemplo, RCT) versus o objetivo de informar políticas baseadas em evidências. Este artigo enfoca dois elementos centrais de tal reflexão: i) a evidência, como um conceito e como resultado de um processo de raciocínio e ii) a noção de validade externa. Metodologia: o uso da literatura nas áreas de avaliação e filosofia do conhecimento me permite fazer uma desconstrução do conceito de causalidade nas ciências sociais. A partir desse exercício e da distinção entre teorias de causalidade sucessória e generativa, identifico critérios para examinar criticamente alguns postulados epistemológicos implícitos em argumentos de expoentes de técnicas de avaliação experimental. Conclusões: as técnicas experimentais, por si só, não informam as decisões sobre como investir recursos de forma eficiente. Apesar de sua força em quantificar possíveis efeitos causais, é necessário complementar a análise estatística contrafactual com formas de raciocínio qualitativo que conduzam à solução de questões sobre as causas efetivas por trás do resultado das intervenções sociais e os fatores de apoio que tornem possível pensar sobre a extrapolação de políticas ou programas sociais entre diferentes contextos. Originalidade: a literatura, principalmente em espanhol, sobre críticas e alternativas às técnicas de avaliação de impacto é escassa. Em vez de apresentar um resumo dos argumentos de outros autores, este artigo constrói uma narrativa coerente para repensar o papel da avaliação na sociedade
Disciplinas: Ciencia política
Palabras clave: Evaluación,
Técnicas experimentales,
Evidencia,
Validez externa
Keyword: Evaluation,
Experimental techniques,
Evidence,
External validity
Texto completo: https://biblat.unam.mx/hevila/Colombiainternacional/2021/no105/7.pdf Texto completo (Ver HTML) Texto completo (Ver PDF)