Investigación experimental en Economía: oportunidades, limitantes y desafíos
Tabla de contenidos
Introducción
Winston Churchill escribió: "Paso con alivio del vertiginoso mar de la causa y la teoría al terreno firme del resultado y la realidad". (Churchill, 1916 Cap 3) Su frase capta la urgencia de la humanidad en reconciliar pensamientos y hechos. Nuestras mentes no manejan bien el caos por lo que buscamos explicaciones construyendo teorías. Somos una especie bien equipada para crear convenientes narrativas, aún en ausencia de evidencia necesaria que las respalde.
Sin embargo, el conocimiento científico requiere de narrativas válidas, teorías con poder explicativo generalizable. Comparando la ciencia económica con las ciencias físicas, Paul Samuelson reflexionó en una entrevista radial a finales de la década de los 90 sobre la importancia de seguir un método científico: “Creo que es más importante para un economista ser riguroso en la aplicación del método científico que para un físico. Este último tiene la posibilidad de realizar experimentos controlados de laboratorio que prácticamente lo guían.” (PBS, 2009)
La reflexión de Samuelson resalta la importancia de la experimentación en la generación de evidencia científica. Sobre finales del siglo pasado, una rama de la economía enfocada en explicar el comportamiento de los agentes comenzó a incorporar experimentos de laboratorio con el fin de corroborar o refutar hipótesis habituales con respecto a las decisiones de los agentes. Este esfuerzo fue reconocido en 2002 con el premio nobel de economía compartido por Vernon Smith y Daniel Kahneman. El reconocimiento a Kahneman destacó su contribución en la integración de principios de la psicología con el conocimiento económico, y el de Smith su aporte al establecer los experimentos de laboratorio como una herramienta para el análisis económico empírico. En los últimos 40 años, la economía se ha beneficiado grandemente de la contribución que la experimentación ha hecho al refinar modelos teóricos e implementaciones prácticas.
Experimentos relacionados con la optimización intertemporal de los agentes y la formación de sus expectativas, han sido eficaces en brindar evidencia que permite ajustar los modelos macroeconómicos tradicionales. En un experimento a inicios de la década pasada, se ofreció a un grupo de estudiantes esperar 5 minutos para duplicar su ingesta de agua luego de una sesión de ejercicio. Cuando la opción implicaba resignar tomar medio vaso de agua inmediatamente y esperar 5 minutos para tomar un vaso entero, el 60% optaba por tomar agua inmediatamente. Sin embargo, cuando la opción era presentada de tal forma que el medio vaso de agua estaría disponible en 20 minutos y el vaso entero en 25, el 70% de los estudiantes estaba bien dispuesto a comprometerse a aguardar para duplicar su ingesta. (McClure, Ericson, Laibson, Loewenstein, & Cohen, 2007) Modelos de descuento quasi hiperbólico que incluyen un factor que afecta únicamente a postergaciones de opciones presentes, capturan este tipo de conductas que no consigue ser encuadrada en el clásico modelo de descuento exponencial. (Laibson, 1997)
Preferencias individuales respecto al riesgo han sido abordadas experimentalmente evidenciando conductas que se alejan del modelo clásico de maximización del beneficio individual, dando lugar a formulaciones alternativas. A fines de los 70, basados en evidencia experimental, Daniel Kahneman y Amos Tversky presentaron en la revista Econometrica su “Teoría de los Prospectos”. (Kahneman & Tversky, 1979). En ella modelaron las preferencias por riesgo basadas en un punto de referencia, lo que da lugar a que los agentes exhiban diferentes propensiones al riesgo si están en zona de pérdida o de ganancia: encuadramientos de pérdida activan en los agentes, conductas “irracionales” de propensión al riesgo. Este fundacional paper de Kahneman y Tversky influyó en gran manera en la forma en que las preferencias por el riesgo fueron integradas en modelos teóricos, de política económica y de gestión empresarial.
También las decisiones con respecto a nuestra relación con otros han sido objeto de experimentación. Un vasto repertorio de experimentos con juegos interactivos (ultimátum, dictador, bien público) tienen un rol destacado en refinar las predicciones de la teoría de juegos dando lugar a una rica serie de modelos explicativos de las decisiones de los agentes en ambientes sociales. (C. F. Camerer & Ho, 2015)
En los últimos años, la disciplina económica se ha poblado de experimentos que buscan probar tanto la veracidad de modelos teóricos interpretativos como la efectividad de herramientas de política. Estos experimentos muchas veces han dado forma a evaluaciones de impacto, realizadas en los más diversos entornos y áreas de estudio que auxilian a los economistas en su búsqueda por el rigor al que Samuelson refería. Sin embargo, la extracción de evidencia válida requiere de un proceso cuidadoso de implementación e interpretación de resultados.
En este ensayo discutiré el rol de la experimentación en economía como forma de probar relaciones causales, y su relevancia en la formación académica de los futuros economistas. La experimentación con la construcción de contrafactuales válidos ha permitido a la ciencia económica avanzar en la interpretación del alcance de sus teorías y de la validez de las políticas que de ellas se desprenden. Discutiré la importancia de la construcción de contrafactuales de alta calidad y el papel que tienen las diferentes técnicas experimentales en ello. Finalmente argumentaré sobre la importancia de la introducción temprana en la formación de los economistas de la enseñanza del uso y propósito de las técnicas de experimentación.
Las necesarias evidencias
¿Para que sirve una teoría? Milton Friedman en su clásico paper The Methodology of Positive Science(Friedman, 1966) plantea que la validez de una teoría radica en su capacidad de predecir fenómenos aún no observados. En esa línea de razonamiento, la utilidad de un modelo teórico no queda limitada a su capacidad de brindar una explicación integral de todas las causas detrás de un fenómeno. Establecer relaciones de causalidad marginal que informen el diseño de políticas es una actividad central al avance de la ciencia económica. Las técnicas experimentales permiten recolectar evidencias válidas, con poder explicativo y predictivo, que contribuyan a la construcción de políticas más efectivas.
Desde una perspectiva econométrica es posible categorizar las preguntas en economía en dos tipos: preguntas del tipo “y-gorro” y del tipo “beta-gorro”. Los problemas “y-gorro” son aquellos en los que el objetivo es predecir adecuadamente un resultado aún no observable, como por ejemplo pronosticar alguna variable del mercado financiero. El analista está más preocupado por la exactitud de su pronóstico que por entender las causas subyacentes del mismo. Las técnicas de aprendizaje automático y big-data, ofrecen a un vasto y eficaz herramental para atender estas necesidades.
El segundo tipo de problemas refiere a los “beta-gorro” y se centra en la construcción de un modelo interpretativo. Aquí la preocupación se centra en conocer el peso relativo de los distintos componentes causales para comprender sus determinantes subyacentes. El diseño de política requiere de este enfoque y las técnicas experimentales ofrecen un vasto menú de herramientas con este objetivo.
En particular, los experimentos bajo el formato de Experimento Controlado Aleatorizado (ECA) se popularizaron como un mecanismo eficaz de generación de evidencia causal y evaluación de impacto de las políticas. Los ECA son el “padrón oro” de las herramienta para medir el impacto de distintas políticas, y se han usado en campos tan variados como la educación, la salud, el medioambiente y las finanzas. Este tipo de experimentos ha impactado en la calidad de las políticas y la transparencia en la rendición de cuentas. Sin embargo, la evidencia que proveen es válida solamente en la medida que se construyan contrafactuales válidos.
Contrafactuales
Para demostrar una relación causal entre un fenómeno y sus determinantes, es preciso verificar simultáneamente que un resultado observado cambiará cuando sus determinantes varían, y que sin esa variación el fenómeno seguirá siendo el mismo. Esto no implica asumir un único determinante causal ni desconocer la heterogeneidad de la realidad fenoménica. El objetivo es probar la relación de causalidad marginal de uno de los determinantes. Para ello es preciso construir simultáneamente el fenómeno provocado (tratamiento) y su contrafactual
Un contrafactual es la situación hipotética que difiere de los hechos observados en la única condición que asumimos como causa. En la medida que el contrafactual no es observable, el método experimental requiere de la construcción de condiciones de control que lo imiten. La inferencia causal se realizará midiendo el efecto de tratamiento contra el grupo de control por lo que, la evaluación de impacto será tan buena como lo sea el grupo de comparación que se construyó para imitar el contrafactual. Normalmente, el mayor esfuerzo de un experimentador está en la construcción de buenos contrafactuales.
¿Qué es un contrafactual válido? Imitar un contrafactual implica recrear un camino no tomado que difiere con el camino tomado en un único factor. Para ello es preciso desconsiderar momentáneamente otros factores relevantes para enfocarse en el objeto de estudio. Alfred Marshal en 1890 describía esta aproximación de la siguiente manera: "El estudio de un grupo de tendencias se aísla asumiendo que las demás cosas son iguales: la existencia de otras tendencias no se niega, pero su efecto perturbador se descuida por un tiempo" (Marshall, 1890; VV10) Este principio de "otras cosas iguales" (ceteris paribus) deberá guiar la construcción del grupo de control que pretenderá imitar al contrafactual. Todas las demás cosas, excepto nuestro objeto de estudio, deben ser iguales en ambos escenarios.
El mecanismo por excelencia que permite la construcción de contrafactuales válidos es la asignación aleatoria de individuos a ambas condiciones experimentales.
Aleatorización
La asignación aleatoria de individuos entre las condiciones experimentales permite crear dos grupos de personas que a priori se comportarán de manera similar resolviendo el sesgo de selección. No es posible volver en el tiempo y ver qué decisiones hubieran tomado los protagonistas y cuáles sus interacciones en diferentes contextos. La aleatorización crea dos grupos de personas que a priori se espera que se comporten de manera similar. Es preciso asegurar que el resultado potencial antes de la intervención (Y0i) sea independiente de que pertenezca al grupo con tratamiento (Di = 1) o al grupo de control (Di = 0):
E(Y0i|Di=1) = E (Y0i|Di=0) (1)
donde E(Y0i|Di=X) es el resultado potencial del individuo i condicionado a que él sea parte de cada grupo.
El cumplimiento de la condición (1) elimina el sesgo de selección habilitando la inferencia de que el Efecto del Tratamiento Encontrado en los Tratados (ETET) también estará en la población (ETE). Vale destacar que no es razonable esperar que los integrantes de cada grupo se comporten uno igual al otro, sino que se espera que la variabilidad no esté relacionada con el hecho de que pertenezcan a un grupo específico. El ETE puede expresarse como:
ETE = E(Y1i|Di=1) - E(Y0i|Di=1) + E(Y0i|Di=1) - E(Y0i|Di=0) (2)
donde los dos primeros sumandos son el (ETET) y los dos últimos son precisamente el sesgo de selección: la diferencia entre el resultado potencial de los individuos asignados al tratamiento y al grupo de control. ETET será igual a ETE si se elimina el sesgo de selección
La asignación aleatoria de participantes entre el grupo de Control y de Tratamiento resuelve el sesgo de selección. Si los agentes pueden auto-seleccionarse en una u otra condición, los grupos pueden diferir en su sensibilidad a la intervención, haciendo imposible inferir causalidad.
Un buen marco experimental.
La creación de un buen marco experimental puede resumirse en tres pasos: (1) definir las personas elegibles para el programa, (2) aleatorizar el acceso al programa y (3) implementar la intervención para el grupo de tratamiento. (Glennerster, R., Kudzai, 2013). La aleatorización es un componente importante al construir un contrafactual. Sin embargo, en la implementación deben cumplirse adicionalmente dos condiciones: SUTVA y excluibilidad.
El Supuesto de Estabilidad del Valor de la Unidad de Tratamiento (SUTVA por su sigla en inglés) se refiere a la condición de que cualquier acción individual particular dependa únicamente del tratamiento sobre el individuo al que fue asignado y no de lo que hagan otras personas a su alrededor.Esta condición no afecta únicamente a los participantes, sino también a los investigadores. Para evitar la influencia de estos últimos en los participantes los “estudios doble-ciego” han ganado popularidad. En ellos quienes aplican el tratamiento y quienes los reciben no están conscientes del propósito de la investigación.
La segunda condición es la de exclusión: los resultados de las personas en el grupo de tratamiento deben ser causados únicamente por el tratamiento. Mantener esta condición es particularmente desafiante ya que el mero hecho de estar siendo observados puede cambiar la forma en que actúan los participantes. La lista de problemas es tan larga como habitual y refiere a conductas de los participantes distorsionadas por sentirse una parte importante de un experimento (efecto Hawthorne), por sentirse impulsados a una mejor performance por pertenecer al grupo de control (efecto John Henry), o incluso por sentirse desmoralizados por no participar del tratamiento.
Aleatorización, SUTVA y excluibilidad son requerimientos que si se infringen pueden crear problemas irresolubles en el experimento, por lo que la fase de diseño requerirá muchas rondas de prueba.
El proceso experimental: validez interna y externa.
Aún creando condiciones que permitan la realización de experimentos que aseguren una alta validez interna, los resultados pueden presentar limitaciones en su extrapolación a entornos más realistas. El control de las condiciones experimentales permite ganar validez interna al poder aislar el efecto causal en el grupo experimental. Sin embargo, es preciso observar un adecuado balance entre el control y el realismo del entorno decisorio.
Esta tensión entre validez interna y externa es particularmente relevante en configuraciones de laboratorio. Mucho se ha escrito sobre las fortalezas y los límites de los experimentos en laboratorio. (Camerer & Thaler, 1995; Galizzi & Navarro-Martínez, 2015; Levitt & List, 2007) Sin embargo, estas limitantes no restan validez a los experimentos de laboratorio, sino que son un recordatorio del cuidado con que deben interpretarse los resultados.
Como argumentan Angrist y Pischke (2013), el método que produce la evidencia causal más robusta es el de los experimentos de control aleatorizados (ECA). Sin embargo, algunos entornos hacen imposible su implementación. En estos casos el investigador tiene a su disposición técnicas válidas para recrear contrafactuales como ser regresión con controles, diferencia en diferencia, variables instrumentales o regresión con discontinuidad.
Estas técnicas estadísticas permiten aprovechar aspectos externos para producir grupos de control. Las regresiones incluyendo controles, permiten tratar el sesgo de variable omitidas, la diferencia en diferencia toma ventaja de la co-evolución de dos grupos que se consideran similares, las variables instrumentales aprovechan un evento externo correlacionado con el tratamiento y no con los errores de la regresión, y la regresión con discontinuidad aprovecha la "región fronteriza" que crea un evento externo. Los efectos de la asignación aleatoria pueden reproducirse aun cuando el experimentador no interviene directamente en ella. En general, estos métodos requieren que los investigadores realicen suposiciones adicionales que deben ser probadas.
Tipos de experimentos
Es posible concebir un espacio continuo de experimentos que va desde entornos artificiales y altamente controlables como los laboratorios, hasta aquellos más naturales y cercanos al mundo real.(Harrison & List, 2004) Elegir el tipo de experimento significa encontrar el adecuado equilibrio entre recursos disponibles y validez interna y externa. Mientras que en un experimento de laboratorio el experimentador controla al detalle el entorno, en los experimentos de campo los sujetos toman decisiones casi de manera habitual. La artificialidad de los laboratorios y la falta de control de los entornos naturales es la principal fuente de limitaciones de uno y otro diseño experimental.
Aunque fue escrito hace casi 15 años, Harrison y List (2004) proporcionan una taxonomía útil para ayudar a ilustrar el continuo de experimentos En ella identifican cuatro tipos de diseños experimentales (a) experimentos convencionales de laboratorio que usualmente involucran poblaciones estudiantiles, (b) experimentos de campo con artefactos que involucran poblaciones específicas, (c) experimentos de campo con manipulaciones en el entorno experimental, y (d) experimentos de campo naturales. Resulta interesante la referencia que hacen los autores al involucramiento de poblaciones estudiantiles. Por comodidad y economía de recursos, mucha de la experimentación en economía se ha basado en estudiantes universitarios lo que puede implicar una limitación a la validez externa de las conclusiones.
Los últimos 15 años trajeron nuevas formas de experimentar que enriquecen la taxonomía proporcionada por Harrison y List. Las comunidades en línea y la vida digital ofrecen a los investigadores una forma rica y barata de realizar experimentos, aunque presenten algunas limitaciones en su validez. (Thomas & Clifford, 2017) Estas comunidades digitales no solo permiten a los investigadores recopilar información directa, sino también valiosa meta y para información como ser tasas de falta de respuesta, tiempos de finalización, etc.
Una mención especial, merecen los experimentos que comienzan en el laboratorio y terminan en el campo (experimentos mixtos laboratorio-campo). Seguir a las personas fuera del laboratorio permite vincular sus decisiones en diferentes entornos. Este diseño ayuda en la validación cruzada de los hallazgos (Galizzi y Navarro-Martínez, 2015) o en la medición de efectos indirectos (Dolan y Galizzi, 2015).
Limitaciones
Cuidar que la observación no altere la medición es un aspecto desafiante al estudiar comportamientos. Se han caracterizado muchos efectos diferentes y soluciones para superarlos, aunque en algunas situaciones puede ser difícil hacerlo ya que son inherentes al propio diseño. (Glennerster, R.; Kudzai, 2013)
Levitt y List argumentan que varias condiciones específicas en un laboratorio influencian particularmente las decisiones que involucran interacción social de los participantes. La sensación de estar bajo escrutinio de los investigadores, la pérdida de anonimato, los cambios específicos en el nombre del juego, el tamaño de las apuestas involucradas e incluso las características personales de los participantes que están dispuestos a ser parte de un experimento, son condiciones que pueden tener un impacto significativo en las decisiones. Sin embargo, los autores sostienen que la complementariedad entre las conclusiones obtenidas en un laboratorio y las provenientes de experimentos de campo hace útil esta aproximación metodológica.
Al estudiar fenómenos económicos, los economistas tienen en sus manos una gran variedad de procedimientos experimentales que los ayudan a encontrar relaciones de causalidad. Una integración cuidadosa de diferentes tipos de experimentos puede ayudar a superarlos y construir evidencia sólida y generalizable.
Consideraciones éticas
Sin embargo, la aplicación de técnicas experimentales con humanos demanda el estudio cuidadoso de los límites éticos de dicha actividad. La APA (American Psychological Association) suscribe los tres principios rectores que detalla el Reporte Belmont (1978): (a) respeto por las personas, recabando consentimientos efectivos y evitando engañar, (b) evitar riesgos innecesarios que impliquen daños de cualquier especie y grado, y (c) equidad, que garantice que se eviten abusos con un grupo de sujetos debido a su disponibilidad para el experimento. La implementación activa de una práctica experimental requiere del funcionamiento activo de comités de ética formados por pares, que cuide la observancia de estos límites.
Una segunda fuente de preocupaciones éticas refiere al reporte adecuado de las relaciones causales que no pudieron ser probadas. El foco en la publicación de resultados estadísticamente significativos ha llevado a un sesgo en la difusión de los estudios. El “p-hacking” o la repetición experimental hasta obtener un resultado estadísticamente significativo con un 95% de confianza se ha convertido lamentablemente, en práctica frecuente. (Head, Holman, Lanfear, Kahn, & Jennions, 2015) El registro a priori de los resultados esperados constituye un antídoto válido para este tipo de excesos. También en este caso, el diseño organizacional de estructuras académicas con comités de registro de experimentos permite impulsar y consolidar las buenas prácticas.
Big Data y Aprendizaje Automático: oportunidades para la experimentación en economía
La teoría y método del aprendizaje automático brinda nuevas oportunidades para la experimentación en economía. Los métodos de regresión basados en mínimos cuadrados ordinarios comúnmente usados en investigación económica se centran en obtener una alta validez en el set de datos estudiados: la bondad del modelo se evalúa por la eficacia al minimizar el error en la predicción utilizando todos los datos disponibles. Sin embargo, esto provoca modelos que pueden ajustarse erróneamente al ruido específico de la muestra. En contraste, uno de los principales objetivos de los métodos de aprendizaje automático es justamente el de minimizar el sobreajuste a los datos buscando validación en un sub-set no usado en la estimación. Para ello el conjunto de datos es dividido en dos: (a) el set de entrenamiento utilizado para desarrollar el modelo, y (b) el set de prueba utilizado para validar el modelo.
Las técnicas de big-data y aprendizaje automático precisan de conjuntos de datos suficientemente grandes para dividir entre set de entrenamiento y prueba. Modelos estadísticos en conjuntos de datos pequeños pueden sufrir “overfitting”, aunque a medida que el tamaño del set de datos crece, su gran flexibilidad los vuelve inmune a los ruidos y consigue capturar el fenómeno subyacente de mejor forma que las técnicas econométricas habituales. (Yarkoni & Westfall, 2017) Técnicas conocidas como “k-fold” que promedian los resultados obtenidos en “k” composiciones aleatorias de subconjuntos entrenamiento/prueba permiten reducir el riesgo de “overfitting” y mantener las ventajas de validación predictiva aun con bases de datos más reducidas.
Adicionalmente, los algoritmos de aprendizaje automático también permiten actuar en torno a la especificación de modelos. Mecanismos sustitutos a la técnica de MCO del estilo LASSO (Operador de Reducción y Selección Absoluta) buscan minimizar una función de error que incluye una penalización adicional por los coeficientes cercanos a 0. Esta selección de coeficientes (aún generando modelos sesgados) captura las tendencias más dominantes en el set de entrenamiento, que son las que potencialmente más influirán en el set de prueba.
Los algoritmos de aprendizaje automático a veces se describen peyorativamente como enfoques de "caja negra" que pueden producir buenas predicciones, pero que son prácticamente imposibles de comprender. Sin embargo, las técnicas de aprendizaje automático y big data proveen un máximo nivel de predicción en un dataset y por tanto ayudan a obtener una comprensión más profunda de la estructura general de los datos. En la medida que los investigadores obtengan diferentes tipos de modelos que pueden producir predicciones relativamente buenas, y técnicas de aprendizaje automático que auxilian en la especificación de un modelo, el espacio de las hipótesis interpretativas se aumenta.
El método experimental en el aprendizaje de economía
La formación en metodología experimental es fundamental para los estudiantes de economía, no solamente por la adquisición del herramental necesario para el ejercicio de la profesión, sino también por la ganancia en el propio proceso de aprendizaje.
Evidencia experimental sobre el efecto de la introducción de experimentación en los cursos regulares de economía es contundente en demostrar su utilidad. Dar a los estudiantes la posibilidad de observar de primera mano el comportamiento y las interacciones de las personas en situaciones económicas, ayuda en la comprensión de las diferentes categorías teóricas de análisis. Mediante un ECA, Emerson y Taylor (2004) y un diseño pre-post, Dickie (2006) detectaron que los estudiantes que habían sido expuestos a prácticas experimentales en los cursos de microeconomía obtenían mejores resultados en pruebas estandarizadas. Aún con impactos marginales decrecientes (Emerson & English, 2016), similares efectos fueron hallados en otros entornos experimentales (Ball, Eckel, & Rojas, 2006; Durham, McKinnon, & Schulman, 2007) El uso de experimentos en la enseñanza de economía se ha popularizado al punto de la existencia de manuales específicos para el apoyo docente. (Bergstrom & Miller, 2000)
Para facilitar la introducción de técnicas de experimentación en los cursos iniciales de Economía, es recomendable generar una biblioteca de casos concretos para uso docente en el salón de clase. Los experimentos estarán disponibles junto con una nota docente que facilita la aplicación y clarifica la dinámica esperada en el salón de clase. Esta nota docente es habitual en la enseñanza de casos usando la metodología Harvard de estudio de caso.
Un ejemplo típico, ampliamente sugerido en los manuales de experimentación en clase, lo constituye el análisis del principio de Keynes sobre la dinámica de los mercados financieros. En la Teoría General, Keynes ilustra al mercado financiero como un concurso de belleza en el que los inversores no deben elegir quien es la más bella, sino quienes los demás piensan que es la más bella. Según Keynes, es un juego “en el que dedicamos nuestra inteligencia a anticipar lo que la opinión promedio espera que sea la opinión promedio”. (Keynes, 1936 p.142) Para ilustrar el punto y la dinámica de formación de expectativas, el ejercicio propone a los estudiantes que hagan sus pronósticos sobre el valor que equivale a dos terceras partes del promedio de los pronósticos que deben estar entre 1 y 100. Una estimación naif debería estar próxima a 22 (50*.66*.66) sin embargo una estimación racional en su extremo debería ser 0 ya que anticipa que todos los participantes harán la corrección. Normalmente el ganador está próximo a 16 sugiriendo que la clase no realiza un ajuste 100% racional, ni 100% naif. La experimentación permite evidenciar el alcance de supuestos de racionalidad sobre el funcionamiento de mercado y la formación de expectativas.
Otro tipo de experimentos para ser incluidos en los cursos iniciales de micro y macro economía incluyen la recreación de dinámicas de mercado generando curvas de oferta y demanda agregadas, o la recreación de efectos de una corrida de confianza sobre las instituciones.
La introducción de estos experimentos controlados permite un primer contacto de los estudiantes con técnicas experimentales que permiten derivar evidencia empírica.
En cursos más avanzados las técnicas experimentales se pueden integrar en el marco de la generación de evidencia sobre las preferencias individuales. Mediante la presentación y experimentación en clase con diferentes técnicas de medición de preferencias, los estudiantes podrán comprobar el alcance de los modelos teóricos interpretativos de las preferencias y adquirir herramental para la realización de evaluaciones de impacto. Aplicando en clase metodologías de precios múltiples o técnicas de trade-off es posible observar las preferencias temporales y verificar su ajuste con diferentes modelos de estimación de tasas de descuento intertemporal. (Freeman, Manzini, Mariotti, & Mittone, 2016) Similares técnicas pueden ser utilizadas también para detectar preferencias frente al riesgo, y un amplio rango de técnicas experimentales basadas en juegos interactivos permiten evidenciar preferencias sociales. (Hergueux & Jacquemet, 2015)
La observación directa basada en técnicas experimentales como complemento del análisis de datos disponibles, resulta clave en el diseño de las políticas y el perfeccionamiento de las teorías que las respaldan. Los crecientes espacios de colaboración entre economistas académicos, otros cientistas sociales y hacedores de política han permitido el desarrollo de mediciones más confiables sobre el impacto de acciones de política tanto en la esfera pública como en la privada. Los Experimentos Controlados Aleatorizados resultan hoy una de las herramientas más confiables a la hora de realizar evaluaciones de impacto, y la familiaridad de los futuros economistas con esta práctica, orienta a una práctica profesional guiada por evidencias.
En complemento de las técnicas experimentales en clase, mediante el contacto directo con instituciones públicas y privadas es posible incluir actividades de formación en evaluaciones de impacto basadas en técnicas experimentales. Instituciones financieras, educativas, de salud, etc. implementan regularmente políticas que se beneficiarían al incluir evaluaciones de impacto. Hay una gran oportunidad al implementarlas en entornos simplificados junto con estudiantes y hacedores de política.
También es posible implementar estas actividades dentro de la propia Facultad proveyendo evidencias sobre el impacto en el desempeño académico de las políticas académicas dirigidas a influir el proceso decisorio de estudiantes y docentes.
El contacto directo con tomadores de decisión en diferentes ámbitos de actividad no solamente permite a los estudiantes experimentar de primera mano el desafío de diseñar políticas, sino que estimula el carácter interdisciplinario que debe guiar la formación en economía.
Los beneficios de integrar la experimentación en la formación curricular de los futuros economistas, no se limitan a los aspectos prácticos de la gestión de política, sino que ofrecen un campo para delimitar la validez de los cuerpos teóricos. Richard Thaler, ganador del premio nobel en economía en 2017, cita en su libro Misbehaving (2015) a Thomas Kuhn como una inspiración para su célebre columna Anomalías en el Journal of Economic Perspectives: "El descubrimiento comienza con la conciencia de la anomalía, es decir, con el reconocimiento de que la naturaleza de alguna manera ha violado las expectativas inducidas por el paradigma que rige la ciencia normal". Como el propio Thaler reconoce, la columna cumplió el cometido de mostrar que hay muchos hechos que no se condicen con los modelos teóricos tradicionales. El reconocimiento de los límites de las teorías es un elemento fundamental en la formación de académicos rigurosos y humildes. La introducción sistemática de la práctica experimental es altamente beneficiosa en esos términos. El Behavioural Insight Team, unidad de ciencias comportamentales vinculada al gobierno del Reino Unido, resume el proceso en tres pasos: recolectar pruebas, aprender de ellas, y adaptar teoría y práctica. (Haynes & Goldacre, 2012)
Reflexiones finales
La aplicación del método experimental en economía ha sido de gran relevancia en su desarrollo como ciencia. A pesar de ciertas limitaciones, las técnicas experimentales en conjunto con las que habitualmente usan los economistas, resultan de gran utilidad tanto en la formulación de políticas como en el refinamiento de cuerpos teóricos. Su combinación con técnicas de big-data han ganado popularidad y se han vuelto crecientemente útiles para los investigadores en economía.
Los desafíos para la efectiva integración de la experimentación en las distintas fases de la formación académica de los futuros economistas, afecta tanto a docentes como a estudiantes. La inclusión de metodologías activas para la trasmisión de conocimientos es un territorio de incertidumbre para los docentes, y demanda considerable tiempo de preparación y de aula. Sin embargo, la evidencia es clara en demostrar que ese esfuerzo paga, y la preparación de material docente es de gran auxilio en ese sentido. También para los estudiantes la experimentación implica entrar en un terreno de menos confort. Pensar en la generación de evidencia válida, y en el rigor que impone las relaciones de causalidad, expone la natural limitación de cualquier construcción teórica. Al enfrentar esos desafíos se da forma a valiosos pilares en los que fundar el rigor académico.
Una creciente y efectiva integración de técnicas experimentales en la formación de los estudiantes de economía, mejora su desempeño académico y permite una aproximación más rica al ejercicio profesional. Un enfoque experimental y basado en evidencias, estimula el rigor científico y da cuerpo a la necesaria interdisciplinariedad en los enfoques.
Referencias
Angrist, J. D., & Pischke, J.-S. (2013). Mastering Metrics: the path from cause to effect. Princeton university press (Vol. 53). https://doi.org/10.1017/CBO9781107415324.004
Ball, S. B., Eckel, C., & Rojas, C. (2006). Technology improves learning in large principles of economics classes: Using our WITS. In American Economic Review (Vol. 96, pp. 442–446). https://doi.org/10.1257/000282806777212215
Bergstrom, T., & Miller, J. (2000). Experiments with Economic Principles: Microeconomics. McGraw-Hill/Irwin.
Camerer, C. F., & Ho, T.-H. (2015). Behavioral Game Theory Experiments and Modeling. Handbook of Game Theory with Economic Applications. https://doi.org/10.1016/B978-0-444-53766-9.00010-0
Camerer, C., & Thaler, R. H. (1995). Anomalies: Ultimatums, Dictators and Manners. Journal of Economic Perspectives, 9(2), 209–219. https://doi.org/10.1257/jep.9.2.209
Churchill, W. (1916). The story of the Malakand field force : an episode of frontier war. Thomas Nelson & Sons, Ltd.
Dickie, M. (2006). Do classroom experiments increase learning in introductory microeconomics? Journal of Economic Education, 37(3), 267–288. https://doi.org/10.3200/JECE.37.3.267-288
Durham, Y., McKinnon, T., & Schulman, C. (2007). Classroom experiments: Not just fun and games. Economic Inquiry, 45(1), 162–178. https://doi.org/10.1111/j.1465-7295.2006.00003.x
Emerson, T. L. N., & English, L. (2016). Classroom experiments: Is more more? In American Economic Review(Vol. 106, pp. 363–367). https://doi.org/10.1257/aer.p20161054
Emerson, T. L. N., & Taylor, B. A. (2004). Comparing Student Achievement across Experimental and Lecture-Oriented Sections of a Principles of Microeconomics Course. Southern Economic Journal, 70(3), 672. https://doi.org/10.2307/4135338
Freeman, D., Manzini, P., Mariotti, M., & Mittone, L. (2016). Procedures for eliciting time preferences. Journal of Economic Behavior and Organization. https://doi.org/10.1016/j.jebo.2016.03.017
Friedman, M. (1966). The methodology of positive economics. In Essays In Positive Economics (p. 3–16, 30–43.). University of Chicago Press.
Galizzi, M. M., & Navarro-Martínez, D. (2015). On the External Validity of Social Preference Games: A Systematic Lab-Field Study. Working Papers, 2015(January), 1–36. https://doi.org/10.1287/mnsc.2017.2908
Glennerster, R.; Kudzai, Z. (2013). Running Randomized Evaluations: A Practical Guide. Princeton University Press., (Chapter 2: Why Randomize?), 24–65. https://doi.org/10.2307/j.ctt4cgd52
Harrison, G. W., & List, J. A. (2004). Field Experiments. Journal of Economic Literature, 42(4), 1009–1055. https://doi.org/10.1257/0022051043004577
Haynes, L., & Goldacre, B. (2012). Test , Learn , Adapt : Randomised Controlled Trials. Test, 35. Retrieved from http://www.cabinetoffice.gov.uk/sites/default/files/resources/TLA-1906126.pdf
Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The Extent and Consequences of P-Hacking in Science. PLoS Biology, 13(3). https://doi.org/10.1371/journal.pbio.1002106
Hergueux, J., & Jacquemet, N. (2015). Social preferences in the online laboratory: a randomized experiment. Experimental Economics. https://doi.org/10.1007/s10683-014-9400-5
Kahneman, D., & Tversky, A. (1979). Prospect Theory: An Analysis of Decision under Risk Daniel Kahneman; Amos Tversky. Econometrica, 47(2), 263–292. https://doi.org/10.1111/j.1536-7150.2011.00774.x
Keynes, J. M. (1936). The General Theory of Output, Interest and Money. The Collected Writings of John Maynard Keynes. https://doi.org/10.2307/2143949
Laibson, D. (1997). Golden Eggs and Hyperbolic Discounting. The Quarterly Journal of Economics. https://doi.org/10.1162/003355397555253
Levitt, S. D., & List, J. A. (2007). What Do Laboratory Experiments Measuring Social Preferences Reveal About the Real World? Journal of Economic Perspectives, 21(2), 153–174. https://doi.org/10.1257/jep.21.2.153
McClure, S. M., Ericson, K. M., Laibson, D. I., Loewenstein, G., & Cohen, J. D. (2007). Time Discounting for Primary Rewards. Journal of Neuroscience. https://doi.org/10.1523/JNEUROSCI.4246-06.2007
PBS. (2009). PBS: Paul Solman interview to Paul Samuelson. Retrieved from https://www.pbs.org/newshour/economy/samuelson-on-whether-economics
Thaler, R. H. (2015). Misbehaving. The Making of Behavioural Economics. Retrieved from http://books.google.fi/books?id=9EJzAwAAQBAJ&printsec=frontcover&dq=richard+thaler&hl=&cd=3&source=gbs_api%5Cnpapers3://publication/uuid/8779E5B8-EEED-4315-921D-FF7B213CE9F6
The Belmont report: Ethical principles and guidelines for the protection of human subjects of research. (1978).
Thomas, K. A., & Clifford, S. (2017). Validity and Mechanical Turk: An assessment of exclusion methods and interactive experiments. Computers in Human Behavior. https://doi.org/10.1016/j.chb.2017.08.038
Yarkoni, T., & Westfall, J. (2017). Choosing Prediction Over Explanation in Psychology: Lessons From Machine Learning. Perspectives on Psychological Science, 12(6), 1100–1122. https://doi.org/10.1177/1745691617693393
