Ensayo

Sistemas de evaluación científica


Abrir la ciencia

Las decisiones que toman los investigadores están afectadas por los sistemas de evaluación. Para crecer en sus carreras profesionales deben publicar en revistas de alto impacto o sobre temas que interesan a la comunidad científica internacional. En países en desarrollo, las investigaciones suelen quedar disociadas de las necesidades de las sociedades que las financian. Valeria Arza y Emanuel López explican cómo la incorporación de prácticas de ciencia abierta en los sistemas de evaluación científica puede ayudar a enfrentar este problema y asegurar que las investigaciones mantengan relevancia local.

¿Qué tipo de investigaciones son las más conducentes a la satisfacción de las necesidades sociales de los países en desarrollo? Una investigación de calidad debe satisfacer criterios internos de excelencia (validez, confiabilidad), y criterios externos de relevancia. El concepto de relevancia necesita abrirse en los múltiples significados que posee en una sociedad plural: la investigación pueden contribuir al stock de conocimiento que empuja hacia adelante la producción científica; puede servir a la política pública; puede contribuir a transformar el conocimiento en valor de mercado; puede comprometerse directamente para ayudar a enfrentar problemas que afectan a comunidades marginalizadas; o puede tener un impacto mediático que incremente el interés público en la ciencia; entre otros. En el contexto de países en desarrollo, la relevancia socioeconómica tiene un peso importante.

Las decisiones que toman los investigadores se encuentran inevitablemente afectadas por los sistemas de evaluación. Los sistemas actuales de evaluación de la ciencia se han ido moviendo hacia el uso de indicadores cuantitativos, que miden cuánto publican los investigadores y cuál es la calidad percibida de esas publicaciones, utilizando los factores de impacto de las revistas académicas (o métricas similares elaboradas sobre la base de citas a publicaciones) como aproximaciones a la “calidad”. Esto se justifica asumiendo  que las publicaciones son el resultado principal de la investigación científica y que los científicos deciden citar las publicaciones que son de buena calidad.

Dado este esquema de incentivos, los investigadores comprensiblemente apuntan a publicar artículos en revistas de alto impacto, es decir, aquellas que contienen artículos que en promedio son altamente citados. También los editores de revistas académicas toman decisiones buscando maximizar los factores de impacto; entre otras medidas, al recibir publicaciones evalúan si los temas de investigación dispararán suficiente interés global como para ser ampliamente citados. De alguna forma, se les pide a los científicos que investiguen sobre temas que atraen la atención de la comunidad científica internacional, que es quien cuenta a la hora de abultar el número de citas. Para los investigadores de  países en desarrollo, la implicancia es que quizás deban investigar sobre problemas que afectan a otras sociedades y no sólo sobre la propia, o atenerse a algún aspecto de su país que sea de interés mundial. Así, con independencia de cuan rigurosa sea la investigación o cuán útil resulte para las necesidades de sus países, no deben basarse sólo en temas locales. En resumen, el impacto académico pasa a estar por encima de la excelencia y la relevancia, a instancias de que los científicos se desvíen de los senderos que posiblemente hubiesen seguido con una estructura de incentivos diferente.

Como ejemplo, nos permitimos comentar una experiencia personal. Una vez enviamos para su revisión en una revista internacional  un artículo que evaluaba el potencial que la agroecología tenía para el desarrollo inclusivo. Los editores, como parte de las recomendaciones para enviar el artículo a revisión, requirieron que contrastáramos la agroecología con otro tipo de prácticas agrícolas conocidas como “intensificación sustentable”. Se trata de prácticas  de precisión que buscan intensificar la producción reduciendo el uso de recursos a partir de un mayor uso de la información. Desde luego este es un tema candente en la agenda internacional y Argentina resultaba ser un caso de estudio interesante para el mundo por su exitosa experiencia de intensificación agrícola. Por lo tanto, se convertía en campo fértil para extraer conclusiones con implicancias globales. Sin embargo, la “intensificación sustentable” difícilmente sea relevante para el desarrollo inclusivo, que era el tema de nuestro interés, ya que únicamente las grandes explotaciones agrícolas poseen los recursos para acceder a la maquinaria sofisticada y los servicios de análisis de datos requeridos para llevar adelante estas prácticas.

ciencia_der_02 

La relación entre la calidad de la investigación y la percepción de la misma estimada a partir del uso de indicadores cuantitativos resulta muy frágil; en todas partes, pero especialmente en los países en desarrollo. Si los investigadores continúan siendo evaluados con estos criterios estrechos, las actividades de investigación científica se verán aún más desarticuladas de las necesidades de la sociedad que mientras tanto hace sus aportes financieros, humanos, naturales y sociales a la ciencia.

Argumentamos aquí que las prácticas de ciencia abierta, que se erigen sobre dos pilares centrales: la colaboración y la puesta en libre disponibilidad de resultados,  tienen un rol importante para mejorar la calidad de la ciencia. De ser cierto, los esquemas de evaluación científica deberían promover la colaboración y la apertura ofreciendo incentivos adecuados.

¿Cómo puede la ciencia abierta contribuir con la calidad de la investigación?

Al producir ciencia

La colaboración e interacción entre investigadores promueve procesos que amplifican la inteligencia colectiva por el simple hecho de poder compartir, validar o rápidamente descartar diferentes ideas, supuestos, hipótesis o líneas de investigación. El aprendizaje es mucho más rápido cuando se facilita la interacción de pares en cada campo de investigación. Por otro lado, si se comparten datos y experiencias, se vuelve posible replicar procesos y chequear la reproducibilidad de los resultados. Esto mejora la calidad científica. Además, al incrementarse la cantidad y diversidad de actores que participan en la recolección y el análisis de datos, se ponen a disposición nuevos recursos humanos y cognitivos al servicio de la producción científica. Esto, al mismo tiempo, abre oportunidad para que los problemas, por ejemplo aquellos de comunidades locales o relegadas, puedan ser abordados desde una perspectiva novedosa, ajena a los condicionamientos disciplinarios, impulsando la creatividad.

En el proceso de revisión

En oposición a los tradicionales mecanismos de revisión de pares, que se caracterizan por garantizar el anonimato del autor y del revisor y por mantener en vía privada los reportes de revisión, los modelos de revisión abierta de pares (RAP)  publican como anexos a los artículos los reportes firmados por los revisores. Esto apunta a incrementar la responsabilidad y el compromiso puesto en cada revisión. Se crean incentivos para que los revisores realicen su trabajo de la manera más diligente posible dado que sus nombres aparecen asociados al artículo y forman parte del registro académico. Además, cualquier tensión existente entre los diferentes significados de “relevancia”, por ejemplo aquellos vinculados a diferentes contextos de desarrollo, se presentan a la audiencia con transparencia.

En la difusión de los resultados: acceso abierto

El acceso abierto a los resultados científicos incrementa el acervo de conocimiento de uso común. Esto promueve la excelencia de las investigaciones porque permite que nuevas preguntas y mejores respuestas a viejas preguntas puedan explorarse accediendo libremente a todo lo que ya se sabe. En términos de relevancia, el acceso abierto posibilita la apropiación del conocimiento por parte del público general y por lo tanto promueve la democratización del conocimiento. Al compartir conocimiento, las comunidades se vuelven más autónomas y capaces de resolver sus propios problemas.

En la comunicación de la ciencia

Una mejor accesibilidad al conocimiento científico incrementa el impacto social de las investigaciones porque más personas con diferentes experiencias de vida pueden aprovechar mejor los recursos de conocimiento existentes. Esto se puede lograr diversificando herramientas y canales de comunicación: no sólo son útiles los artículos publicados en revistas académicas, sino también otros formatos de difusión tales como infografías o videos diseminados a través de las redes sociales.

ciencia_izq_03 

¿Y los esquemas de evaluación de la ciencia?

Un nuevo esquema de evaluación de la investigación puede diseñarse con la apertura y la colaboración como elementos centrales. La idea es desarrollar una batería de indicadores como sugiere el “Manifiesto de Leiden”. Los investigadores serían evaluados desde diferentes frentes, incluyendo un rango completo de resultados científicos posibles y no simplemente artículos, proyectos y formación de recursos humanos. Aquí presentamos algunas ideas posibles a considerar:

-Evaluar a los investigadores como revisores: los investigadores deben revisar y retroalimentar la investigación producida por otros. Actualmente, los records de los investigadores como revisores no suman a sus antecedentes. Cambiar este aspecto generaría mayores incentivos para la adopción de la RAP que, como dijimos arriba, contribuye con la calidad y la transparencia de la revisión.

-Evaluar a los investigadores como colaboradores: colaboración y competencia son dos fuerzas complementarias que alimentan la creatividad y la calidad de la producción científica. Sin embargo, el rol de la primera está subvalorado en los sistemas de evaluación actuales. Debemos compensar esta carencia tomando en cuenta el grado en que los investigadores i) comparten los resultados intermedios y finales de sus investigaciones en plataformas online y ii) colaboran con colegas de países en desarrollo para así construir colectivamente los diferentes aspectos que necesariamente asume el concepto de “relevancia” en el contexto de desarrollo.

-Incluir nuevas formas de evaluación que valoren el compromiso social de los científicos: algunas bases de datos miden las menciones de publicaciones en revistas académicas que se realizan en las redes sociales, blogs y otras plataformas electrónicas. Sin embargo, es importante incluir también formas de impacto más allá de las asociadas a publicaciones en revistas académicas. Esto puede abarcar, por ejemplo, las opiniones públicas y puntos de vista que los científicos expresan en los medios de comunicación, entrevistas, reportes de política, etc. Con este fin, debemos experimentar con usos novedosos de tecnologías digitales y datos no estructurados. Las técnicas de recolección y análisis de datos están creciendo exponencialmente de la mano con los avances en las tecnologías de la información y comunicación. Podrían generarse nuevas métricas que cubran nuevos aspectos de los diferentes significados del concepto de “relevancia”.

Buena parte de la infraestructura requerida para las prácticas de ciencia abierta y para ampliar la variedad de herramientas de evaluación (fundamentalmente software y hardware), ya existe. Los repositorios tienen un rol importante pero todavía es necesario garantizar la interoperabilidad entre ellos para asegurar que el sistema funcione (esto es crucial para la RAP, por ejemplo) y así evitar la situación actual en la cual dónde se publica importa más que qué se publica.

Quedan, sin dudas, grandes desafíos pendientes. Existen algunos intereses creados, por ejemplo los de las editoriales académicas, que pueden poner obstáculos a los esfuerzos por mejorar la apertura. Esta industria editorial es una de las más concentradas a nivel internacional. Algunos estudios muestran que las 5 editoriales académicas más importantes acumulan más del 50% de los artículos publicados. Y aunque parece claro que el sistema actual no puede durar por siempre ya que es ineficiente y no promueve la calidad de las investigaciones, es probable que la industria juegue sus propias cartas en el proceso de reconfiguración, como ya ha sucedido con los sistemas de acceso abierto. Elsevier, por ejemplo, ha obtenido recientemente una patente sobre su sistema de revisión de artículos; si los grandes jugadores mueven primero, pueden crear barreras a ideas más innovadoras como la RAP.

Debemos subir a bordo y estar alerta para poder atravesar tiempos  tormentosos que se avecinan. Vale la pena el esfuerzo; tanto por el bien de la calidad científica como para lograr mejores retornos a las inversiones públicas en ciencia realizadas en los países en desarrollo.

 

Esta discusión fue originalmente preparada para una mesa de diálogo en Política de Evaluación organizada por Ismael Rafols y Michael Hopkins durante la conferencia del 50 aniversario de SPRU entre el 7 y el 9 de septiembre de 2016, y luego enriquecida por los puntos de vista de otros panelistas que participaron en ella: Judith Sutz, Jonathan Adams, Gavin Reddick y Paul Wouters. Los autores agradecen a todos ellos y se hacen responsables por posibles errores y omisiones.

Una versión en inglés de este artículo fue publicada el 24/01/17 en “LSE Impact Blog” (London School of Economics and Political Science).