La ciencia académica sufre desde hace unos años una enfermedad que consiste en un enorme aumento del número de publicaciones científicas sin el correspondiente avance del conocimiento. Los hallazgos se cortan en rodajas tan finas como el salami y se envían a diferentes revistas para producir más artículos.
Estos logros espurios de la Academia,
representados por montañas de publicaciones no apreciadas y no leídas, son sin
duda un despilfarro de artículos de solo escritura. Es un proceso
de publica-y-perece en el que la mayoría de
los trabajos se pierden.
Si consideramos los artículos académicos
como una especie de moneda científica respaldada por lingotes
de oro en el banco central de la ciencia verdadera, estamos
asistiendo a un fenómeno de inflación de artículos, una auténtica burbuja
cienciométrica.
La situación fue descrita ya en 1981 en la revista Science,
con una crítica a la reducción de la longitud de los artículos y al abuso de
las llamadas unidades mínimas de publicación (LPU por sus siglas en inglés).
Las cosas han ido a peor desde entonces.
Por
qué son necesarias las publicaciones científicas
No cuestionamos la necesidad de publicar
los resultados científicos. La ciencia es un asunto público que debe ser
discutido en la plaza pública, es decir, en talleres, conferencias y revistas
científicas.
Además, hoy en día cualquiera puede
publicar cualquier cosa en cualquier rincón de la red global. Por lo tanto, es
beneficioso un filtrado previo por parte de un comité de programa o un consejo
editorial responsables.
El filtrado añade valor en tanto que el
núcleo de la ciencia (el lingote de oro) se hace más accesible…
porque se mantiene pequeño. Así pues, cuanto más grande y menos
filtrada sea la burbuja, menos accesible será el núcleo.
Las publicaciones científicas deberían
ser un remedio para la sobrecarga de información (término
popularizado por Alvin Toffler en su libro de 1970 El Shock del Futuro). Por el contrario, la
Academia ha creado una necesidad artificial de publicar, no para el avance del
conocimiento, sino para el avance de las carreras profesionales. La Academia ha
sucumbido a la infoxicación.
Las
métricas de productividad científica
La ciencia es cara. Los gobiernos y los
inversores privados esperan, con razón, que pagar los salarios de los
científicos sea rentable. Por tanto, es deseable promover a los buenos
científicos y centros de investigación, al tiempo que se desalienta a los malos.
Ahora bien, en nuestra moderna sociedad
industrial pensamos que podemos lograr este objetivo midiendo la
productividad. Pero la productividad científica no se parece a la productividad
industrial. Las ideas no se pueden medir como los ladrillos.
Las actuales métricas de productividad
científica tienen como objetivo evaluar la calidad de las publicaciones y, a
través de ellas, la calidad del investigador.
La calidad de una publicación se estima
con el factor de impacto de la revista donde
aparece, que es el número de citas que han recibido otros artículos en la misma
revista en los últimos años. Los supuestos implícitos en este procedimiento de
medición son:
1. Una publicación es buena si se
publica en una buena revista.
2. Una revista es buena si ha merecido
suficiente atención de los científicos.
En otras palabras, se supone que existe
una correlación positiva entre el factor de impacto y la calidad científica. La
idea es interesante, pero tiene muchos efectos secundarios negativos: se
favorece la popularidad sobre la calidad, se promueve la ciencia rápida,
se provoca el efecto Mateo, se destruyen los foros locales y
regionales, etc.
La
raíz del problema
El principal problema que subyace a todo
esto es que el factor de impacto es utilizado como indicador de calidad. Los
partidarios de la cienciometría argumentarán que, a pesar de todas sus
deficiencias, es el mejor sistema que podemos tener, porque se basa en mediciones
objetivas. Esto nos recuerda al borracho que buscaba las llaves bajo la farola porque
era el único sitio donde había luz, aunque en realidad las había perdido a
varios metros de distancia.
La cienciometría presenta la inevitable
tendencia que tiene todo indicador de rendimiento a medir lo que se puede
medir, y dejar de lado lo que no se puede medir, de modo que lo medible adquiere una importancia desmedida.
La cienciometría puede probablemente
evitar algunos de sus peores efectos mejorando los sistemas de medición. Pero,
al final, el problema en sí es la concepción de la Academia como un sistema
retroalimentado. El problema está en empeñarse en medir la productividad
científica, y retroalimentar el sistema con esas mediciones. Esto es justamente
lo que enuncia la Ley de Goodhart: cuando una métrica de
evaluación se convierte en objetivo, deja de ser una buena métrica.
Lo medible adquiere una importancia desmedida. Arielrobin / Pixabay
Es prácticamente inevitable: los
científicos y los espacios de publicación se adaptarán para asegurar su propia supervivencia,
desarrollando estrategias como la ciencia salami, las autocitas y
las citas de amigos, etc.
Todas estas estrategias se combinan para
crear una cultura poco ética y anticientífica en la que se premian demasiado
las habilidades políticas y demasiado poco los enfoques imaginativos, las ideas
heterodoxas, los resultados de alta calidad y los argumentos lógicos. Y todo
contribuye a inflar la burbuja cienciométrica y hacer menos accesibles los
lingotes de oro de la ciencia más valiosa.
No
podemos prescindir del juicio humano
Solo hay una manera de salir de este
círculo vicioso: reconocer que la calidad es algo que esencialmente no se puede
medir, que está más allá de los números y los algoritmos, que solo puede ser
juzgado por humanos a pesar del carácter falible de su juicio.
El postulado de que existe una
correlación positiva entre el factor de impacto y la calidad científica está
lejos de haberse demostrado. La creencia de que las estadísticas de
citas son intrínsecamente más precisas que el juicio humano y, por tanto,
superan la posible subjetividad de la revisión por pares, es
infundada: “Utilizar solo el factor de impacto es como utilizar solo
el peso para juzgar la salud de una persona”.
Sin duda, las medidas objetivas pueden
ayudar al juicio humano. Pero nos engañamos si pensamos que podemos evitar la
corrupción y lograr una justicia ciega utilizando fórmulas matemáticas.
No existe una solución algorítmica al
problema de la medición de la calidad científica. Por eso la Declaración de San
Francisco sobre la Evaluación de la Investigación enfatiza “la
necesidad de eliminar el uso de métricas basadas en revistas, tales como
el Journal Impact Factor, al decidir sobre financiación,
nombramientos y promociones; la necesidad de evaluar la investigación por sus
propios méritos y no en base a la revista en la que se publica la
investigación”.
Es mucho más fácil recopilar algunas
cifras que pensar seriamente en lo que ha logrado un investigador. Como dice Lindsay Waters, es más simple basarse en
números anónimos para despedir a alguien o descartar un proyecto de
investigación, sin tener que explicarle razonadamente un juicio de valor
negativo.
El
factor humano en la evaluación de la ciencia
Nuestro principal interés es crear
conciencia sobre el problema. Miles de científicos han firmado la Declaración de San
Francisco, pero creemos que el mensaje merece ser difundido más
ampliamente: la burbuja cienciométrica es poco ética y es perjudicial
para la ciencia.
Es perjudicial el valor abrumador que
están adquiriendo los números y las fórmulas en el mundo académico, en
detrimento de la verdadera evaluación de la calidad de los trabajos
individuales. Necesitamos una alternativa a la cultura del publicar o perecer.
Pero claro, evaluar a través de los
factores de impacto y el ranking de revistas es tan
barato… De hecho, los verdaderos beneficiarios de la evaluación numérica no
son ni los investigadores ni la propia ciencia, sino las agencias de
evaluación, que pueden sustituir a los científicos (capaces de revisar a sus
pares) por meros burócratas (capaces de contar citas).
También hay una amenaza para los valores
éticos que afectan a la forma en que un investigador aborda su actividad
científica. La perversión en la forma de evaluar la productividad científica
estimula al científico a preocuparse por publicar para no perecer,
en lugar de obtener un conocimiento más verdadero y fiable.
El investigador, urgido por sobrevivir dentro de este sistema,
preferirá la popularidad al valor intrínseco, considerará mejor escoger dónde publicar
y no qué publicar.
La obsesión por encontrar métodos
cuantitativos y algorítmicos para evaluar la productividad científica esconde
una cobardía intelectual: la abdicación del evaluador de su responsabilidad de
emitir un juicio personal sobre la calidad científica del trabajo evaluado. El
evaluador termina así por convertirse en un obediente pero absurdo burócrata
que se limita a aplicar fórmulas matemáticas. Sustituir el factor humano por
una métrica objetiva en la evaluación de la ciencia no evitará
la corrupción.
Los juicios humanos son falibles, pero al menos no promueven esta burbuja cienciométrica que amenaza con paralizar el avance del conocimiento ocultando los lingotes de oro de la verdadera ciencia bajo una enorme sobrecarga de publicaciones.
Autor@s
Gonzalo Génova. Profesor Titular de Lenguajes y Sistemas Informáticos, Universidad Carlos III.
Anabel Fraga. Prof.
Dr. and Researcher, Universidad Carlos III
Hernán Astudillo. Profesor, Universidad Técnica Federico Santa María
Este
artículo es una versión traducida y abreviada del artículo The
scientometric bubble considered harmful, publicado en Science and
Engineering Ethics en febrero de 2016. El lector interesado puede acudir
también al manuscrito en español.
Fuente: https://theconversation.com/la-burbuja-de-publicaciones-cientificas-alimenta-la-infodemia-158013