¡Me ha tocado un proyecto!

Sí, ya sé que la lotería es una manera de que paguen impuestos los que no saben estadística, pero yo me he comprado un decimito estas Navidades por lo que pueda pasar, que ha sido lo que tenía más probabilidades de pasar. Pero puede que en el futuro nos «toque» hacer muchas cosas, como por ejemplo ser miembro de un consejo de dirección, ser concejal, o incluso diputado, porque en el futuro es muy probable que los concejales y diputados y muchos otros cargos públicos se elijan al azar. Existe una teoría, controvertida pero sólida, que sostiene que el azar es uno de las mejores mecanismos para optimizar los procesos de selección. Los científicos ya han empezado a probar esta idea, y de hecho ya les puede tocar un proyecto si lo presentan a un interesante programa de la Fundación Volkswagen (1) llamado EXPERIMENT!

El programa EXPERIMENT! In search of bold research ideas (2) tiene como objetivo financiar ideas científicas radicalmente novedosas, ideas que van en contra del pensamiento dominante en una disciplina científica, ideas locas o de dudosa viabilidad que no tendrían ninguna o muy poca probabilidad de ser seleccionadas en los programas clásicos de financiación de la ciencia. Los proyectos no pueden durar formalmente más de dieciocho meses, y tienen una financiación máxima de ciento veintemil euros. El programa comenzó en 2013 y es un absoluto éxito de convocatoria. La fundación recibe cada año alrededor de seiscientas solicitudes, prescriptivamente alemanas. Este año en concreto se han recibido seiscientas cuarenta.

El equipo de evaluación interno de la Fundación Volkswagen selecciona ciento cincuenta de las propuestas más osadas científicamente, las que mejor se adaptan a los objetivos del programa. Posteriormente, esas ciento cincuenta propuestas son evaluadas por un panel de diez científicas y científicos de distintos países del mundo, exceptuando Alemania. Este panel de expertos desecha algunas pocas de esas ciento cincuenta solicitudes que por alguna razón de peso no debieran ser financiadas por este programa, fundamentalmente porque no son radicalmente novedosas o porque son obviamente viables.

Finalmente, de entre todas las restantes el panel selecciona a las quince que considera mejores, y que serán financiadas por EXPERIMENT! Es fácil hacerse cargo de que seleccionar quince propuestas, de unas ciento cincuenta que a su vez han sido seleccionadas entre más de seiscientas solicitudes, es muy complicado para un experto, no digamos ponerse de acuerdo en ellas con los otros nueve colegas del panel. Para evitar discusiones interminables cada miembro del panel tiene un «joker», un comodín —que puede usar solo una vez— para aprobar un proyecto concreto, poniendo así fin a la discusión sobre ese proyecto.

La Fundación Volkswagen trata de asegurar que la selección sea lo más imparcial posible. Por ejemplo, el sistema es doble ciego: ni los candidatos conocen a los miembros del panel ni los miembros del panel saben quiénes son los candidatos. No hay nombres ni de personas ni de instituciones en los formularios, y la propia fundación se ocupa de borrar cualquier posible dato de la propuesta que pueda servir para identificar los nombres de los candidatos, su edad, o la universidad de procedencia. Pero aun así se ha detectado la existencia de un problema de ecuanimidad derivado de la enorme competitividad del programa.

Cuando los expertos evalúan y comparan esas ciento treinta o ciento cuarenta propuestas de investigación que ellos mismos ya consideran, en principio, financiables por el programa, siempre encuentran algunas de ellas claramente sobresalientes, que habrían de financiarse sí o sí. Pongamos que sean cinco. Pero a la hora de seleccionar los otras diez que aun se pueden financiar, encuentran que hay muchas más de diez tan buenas que resulta técnicamente imposible decidir cual de ellas es mejor que las demás. Y es entonces cuando surgen los problemas. Cuando las diferencias entre los proyectos son pequeñas, cuando es difícil para un experto valorar objetivamente la superioridad de un proyecto sobre otro, entran en escena aspectos que son subjetivos del evaluador y que hacen fracasar el sistema racional de evaluación. Entre esos factores está el instinto tribal de los científicos, es decir la irresistible tendencia a apoyar aquellos proyectos que están más cercanos a su disciplina y a su forma de pensar, lo que podríamos llamar nepotismo intelectual. Además de introducir la injusticia en la evaluación, este sesgo favorece a las disciplinas mas comunes frente a las raras, reduciendo la diversidad temática de las propuestas seleccionadas.

Para enfrentarse a ese problema EXPERIMENT! ha puesto en marcha desde hace dos años un experimento que a algunos podrá parecerle demasiado osado. Pero al fin y al cabo ¡de eso va este programa! El experimento consiste en que, además de seleccionar los quince proyectos por el panel de expertos, se seleccionen también un idéntico número de proyectos por lotería. No entre todos los proyectos presentados, sino entre los del conjunto de los proyectos considerados financiables por el panel, incluyendo los quince aprobados por su calidad técnica a juicio de los evaluadores. Es decir, se seleccionan quince proyectos por evaluación técnica de los expertos y quince proyectos por puro azar, por lotería. Este año se han seleccionado en total veinticinco, porque durante la lotería pueden salir premiados proyectos ya aprobados por el panel. Solamente se hace pública una lista de los veinticinco proyectos sin revelar cuáles fueron seleccionados por el panel y cuáles por lotería, y el seguimiento y tratamiento que la fundación hará de todos ellos será idéntico. El estudio comparativo de los beneficios de los dos sistemas de selección será realizado por una empresa evaluadora externa. Veremos qué sale de este ensayo, el primero que se realiza con un número de proyectos significativo.

La idea de rifar la financiación de proyectos repele en el mundo académico. Acostumbrados a la evaluación por pares, es decir, a que las decisiones sobre la calidad de un trabajo (para ser publicado) o de un proyecto (para ser financiado) o de un investigador o profesor (para ocupar un puesto de trabajo) son tomadas por expertos del mismo rango que los candidatos, la propuesta de que todo un sesudo esfuerzo sea finalmente pasto de un juicio por lotería, abandonado al azar, parece injusta, irracional, incluso obscena. Pero precisamente uno de los fuertes apoyos del sorteo es la razón coste/beneficio para el investigador y para el avance de la ciencia.

Se ha publicado hace poco un estudio (3) que concluye que cuando las convocatorias de financiación de proyectos de investigación son muy competitivas, el esfuerzo que los investigadores desperdician en escribir sus propuestas puede ser comparable al valor científico total de la investigación que se pretende apoyar. Los propios autores del estudio sugieren que sería más eficaz sustituir la evaluación por pares por un sistema parcial de loterías —como el de EXPERIMENT!— o, alternativamente, financiar basándose en los ​éxitos científicos pasados de los investigadores ​​en lugar de en sus propuestas de investigaciones para el futuro.

Por supuesto que pueden hacerse numerosas consideraciones sobre la bondad de un sistema de financiación por lotería. Depende del marco externo en que se desenvuelve el investigador, del tipo de programa de investigación, de la longitud y dificultad de las formularios, del número de convocatorias a las que un investigador o investigadora puede acudir, de los motivos por los que se presenta, ya sean meramente científicos o más bien promocionales, etc… Pero, en mi opinión, el sistema de sorteo no es desdeñable y merece la pena que se investigue de qué contexto depende su eficacia y qué modificaciones lo optimizarían. Convendría explorarlo como lo que es, como un sistema complejo, y analizar su comportamiento con simulaciones numéricas y con el análisis de casos reales como el programa EXPERIMENT!. Y, desde luego, deberían olvidarse las ecuaciones del tipo «selección por pares = justa y racional» y «selección por lotería = injusta y caprichosa»: la lotería entra en juego cuando el sistema de evaluación técnica por pares deja de ser justo y eficaz, y no para sustituirlo  sino para mejorarlo.

Hoy en día el uso del azar en la gestión de asuntos públicos está reducido —y de forma parcial— a los jurados populares en algunos países. Pero el mecanismo de selección por lotería ha sido usado en muchos momentos de la historia por sistemas políticos que han funcionado bien, desde la Grecia clásica a las exitosas y estables repúblicas de Venecia o de Florencia. En la Grecia del insólito siglo VI antes de nuestra era se elegían por lotería prácticamente todos los cargos, magistrados, miembros de los jurados, incluso los cargos del ejército, excluyendo, por razones de eficacia, los de rango más alto. El sistema de lotería se usó ampliamente en la selección de cargos públicos de la Florencia del siglo XIV y XV, y hasta el dogo de Venecia, así como muchos de los cargos públicos y electivos de la Señoría, se elegían por un complicado sistema que incluía en buena parte la selección aleatoria.

Las ventajas del sistema aleatorio de selección son muchas, ya que, por ejemplo, complica la corrupción y el cohecho, hace inútiles las facciones, imposibilita los acuerdos contra natura, descalifica las promesas a largo plazo, y reduce casi a cero el gasto electoral. Imagínese un congreso en el que los diputados fueran elegidos al azar. Imagínese a una señora navarra, agricultora, lesbiana elegida por puro azar. No podría decir «nosotras las lesbianas pensamos», ni «nosotras las agricultoras creemos», ni «los navarros y navarras queremos», porque se daría cuenta, o le harían caer en la cuenta, de que ella no está allí en representación de nadie excepto de ella misma, y que la fuerza del sistema está en que cada uno de los puestos del congreso rifados vote y decida en conciencia propia, por sus propios intereses. Esa suma de intereses no prostituidos es lo que da la fuerza al mecanismo de elección por lotería. Pero en fin, dejemos para otra ocasión la gestión de los asuntos públicos, y volvamos, para terminar, a la academia, que es lo que me interesa ahora.  

Para mí, lo más preocupante de la evaluación de EXPERIMENT! es cómo hacer una comparación objetiva y relevante entre los dos grupos de proyectos financiados, los seleccionados por el panel de expertos y los seleccionados por sorteo. Como hemos aclarado al principio, este programa busca proyectos audaces, osados, dudosamente viables, basados en ideas que se mueven en la difusa y cambiante frontera del conocimiento. ¿Cómo evaluar los resultados de unos proyectos que por su propia naturaleza deberían fracasar en la mayoría de los casos? ¿Qué criterios se han de utilizar para calificar la productividad de un proyecto que va a explorar un nicho aún no hollado por la ciencia? Este problema es totalmente nuevo en evaluación y su solución no es nada trivial.

Por otro lado, el resultado de la comparación será muy dependiente de la composición del panel, de los criterios de selección de sus componentes. Cuando tuvimos que diseñar el sistema de evaluación del Programa EXPLORA —atrévete a descubrir, atrévete a equivocarte—, un programa español pionero en la financiación de ideas audaces, resultó evidente que no debía usarse la base de datos de la Agencia Nacional de Evaluación. La razón es que para este cometido se necesitan colegas que tengan una mentalidad abierta, poco egocéntricos, intelectualmente generosos, con una gran cultura científica, y si es posible con un cierto olfato para detectar el potencial semioculto en una propuesta a caballo entre lo genial y lo ingenuo. Se han de buscar evaluadores que hubieran apostado por Colón, por Marconi, por Wegener. Y eso no es fácil. Hace tan solo nueve años se rechazó en un programa para proyectos osados, un proyecto avanzado de reconocimiento facial y otro sobre criptomoneda, porque eran inútiles (¿quien va a estar interesado en eso?). El papel del panel de expertos es crucial porque el listado final de proyectos seleccionados por estos programas donde se valora el riesgo intelectual, es el único, o más exactamente, el mejor mensaje que se le puede enviar a los futuros candidatos para convencerles de que, afortunadamente, hay programas a los que no les importa financiar también el fracaso cuando se explora con osadía la frontera del conocimiento.

_______________________________________________________________________

(1) La Fundación Volkswagen es la mayor fuente de financiación privada de la investigación en Europa. A pesar de su nombre, no guarda ninguna relación especial con el fabricante de automóviles.

(2) EXPERIMENTA! En busca de ideas de investigación audaces. https://www.volkswagenstiftung.de/en/funding/our-funding-portfolio-at-a-glance/experiment

(3) Gross K, Bergstrom CT (2019) «Contest models highlight inherent inefficiencies of scientific funding competitions». PLoS Biol 17(1): e3000065. https://doi.org/10.1371/journal.pbio.3000065