Los programas marco de Investigación y Desarrollo Tecnológico (IDT) de la Comisión Europea constituyen, en la actualidad, la más importante fuente de financiación pública en materia de investigación europea. Su gestión conlleva rigurosas evaluaciones científicas y financieras.
Los investigadores universitarios saben que, si obtienen uno de esos proyectos, se verán sometidos a exigentes evaluaciones. Me consta que algunos profesores dudan de presentar proyectos por la gran carga de trabajo que imponen los funcionarios de la Comisión, con cuestionarios plagados de indicadores de difícil medición, disponibilidad o comprensión.
¿Son adecuadas esas evaluaciones? Para el Tribunal de Cuentas Europeo, son ineficientes y descoordinadas.
En efecto, la “conciencia financiera de la UE”, en su reciente informe Informe Especial nº 9/2007, de 22 de noviembre pasado, fiscaliza los sistemas de seguimiento y evaluación en vigor desde 1995 para los tres últimos programas marco de investigación (IV, V y VI), y también presenta una visión general del VII PM (2007 – 2013). La compleja fiscalización planteaba difíciles retos por lo que contó con apoyo de expertos externos.
Principales conclusiones
Me agrada mucho la manera en que el Tribunal europeo titula sus trabajos, incluyendo una pregunta que haga intuir al ciudadano su objeto. El presente se denomina «La evaluación de los programas marco de investigación y de desarrollo tecnológico (IDT) de la UE – ¿Podría mejorarse el enfoque de la Comisión?».
La respuesta: ¡SI! Formalmente, la Comisión respeta las obligaciones jurídicas relativas a la evaluación, pero son manifiestamente mejorables.
El Tribunal determinó en particular que:
i) Los objetivos de programa marco están mal definidos y no realizan una medición suficiente del rendimiento, lo que afecta negativamente a la eficacia del seguimiento y de la evaluación;
ii) No existe una estrategia global de evaluación, acordada entre las «direcciones generales de investigación» para los programas marco, lo que da lugar a una falta de coherencia en los enfoques de los distintos servicios de la Comisión. Esta deficiencia afecta, en particular a la evaluación de partes importantes de los programas marco;
iii) La evaluación de los programas marco estaba descentralizada, los mecanismos de coordinación actuales de las direcciones generales encargadas de la ejecución de los programas marco no han resultado eficaces y los servicios centrales de la Comisión no ejercían su responsabilidad de hacer aplicar las disposiciones. No obstante, en general las «direcciones generales de investigación» han cumplido los requisitos formales de la Comisión en materia de evaluación. La designación de paneles de expertos externos de alto nivel para los principales ejercicios de evaluación se adecuaba bien al contexto comunitario. Sin embargo, estos paneles de carácter temporal no comienzan a participar en el proceso con la antelación necesaria para influir en la recopilación de pruebas y sólo tienen posibilidades limitadas de seguir en el tiempo las cuestiones importantes.
iv) La metodología empleada fue inadecuada, los evaluadores afrontaron dificultades para recopilar datos pertinentes y no se realizaron estudios de evaluación que abordaran los efectos e impactos a más largo plazo de los programas marco, frente a las cuestiones más inmediatas de ejecución de los programas;
v) Por consiguiente, el sistema utilizado por la Comisión para evaluar los programas marco ha sido poco útil para los responsables políticos, para las partes interesadas o incluso para la propia Comisión. En definitiva, se dispone de poca información sobre la consecución de los objetivos y los resultados de los programas marco.
Recomendaciones
Para el Tribunal, la futura legislación debería definir una lógica de intervención más explícita, explicando las hipótesis subyacentes, clarificando el vínculo entre los objetivos científicos y socioeconómicos, y elaborando unos indicadores de rendimiento apropiados.
Para ello, las direcciones generales que ejecutan los programas marco deberían desarrollar (y acordar) una estrategia global de evaluación En concreto propone la creación de una oficina de evaluación conjunta para coordinar las actividades de evaluación de las «direcciones generales de investigación» para el programa marco en su conjunto, así como el establecimiento de un sistema de paneles (y subpaneles) compuestos de expertos externos, constituidos con antelación suficiente y continuar durante todo el período de programación y posteriormente;
Para el Tribunal, deberían analizarse adecuadamente las necesidades en materia de datos para la evaluación y el seguimiento, racionalizando las exigencias impuestas a los participantes y haciendo un mayor uso de otras fuentes existentes de datos.
Consideran los auditores del Tribunal que la Comisión debería elaborar un manual de evaluación detallado para los programas marco y desarrollar una gama más amplia de metodologías y técnicas que puedan aplicarse a las evaluaciones en este ámbito.
Replica a Helio Saul Mileski Cancelar la respuesta