Los programas marco de Investigación y Desarrollo Tecnológico (IDT) de la Comisión Europea constituyen, en la actualidad, la más importante fuente de financiación pública en materia de investigación europea. Su gestión conlleva rigurosas evaluaciones científicas y financieras.
Los investigadores universitarios saben que, si obtienen uno de esos proyectos, se verán sometidos a exigentes evaluaciones. Me consta que algunos profesores dudan de presentar proyectos por la gran carga de trabajo que imponen los funcionarios de la Comisión, con cuestionarios plagados de indicadores de difícil medición, disponibilidad o comprensión.
¿Son adecuadas esas evaluaciones? Para el Tribunal de Cuentas Europeo, son ineficientes y descoordinadas.
En efecto, la “conciencia financiera de la UE”, en su reciente informe Informe Especial nº 9/2007, de 22 de noviembre pasado, fiscaliza los sistemas de seguimiento y evaluación en vigor desde 1995 para los tres últimos programas marco de investigación (IV, V y VI), y también presenta una visión general del VII PM (2007 – 2013). La compleja fiscalización planteaba difíciles retos por lo que contó con apoyo de expertos externos.
Principales conclusiones
Me agrada mucho la manera en que el Tribunal europeo titula sus trabajos, incluyendo una pregunta que haga intuir al ciudadano su objeto. El presente se denomina «La evaluación de los programas marco de investigación y de desarrollo tecnológico (IDT) de la UE – ¿Podría mejorarse el enfoque de la Comisión?».
La respuesta: ¡SI! Formalmente, la Comisión respeta las obligaciones jurídicas relativas a la evaluación, pero son manifiestamente mejorables.
El Tribunal determinó en particular que:
i) Los objetivos de programa marco están mal definidos y no realizan una medición suficiente del rendimiento, lo que afecta negativamente a la eficacia del seguimiento y de la evaluación;
ii) No existe una estrategia global de evaluación, acordada entre las «direcciones generales de investigación» para los programas marco, lo que da lugar a una falta de coherencia en los enfoques de los distintos servicios de la Comisión. Esta deficiencia afecta, en particular a la evaluación de partes importantes de los programas marco;
iii) La evaluación de los programas marco estaba descentralizada, los mecanismos de coordinación actuales de las direcciones generales encargadas de la ejecución de los programas marco no han resultado eficaces y los servicios centrales de la Comisión no ejercían su responsabilidad de hacer aplicar las disposiciones. No obstante, en general las «direcciones generales de investigación» han cumplido los requisitos formales de la Comisión en materia de evaluación. La designación de paneles de expertos externos de alto nivel para los principales ejercicios de evaluación se adecuaba bien al contexto comunitario. Sin embargo, estos paneles de carácter temporal no comienzan a participar en el proceso con la antelación necesaria para influir en la recopilación de pruebas y sólo tienen posibilidades limitadas de seguir en el tiempo las cuestiones importantes.
iv) La metodología empleada fue inadecuada, los evaluadores afrontaron dificultades para recopilar datos pertinentes y no se realizaron estudios de evaluación que abordaran los efectos e impactos a más largo plazo de los programas marco, frente a las cuestiones más inmediatas de ejecución de los programas;
v) Por consiguiente, el sistema utilizado por la Comisión para evaluar los programas marco ha sido poco útil para los responsables políticos, para las partes interesadas o incluso para la propia Comisión. En definitiva, se dispone de poca información sobre la consecución de los objetivos y los resultados de los programas marco.
Recomendaciones
Para el Tribunal, la futura legislación debería definir una lógica de intervención más explícita, explicando las hipótesis subyacentes, clarificando el vínculo entre los objetivos científicos y socioeconómicos, y elaborando unos indicadores de rendimiento apropiados.
Para ello, las direcciones generales que ejecutan los programas marco deberían desarrollar (y acordar) una estrategia global de evaluación En concreto propone la creación de una oficina de evaluación conjunta para coordinar las actividades de evaluación de las «direcciones generales de investigación» para el programa marco en su conjunto, así como el establecimiento de un sistema de paneles (y subpaneles) compuestos de expertos externos, constituidos con antelación suficiente y continuar durante todo el período de programación y posteriormente;
Para el Tribunal, deberían analizarse adecuadamente las necesidades en materia de datos para la evaluación y el seguimiento, racionalizando las exigencias impuestas a los participantes y haciendo un mayor uso de otras fuentes existentes de datos.
Consideran los auditores del Tribunal que la Comisión debería elaborar un manual de evaluación detallado para los programas marco y desarrollar una gama más amplia de metodologías y técnicas que puedan aplicarse a las evaluaciones en este ámbito.
Fiscalizacion.es 
Un veterano catedrático, nada proclive a la notoriedad, me envía este informal correo privado, que quiero compartir con los lectores de la bitácora:
Antonio, yo creo que, dado que los evaluadores europeos no tienen ni idea de cómo evaluar las actividades de investigación, deberían constituir un grupo de investigación y presentar un proyecto al programa marco. Proyecto que por supuesto debería ser evaluado, a poder ser por investigadores «normales» (si los hay). Con eso no creo que se consiguiera nada, pero se lo pasarían muy bien todos a costa del erario europeo. !Que orgía de criterios y metacriterios de evaluación!
Mientras no seamos capaces de poner en tres líneas los objetivos concretos de un proyecto de investigación, no veo como evaluarlo. Si de un proyecto se van a obtener infinidad de «resultados» del estilo de «ampliar el conocimiento», «colaborar en la formación de personal investigador», etc., no veo como comprobar que no se han alcanzado los objetivos.
En fin, Antonio, si no creo en los mecanismos oficiales de investigación (que constituyen la religión verdadera), como voy a creer en los mecanismos de evaluación de la investigación que constituyen una auténtica herejía.
Feliz año en cualquier caso.
Me gustaMe gusta
Antonio,
Además de haber recomendado desde mi bloc la lectura de tu excelente artículo, te felicito, comparto plenament lo que dice el veterano compañero. La gente no sabe poner objetivos decentes.
Buen año
Enric
Me gustaMe gusta
Hola Arias, a mí lo que me parece, es que la gente solo sabe convocar reuniones en sitios estupendos para hablar de cosas maravillosas y elaborar una extensa lista de desideratum y luego a otra cosa … se están pareciendo mucho a los políticos de turno. Poco práctico y a la par costoso para el erario público.
Un diez para el veterano catedrático por el comentario.
Buen año para todos,
Me gustaMe gusta
Olá! amigo Antonio.
Primero, de forma bien objetiva, sin la intrincada y rebuscada propuesta de evaluación contenida en el artículo publicado, un excelente año de 2008 para todos.
Aunque no tenga pleno conocimiento de la realidad inversora de la UE y los aspectos de evaluación que deben ser procedidos para una verificación, en cuanto a la atención de los objetivos constantes de los proyectos ejecutados, me parece una exageración el nivel de exigencias en lo que atañe a los criterios adoptados para una evaluación del proyecto. Es una cuestión de buen sentido. ¿Cuáles son los objetivos? en la ejecución del proyecto fueron alcanzados tales objetivos? y los resultados ¿son buenos o malos?
Por esto, concuerdo plenamente con el veterano catedrático cuando dice que se trata de una orgía de criterios y metacritérios de evaluación.
Um grande abraço, desde Porto Alegre, RS, Brasil.
Helio Saul Mileski
Me gustaMe gusta
Hola,
Tan sólo quería hacerte un apunte sobre la imagen que acompaña al artículo. Resulta que cobran derechos de autor por la imagen del edificio.
Te lo comento para que no tengas problemas…que nunca se sabe…
Respuesta: Gracias, Juan. Me parece posible aunque surrealista. Tal como vamos por estos lares, puede que lleguemos también a ello. La foto es de mi hijo Antonio Arias Jr. durante su viaje-premio por terminar su bachillerato en junio de 2005. Como no me gusta usar fotos ajenas, me llevó una hora encontrarla entre los múltiples ficheros ….
He escrito a la sociedad de autores de Bélgica pidiendo información sobre el asunto. Si se confirma, la retiraré pero me ofende la paranoia a la que estamos llegando en estos temas.
Me gustaMe gusta
En efecto, Juan tenia razón en su advertencia del comentario anterior. La difusión pública del Atomiun devenga derechos de autor que son jugosamente recaudados por SABAM. Sin embargo, creo que mejor que retirar la foto con ocultarla creo cumplir el espíritu y la letra de la norma y que pueda entenderse este asunto.
Escribi a Julie Sevrin del departamento de Arts Graphiques & Visuels de SABAM que a vuelta de correo me dijo, amablemente:
Cher Monsieur, Podría hacernos saber cuánto tiempo va a usar esa foto del Atomiun en su web?
Nuestra tarifa es de 180,00 € para la reprodución durante 1 año.
Merci de votre collaboration. Cordialement,
Yo he contestado:
Muchas gracias. No es necesario porque ya he retirado «mi» foto» del blog.
¿Es posible recaudar por utilizar fotografias de edificios que están al aire libre?. En España, la Ley de Patrimonio de las Administraciones Públicas no lo permite. Un saludo
Ella contesta, también amablemente:
Cher Monsieur, le aconsejamos contactar con nuestra sociedad hermana española VEGAP (www.vegap.es), que ocupa la misma función que nosotros en España.
Cordialement,
Aquí se acaba la historia. Al final he puesto a la foto el filtro de las servidumbres de vistas … para que no podais reconocer el edificio. Me queda la duda de si puedo verla en mi ordenador sin pecar.
Me gustaMe gusta
Pingback: Buscando proyectos desesperadamente | Antonio Arias Rodríguez es Fiscalización
Pingback: Las dos caras de la verdad | Fiscalizacion.es