Los principios olvidados del CAD

Los principios que orientan la utilización de los criterios de evaluación de CAD: los grandes desconocidos 

Todo el mundo que ha trabajado en Evaluación conoce los criterios establecidos por el Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) para la evaluación de intervenciones de desarrollo, que fueron revisados por última vez en 2017. Así, organismos internacionales, ONG´s, instituciones públicas y privadas los incluyen en pliegos y términos de referencia como los criterios a seguir en las evaluaciones. Sin embargo, muchas veces se olvidan o ignoran los dos principios, también identificados el CAD, que deben orientar la utilización de los criterios. 

Principios del CAD

Primer principio

El primer principio establece que “los criterios deben aplicarse con minuciosidad para conseguir evaluaciones útiles y de calidad y deben contextualizarse; es decir, entenderse en el contexto de la evaluación particular”1. Esto es, no deben ser interpretados en una escala del “deber ser”, sino según el contexto, según lo que “pudo ser”.  Por esto, resulta muchas veces un ejercicio eufemístico intentar hacer comparaciones de intervenciones en regiones, países y contextos diferentes atendiendo a las respuestas de las preguntas de evaluación orientadas por estos criterios. Es común ver cómo organizaciones hacen tablas o ránquines de proyectos según sus niveles de pertinencia, coherencia, eficiencia, eficacia, impacto y sostenibilidad. Establecen códigos de semáforo o con alguna otra categorización, sin tener en cuenta el contexto. Un proyecto implementado en Angola puede resultar muy eficiente en el contexto del país, pero el mismo nivel de uso de recursos puede considerarse muy ineficiente en Estados Unidos, por ejemplo.  

Por otro lado, si la valoración del criterio se descontextualiza se podría caer en un juicio muy cerrado y, probablemente, injusto sólo con la intención de poner un estándar único para permitir la comparabilidad, una comparabilidad que es, por otro lado, potencialmente falseada y falseable.

Segundo principio

El segundo principio pasa aún más inadvertido o relegado, especialmente por los comanditarios de las evaluaciones. Este principio dispone que “el uso de los criterios depende del propósito de la evaluación. Los criterios no deben aplicarse de forma mecánica; por el contrario, deben emplearse en función de las necesidades de los actores relevantes y el contexto de la evaluación”2. Sin embargo, probablemente más del 90% de las evaluaciones incluyen los seis criterios al margen de que sea posible la minuciosidad de aplicación del principio uno, ya sea por la naturaleza de la propia intervención, como por las necesidades y los recursos (de tiempo, de personal y financieros) de la propia evaluación. Este uso mecánico e “indiscriminado” de los criterios hace, en la mayoría de los casos, que se viole el primer principio, ya que los evaluadores se ven en la incapacidad de aplicar los criterios de manera minuciosa. ¿Cuántas veces se ven evaluaciones en donde se ha optado por unir los criterios de impacto y sostenibilidad ante la imposibilidad de dar una repuesta precisa y fundada a ambos? ¿Cuántas veces los comanditarios, los mismos que formularon los proyectos, no están tan interesados en la coherencia y la pertinencia de los proyectos como en la eficacia y la eficiencia, especialmente para valorar el desempeño de la parte implementadora? ¿Cuántas intervenciones evaluadas resultan “irrelevantes o incoherentes” en el contexto concreto en donde se desarrollaron? ¿Existen alguna vez necesidades de información reales a este respecto?  

Reflexión

Muchos de nosotros, evaluadoras y evaluadores, tenemos nuestras propias respuestas a estas preguntas y muchas coinciden. También los comanditarios de las evaluaciones sabrían responder a estas preguntas. Mi duda es si además de conocer los criterios de evaluación del CAD conocen también sus principios de uso. Y de ser así ¿por qué entonces siguen atrapados en el uso mecánico y muchas veces forzado de los seis criterios en casi todas las evaluaciones que encargan?