Ariel Zaltsman

 

INTRODUCCION

Desde por lo menos a fines de la década del cuarenta, diversas iniciativas de reforma han tratado de mejorar la calidad de la toma de decisiones respecto del presupuesto inculcando consideraciones relacionadas con la gestión en el proceso.  Los esfuerzos en esta dirección surgieron tanto en los Estados Unidos como alrededor del mundo. Pero la mayoría no llegó a transformar el modo en que se tomaban las decisiones respecto de la asignación de recursos y, por lo tanto, a la larga se abandonaron.

El último intento por alcanzar esta meta emergió en las décadas de 1980-1990, y se hizo conocido genéricamente como presupuestación basada en la gestión. Este nuevo esfuerzo de reforma trató de capitalizar algunas de las lecciones de las fallas de sus predecesores, de modo que dio lugar a expectativas de lograr mejores resultados.  La evidencia empírica acumulada hasta el momento sugiere que, mientras que en la mayoría de los casos las reformas parecen haber cambiado muy poco en el proceso de asignación de presupuesto, algunas iniciativas parecen haber logrado muchos mejores resultados que otras.  Una de las implicancias más significativas de este hallazgo es que la aspiración de convertir las consideraciones relacionadas con la gestión en un importante factor de toma de decisión del presupuesto no está condenada necesariamente al fracaso.  Por lo tanto, el desafío estaría en identificar las condiciones específicas que condujeron a resultados más o menos satisfactorios.

 

Este documento sostiene que, a pesar de toda la atención que los estudiosos han prestado al movimiento de reforma de la presupuestación basada en la gestión, sus esfuerzos no han producido los elementos apropiados para establecer bajo qué condiciones estas iniciativas condujeron a diversos resultados. Existen por lo menos dos razones para esto. La primera, y más obvia, es que ha habido pocos intentos por ocuparse de esta cuestión en forma directa a través de la investigación empírica.  La literatura apunta a diversos factores que podrían facilitar o interferir con el éxito de las reformas.  En algunos casos, también ilustra cuán diversas son las iniciativas respecto de la presupuestación basada en la gestión en algunos de estos aspectos.  Sin embargo, muy pocos estudios han examinado la relación entre tales factores y los resultados de las reformas empíricamente.  La segunda razón es quizás menos aparente, pero de ningún modo menos importante.  La mayoría de las evaluaciones de los logros de las iniciativas no toman suficiente cuenta de la complejidad de los fenómenos que usan como elemento de medición. En otras palabras, toman el alcance aparente del uso de información de gestión bajo cada iniciativa como criterio de evaluación, sin reconocer el hecho que la utilización de la información puede tomar muchas formas, algunas de ellas mucho menos evidentes que otras.  La falta en reconocer y, por lo tanto, adaptarse a este hecho muy probablemente deforme o distorsione estas evaluaciones.  En consecuencia, si bien pueden brindar un buen indicio preliminar respecto de los logros de las iniciativas, no ofrecen una base lo suficientemente sólida para establecer vínculos empíricos entre las estrategias de reforma y los resultados.

 

Obtener respuestas empíricas satisfactorias a tales preguntas representa una importante contribución a la masa de conocimiento sobre reforma presupuestaria. La cuestión acerca de cuánto se puede mejorar la toma de decisiones respecto del presupuesto a través del análisis de la política ha sido foco de atención de los estudiosos durante largo tiempo (Wildavsky 1984; Schick 1971; White 1994), y todavía está abierto a debate.  Este intento mejorado por alcanzar dicha meta, que se supone está conduciendo a diversos resultados, representa una oportunidad única de mejorar la comprensión de esta cuestión.  Desde una perspectiva orientada hacia el profesional, una buena comprensión en un pre-requisito para realizar evaluaciones equilibradas de los beneficios potenciales y los costos asociados con las reformas de la presupuestación basada en la gestión. Igual de importante es también una condición necesaria para asegurar que las estrategias de formulación e instrumentación de las iniciativas de reforma individuales conduzcan a resultados óptimos.

 

El objetivo de este documento es explayarse sobre estas brechas críticas en estas investigaciones, y emplear percepciones valiosas provenientes de la literatura sobre utilización de evaluaciones e investigaciones para sugerir algunos modos posibles para vencerlas. Resulta interesante que a pesar de sus preocupaciones compartidas y su evidente potencial para beneficiarse de los adelantes de unas y otras, parece haber pocos puntos de contacto entre la utilización de las evaluaciones y la literatura sobre presupuestación basada en la gestión. Se espera que este artículo ayude a establecer puentes entre las dos.

 

El documento comprende siete secciones, incluyendo esta introducción. La siguiente sección presenta un breve panorama de las reformas de la presupuestación basada en la gestión, sus objetivos, y sus rasgos característicos, comparado con iniciativas anteriores.  La tercera sección resume los hallazgos de la investigación empírica sobre los logros de las reformas de la presupuestación basada en la gestión. Las dos secciones siguientes explican por qué las pruebas presentadas no brindan los elementos adecuados para identificar las condiciones que llevan a diversos resultados de la reforma: uno examina cómo estas investigaciones se han ocupado de los factores asociados con la complejidad de los conceptos que la investigación ha usado como elemento de medición para evaluar los logros de estas iniciativas.  Por último, la sexta sección propone directivas para futuras investigaciones, y la última envuelve el argumento con varias observaciones concluyentes.

REFORMAS DE LA INVESTIGACIÓN BASADA EN LA GESTIÓN

Comenzando en las décadas de 1980 y 1990, muchos gobiernos de todo el mundo comenzaron a adoptar un conjunto de reformas institucionales con la intención de instalar lo que es genéricamente conocido como presupuestación basada en la gestión (PBB).[1] El principal objetivo de la presupuestación basada en la gestión es mejorar la asignación de recursos públicos incluyendo consideraciones relacionadas con la gestión en el proceso de toma de decisiones. A diferencia de las organizaciones con fines de lucro, los gobiernos no tienen un patrón simple para evaluar los réditos y funcionamiento de sus múltiples emprendimientos. Las reformas de la presupuestación basada en la gestión tienen la intención de llenar este vacío recurriendo a la supervisión de la gestión y a la evaluación de programas.

Las iniciativas de la presupuestación basada en la gestión no son el primer esfuerzo de reforma para lograr esto. En la segunda mitad del siglo veinte hubo varias iniciativas –tales como la presupuestación por gestión, los sistemas de presupuestación por planificación-programación, la gestión por objetivos, y la presupuestación con base cero- que trataron de ocuparse del mismo objetivo (GAO (Oficina General de Contabilidad) 1997). Sin embargo, fueron finalmente calificadas como políticamente disfuncionales y prácticamente inoperables y, en consecuencia, fueron abandonadas.

El modo en que las iniciativas de la presupuestación basada en la gestión persigue sus objetivos dista de ser uniforme. Puede variar desde la simple clasificación de los gastos por servicios y producción al requisito mucho más exigente de que cada incremento en los recursos del presupuesto esté vinculado a un incremento en los productos o resultados (Schick 2001). De modo similar, algunos han sido concebidos en principio como iniciativas de reforma de presupuesto mientras que, para otros, la adopción de la presupuestación basada en la gestión es sólo uno entre varios objetivos de gestión del desempeño.  No obstante estas diferencias, los esfuerzos por reformar la presupuestación basada en la gestión tienden a compartir ciertos rasgos que los distinguen de sus predecesores y –de ser juzgados a la luz de la crítica de iniciativas anteriores por parte de la literatura (GAO 1997; Mosher 1969; Schick 1971; Schick 1973; Schick 2001; Wildavsky 1984) – podrían tornarlos más propensos a alcanzar el éxito.

Una diferencia clave es que las reformas de la presupuestación basada en la gestión tiene aspiraciones relativamente menos grandiosas que versiones anteriores de iniciativas relacionadas con el desempeño.  Más específicamente, no tienen la intención de reemplazar la naturaleza intrínsecamente política de la toma de decisión del presupuesto con enfoques técnicos (Wildavsky 1984). En cambio, apuntan a usar consideraciones relacionadas con la gestión y otros procedimientos analíticos para ayudar a mejorar la calidad de tales decisiones en el margen (Schick 1971).

Una segunda diferencia importante es que, además de ocuparse de las necesidades de información de la oficina de presupuesto central y otras instituciones del ejecutivo, también están destinadas a ser útiles para el legislativo, las instituciones evaluadas, y la sociedad civil en general.  Esto contrasta con la tendencia de reformas anteriores a ser concebida fundamentalmente como un instrumento del ejecutivo, y a descuidar el papel crítico del legislativo en el proceso de presupuesto (Schick 1973; Mosher 1969), como así también otros interesados.

Otro rasgo distintivo de las reformas de la presupuestación basada en la gestión es que vienen generalmente adheridas a la aspiración de transformar la gestión del sector público reorientando la atención de los organismos del gobierno a su propio desempeño y resultados.  Esto los pone en absoluto contraste con esfuerzos de reforma anteriores que, como sostiene Schick (2001, 58), tendieron a descuidar “los sistemas y prácticas de gestión en los que [estaban] insertados”.

Y por último, mientras que las reformas de presupuesto anteriores tendían a poner su atención en los aspectos de carga de trabajo y productividad de la gestión, las iniciativas de presupuestación basada en la gestión buscan realzar la conexión entre el uso de los recursos públicos y sus resultados (Lu 1998; Jordan y Hackbart 1999). Esto está destinado a brindar a los diversos interesados una perspectiva más completa de las implicancias asociadas con las distintas alternativas de asignación de recursos.

En la medida en que esto traiga aparejado un intento por aprender de fracasos anteriores, esta nueva ola de reforma presupuestaria dio lugar a esperar que, esta vez, pueda dar mejores resultados. La cuestión ha atraído gran atención de los académicos y profesionales por igual. No resulta sorprendente que la mayoría de los esfuerzos por estudiar las reformas de la presupuestación basada en la gestión se hayan concentrado empíricamente en establecer estas iniciativas en relación con los logros.

 

 

LOGROS DE LAS REFORMAS DE LA PRESUPUESTACIÓN BASADA EN LA GESTIÓN

Cuando se trata de evaluar los logros relativos a las reformas de la presupuestación basada en la gestión, el criterio prevaleciente usado en la literatura es el grado en el cual estas iniciativas está alcanzando una de sus metas más inmediatas: aumentar el rol que juegan las consideraciones relacionadas con la gestión en el proceso de asignación de presupuesto.  La mayoría de los estudios de investigación tratan de medir esto estableciendo el alcance de utilización de este tipo de información en distintas etapas del ciclo del presupuesto y/o si y cómo las evaluaciones de la gestión están afectando el modo en que se gastan los recursos.

La mayoría de los datos disponibles provienen de estudios llevados a cabo en los Estados Unidos.  La investigación se ha concentrado en las experiencias de la presupuestación basada en la gestión en distintos niveles del gobierno, y los estudiosos las han examinado individualmente o en forma general. La fuente de datos más comunes para estos estudios han sido estudios had hoc y entrevistas personales semi estructuradas con distintos actores del presupuesto.  Por otra parte, un pequeño número de estudios se ha basado en el análisis estadístico de datos secundarios. Esta sección presenta los hallazgos de estudios de casos únicos primero, seguido por los de los estudios generales.

 

Hallazgos de los estudios concentrados en experiencias individuales de presupuestación basada en la gestión

Los estudios individuales de iniciativas de presupuestación basada en la gestión sugieren que, mientras que en algunos sistemas las consideraciones relacionadas con la gestión siguen siendo marginales al proceso de toma de decisiones respecto del presupuesto, en otros parecen jugar un papel significativo.  Esto se ve reflejado tanto en el grado de influencia que las evaluaciones tienen sobre las decisiones sobre asignaciones, como así también en el alcance aparente del uso de este tipo de información.

Uno de los primeros estudios para evaluar el alcance de la utilización de la información relacionada con la gestión en el contexto de un sistema de presupuestación basada en la gestión fue llevado a cabo por Lauth (1985) en el estado de Georgia. El estudio estaba basado en una encuesta por correo electrónico de los planificadores y analistas de la Oficina de Planeamiento y Presupuestación estatal, y funcionarios de presupuesto del organismo, que captaron sus percepciones del alcance del uso de las medidas de evaluación para la preparación del presupuesto de los organismos, la revisión de la Oficina de Planeamiento y Presupuestación, la recomendación gubernamental, la revisión de la Oficina de Presupuesto del Legislativo, la asignación del legislativo y la afectación.  El estudio encontró que, salvo por los analistas de la Oficina de Planeamiento y Presupuestación durante las etapas de revisión de la Oficina de Planeamiento y Presupuestación y las recomendaciones presupuestarias, la mayoría de los encuestados decían usar la información sólo rara vez o no usarla en absoluto.

Una década más tarde, y después de que el sistema de presupuestación basada en la gestión del estado sufriera diversos cambios significativos, Yu (1996) llevó a cabo un nuevo estudio en Georgia. El estudio examinaba el alcance y el tipo de uso de los hallazgos de las evaluaciones del programa específico durante el proceso de asignación del presupuesto.  Basado en datos provenientes de una encuesta a través del correo electrónico de analistas de presupuesto central, legislativo y de organismos, el estudio encontró que solo dos de los 20 encuestados informaban un uso sustancial de esa información.  Ocho informaron hacer “cierto” uso. Por otra parte, los casos en los que los hallazgos de las evaluaciones eran usados como una ayuda para tomar la decisión eran escasos. El uso más ampliamente informado de estos datos era para justificar “decisiones de nivel de financiamiento determinadas por otras consideraciones” (página 74).

Por el mismo motivo, Moynihan (2002) emprendió estudios de caso en profundidad de iniciativas de “gestión por resultados” pertenecientes a tres estados: Alabama, Vermont, y Virginia, concentrándose especialmente en cómo se desarrollaban las prácticas de estos sistemas en los departamentos de correcciones de estos estados. A diferencia de la mayoría de otros estudios de caso, estos trataban de cubrir sistemas con diferentes niveles de desarrollo. Pero hallaron “fuertes evidencias de acrecentamiento” en los tres estados por igual (página 128). Un poco en línea con los hallazgos de Yu (1996) en Georgia, la única excepción a este patrón era el uso de información sobre la gestión como un medio para defender los presupuestos de los organismos y abogar por expansiones de financiamiento.

En cambio, varios estudios de caso cualitativos dan prueba del uso de información sobre la gestión para la toma de decisiones respecto de la asignación del presupuesto. Por ejemplo, Tucker (2002) informa que en el estado de Texas, la Oficina de Presupuesto y Planeamiento y la Junta de Presupuesto del Legislativo usan con frecuencia medidas de gestión para analizar los pedidos de presupuesto de los organismos. Epstein y Campbell (2002a) indican que, en el estado de Iowa, el gobernador y ciertas comisiones legislativas usan la información de gestión para evaluar distintas alternativas de asignación. Y Epstein y Campbell (2002b) informan que, en el estado de Louisiana, los datos de gestión son usados en los debates del presupuesto del legislativo. Por otra parte, los autores también citan diversos casos, tanto en Iowa como en Louisiana, en donde este tipo de consideración influyó en las decisiones sobre financiamiento para la creación, expansión o reducción de programas.

Tomando una perspectiva un tanto diferente, otros estudios evaluaron los logros de las iniciativas evaluando el alcance de la influencia de las consideraciones relacionadas con la gestión sobre los resultados presupuestarios. Connelly y Tompkins (1989) llevaron a cabo uno de los primeros en el estado de Missouri. Este estudio se basaba en los datos de los presupuestos del ejecutivo para los ejercicios 1979-1985 para realizar un análisis correlativo de los cambios inter-anuales en las recomendaciones presupuestarias del gobernador y los cambios en el cumplimiento de los programas.  No encontró una relación significativa entre las dos variables, ni diferencias de magnitud del cambio recomendado en las asignaciones entre programas que tenían datos de gestión y aquellos que no los tenían.

Por otra parte, tres estudios recientes informan que, en el contexto de la iniciativa de la Herramienta de Calificación de Evaluación de la Gestión (PART) de la Oficina Estadounidense de Gestión y Presupuesto (OMB), las evaluaciones de la gestión parecen estar afectando las asignaciones de presupuesto.  Los estudios consistían en un conjunto de análisis de regresión de cambios en el presupuesto del Presidente para los ejercicios 2004 (GAO 2004; Gilmour y Lewis 2006b) y 2005 (Gilmour y Lewis 2006a) sobre las evaluaciones PART de los programas y otras características de programas pertinentes.

Por último, desde una perspectiva internacional, un estudio de 1994 de los funcionarios del Departamento de Finanzas de Australia sugiere que los hallazgos de las evaluaciones tuvieron significativa influencia tanto sobre las propuestas presupuestarias como sobre las deliberaciones del gabinete (Departamento de Finanzas del Commonwealth de 1994). De igual modo, un  número pequeño de estudios informa sobre datos respecto de la influencia de las consideraciones de gestión sobre las asignaciones de presupuesto en Chile (Armijo 2003; Banco Mundial 2005) y Singapur (Jones 2001). Sin embargo, no especifican cuán extendidos o significativos son los efectos de las evaluaciones.

Por otra parte, en su revisión del marco de gestión del sector público de Nueva Zelanda, Schick (1996) informa datos que, a pesar de la reputación del país como adelantado respecto de la gestión del desempeño, las reasignaciones no san tan comunes en Australia como en otros países. Y los estudios de caso de los sistemas de evaluación de la gestión de Colombia (Ospina Bozzi y Ochoa 2003), Costa Rica (Mora Quirós 2003), y Uruguay (Freijido 2003) no encontraron pruebas de uso sistemático de información de gestión para fines de asignación de presupuesto.

En resumen, los estudios de caso únicos sugieren que, si bien en el contexto de algunas experiencias de la presupuestación basada en la gestión las consideraciones relacionadas con el desempeño no parecen ser una parte importante del proceso de asignación de presupuesto, en otros parecen jugar un papel significativo.  Sin embargo, dado que las iniciativas que estos estudios examinaban no son necesariamente representativas de la totalidad, no brindan suficientes elementos para determinar cuán extendidos son los distintos grados de utilización de la información de desempeño a lo largo de los sistemas de presupuestación basada en la gestión.  Esa clase de perspectiva no se puede encontrar en los datos provenientes de los estudios de sistemas cruzados.

 

 

Hallazgos provenientes de los Estudios de Sistemas Cruzados

 

Los estudios de sistemas cruzados cubren un gran número de iniciativas de presupuestación basada en la gestión al mismo tiempo, con el objetivo de establecer cuán penetrantes son ciertas prácticas y resultados.  A diferencia de los estudios de caso único, éstos sólo se han concentrado en los Estados Unidos.  Aún cuando se han centrado generalmente en el mismo universo y estudiado los mismos tipos de encuestados, sus estimaciones específicas no siempre concuerdan. Sin embargo, todas sugieren que en la mayoría de los sistemas de presupuestación basada en la gestión el uso y la influencia de la información basada en la gestión dista de ser importante.

 

Uno de los trabajos más citados de sistema cruzado sobre el alcance de la utilización de la información sobre desempeño fue llevado a cabo por Lee (1997a y 1997b), e informa hallazgos de un estudio de 1995 de oficinas de presupuesto estatal de los Estados Unidos.  El estudio encontró que sólo el 18% de las oficinas de presupuesto del ejecutivo y el 11% de las oficinas de presupuesto del legislativo consultadas informaron usar análisis de efectividad como parte de sus procesos de toma de decisiones respecto del presupuesto en forma amplia. Al mismo tiempo, el porcentaje de oficinas de presupuesto del ejecutivo que indicaba un uso sustancial de análisis de productividad era del 30%, mientras que entre las oficinas de presupuesto del legislativo el porcentaje caía al 10%.[2]

En forma similar, un estudio de 1998 de funcionarios de presupuesto del legislativo, personal de organismos y legisladores de 50 estados de los Estados Unidos encontraron que sólo cuatro (9%) de las 47 oficinas de presupuesto del ejecutivo y una (3%) de las 38 oficinas de presupuesto del legislativo que respondieron dijeron haber usado información en forma amplia (Joyce y Sieg 2000). El uso más extensamente informado de información sobre gestión tuvo lugar en el nivel de los organismos (90%), pero la mayoría de los datos no especifican si fue parte de los procesos de asignación de recursos de los organismos.

Sin embargo, es importante señalar que, en ambos casos, la mayoría de los sistemas de presupuestación basada en la gestión encuestados informaron por lo menos “cierto” nivel de utilización. Más específicamente, Lee (1997a) encontró que más de la mitad de las oficinas de presupuesto del ejecutivo y aproximadamente el 70% de las oficinas del legislativo que respondieron a esa encuesta indicaron cierto nivel de uso. En el caso del estudio de Joyce y Sieg (2000), dichos porcentajes fueron mucho más bajos –pero sin embargo significativos: 40% entre las oficinas de presupuesto del ejecutivo y 26% entre sus colegas del legislativo.

Otros estudios se han centrado en los efectos de las evaluaciones de desempeño sobre los resultados presupuestarios. Algunos de los artículos más famosos sobre éste y otros aspectos de las reformas de la presupuestación basada en la gestión en los Estados Unidos han sido escritos por Willoughby y Melkers, y están basados en dos encuestas a gran escala. La primera fue llevada a cabo en 1997, y cubrió funcionarios de presupuesto del ejecutivo y del legislativo de 49 estados. El estudio encontró que encuestados del 39% de las oficinas de presupuesto consultadas estuvieron de acuerdo en que algunos cambios en las asignaciones de las agencias se podrían atribuir a la presupuestación basada en la gestión. Sin embargo, un 7% mucho menor indicó que la presupuestación basada en la gestión estaba siendo efectiva para cambiar las asignaciones. Cuando se les preguntó sobre sus percepciones respecto de cuán efectiva era la presupuestación basada en la gestión para reducir la duplicación de los servicios y afectar los ahorros de costos en una escala de 1 a 4, su respuesta promedio estuvo entre “algo efectiva” y “no efectiva en absoluto” (Willoughby y Melkers 2000; Willoughby y Melkers 2001; Melkers y Willoughby 2001).

La segunda encuesta fue llevada a cabo en 2000. Además de incluir a funcionarios estatales de presupuesto del ejecutivo y el legislativo en la muestra, también cubrió agencias seleccionadas en todos los estados y funcionarios de presupuesto y responsables de departamento en los gobiernos globales a lo largo de los Estados Unidos. En total, los nuevos hallazgos fueron bastante similares a los de 1997. Una perspectiva clave fue mostrar que los funcionarios de gobiernos locales y de organismos estatales tienden a tener puntos de vista algo más optimistas acerca de la utilización e influencia concretas de la información sobre la gestión que los presupuestadores estatales del ejecutivo y del legislativo.  Por último, como sucedió con las encuestas que preguntaban sobre el alcance de la utilización, mientras que el porcentaje de encuestados que describieron a la presupuestación basada en la gestión como efectiva para mejorar las asignaciones de recursos era bastante pequeño, aproximadamente la mitad de los encuestados las caracterizaron como “algo efectivas” (Willoughby 2004).

Un estudio hecho por Jordan y Hackbart (1999) informa hallazgos de otra encuesta de 1997 que se concentró en las oficinas de presupuesto del ejecutivo solamente. Según esta encuesta, el 72% de las oficinas de presupuesto indicaron que las consideraciones sobre gestión podrían afectar las decisiones de financiamiento del ejercicio económico siguiente, y el 35% dijo que tales efectos se podrían producir en el ejercicio económico en curso. Resulta interesante ver que estas estimaciones son un poco más altas que lo que mostraron las otras encuestas de las oficinas estatales de presupuesto del ejecutivo estadounidense. Pero esto se podría deber en parte al hecho que, a diferencia de los otros estudios, éste no pidió a los encuestados que distinguieran entre los impactos de distintos tamaños.

En resumen, a pesar de las aparentes discrepancias en sus evaluaciones de varios logros de los sistemas de presupuestación basada en la gestión, los estudios de sistema cruzado parecerían concordar en un punto importante: mientras que la mayoría de los sistemas parecería estar haciendo por lo menos cierto uso de la información sobre gestión, en la mayoría de ellos, ese uso es bastante limitado.  Desde una perspectiva más general, el hallazgo total que algunos sistemas están obteniendo mejores resultados que otros pone de relieve la necesidad de revelar la configuración específica de factores que llevan a tales diferencias en los resultados.  Pero, como ya se señalara, este es un campo en el que la literatura sobre presupuestación basada en la gestión ha tenido relativamente pocos progresos.

 

FACTORES QUE CONDUCEN A DIFERENTES RESULTADOS DE LA REFORMA

La principal razón por la cual esta investigación no ha hecho grandes avances para identificar las condiciones del éxito de la presupuestación basada en la gestión es que rara vez se ha ocupado de la gestión en forma directa.  Lo que la mayoría de los autores ha hecho, en este sentido, es confiar en su propia experiencia de campo o en las percepciones de sus informantes para apuntar a una multiplicidad de factores que podrían facilitar o interferir con el éxito de los esfuerzos de esta reforma.  Sin embargo, muy pocos han ido un paso más allá y examinado la relación entre tales factores y los resultados de las reformas empíricamente.

Entre los potenciales factores explicativos que sugieren estos estudios, algunos están asociados con distintos aspectos del diseño de los sistemas, mientras que otros están relacionados con cómo se instrumentan las iniciativas, o el contexto del que emergen u operan. Por ejemplo, con respecto al diseño de los sistemas, Joyce (1999) señala la importancia de comprender con claridad cuáles son los objetivos de los organismos y programas cuyo desempeño se va a evaluar. Un modo efectivo de lograrlo, sugiere, es a través del planeamiento estratégico (preferentemente a través del gobierno). Havens (1983) recalca la necesidad de asegurar que los plazos para la evaluación y la presupuestación sean compatibles, y que haya una comunicación apropiada entre las unidades organizativas que llevan a cabo estas funciones. Joyce y Sieg (2000) y GAO (2003) apuntan a la necesidad de alcanzar un nivel apropiado de integración entre las estructuras de presupuesto, gestión e información financiera. Joyce (1999), Schick (2001), y GAO (2003) ponen de relieve la importancia de tener medidas de costo precisas, y sistemas adecuados de contabilidad de costos. Joyce y Sieg (2000) y Melkers y Willoughby (2001) resaltan la importancia de la integridad, calidad y credibilidad de las evaluaciones de la gestión. Melkers y Willoughby (2001) mencionan los efectos potenciales de los incentivos para usar la información. Y Perrin (1998) señala las limitaciones de medir la gestión como ayuda para asignar recursos y subraya la necesidad de complementarlo con métodos de evaluación más profundos.

Con respecto al modo en que las estrategias de instrumentación de reformas pueden afectar su desarrollo y resultados, Griefel (1993) y Melkers y Willoughby (2001) resaltan la importancia del liderazgo y del apoyo sostenido de los niveles más alto. Forrester y Adams (1997) y Radin (2000) ponen de relieve la necesidad de lograr una alineación apropiada entre la reforma del presupuesto y la cultura organizativa, y Melkers y Willoughby (2001) señalan que uno de los obstáculos más comunes es la asignación insuficiente de recursos humanos y materiales para la instrumentación de las reformas.

Por último, varios autores llaman la atención hacia la necesidad de contextualizar el análisis de los logros de las reformas prestando atención a diversos factores ambientales. Los mismos incluyen, entre otros, la cultura política, la condición económica, y las relaciones institucionales (por ejemplo, entre la oficina del presidente o del gobernador y la oficina central de presupuesto), del país, estado, o ciudad en donde opera el sistema (Willoughby y Melkers 2000); la capacidad fiscal del gobierno (Lee 1997b; Jordan y Hackbart 1999); y el relativo grado de rigidez del presupuesto (Joyce 2003).

Diversos estudios ilustran cuán lejos de ser homogéneos están los sistemas de presupuestación basada en la gestión en algunos de estos sentidos. Por ejemplo, basado en datos de una encuesta realizada en 1998, Joyce y Sieg (2000) informan que, si bien en todos los estados hubieron por lo menos algunos organismos que realizaron un planeamiento estratégico, sólo 25 informaron practicarlo a nivel estatal –muchas veces, siguiendo enfoques extremadamente diferentes.  En forma similar, mientras que todos menos dos sistemas estatales informaron hacer un seguimiento de las mediciones de recursos y productos, sólo 32 indicaron que estaban usando mediciones de resultados, y 10 que tales mediciones tenían objetivos agregados. Pero incluso dentro de cada uno de estos grupos de sistemas, había contrastes llamativos en términos del número y peso relativo de las diversas mediciones que constituyen el conjunto de indicadores de desempeño.  Por último, el estudio también encontró que sólo alrededor de la mitad de los estados había hecho algún intento por desarrollar un sistema de contabilidad de costos en todo el estado (o por lo menos cierta aproximación a él), y ningún estado había implementado costos basados en actividades (o nada similar) a lo largo del estado.  Los estados que más habían avanzado todavía estaban en la etapa piloto.

Tomando una perspectiva un tanto diferente, Willoughby (2004) cita datos de un estudio del año 2000 para evaluar la frecuencia de ciertos obstáculos para el uso exitoso de información de gestión a través de los estados. Aproximadamente la mitad de los sistemas informaron tener problemas significativos con la falta de un vínculo adecuado entre la base de datos de medición del desempeño y la base de datos contable/de presupuesto.  Alrededor del 40% expresó igual preocupación acerca de la falta de interés del liderazgo para usar información sobre la gestión; un poco menos del 30% mencionó la falta de información de costos acerca de los programas y casi el 20% la falta de capacitación del personal responsable de recolectar y mantener los datos.  No resulta sorprendente que todas estas diferencias se tornaran aún más aparentes cuando se examina el historial de iniciativas y las caracterizaciones más detalladas ofrecidas en estudios de caso individuales.

Como ya señaláramos, pocos estudios han examinado la relación entre algunos de estos factores supuestamente explicativos y el alcance del uso de información de gestión en forma empírica. Lee (1997b) utilizó datos de una encuesta de 1995 para realizar un análisis de regresión logística de la relación entre el alcance de la utilización del análisis de productividad por las oficinas de presupuesto del ejecutivo y del legislativo y la población de los estados, el ingreso per cápita, la capacidad impositiva y el esfuerzo para pagar impuestos. Encontró que las únicas variables que mostraban cierto grado de asociación eran la población del estado (en el caso de tomas de decisiones del ejecutivo) y la capacidad impositiva (en el caso de toma de decisiones del legislativo). . Willoughby y Melkers (2000) se basaron en datos provenientes de una encuesta de 1997 para comparar sistemas de presupuestación basada en la gestión sancionados en el campo legislativo y administrativo en términos de diversas medidas de eficacia de las reformas. No encontraron diferencias significativas entre los dos grupos. Por su parte, para conducir su análisis de regresión de cambios recomendados en el presupuesto del presidente sobre las evaluaciones de herramientas de calificación de evaluación de la gestión (PART) del programa, Gilmour y Lewis (2006a) encontraron pruebas preliminares de una relación positiva entre la calidad de las medidas de gestión empleadas y la magnitud de su efecto sobre el presupuesto. Y, por último, en su análisis de regresión del alcance del uso de los hallazgos de las evaluaciones específicas durante el proceso de asignación del presupuesto en el estado de Georgia, Yu (1996) encontró una asociación significativa entre la calidad de la evaluación y la utilización –especialmente a pedido del organismo y en las etapas de recomendación gubernamental del proceso.  También informa pruebas preliminares en cuanto a que el alcance de la participación de los analistas de presupuesto en el proceso de evaluación podría tener un efecto, mientras que sus antecedentes educacionales y la experiencia laboral no lo tiene.

Salvo por estos pocos estudios, la relación empírica entre las condiciones asociadas con el éxito de la reforma de la presupuestación basada en la gestión y los logros de las iniciativas continúan en gran parte sin ser explorados.  En conjunto, cada vez que los estudios de sistema cruzado identifican factores que podrían estar facilitando y obstruyendo el funcionamiento de los sistemas, los discuten por separado, sin establecer un vínculo directo con los logros aparentes de las iniciativas.  Por otra parte, con su “gruesa” caracterización de los sistemas examinados, los estudios de caso único brindan más elementos para explorar esta conexión.  Sin embargo, por el momento, han estado más preocupados por documentar las características de los sistemas, sus antecedentes y/o sus logros aparentes, que por construir conocimientos acumulativos y anticipar la comprensión de las condiciones bajo las cuales las reformas de la presupuestación basada en la gestión produce sus mejores resultados.

Esto no está reflejado sólo en el contenido de los artículos y documentos que informan sobre los hallazgos de estos estudios; también está implícito en lasa elecciones de los estudios sobre en qué experiencias de reforma específica se deben concentrar.  Los estudios de caso único sobre las reformas de la presupuestación basada en la gestión se centran en general en experiencias que se dicen exitosas (Moynihan 2002), con la exclusión de otros criterios de muestras teóricas. Esto les permite ilustrar cómo experiencias aparentemente exitosas funcionan en la práctica y, a lo sumo, atraen hipótesis e ideas tentativas.  Sin embargo, como medio para identificar los mecanismos específicos que conducen a resultados dados y cómo se ven restringidos por las condiciones locales, son extremadamente limitados.  Según señala Ragin (2004, 112-113) “para contestar la pregunta de ‘cómo’ el resultado se produjo en cada caso positivo y por qué no lo hizo en los casos negativos”, no hay necesidad de examinar los distintos casos del resultado del interés así como de los intentos frustrados para alcanzarlo. Un modo alternativo pero complementario de ocuparse de la misma cuestión es comparando las experiencias de los casos que difieren en términos de dimensiones teóricamente relevantes (por ejemplo, diseño, estrategia de instrumentación, contexto) (Miles y Huberman 1994). Pero, según se señaló recién, la mayoría de los estudios de caso único sobre presupuestación basada en la gestión no ha seguido ninguno de estos criterios de muestreo.

         Resulta claro que intensificar los esfuerzos para investigar los vínculos entre estos supuestos factores de éxito y los resultados de la reforma es una condición necesaria para identificar las claves para el éxito de la reforma de la presupuestación basada en la gestión. Sin embargo, no es el único. Un segundo requisito, igualmente importante, es que los logros de las iniciativas sobre la reforma considerada son evaluados con una referencia clara y común.  No obstante, éste es otro terreno en donde la mayoría de los estudios sobre la presupuestación basada en la gestión presentan una seria brecha. Esto es así porque sus criterios de evaluación no toman apropiadamente en cuenta la complejidad del concepto que usan como elemento de medición.

 

CRITERIOS QUE GUÍAN LAS EVALUACIONES DE LOS LOGROS DE LAS REFORMAS SOBRE PRESUPUESTACIÓN BASADA EN LA GESTIÓN

La referencia habitual para evaluar los logros de las reformas de la presupuestación basada en la gestión es el alcance de utilización, o influencia, de la información sobre la gestión durante el proceso de asignación del presupuesto.  La elección para este criterio parece bastante obvia, dado que implica comparar los logros de las reformas con una de sus metas más inmediatas.  Sin embargo, la transformación de este criterio en medidas concretas y empíricas es mucho menos directa que lo que pueda parecer en primer término.  La utilización de la información es un concepto complejo. Se trata de un fenómeno empírico que puede tomar muchas formas y no hay una comprensión universalmente compartida de qué comprende.

En la literatura sobre la evaluación y utilización de las investigaciones, los estudiosos han analizado esta cuestión en profundidad, identificando dos fuentes de ambigüedad que oscurecen la interpretación de este concepto.  Primero, ciertos tipos de uso de la información son menos obvios que otros, y tienden a ser más difíciles de identificar (Weiss 1977; Weiss 1985). Y segundo, no existe un patrón claro para definir cuán directamente vinculados deben estar los hallazgos de una evaluación para obtener una decisión antes de que puedan ser considerados como habiendo sido “usados” o aplicados en la práctica (Weiss y Bucuvalas 1977).

Basándose en criterios de evaluación que no toman en cuenta estas ambigüedades, la mayoría de las evaluaciones de los logros de las reformas de la presupuestación basada en la gestión presentan dos serios riesgos.  Primero, es posible que dejen ciertos usos relevantes fuera de su alcance y, en consecuencia, subestimen el aporte y los efectos concretos de la reforma. Y segundo, es probable que la ambigüedad del concepto afecte a no sólo los estudiosos que emprenden la investigación, si también a los responsables de la política y a los profesionales cuyas evaluaciones personales quieren captar.  Por lo tanto, las estimaciones globales de utilización que producen los estudios basados en las percepciones de los encuestados pueden tener poco significado.

 

Ambigüedades asociadas con las formas de uso de la información

La literatura sobre uso de la evaluación e investigación ha clasificado las formas múltiples de utilización de diversos modos (por ejemplo, Weiss 1977; Weiss 1985). Leviton y Hughes (1981) los han categorizado bajo tres amplios tipos:

(a)          Uso instrumental: En su forma más pura, esta es la noción más típica de uso de la evaluación y la utilización. Supone un modelo lineal por el cual se llevan a cabo diversos estudios para ocuparse de necesidades específicas de información y, una vez que sus hallazgos están disponibles, dirigen la elección de los que tomaron la decisión.

(b)          Uso persuasivo: En este caso, los hallazgos de la evaluación y la investigación son usados para respaldar una decisión que ya ha sido tomada en otros terrenos. El objetivo es usar evidencia empírica que esté en línea con la posición del usuario de la información de “neutralizar a los oponentes, convencer a los irresolutos, y sostener a los seguidores (Weiss 1985, 207). Por otra parte, para una mayor persuasión, los hallazgos que podrían entrar en conflicto con la posición del usuario de la información son, en general, dejados de lado (Weiss 1991).

(c)          Uso conceptual (también conocido como el modelo de utilización de la “iluminación”): Aquí, la conexión entre los hallazgos de la investigación y la toma de decisiones es mucho más difusa e indirecta.  No se produce a través de la aplicación de hallazgos de estudios específicos a elecciones de decisión separadas, sino a través de las generalizaciones y perspectivas conceptuales que tales estudios generan.  Los canales a través de los cuales los que toman las decisiones entran en contacto con estas nuevas nociones distan mucho de ser sistemáticos.  Por lo tanto, para el momento en que estos últimos alcanzan a sus usuarios potenciales, es probable que hayan perdido algunos elementos vitales, hayan sido sobre simplificados o incluso distorsionados. Por otra parte, es posible que los que toman las decisiones ni siquiera estén al tanto de la fuente de los conocimientos y nociones que han afectado la forma en que enfocan una cuestión.  Por último, dichas nuevas nociones pueden tomar un período de tiempo no determinado para abrirse paso en el terreno de la toma de decisiones, todo lo cual hace que este tipo de uso sea mucho más difícil de detectar.

         Es discutible pero los defensores de la presupuestación basada en la gestión y los actores de la evaluación se vuelcan en general en primer término por el tipo instrumental de uso de evaluaciones de gestión. Esto es así porque este tipo de utilización asegura la conexión más directa y precisa entre los hallazgos de los estudios y las acciones de sus usuarios. Sin embargo, la literatura de utilización de la evaluación mantiene que éste probablemente sea el modo menos común.  Más específicamente, una encuesta realizada por Caplan y otros (1975) y un gran número de estudios que siguieron (Weiss 1991, 313) encontraron que los usos que informan los funcionarios públicos están en general más cerca de las “generalizaciones suaves” típicas del modelo de iluminación que del modelo instrumental.  En otras palabras, los modos en que los hallazgos empíricos ingresan en el proceso de toma de decisiones son mucho más “difusos y tortuosos” que el modelo instrumental sugiere (Weiss 1977, 16).

         La literatura sobre evaluación y utilización de la investigación identifica varias razones por las que el impacto de consideraciones empíricamente asentadas es rara vez más directo. Por ejemplo, muchas decisiones están basadas en consideraciones de valor, y no se pueden resolver en fundamentos con base científica solamente (Jenkins-Smith 1990). Al mismo tiempo, incluso en el contexto de situaciones en las que las consideraciones de desempeño podrían jugar potencialmente un rol mayor, es común para ellos terminar siendo “superados” por “otros dos factores que tienen mayores pesos emocionales –ideología e intereses” (Weiss 1983, 220). De allí que, “dado que los responsables de la política están interesados no sólo en la aplicación de los mejores datos a la resolución de problemas sino también en conciliar diferencias y alcanzar compromisos que mantengan la estabilidad del sistema”, “en beneficio del grado de reacción y de la construcción de consenso, pueden estar dispuestos a sacrificar ‘la mejor solución’ ofrecida por la investigación” (Weiss y Bucuvalas 1980, 20-21).[3] En un diferente nivel de análisis, Weiss (1990) señala que, dado que los estudios de evaluación solo cubren una gama limitada de aspectos de las políticas y programas en los que ellos se concentran, su perspectiva es necesariamente parcial.  Por lo tanto, no pueden esperar que sean sólo la base sobre la cual se tomen las decisiones, reemplazando así el conocimiento y la experiencia que los actores que están directamente inmersos en sus operaciones diarias han acumulado a lo largo de los años.

         A pesar de su conexión menos directa con la acción y, en muchos casos, su naturaleza más difusa, los otros dos tipos de utilización de información tienen también valiosas contribuciones para hacer, tanto al proceso de asignación del presupuesto como a la toma de decisiones en general.  Por ejemplo, los usos persuasivos de la información sobre la gestión pueden mejorar los resultados de la decisión ayudando a las partes contendientes a obtener una mayor visión de las implicancias de las distintas alternativas de decisión (Weiss 1993). Además, el hecho que por lo menos parte de la discusión se concentre en la eficiencia y la eficacia de las distintas opciones de asignación en consideración probablemente acreciente la transparencia de las decisiones tomadas, y las haga más susceptibles al desafío.

         Por el mismo motivo, a pesar de diversas deficiencias y riesgos implícitos en el modelo “iluminador” de uso de la información, la generación y difusión de evaluaciones de gestión todavía puede tener un impacto importante en la toma de decisiones. Sin duda, con el tiempo, los conocimientos derivados de tales evaluaciones “pueden alterar el modo en que la gente conceptualiza cuestiones y soluciona problemas” y, con ello, “ayuda a transformar el modo en el cual son tratadas las cuestiones políticas y los tipos de soluciones que son considerados, debatidos o adoptados” (Weiss 1991, 312).

         Esta discusión pone de relieve el significado de la falla de la literatura sobre la presupuestación basada en la gestiónen definir sus criterios de evaluación con claridad.  En efecto, el peso de esta investigación se ha concentrado en la búsqueda de efectos directos solamente – como los estudios de correlación (por ejemplo, Connelly y Tompkins 1989; GAO 2004; Gilmour y Lewis 2006a; Gilmour y Lewis 2006b) – o está basado en datos de encuestas que no distinguen entre los distintos tipos de uso ni indican lo que los estudiosos o encuestados específicamente entienden como “uso” (por ejemplo, Lauth 1985; Joyce y Sieg 2000).

         Si bien no siguen necesariamente las tipologías desarrolladas por la literatura sobre utilización de la evaluación ni cubren todas las formas de uso, diversos estudios presentan una evaluación con más matices del papel de la información sobre gestión.  Basado en estudios de caso único, algunos ilustran diversos modos en los que la información es usada en escenarios específicos.  Por ejemplo, en sus estudios de caso de los sistemas de “gestión por resultados” de Alabama, Virginia, y Vermont, Moynihan (2002) encontró que, aunque la información de gestión no se usa siguiendo los lineamientos del enfoque racional prototípico de la asignación de recursos, es empleada por algunos organismos “como medio para bregar por cuestiones políticas, y defender y expandir su presupuesto” (página 128). De modo similar, en su estudio del sistema depresupuestación basada en la gestión de Georgia, Yu (1996) encontró que la mayoría de los pocos presupuestadores que informaban usar evaluaciones para la toma de decisiones respecto del presupuesto se referían en realidad a la justificación de las decisiones tomadas en otros terrenos.  Y otros estudios de caso encontraron que los datos sobre la gestión fueron usados para justificar decisiones pasadas en el estado de Iowa (Epstein y Campbell 2002a), en el Condado de Dekalb (Georgia) (Tucker y Willoughby 2002), y la Ciudad de Tucson (Arizona) (Bernstein 2002), también. Por último, en sus estudios de caso de los sistemas de presupuestación basada en la gestión de Colorado, Iowa, Minnesota, Carolina del Norte, y Texas, OPPAGA (1997) encontró que la disponibilidad y circulación de la información de gestión había acarreado un nuevo enfoque en los resultados y un sentido fortalecido del significado de la misión dentro de los organismos.

         En forma similar, un pequeño número de estudios de sistema cruzado trata de distinguir entre los distintos tipos de efectos de las reformas de la presupuestación basada en la gestión sobre el proceso de asignación del presupuesto. Probablemente dejaron de lado por lo menos parte de lo que la literatura sobre utilización de la evaluación categorizaría como “uso”.  Pero lograron captar algunos de los modos menos directos de utilización y efectos.  Resulta interesante que estos estudios concuerden con la investigación sobre la utilización de la evaluación al mostrar que, cuando se ven urgidos por preguntas específicas, las formas de utilización que se parecen más a los tipos persuasivos y conceptuales tendieron a ser informadas con mucha mayor frecuencia que las instrumentales. Por ejemplo, una encuesta de 1997 de las oficinas de presupuesto del ejecutivo y del legislativo en los Estados Unidos encontró que aproximadamente el 80% estuvo de acuerdo en que su comprensión de las operaciones del gobierno había mejorado por la presupuestación basada en la gestión, y más de la mitad que la disponibilidad de información de gestión había ayudado a mejorar la comunicación entre los legisladores y los organismos (Melkers y Willoughby 2001). De modo similar, una encuesta de 2000 encontró que el 40% de los funcionarios de presupuesto del estado y casi el 60% de los funcionarios de los organismos consultados consideraron las medidas de gestión efectivas (o “muy efectivas”) para incrementar la toma de conciencia y el enfoque en resultados; y el 25% de los funcionarios de presupuesto y el 34% de los funcionarios de organismos creía que la disponibilidad y circulación de esta información era efectiva para cambiar el contenido de las discusiones del legislativo sobre los presupuestos de los organismos (Willoughby 2004). En todos los casos, estos porcentajes son significativamente más altos que los registrados con respecto a los efectos directos de la presupuestación basada en la gestión sobre las asignaciones de presupuesto.

En resumen, en la medida en que haya diferentes formas de uso y que los estudios rara vez especifiquen qué quieren decir por ello, es probablemente arriesgado tomar sus evaluaciones sobre la utilización de la información de gestión al pie de la letra. Dado que ciertos tipos de utilización son menos directos y obvios que los típicos pero más raros que los instrumentales, es probable que por lo menos algunas de las estimaciones que ha producido la investigación no contemplen algunas formas de uso.  La implicancia es que podría subestimar la contribución concreta de la presupuestación basada en la gestión respecto de la toma de decisión del presupuesto.  Asimismo, dado que al informar sobre el uso de la información los encuestados pueden haber tenido diferentes nociones en mente, la comprensión puede haber afectado algunos de ellos más que a otros. En consecuencia, las evaluaciones globales de los estudios y las comparaciones entre sistemas son difíciles de interpretar.

 

Ambigüedades asociadas con las diferencias en la “intensidad” de la utilización

         Existe una segunda fuente de ambigüedad en el concepto de utilización que puede socavar la validez de las evaluaciones de la presupuestación basada en la gestión. Se trata de la falta de un patrón universalmente compartido para definir las condiciones que debe reunir la información sobre la gestión antes de poder ser considerada con habiendo sido “usada”.  Más específicamente, y citando a Weiss y Bucuvalas (1977, 213):

 

¿Está intacto el ‘uso’ de la adopción de recomendaciones de investigación, el desvío de una decisión en la dirección sugerida por los hallazgos de la investigación, el refuerzo de una decisión probable por la investigación, la consideración de los hallazgos de la investigación (aún si éstos se ven sobrepasados por otras consideraciones en la situación), repensar la naturaleza de la cuestión política, redefinir las necesidades de información? ¿Qué clase de uso es un uso ‘real’? ¿Y cuánto es suficiente?

 

         Es discutible si la información sobre gestión podría significar una contribución valiosa bajo cualquiera de tales escenarios.  Sin embargo, el acuerdo en este sentido no se puede dar por sentado.  De este modo cuando, en el contexto de una encuesta, las partes son urgidas a describir el alcance de la utilización dada a un tipo particular de información, es posible que basen su respuesta en diferentes patrones. En consecuencia, las estimaciones de utilización de conjunto que producen tales encuestas pueden tener un significado cuestionable.

         Este problema puede ser especialmente agudo cuando las evaluaciones están basadas en encuestas o entrevistas que no le piden a los encuestados que distingan entre los diferentes grados de utilización (por ejemplo, Jordan y Hackbart 1999). Pero el problema todavía está presente en estudios que prestan mayor atención a estos matices. Por ejemplo, varios estudios de encuestas alentaron a los encuestados a distinguir entre los distintos grados de utilización de la información (por ejemplo, Lauth 1985; Lee 1997a; Lee 1997b; Joyce y Sieg 2000) o de la eficacia percibida de las reformas (por ejemplo, Melkers y Willoughby 2001; Willoughby 2004). De este modo los encuestados pudieron transmitir sus percepciones subjetivas del “grado” o “intensidad” del uso de la información y sus efectos sobre los resultados presupuestarios.  Sin embargo, esto no resuelve el problema fundamental de que lo que algunos consideran como uso sustancial o eficacia para producir determinados resultados puede ser considerado por otros como sólo uso limitado o eficacia.  Esto es, nuevamente, debido a la falta de un patrón universalmente compartido para medir el grado o la intensidad del uso de la información.

         Este hecho tiene implicancias de largo alcance para la evaluación de los logros de las reformas de la presupuestación basada en la gestión. Muchos estudios basan sus juicios en el porcentaje de personas o sistemas que informan un nivel de utilización o eficacia u otro. Y, dependiendo de qué nivel se toma como umbral, las conclusiones acerca de los logros de las reformas son drásticamente diferentes.  Los hallazgos de una encuesta de 2000 ilustran esto con mucha claridad. En efecto, los datos muestran que, si bien sólo el 6% de las oficinas de presupuesto del ejecutivo consultadas consideraron la presupuestación basada en la gestión como “muy efectiva” o “efectiva” para cambiar los niveles de asignación, si también se incluye a aquellos que la describieron como “algo efectiva”, el porcentaje sube al 53%. Algo muy similar ocurre con el porcentaje de encuestados que creyeron que la presupuestación basada en la gestión era efectiva para reducir o eliminar servicios o programas ineficientes (en donde el incremento va del 9% al 65%), para afectar los ahorros de costos (del 8% al 67%), y para reducir la duplicación de servicios (del 18% al 64%) (Willoughby 2004). Esta fuente de ambigüedad podría ayudar a explicar, por lo menos en parte, las discrepancias significativas entre las estimaciones de los estudios de sistema cruzado acerca del alcance del uso de información de gestión por parte de las oficinas de presupuesto del legislativo y del ejecutivo en los Estados Unidos.

         Algunos estudios evitaron este problema estimando la magnitud de la influencia de las consideraciones relacionadas con la gestión sobre las asignaciones de presupuesto basado en análisis estadísticos de datos administrativos (por ejemplo, Connelly y Tompkins 1989; GAO 2004; Gilmour y Lewis 2006a; Gilmour y Lewis 2006b). Sin embargo, esto no los libera necesariamente del riesgo de producir evaluaciones tendenciosas.  La principal razón para esto se basa en su implicancia que, para que el sistema funcione en forma efectiva, sus evaluaciones de gestión deben dar como resultado un resultado presupuestario discreto. Por otra parte, como sostuvo Zaltsman (2008), estos estudios no toman suficientemente en cuenta la naturaleza indeterminada de la relación entre gestión y decisiones de asignación (por ejemplo, a veces una gestión débil puede ser un signo de mal manejo y puede ser tomada como una razón para recortar fondos, mientras que en otros casos, puede ser un indicio de una falta de los recursos requeridos para desempeñarse en un nivel aceptable).  Por lo tanto, su capacidad para dar evaluaciones confiables sobre la intensidad y significado de esa relación es bastante cuestionable.  En definitiva, incluso si la investigación prestó mayor atención a la relación entre potenciales factores de éxito y los resultados de las iniciativas, las evaluaciones disponibles no agregarían nada a una base suficientemente sólida para descubrir los vínculos entre los dos.

 

SUGERENCIAS PARA FUTURAS INVESTIGACIONES

Una manera de conceptualizar estas brechas en la literatura es diagnosticar que a las investigaciones sobre presupuestación basada en la gestión les falta una clara “teoría del cambio”. Es decir, “una teoría acerca de cómo y por qué funcionaba la iniciativa” (Weiss 1995, 66). Formular una teoría del cambio requeriría “hacer explícitos tanto los resultados de las iniciativas (en un plazo corto, intermedio y más largo) y las estrategias de acción que llevarán al logro de estos resultados” (Connell y Klemm 2000, 94). Como sostiene Weiss, una vez que la teoría está claramente definida, el siguiente paso consiste en “examinar hasta qué medida se mantiene”, y cuál de los diversos supuestos que subyacen en la lógica de la iniciativa están mejor respaldados por elementos de juicio.(página 67). 

La literatura sobre evaluación y uso de la investigación brinda un marco articulado para especificar mejor los supuestos resultados de la reforma, distinguiendo entre distintos tipos (por ejemplo, instrumental, persuasivo, conceptual) y grados de uso de información. Al mismo tiempo, aún cuando la mayoría de los estudios de presupuestación basada en la gestión continúan asentados en nociones relativamente vagas de cómo lucen los resultados de las iniciativas en la práctica, algunos han logrado ciertos progresos al tomar por lo menos parcialmente en cuenta la complejidad del concepto de uso de información.  Por la misma razón, varios de estos estudios han identificado el diseño del sistema, su instrumentación y factores ambientales que podrían estar afectando los resultados de la reforma y, en ciertos casos, se les ha dado cierta prueba empírica acerca de cuán diversos son los sistemas de presupuestación basada en la gestión en términos de estas dimensiones, y/o han comenzado a examinar el grado de asociación entre factores seleccionados y los logros aparentes de los sistemas.  Estos estudios podrían ser tomados como base sobre la cual comenzar a construir una teoría sólida del cambio.  El siguiente paso debería ser ampliar la lista de factores a considerar en evaluaciones empíricas y para articular los muchos aspectos del diseño del sistema, su instrumentación y contexto en una teoría coherente. 

Con la teoría de cambio de la reforma claramente delineada, el siguiente paso sería una nueva ronda de investigaciones empíricas para validar y refinar los supuestos de la teoría.  Dado la predecible complejidad de los resultados de las iniciativas y los muchos factores en juego, los enfoques cualitativos, en profundidad parecen los mejor equipados para perseguir este objetivo.  Los estudios de casos en profundidad ofrecen la posibilidad de examinar el objeto del estudio holísticamente, lo cual es esencial para llegar a comprender en forma más completa y precisa los procesos observados.  Los estudios de encuestas abarcadores – como algunos de los discutidos más arriba- pueden ayudar a establecer cuán extendidos están los patrones revelados a través de los estudios de caso (Yin 1991). Sin embargo, dado que en general están basados en métodos de recopilación de datos muchos más estructurados, puede resultar aconsejable mantener su compromiso hasta que estudios cualitativos más profundos ayuden a identificar las dimensiones y alternativas de respuesta que las encuestas tendrían que considerar.

Para acrecentar la validez y confiabilidad de los hallazgos de los estudios, las experiencias sobre presupuestación basada en la gestión examinadas cubren una amplia gama de dimensiones teóricamente relevantes (Miles y Huberman 1994) y grados de éxito de reforma (Ragin 2004). Si bien una buena parte de la investigación sobre las reformas sobre presupuestación basada en la gestión está basada en estudios de caso, la mayoría de los estudios ha tendido a concentrarse solamente en sistemas supuestamente exitosos, más que en considerar otros criterios basados en teorías para seleccionar los casos.  Por otra parte, la mayoría de los estudios se han centrado en experiencias dentro de los Estados Unidos. Si bien los estados, ciudades y condados norteamericanos presentan un alto grado de diversidad, no representan necesariamente la multiplicidad de condiciones bajo los que los sistemas de presupuestación basada en la gestión se han desarrollado y operan en muchas partes del mundo.  De allí que exista la necesidad de prestar más atención al estudio de las experiencias de la presupuestación basada en la gestión fuera de los Estados Unidos

Por último, la discusión de la complejidad del concepto de utilización de la información ilustra los riesgos de usar los puntos de vista de los encuestados como la única fuente de datos.  Una de las maneras de contrarrestar este potencial obstáculo sería “triangulando” (Webb y otros 1965; Jick 1979) los datos extraídos de las entrevistas y encuestas con información de otras fuentes tales como documentos y análisis cuantitativos de datos administrativos.

 

CONCLUSIONES

Los esfuerzos de presupuestación basada en la gestión han sido el foco de muchos estudios empíricos.  Por el momento, las pruebas sugieren que, en la mayoría de los sistemas, el papel que juega la información sobre la gestión en el proceso de asignación del presupuesto es relativamente menor.  Sin embargo, todos los estudios de sistemas cruzados acuerdan que, por lo menos en un pequeño número de sistemas, este tipo de consideración parece estar recibiendo significativa atención e incluso influyendo en las decisiones sobre asignación.

Este documento mantiene que, a pesar de la considerable inversión en investigación empírica, la literatura no ha producido los elementos apropiados para establecer bajo qué condiciones las iniciativas de presupuestación basada en la gestión conducen a determinados resultados.  Una razón de esto es que la mayoría de los estudios han dedicado muy poca atención a identificar los efectos de los aspectos específicos del diseño de los sistemas, sus estrategias de instrumentación y las condiciones ambientales de los resultados de las reformas.  Una segunda razón es la falta de la mayoría de los estudios en tomar en cuenta la complejidad del fenómeno de utilización de la información que usan como elemento de medición para evaluar los logros de las reformas.  Al hacerlo, restringen la validez y confiabilidad de sus evaluaciones de resultados, su propia capacidad para ofrecer una sólida base para examinar la relación entre las estrategias de la reforma y los resultados.

Una manera de superar estas brechas sería hacer que los estudios futuros examinen la relación entre los logros del sistema y su diseño, instrumentación y el contexto empíricamente, organizando tales esfuerzos alrededor de una clara teoría del cambio.  Para comenzar a desarrollar tal teoría del cambio, los estudios de la presupuestación basada en la gestión se podrían basar en los valiosos conocimientos aportados por literatura sobre uso de la evaluación, y sobre las hipótesis preliminares que algunos de ellos han expuesto.  Y, desde ese punto de vista en adelante, podrían avanzar en la comprensión de las condiciones para el éxito de la reforma de la presupuestación basada en la gestión validando y refinando progresivamente los reclamos de la teoría.

Obtener una completa y precisa comprensión de cómo funcionan las reformas es esencial tanto por razones académicas como prácticas.  Desde un punto de vista académico, puede empujar el debate de larga data sobre la posibilidad de mejorar la toma de decisión respecto del presupuesto a través de un análisis político en un nivel  diferente.  Esto es porque brindaría los elementos necesarios para determinar si, y bajo qué forma y condiciones, se puede lograr esa mejora.  Desde el punto de vista de un profesional, una comprensión mejorada de estas cuestiones es una condición necesaria para producir evaluaciones equilibradas del potencial de estas reformas, y también asegurar que su adopción lleve a resultados óptimos.

 

REFERENCIAS

Armijo, M. 2003. La Evaluación de la Gestión Pública en Chile. En Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas, editado por N. Cunill Grau y S. Ospina Bozzi. CaracasCLAD, AECI/MAP/FIIAPP.

Banco Mundial. 2005. Chile: Análisis del Programa de Evaluación del Gasto Público. Estudios del Banco Mundial sobre América Latina y el Caribe, Unidad de Reducción de la Pobreza y Gestión Económica América Latina y el Caribe. Washington, DC: Banco Mundial.

Bernstein, D.J. 2002. Estudio de Caso: Ciudad de Tucson, Arizona. Una cultura de medición de la gestión en evolución.http://www.seagov.org/sea_gasb_project/local_studies.shtml. 

Caplan, N.; A. Morrison; y R. Stambaugh. 1975. El uso del conocimiento de las ciencias sociales en las decisiones políticas a nivel nacional. Ann Arbour, Michigan: Instituto para la investigación social.

Commonwealth Department of Finance. 1994. El uso de la evaluación en el Presupuesto 1994-1995. Documento para debate. Canberra, Australia.

Connell, J.P., y A.M. Klemm. 2000. Usted puede llegar allí desde aquí: Usando un enfoque de la teoría del cambio para planear la reforma de la educación urbana. Journal of Educational and Psychological Consultation 11 (1): 93-120.

Connelly, M., y G.L. Tompkins. 1989. ¿Importa la gestión? Estudio de la presupuestación por parte del estado. Policy Studies Review 8(2): 288-299.

Epstein, P.D., y W. Campbell. 2002a. Estudio de caso: Estado de Iowa. Uso y efectos de utilizar mediciones de gestión para presupuestación, manejo e informes http://www.seagov.org/sea_gasb_project/state_studies.shtml. 

————-. 2002b. Estudio de caso: Estado de Lousiana. Uso y efectos de utilizar mediciones de gestión para presupuestación, manejo e informes http://www.seagov.org/sea_gasb_project/state_studies.shtml. 

Forrester, J.F., y G.B. Adams. 1997. Reforma presupuestaria a través del aprendizaje organizacional: Hacia una teoría organizacional de la presupuestación. Administración y Sociedad 28(4): 466-488.

Freijido, E. 2003. El Sistema de Evaluación de la Gestión Pública por Resultados en Uruguay. En Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas, editado por N. Cunill Grau y S. Ospina Bozzi. CaracasCLAD, AECI/MAP/FIIAPP.

GAO [Oficina General Contable]. 1997. Iniciativas anteriores ofrecen conocimientos para la instrumentación del GPRA. GAO/AIMD-97-46. Washington, DC: U.S. General Accounting Office (Oficina General Contable).

————-. 2003. Presupuestación por gestión: Novedades actuales y perspectivas futuras. GAO-03-595T. Washington, DC: U.S. General Accounting Office.

————-. 2004. Presupuestación por gestión: Observaciones sobre el uso de la herramienta de calificación de la evaluación del programa de la OMB (Oficina de gestión y presupuesto) para el presupuesto del ejercicio económico 2004. GAO-04-174. Washington, DC: U.S. General Accounting Office.

Gilmour, J.B., y D.E. Lewis. 2006a. Estimando la evaluación de la gestión para la presupuestación: la influencia de la política, la gestión y tamaño del programa. Journal of Public Administration Theory and Research 16: 169-186.

————-. 2006b. Funciona la presupuestación por gestión? Examen de los puntajes de la herramienta de calificación de evaluación de la gestión (PART) de la OMB (Oficina de gestión y presupuesto). Public Administration Review 66(5): 742-752.

Griefel, S.S. 1993. Medición de la gestión y toma de decisión presupuestaria. Productividad pública y revisión de la gestiónXVI(4): 403-407.

Havens, H.S. 1983. Integrando Evaluación y Presupuestación. Presupuestación pública y finanzas, Summer: 102-113.

Jenkins-Smith, H.C. 1990. Política democrática y análisis político. Pacific Grove, California: Brooks/Cole Publishing Company.

Jick, T.D. 1979. Mezclando métodos cualitativos y cuantitativos: Triangulación en acción. Administrative Science Quarterly24(4): 602-611.

Jones, D.S. 2001. Medición de la gestión y reforma presupuestaria en la administración pública de Singapur. Journal of Public Budgeting, Accounting and Financial Management 13(4): 485-511.

Jordan, M.M., and M.M. Hackbart. 1999. Presupuestación por gestión y fondos para la gestión en los estados: Evaluación de la condición existente. Public Budgeting and Finance, Spring: 68-88.

Joyce, P.G. 1999. Presupuestación basada en la gestión en Handbook of Government Budgeting, editado por R. Meyers, 597-619. San Francisco: Jossey-Bass.

Joyce, P.G. 2003: Vinculando la Gestión y la Presupuestación: Oportunidades en el Proceso de Presupuesto Federal. Arlington, Virginia: IBM Endowment for the Business of Government – National Academy of Public Administration.

Joyce, P.G., y S. Sieg. 2000. Usando la información de la gestión para la presupuestación: Aclarando el marco e investigando la reciente experiencia del estado. Preparado para el Simposio 2000 del Centro para Rendición de Cuentas y Gestión de la Sociedad de las Américas para la Administración Pública, celebrado en la Universidad George Washington, Washington, DC.

Lauth, T.P. 1985. Evaluación de la gestión en el proceso presupuestario de Georgia. Public Budgeting and Finance, Spring: 67-82.

Lee, R.D. 1997a. Un cuarto de siglo de prácticas presupuestarias del estado. Public Administration Review 57(2): 133-140.

————. 1997b. Uso de análisis de programa en la presupuestación del estado: Cambios entre 1990 y 1995. Public Budgeting and Finance, Summer: 18-36.

Leviton, L.C., y E.F.X. Hughes. 1981. Investigación sobre la utilización de las evaluaciones: Revisión y síntesis. Evaluation Review 5(4): 525-548.

Lu, H. 1998. La presupuestación pública resucitada: Por qué es inviable todavía? Journal of Public Budgeting, Accounting & Financial Management 10(2): 151-172.

Melkers, J., y K. Willoughby. 2001. Puntos de vista de los presupuestadores acerca de los sistemas de presupuestación por gestión del estado: Distinciones a través de las ramas. Public Administration Review 61(1): 54-64.

Miles, M.B., y M. Huberman. 1994. Análisis de datos cualitativos: Libro de consulta expandido. Segunda edición. Thousand Oaks: Sage Publications.

Mora Quirós, M. 2003. El Sistema Nacional de Evaluación de Costa Rica. En Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas, editado por N. Cunill Grau y S. Ospina Bozzi. CaracasCLAD, AECI/MAP/FIIAPP.

Mosher, F.C. 1969. Limitaciones y problemas del PPBS (sistema de presupuestación basado en la gestión) en los estados.Public Administration Review 29(2): 160-167.

Moynihan, D.P. 2002. Persiguiendo la racionalidad en la administración pública: gestión por resultados. Disertación no publicada. Maxwell School of Citizenship and Public Affairs, Syracuse University.

OPPAGA [Oficina de Análisis de política de programas y rendición de cuentas del gobierno]. 1997. Programa de presupuestación basada en la gestión en contexto: Historia y Comparación. Informe 96-77A. Tallahassee, Florida: Legislatura de Florida.

Ospina Bozzi, S., y D. Ochoa. 2003. El Sistema Nacional de Evaluación de Resultados de la Gestión Pública (SINERGIA) de Colombia. En Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas,editado por N. Cunill Grau y S. Ospina Bozzi. CaracasCLAD, AECI/MAP/FIIAPP.

Perrin, B. 1998. Uso efectivo y mal uso de la medición de la gestión. American Journal of Evaluation 19(3): 367-379.

Radin, B.A. 2000. Ley de gestión del gobierno y resultados (GPRA) y la tradición de la reforma de la gestión federal: ¿moneda cuadrada en un agujero redondo? Journal of Public Administration Research and Theory 10(1): 111-135.

Ragin, C. 2004. Combinando investigación cuantitativa y cualitativa. En Taller de Fundaciones científicas de investigación cualitativa, editado por C. Ragin; J. Nagel; y P. White. Arlington, Virginia: National Science Foundation.

Schick, A. 1971. Innovación presupuestaria en los estados. Washington, DC: The Brookings Institution.

————. 1973. Muerte en la burocracia: La muerte del PPB Federal. Public Administration Review 33(2): 146-156.

————. 1996. El espíritu de la reforma: Manejando el sector estatal en Nueva Zelanda en tiempos de cambio. Informe preparado para la Comisión de Servicios del Estado y el Tesoro, Nueva Zelanda.

————. 2001. Logrando que las mediciones de la gestión mejoren. en Más rápido, mejor, más barato? Manejo de la gestión en el gobierno de los Estados Unidos, editado por D. Forsythe. Capítulo 3. New York: The Rockefeller Institute Press.

Tucker, L. 2002. Estudio de Caso: Estado de Texas. Uso y Efectos de emplear mediciones de gestión para la presupuestación, la gestión y los informes.

      http://www.seagov.org/sea_gasb_project/state_studies.shtml. 

Tucker, L., y K. Willoughby. 2002. Estudio de caso: Condado de Dekalb, Georgia. Uso y Efectos de emplear mediciones de gestión para la presupuestación, la gestión y los informeshttp://www.seagov.org/sea_gasb_project/local_studies.shtml. 

Webb, E.J.; D.T. Campbell; R.D. Schwartz; y L. Sechrest. 1965. Medidas moderadas. Chicago: Rand McNally.

Weiss, C.H. 1977. Introducción. En Usando la investigación social en la formulación de la política, editado por C.H. Weiss. Lexington, Massachusetts: Lexington Books.

————. 1983. Ideología, Intereses, e Información: Base de las posiciones políticas. En Etica, Ciencias Sociales y análisis político, editado por D. Callahan y B. Jennings. New York: Plenum Press.

————. 1985. Los muchos significados de la utilización de la investigación. En Evaluación de programas: patrones y directivas, editado por E. Chelimsky. Washington, DC: The American Society for Public Administration.

————. 1990. Si las decisiones de los programas dependieran solo de la información? En Debates sobre Evaluación, editado por M.C. Alkin. Newbury Park, California: SAGE Publications.

————. 1991. Investigación política: datos, ideas o argumentos? En Ciencias Sociales y Estados Modernos, editado por P. Wagner; C.H. Weiss; B. Wittrock; y H. Wollman. New York: Cambridge University Press.

————. 1993. Donde la política y la investigación de la evaluación se encuentran. Evaluation Practice 14(1): 93-106.

————. 1995. Nada tan práctico como la buena teoría: explorando la evaluación basada en la teoría para iniciativas abarcadoras de la comunidad para niños y familias. En Nuevos enfoques para evaluar las iniciativas de la comunidad: conceptos, métodos y contextos, editado por J.P. Connell; A.C. Kubisch; L.B. Schorr; y C.H. Weiss. Washington, DC: The Aspen Institute.

Weiss, C.H., y M.J. Bucuvalas. 1977. El desafío de la investigación social para la toma de decisiones. En Usando la investigación social en la preparación de la política pública, editado por C.H. Weiss. Lexington, Massachusetts: Lexington Books.

————. 1980: Social Science Research and Decision-Making. New York: Columbia University Press.

White, J. 1994. (Casi) Nada nuevo bajo el sol: Por qué el trabajo de la presupuestación continúa incrementándose. Public Budgeting and Finance, Spring: 113-134.

Wildavsky, A. 1984. La política del proceso presupuestario. Cuarta edición. Boston: Little Brown and Company.

Willoughby, K.G. 2004. Medición de la gestión y equilibrio del presupuesto: Perspectiva del gobierno estatal. Public Budgeting and Finance, Summer: 21-39.

Willoughby, K.G., y J.E. Melkers. 2000. Instrumentando la presupuestación basada en la gestión. Consideraciones sobre el éxito Public Budgeting and Finance, Spring: 105–120.

————. 2001. ‘Presupuestación por gestión en los estados’. En Más rápido, mejor, más barato? Manejo de la gestión en el gobierno estadounidense, editado por D. Forsythe. Capítulo 13. New York: The Rockefeller Institute Press.

Yin, R.K. 1991. Estudio de caso: Diseño y métodos. Serie métodos de investigación social aplicados, Vol. 5. Edición revisada. Newbury Park, California: Sage Publications.

Yu, C. 1996. Uso de la evaluación de programas en la presupuestación pública; datos de la reforma de presupuesto de Georgia de 1993. Disertación dada en la Facultad de Graduados de la Universidad de Georgia en cumplimiento parcial de los requisitos para el título de Doctor en Administración Pública. Athens, Georgia.

Zaltsman. A. 2008. El papel del seguimiento y la evaluación en el proceso presupuestario: Percepciones de un estudio del sistema de presupuestación basada en la gestión de Chile. Disertación dada en cumplimiento parcial de los requisitos para el título de doctor en filosofía. Robert F. Wagner Graduate School of Public Service, New York University, New York.

 

[1] Estas reformas son mencionadas en forma alternativa como “presupuestación según la gestión”, “presupuestación informada según la gestión”, “presupuestación basada en resultados”, “financiamiento de la gestión”, “presupuestación para resultados” (Joyce 2003).

[2] Los análisis de efectividad examinan la capacidad de los programas evaluados para lograr sus efectos propuestos, mientras que  los análisis de productividad se concentran en la eficiencia de sus operaciones.

[3] Algunas de estas nociones también están presentes en la literatura sobre reforma del presupuesto. Véase, por ejemplo, Wildavsky (1984).