Archive for the 'Avaluació i resultats' Category

Article d’Osvaldo Feinstein

Published
by
rmunozpu
on desembre 20, 2009
in Avaluació i resultats
. 0 Comments

En aquest cas comentaré un article publicat pel consultor i especialista en la matèria Osvaldo Feinstein, antic assessor del Departament d’Avaluació del Banc Mundial.

 

Feintein planteja una breu visió global de l’avaluació com a concepte i tipologia, per passar ràpidament a plantejar les seves opinions al respecte, com per exemple que el tipus d’avaluació més habitual és ex ante, i els objectius de la mateixa són la possibilitat d’aprendre de l’experiència (a partir d’avaluacions formatives) i la necessitat i obligació de retre comptes davant els poders públics (a través d’avaluacions “sumatives”).

 

Com a criteris d’avaluació més importants planteja: la rellevància o pertinència del que s’avalua, la eficàcia o efectivitat i l’eficiència.

 

Altres criteris no tant rellevants serien els resultats sostenibles, el desenvolupament institucional i la coherència de les polítiques i programes, tot i que Feinstein relaciona aquests conceptes amb els criteris més importants reflectits anteriorment.

 

L’exposició de Feinstein, amb un elevat grau d’exhaustivitat i aprofundiment en la matèria, considera que les polítiques públiques es poden agrupar en: polítiques com a tractaments (associades a un programa o projecte) i polítiques no vinculades a programes o projectes.

 

L’avaluació es podria resumir en aquest quadre:

 

Finalitat

Per què?

Aprenentatge / Retre comptes

Agents

Qui?

Autoavaluació / Independent

Objecte

Què?

Projectes /Programes / Polítiques públiques

Moment

Quan?

Ex  ante / Al moment / Ex post

Cobertura

Quant?

Costs i beneficis / Nivell òptim

Mètodes

Com?

Tractament (Criteris: rellevància, eficàcia, eficiencia)

Ús

Factors

Oportunitat / Credibilitat / Disseminació

 

Per últim, Feinstein dóna una sèrie de consells com per exemple, inculcar una cultura d’avaluació configurant una arquitectura avaluadora (realitzar autoavaluacions, revisades per organismes independents) i la formació dels avaluadors.

 

Consulteu el text complet.

KPGM

Published
by
rmunozpu
on desembre 20, 2009
in Avaluació i resultats
. 0 Comments

Una altra perspectiva del món de l’avaluació de polítiques públiques és la d’una empresa privada dedicada a aquest àmbit. Encara falta molt camí per legislar aquest àmbit, i més encara perquè tothom prengui consciència de la importància i la necessitat d’avaluar els programes públics per tal de millorar, i ser més eficaços i eficients.

 

KPMG és una empresa que té per objectiu transformar el coneixement en valor per tal d’incrementar qualsevol tipus de benefici. Aquest objectiu l’aconsegueix fonamental mitjançant els seus serveis d’auditoria que tenen com a valors més significatius la qualitat i la innovació constant.

 

Una de les especialitzacions de KPMG és el sector públic, on ofereix els seus recursos explicant que ‘la modernització, la innovació i la millora en la qualitat dels serveis per a una millor atenció al ciutadà són aspectes fonamentals en la tan canviant societat actual’. O el que seria el mateix, l’adaptació a nivell organitzatiu, de gestió i funcional que han de fer les administracions públiques per servir al ciutadà de la millor manera possible.

 

L’assessorament el realitzen mitjançant l’estudi de les necessitats reals de cada administració, el disseny de metodologies adaptades a cada cas, i el desenvolupament de diferents estratègies (plans directors, plans de modernització i innovació…), procediments (workflow, gestió documental…), recursos humans (plans de comunicació, gestió del coneixement…) i tecnologies de la informació (portals de serveis).

 

Aquesta seria una perspectiva comercial que podria substituir (tot i que de forma temporal), l’absència d’agències de qualitat i avaluació públiques.

 

Més informació a KPGM.

La ‘Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios ‘

Published
by
rmunozpu
on desembre 20, 2009
in Avaluació i resultats
. 0 Comments

La ‘Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios’ és un organisme depenent del Ministeri de la Presidència que a partir de la realització d’avaluacions i l’anàlisi de l’impacte de les polítiques i programes públics, té l’objectiu de racionalitzar els recursos públics, millorant també la qualitat dels mateixos.

 

En aquest sentit, l’Agència vol esdevenir un referent a nivell espanyol, estenent i promovent la cultura de l’avaluació en totes les fases del cicle de les polítiques públiques. Es desenvolupen metodologies, sistemes d’informació i indicadors per tal de poder realitzar activitats d’acreditació i certificació.

 

Per tal de convertir-se en aquest referent, l’Agència ofereix a la seva pàgina web, múltiples informacions i descripcions sobre l’avaluació, tant des d’una vessant històrica i divulgativa, com amb un esperit eminentment pràctic.

 

En el referent a l’esperit metodològic, l’Agència defineix l’avaluació com “la aplicación sistemática de un método que garantice la planificación, la recogida de información, su tratamiento e interpretación para emitir con rigor y validez un juicio valorativo” i proposa diferents tipus d’avaluació en funció de diferents aspectes:

 

  •  
    • Del paradigma: clàssica o pluralista
    • Del camp d’acció: estratègica o operativa
    • Del mètode d’investigació: descriptiva, analítica o integral
    • Del propòsit: formativa o recapitulativa
    • De la perspectiva temporal: ex ante, intermedia o ex post
    • Dels avaluadors: interna, externa o mixta
    • Dels continguts: necessitats, conceptualització, avaluabilitat, cobertura, implementació, resultats o impacte.
    • Metaavaluació

 

Vist aquest petit apunt de la pàgina web de l’Agència, la considero una web de referència imprescindible per a conèixer tant l’estat de la qüestió i legislació a nivell estatal, com per les orientacions bàsiques per a un bon ús de l’avaluació.

 

Més informació a la seva web.

La biblometria: una eina per a l’avaluació de les polítiques de recerca

Published
by
lserratec
on desembre 4, 2009
in Avaluació i resultats
. 0 Comments

La crisi en la que estem ha fet conscienciar a molts governs i analistes que la recerca i la innovació ha de ser el camí per un desenvolupament econòmic i social segur i ferm. La constant demanda de l’increment en el finançament del procès investigador ha originat la necessitat creixent de quantificar i avaluar l’activitat científica, els resultats i els seus rendiments.

Les administracions públiques encarregades de la distribució dels minsos recursos econòmics adreçats al sistema R+D+I, requereixen instruments d’anàlisi que els hi permetin comprobar l’eficàcia de les seves polítiques i els ajudin a racionalitzar i repartir les seves inversions d’acord a la planificació dissenyada prèviament.

La producció científica és el mitja pel qual els investigadors difonen i sotmenen els seus treballs de recerca a l’avaluació dels seus col·legues. La recopilació de la producció científica en bases de dades bibliogràfiques automatitzades ha potenciat l’ús de la “bibliometria” i la generació d’indicadors per a mesurar els resultats de l’activitat científica i tecnològica. Els indicadors bibliomètrics són dades estadístiques deduides de les característiques de les publicacions científiques. De fet s’han consolidat com a instruments molt útils de recolzament als avaluadors i gestors de la política científica i tecnològica, conjuntament amb altres indicadors quantitatius socioeconòmics i qualitatius i de l’opinió d’experts als quals complementen.

 

Per posar només alguns exemples, a Espanya hi ha diverses agències de l’administració pública que fan processos d’avaluació de la ciència:

Agència Nacional de Evaluación de la Calidad y la Acreditación (ANECA), fundació estatal que té com a  objectiu controlar la qualitat del sistema d’educació superior mitjançant l’avaluació, certificació i acreditació de l’ensenyament, el professorat i les institucions. La Comisión Nacional Evaluadora de la Actividad Investigadora avalua l’activitat investigadora dels professors universitaris i de les escales científiques del Centre Superior d’Investigacions Científiques (CSIC).

A Catalunya, l’Agència per a la Qualitat del Sistema Universitari de Catalunya (AQU) fa funcions homòlogues a les altres dues esmentades. L’Agència de Gestió d’Ajuts Universitaris i de Recerca (AGAUR) financia projectes de recerca i necessita, també, avaluar projectes de recerca.

 

Quant a instruments bibliomètrics de recolzament a l’avaluació de la producció científica el més conegut és l’ISI, de Thompson Reuters: un productor privat de bases de dades ha elaborat un reguitzell d’indicadors per a la medició de la ciencia, tot i que el més conegut és el Factor d’Impacte (FI). A nivell estatal, hi ha diversos indicadors que ordenen les revistes segons criteris de qualitat: IN-RECS; IN-RECJ; DICE, RESH,… Finalment, a Catalunya s’està elaborant CARHUS PLUS

Sant Cugat: Planificació + Avaluació + Transparència

Published
by
Pere Sol i Ordis
on desembre 4, 2009
in Avaluació i resultats
. 0 Comments

El passat mes de novembre ha estat el mes de l’Ajuntament de Sant Cugat. El dia 6 va recollir el premi EPSA 2009 (European Public Sector Award) atorgat per l’Institut Europeu d’Administració Pública (EIPA), en la categoria lideratge i gestió del canvi, i el dia 23 recollia el premi a la Transparència Municipal, atorgat per la secció espanyola de l’ONG Transparency International.

L’Ajuntament de Sant Cugat ja fa temps que va decidir canviar la concepció burocràtica de l’administració municipal per una organització enfocada a l’estratègia. En aquest marc va definir el Pla d’Alineació i Competitivitat Estratègica (PACTE) 2008-2011. Aquest Pla té com a missió definir i implantar un nou model de gestió i de definició dels pressupostos basat en mapes estratègics i quadres de comandament a tots els nivells directius de l’organització municipal.

El Pla té quatre grans objectius: definir l’estratègia a l’inici de la legislatura i vincular-la amb programa electoral (definició de prioritats); alinear l’organització; vincular l’estratègia amb els recursos econòmics; i definir responsabilitats i transparència (assolir una nova cultura política).

Des del punt de vista l’alineació de l’organització, es parteix de tres nivells: en el nivell polític, la Junta de Govern estableix una estratègia global, política, de forma transversal, per sobre dels interessos dels diferents àmbits; en aquest nivell; en el segon nivell, de caràcter mixt polític i tècnic, el Consell de Direcció estableix l’estratègia competitiva i es compromet amb l’estratègia política; finalment, en el tercer nivell, de caràcter tècnic representat per les direccions funcionals, es produeix l’alineació de totes elles amb l’objectiu d’assolir l’estratègia competitiva, la qual cosa implica el compromís de cada directiu amb el Consell de Direcció; en aquest darrer nivell es vinculen els objectius funcionals al pressupost, és a dir, es vincula l’estratègia amb els recursos econòmics, la qual cosa es fa mitjançant una sèrie de “mapes”(polític, competitiu, funcional de cada àrea, i de suport a l’estratègia) que ajuden a marcar els objectius pressupostaris i les prioritats del govern i fa que els pressupostos s’elaborin tenint en compte les necessitats marcades anteriorment.

El Pla d’Alineació i Competitivitat Estratègica de Sant Cugat ja havia estat presentat fa poc més d’un any en el marc de la Jornada ‘Avaluar per millorar: les polítiques públiques a examen’, organitzada per l’Institut Català d’Avaluació de Polítiques Públiques (Ivàlua). Des de la pàgina web d’Ivàlua es pot baixar la presentació del Pla de l’Ajuntament de Sant Cugat (http://www.ivalua.cat/arxius/ponencies_11-08/ponencia-jordi_joly.pdf) feta just un any abans de l’atorgament dels premis que en reconeixen la rellevància.

Carnet o punts?

Published
by
Francesca Solsona Sans
on desembre 4, 2009
in Avaluació i resultats
. 0 Comments

Tots recordem l’entrada en vigor del carnet per punts. La posada en escena va estar  suficientment contundent per a què la població se n’ adonés que la nova política de sancions havia arribat. Vala dir que els resultats han estat, quant a víctimes,  espectaculars.

Ara, un temps desprès, es realitzen una sèrie de modificacions que potser rebaixen de forma substancial el raonament inicial d’aquesta política, i passen a reduir-se de forma considerable les possibles sancions.

 

A més de fer la llei  més benèvola, també hi ha alguna modificació que destaca per incoherent, com les següents:
 

 A partir d’ara si circulem a 130 km / h per una via limitada a 80 km / h no ens retiraran punts del carnet, encara que sí ens sancionaran econòmicament. Aquesta mesura suposa un risc, ja que en aquest cas es superaria el 50 % de la velocitat màxima permesa. Si els traslladessim a una via limitada a 120 km / h podríem circular a 190 km / h, encara que aquesta sí comportaria pèrdua de punts i sanció econòmica.

 

Aquest replantejament del programa de reducció de morts a la carretera és conseqüència d’una anàlisi i avaluació del seu desplegament?, o senzillament hi ha interessos amagats com puguin ser que el volum de casos denunciats acabi per colapsar encara més el món judicial? Ja sabem que els jutjats estan atapeïts de papers, no han arribat a l’ era de la informació i segueixen sense informatitzar les tasques.

 

D’altra banda, potser s’hi afegeixi la crisi econòmica per tal de no posar més pals a la venda de cotxes?

 

L’AVALUACIÓ DE L’ADMINISTRACIÓ PÚBLICA

Published
by
jcastellomar
on desembre 3, 2009
in Avaluació i resultats
. 0 Comments

Com ja s’ha dit tantes vegades, estem en un moment d’implantació de les noves tecnologies, i és l’Administració pública qui ha de vetllar perquè aquestes es desenvolupen com és degut i arriben al màxim públic possible.  Les TIC han de permetre que el major nombre d’informació pública estiga a l’abast de la ciutadania, i facilitar que l’Administració siga transparent.  Aquest exercici possibilitarà una major democratització d’allò que és de tots.  I, som nosaltres, els usuaris, els que tenim que demanar que així siga. 

 

Un altre element que l’Administració ha d’assumir per a que siga més efectiva, és l’establiment d’un sistema d’avaluació de les seves polítiques, dels resultats obtinguts, per a poder implementar nous models que siguen més efectius.  L’avaluació i el control també per als qui desenvolupen les tasques, des del personal funcionari fins els càrrecs de confiança i els polítics.  L’Administració, en aquest moment, no es deu quedar enrere i ha de consolidar un paper directriu en la implementació de les noves tecnologies de la informació i la comunicació. 

 

A hores d’ara, la implementació de les TIC a l’estat espanyol està prou endarrerida respecte altres països europeus.  Tanmateix ocorre amb el desenvolupament de programes d’avaluació de les polítiques públiques.  A nivell estatal, ha estat creada l’Agència Estatal d’Avaluació i Qualitat, destinada a coordinar el control de les polítiques públiques.  El desenvolupament d’aquest tipus d’agències d’avaluació en les autonomies és pràcticament nul, sols en Catalunya s’ha creat una institució semblant, l’Institut Català d’Avaluació de Polítiques Públiques (Ivàlua). 

 

Dins de l’àmbit de l’educació superior, s’ha creat un organisme d’avaluació per a vetllar que l’ensenyament i el professorat siguen aptes per al desenvolupament dels programes educatius universitaris.  Aquestes fites són la base per aconseguir una societat més avançada.  Es tracta de l’Agència Nacional d’Avaluació de la Qualitat i l’Acreditació.  En el País Valencià, la Generalitat ha creat una institució similar: l’Agència Valenciana d’Avaluació i Prospectiva.  A més a més de cercar la qualitat educativa universitària en el professorat i els centres, també valora els projectes d’investigació científica i desenrotllament tecnològic que s’executen en els centres adscrits en l’Administració autonòmica.  Així com també conté un àrea de Prospectiva, on s’estudia el futur en les matèries d’educació, ciència, tecnologia, economia i societat, per comprendre’l i influir-lo, preparant-se mitjançant unes actuacions congruents. 

 

Potser les agències d’avaluació siguen la solució per dinamitzar l’Administració i les polítiques públiques si aconsegueixen realment que s’implementen les necessitats que els seus diagnòstics prescriuen. 

L’avaluació en el sector públic

Published
by
mfontanalsj
on novembre 30, 2009
in Avaluació i resultats
. 0 Comments

Amb l’estat de les autonomies es van crear noves administracions que tenien la gran oportunitat d’organitzar-se amb un esperit més obert al ciutadà, més democràtic, més eficient. Per desgràcia l’administració autonòmica catalana va desaprofitar aquesta ocasió i va crear una administració pública calcada de le funcionarial espanyola, decimonònica i carregada amb tots els seus defectes. Des de fa uns quants anys i com a resultat de les directrius europees de modernització de la gestió pública, s’ha generalitzat la implantació de models d’excel·lència als diferents organismes. Moltes entitats públiques van organitzar llargues sessions en les quals es van examinar detalladament els processos de treball i es van analitzar objectius, missions i visions, les oportunitats, amenaces, punts forts i febles, etc. de l’organisme en qüestió, etc. Tots ens varem iniciar en un nou llenguatge i uns nous conceptes que pretenien introduir dins la gestió pública una renovació en l’anàlisi dels procediments de treball, racionalitzar-los, adreçar-los a la satisfacció de l’usuari amb condicions d’eficiència i eficàcia, fomentar la comunicació, el treball en equip, treballar per objectius i avaluar els resultats. Les paraules clau eren ”qualitat” i “excel·lència”.  

Aquests plans de millora van sobtar als treballadors més veterans i els van crear un rebuig, una desconfiança cap a una terminologia que es veia de caire empresarial. Passats els anys, si bé en alguns sectors es detecten importants avenços - deguts sobretot al voluntarisme d’alguns individus - els resultats generals han estat força decebedors i crec que no justifiquen els esforços i el temps esmerçat. L’administració pública catalana segueix patint d’uns defectes d’origen que s’han enquistat i que fan que els treballadors reaccionin molt tèbiament davant dels plans de millora: la manca de transparència degut molt sovint a la politització dels càrrecs fins nivells molt baixos i la desconfiança en uns gestors que actuen sense passar ells per cap avaluació.

Potser es pot dir que el grau d’implantació de sistemes d’excel·lència i avaluació és encara molt feble i que cal deixar actuar els organismes creats per a aquesta fi (Vegeu la web de l’Agencia Estatal d’Evaluación de les polítiques públiques: http://www.aeval.es/es/index.html ) però no crec que les diferents polítiques aplicades puguin actuar sobre l’arrel dels problemes sinó que em temo que només faran una rentada de cara a l’administració pública.

Reis Continue reading ‘L’avaluació en el sector públic’

Projecte Tibidabo

Published
by
Rosa Montosa
on novembre 29, 2009
in Avaluació i resultats
. 0 Comments

 

 

El projecte Tibidabo va ser impulsat pel Consorci de Biblioteques de Barcelona i el Servei de Biblioteques de la Diputació de Barcelona al 2003. El seu objectiu és crear elements per a la comparació entre biblioteques de la xarxa de Barcelona i la seva província i altres de territoris similars a Europa.

Es van seleccionar els indicadors necessaris per valorar l’ús i el funcionament de les biblioteques públiques i, per tal de realitzar el projecte, es va convidar a participar a altres ciutats.

Aquest projecte permet tenir una visió de l’evolució de cada unitat dins d’un entorn més ampli. L’anàlisi comparativa permet cooperar i millorar.

La comparació per si mateixa només permetrà a cada unitat veure la seva situació en l’àmbit europeu i determinar la seva evolució. Però aquest projecte també seria de molta utilitat per l’aplicació d’altres tècniques com un anàlisi DAFO, que exposés les fortaleses i debilitats, tenint en compte l’abast internacional. Un altre exemple podrien ser els projectes de benchmarking, com instrument per millorar algun aspecte d’una biblioteca amb la cooperació d’una altra que tingués millors resultats (cosa que és més plausible entre organismes públics sense un objectiu de mercantilització).

 

A la pàgina web del projecte Tibidabo tenim accés a les dades que ha recollit cada unitat i als informes elaborats pel Consorci de Biblioteques.

Un altre cas, on també podem consultar els indicadors de diverses biblioteques universitàries, és a la pàgina d’indicadors de Rebiun, on apareixen les dades recollides per diverses biblioteques i alguns gràfics, sumant-hi, a més, una eina per a la comparativa d’aquests.

Sociedad Española de Evaluación de Políticas Públicas i la seva revista

Published
by
msurrocac
on novembre 29, 2009
in Avaluació i resultats
. 0 Comments

 

La Sociedad Española de Evaluación de Políticas Públicas (SEE) es va crear al juliol de 2001 i va néixer de la idea d’un grup d’acadèmics amb l’objectiu de contribuir al desenvolupament i a la implantació a Espanya de l’avaluació de polítiques i programes públics. i per millorar l’eficàcia, l’eficiència i la utilitat social de la intervenció de les administracions públiques.

 

Entre les seves línies estratègiques per aconseguir aquest objectiu està fomentar la investigació científica i la difusió d’experiències sobre avaluació entre els agents i les institucions implicades, tant en els àmbits universitaris, de la funció pública, empresarials i professionals. Consideren que es imprescindible per assolir aquest objectiu incrementar la qualitat de la pràctica avaluadora, i això passa per formar experts, validar els mètodes utilitzats i proposar millores per poder aplicar aquests mètodes. També es un lloc de trobada entre organismes similars de tot el territori a través de diferents actes organitzats amb aquesta finalitat.

 

Entre les seves activitats i mesures a portar a terme hi ha la intenció (com no podia ser d’altra manera) d’instaurar un sistema intern d’avaluació de la pròpia Societat per poder controlar i valorar en quina mesura s’estan aconseguint els objectius i posar a disposició dels socis aquesta informació.

 

L’avaluació de la intervenció pública és el mecanisme de control de la despesa pública, de la gestió racional dels recursos perquè el seu impacte sigui el més alt possible sobre la societat en la qual es vol intervenir, i a la vegada fomentar la pressa de consciencia dels ciutadans sobre el seu dret a conèixer com es gasta el diner públic (els seus diners) i quines millores socials s’assoleixen amb aquesta despesa.

 

La Revista E-EVALUACIÓN és la publicació periòdica de la Societat Española de Evaluación de Políticas Públicas per divulgar i promoure documents d’investigació al voltant de l’avaluació de les polítiques públiques. Podem consultar en accés obert tots els seus números al web: http://www.sociedadevaluacion.org/web/index.php?q=revista.