Notas sobre a avaliação de instituições de investigação científica e o uso de indicadores quantitativos



Baixar 95.2 Kb.
Encontro21.10.2017
Tamanho95.2 Kb.

Notas sobre a avaliação e financiamento de instituições de investigação científica e o uso de indicadores quantitativos
Referências de “boas-práticas” internacionais –

Por Luis T. Magalhães, a 22.04.2004




1. Introdução
Há uma vasta literatura sobre boas-práticas de avaliação científica e critérios para financiamento de centros e institutos de investigação, bem como sobre os defeitos da aplicação automática de indicadores quantitativos, incluindo bibliométricos.
A ignorância desta literatura demonstrada no novo modelo de financiamento de unidades de I&D anunciado pelo Ministério da Ciência e do Ensino Superior (MCES) em 13.04.2004, é reveladora de reduzido conhecimento do assunto, amadorismo e simples falta de curiosidade de quem o preparou, o que em si mesmo, demonstra uma atitude anti-científica.
Reúnem-se aqui alguns elementos para rápida consulta1 que, contudo, ficam muitíssimo aquém da extensão e profundidade do que há disponível na literatura especializada. Porém, o curtíssimo prazo de consulta pública durante apenas dezassete dias, em contraste com as consultas para este tipo de assuntos noutros países2, não permite referências muito mais extensas que possam ser utilizadas em tempo útil.
A avaliação e o financiamento público de unidades de investigação de instituições do ensino superior ou instituições privadas sem fins lucrativos a elas associadas são tratados de formas muito diferentes nos vários países e têm sido objecto de alterações nas últimas décadas.
Na verdade, em alguns países o financiamento institucional da investigação em instituições do ensino superior é uma parcela do financiamento total de cada instituição decidida sem avaliação das actividades científicas, noutros existe uma estrutura do estado disseminada pelas instituições do ensino superior (tipo ex-INIC em Portugal e CNRS em França) para onde são canalizados este tipo de financiamentos, ainda noutros o financiamento de unidades de investigação restringe-se a um pequeno número de “centros de excelência”, e também noutros há um sistema nacional abrangente de avaliação e financiamento da investigação científica das unidades ligadas a instituições do ensino superior como em Portugal desde 1996.
O mais antigo dos sistemas do último tipo referido num país cientificamente avançado é o do Reino Unido. Foi iniciado em 1992 e tem sido avaliado e melhorado desde então. Uma parte significativa da informação aqui compilada respeita a este sistema pela utilidade comparativa especial que tem no nosso caso.
O “novo modelo de financiamento” anunciado pelo MCES tem “inovações” fantásticas:
Não conheço qualquer sistema de financiamento que sequer se aproxime remotamente do “novo modelo” anunciado pelo MCES na utilização de uma fórmula aritmética para cálculo de financiamentos baseada em diversos factores multiplicativos que actuam sobre indicadores quantitativos fixados com grande arbitrariedade e não sustentados na avaliação científica por peer review das respectivas unidades de investigação.
Não conheço qualquer sistema que introduza uma disparidade entre os valores de financiamento por investigador de unidades com a mesma classificação de qualidade atribuída por painéis de avaliação independente tão inapropriadamente elevada como a do “novo modelo”, onde se prevê que haja unidades que podem receber por doutorado um valor de 15% do de outras (quase 1/7) com a mesma classificação de qualidade3!
Não conheço qualquer sistema, além do “novo modelo” anunciado pelo MCES, que preveja a possibilidade de unidades com a classificação de qualidade máxima (Excelente) terem valores de financiamento por doutorado significativamente inferiores a unidades com classificações apreciavelmente mais baixas sem qualquer contribuição adicional de peer review. Na verdade, o “novo modelo” prevê que uma unidade classificada com Excelente possa receber por doutorado menos de 20% (menos de 1/5) de uma outra com Muito Bom e 27% (quase 1/4) de uma com Bom4!
Não conheço qualquer sistema que defina por indicadores quantitativos bibliométricos quem podem ser os investigadores elegíveis para cálculo de financiamentos, como faz o “novo modelo” proposto pelo MCES5.
Tudo isto por via de uma aplicação aritmética de factores multiplicativos e indicadores quantitativos independentes da avaliação dos painéis.
É (má) obra e prejudica seriamente a ciência em Portugal!
Não me parece que seja adequado “inovar” desta forma radical e irreponsável que ignora as boas-práticas internacionais e se afasta delas.

2. Excertos do relatório Proposals for Safeguarding Good Scientific Practice6 preparado para a DFG

The event that prompted the appointment of the commission was an unusually serious case of scientific misconduct (1). It led to a wide discussion in politics, administration and the general public in Germany whether such events are more frequent than is generally known, and whether science in its institutions has sufficient control mechanisms for quality assurance. How could it happen that the institutions of science were deceived for so long? Nearly all the publications called into question appeared in peer reviewed international journals. All degrees awarded and all appointments relied on the conventional control mechanisms for regulating advancement in the scientific community. There were no procedural failings; yet the irregularities were not discovered. The same was true for research proposals which led to funding by the Deutsche Forschungsgemeinschaft and other funding organizations over a long period of time.


(…)
Recommendation 6
Universities and research institutes shall always give originality and quality precedence before quantity in their criteria for performance evaluation. This applies to academic degrees, to career advancement, appointments and the allocation of resources.
Commentary
For the individual scientist and scholar, the conditions of his or her work and its evaluation may facilitate or hinder observing good scientific practice. Conditions that favour dishonest conduct should be changed. For example, criteria that primarily measure quantity create incentives for mass production and are therefore likely to be inimical to high quality science and scholarship.
Quantitative criteria today are common in judging academic achievement at all levels. They usually serve as an informal or implicit standard, although cases of formal requirements of this type have also been reported. They apply in many different contexts: length of Master or Ph.D. thesis, number of publications for the Habilitation (formal qualification for university professorships in German speaking countries), as criteria for career advancements, appointments, peer review of grant proposals, etc. This practice needs revision with the aim of returning to qualitative criteria. The revision should begin at the first degree level and include all stages of academic qualification. For applications for academic appointments, a maximum number of publications should regularly be requested for the evaluation of scientific merit.
Since publications are the most important 'product' of research, it may have seemed logical, when comparing achievement, to measure productivity as the number of products, i.e. publications, per length of time. But this has led to abuses like the so-called salami publications, repeated publication of the same findings, and observance of the principle of the LPU (least publishable unit). Moreover, since productivity measures yield little useful information unless refined by quality measures, the length of publication lists was soon complemented by additional criteria like the reputation of the journals in which publications appeared, quantified as their "impact factor" (see below, section II.5).
However, clearly neither counting publications nor computing their cumulative impact factors are by themselves adequate forms of performance evaluation. On the contrary, they are far removed from the features that constitute the quality element of scientific achievement: its originality, its 'level of innovation', its contribution to the advancement of knowledge. Through the growing frequency of their use, they rather run the danger of becoming surrogates for quality judgements instead of helpful indicators.
Quantitative performance indicators have their use in comparing collective activity and output at a high level of aggregation (faculties, institutes, entire countries) in an overview, or for giving a salient impression of developments over time. For such purposes, bibliometry today supplies a variety of instruments. However, they require specific expertise in their application.
An adequate evaluation of the achievements of an individual or a small group, however, always requires qualitative criteria in the narrow sense: their publications must be read and critically compared to the relevant state of the art and to the contributions of other individuals and working groups.
This confrontation with the content of the science, which demands time and care, is the essential core of peer review for which there is no alternative. The superficial use of quantitative indicators will only serve to devalue or to obfuscate the peer review process.
The rules that follow from this for the practice of scientific work and for the supervision of young scientists and scholars are clear. They apply conversely to peer review and performance evaluation:
Even in fields where intensive competition requires rapid publication of findings, quality of work and of publications must be the primary consideration. Findings, wherever factually possible, must be controlled and replicated before being submitted for publication.
Wherever achievement has to be evaluated - in reviewing grant proposals, in personnel management, in comparing applications for appointments - the evaluators and reviewers must be encouraged to make explicit judgements of quality before all else. They should therefore receive the smallest reasonable number of publications – selected by their authors as the best examples of their work according to the criteria by which they are to be evaluated.
(…)
Authors of an original scientific publication shall be all those, and only those, who have made significant contributions to the conception of studies or experiments, to the generation, analysis and interpretation of the data, and to preparing the manuscript, and who have consented to its publication, thereby assuming responsibility for it. (…)
With this definition of authorship, other contributions, including significant ones, such as

  • the responsibility for obtaining the funds for the research,

the contribution of important materials,

the training of co-authors in certain methods,



involvement in the collection and assembly of data,

  • directing an institution or working unit in which the publication originates, are not by themselves regarded sufficient to justify authorship.


(…)
For the individual scientist, funding agencies play an essential role through the financial support which they grant. By addressing scientists as applicants for funds or as beneficiaries of grants, they may exercise an influence on the consolidation and the protection of standards of scientific practice. Through the design of their requirements for proposals and their conditions for support they can reduce or prevent circumstances that may prompt or facilitate misconduct.
(…)
Quantitative performance evaluation

The susceptibilities of the scientific system to various forms of dishonesty sketched in the preceding pages have been aggravated in the last two decades with the extensive introduction of computer-based referencing systems for publications and citations and their growing use in the evaluation of achievements and performance in science. The richest and most frequently used data basis for this is the Science Citation Index published by the Institute for Scientific Information (ISI) in Philadelphia. It permits quantitative measurements of the impact of publications, based on their citations, and although details of the methodology are still being discussed in journals like Scientometrics, citation analysis has established itself as an integral part of performance evaluation in research, and, as recent publications show (52), plays an increasing role in shaping research policy in various countries. Bibliometric techniques also serve as a useful basis for observing the development of science through the analysis of publication and citation frequency, as exemplified by the journal Science Watch.
Citation analysis permits calculation of the impact of the work of individuals, groups, departments and of entire countries, but also of journals. The "journal impact factor" is annually published by the ISI and widely regarded as a measure of the reputation, and thus indirectly of the quality, of a journal. The impact factor of Nature in 1995 was calculated to be 27, that of the Journal of Biological Chemistry 7.4, and that of Arzneimittelforschung 0.5. In the review of grant proposals, the 'publication performance' of the applicants regularly plays an important role. It has always made a difference whether a principal investigator and his/her group published in "good", peer-reviewed journals or merely produced 'abstracts' in congress reports or articles in collective monographs without peer review. Since the "journal impact factor" offers a ready method of quantification, it is used by reviewers for the evaluation of performance with growing frequency.
This practice, however, is open to reservations which have recently found increasing support (53). They are justified for several reasons:
First, citation frequency obviously does not only depend on the reputation of a journal or a group, but above all on the size of the community interested in the subject matter. Specialized journals typically have lesser "impact factors" than those with a broad readership, and different fields have different quantitative norms. Comparing an Assyriologist and a scholar of German by their "impact factors" would make little sense even if the publication habits in the two fields were the same. Publication habits specific to research fields have a strong influence on comparability: the publication pattern in semiconductor physics is different from that in molecular developmental biology. The literature on the methodology of bibliometric analysis therefore regularly insists on the principle of "comparing like with like" (54).
Second, reviewers who rely exclusively on publication counts and on citation frequencies, perhaps expressed by the "impact factor", in their evaluation delegate their responsibility completely to the journals in question and their readers. Counting publications and looking up "impact factors" are far removed from the competence needed to judge the quality of the content of a publication. Reviewers restricting themselves to the former end up by making themselves superfluous.
It should also be noted that all methods of performance evaluation which depend

exclusively or predominantly on quantitative measures serve to promote the "publish or perish" principle with all its disadvantages.
Finally, it should be taken into account that the knowledge of the use of citations as a measure of impact and (despite all methodological reservations) of the quality of a publication so cited and its authors may influence the behaviour of the latter and lead to abuses such as citation cartels.”

3. Excertos do relatório sobre The Role of Quality Assurance and Evaluation preparado na avaliação da política e financiamento da investigação pelo Higher Education Funding Council for England efectuada em 1999
65. The most authoritative document on peer review remains the report of a working party commissioned by the Advisory Board for Research Councils in 1990 (Boden et al). Many of its main conclusions were specific to the use of peer review to inform the award of project grants. Those with relevance to the RAE process are shown below:

  • peer review is ‘the only practicable method of assessment’ across all research areas

  • quantitative measures can legitimately inform peer review judgements; they cannot however replace them

  • the use of international referees should be encouraged throughout the system

  • the peer review process should maximise transparency

  • peer reviewers should continue to be drawn principally from specialists in the appropriate fields, but where experts from other disciplines or sectors have relevant expertise, efforts should be made to recruit them

  • feedback should be provided as a matter of course

  • steps should be taken to ensure consistency across similar assessment processes.”



4. Excertos do relatório Review of Research Assessment7 preparado para os Higher Education Funding Councils do Reino Unido
9. A number of themes have emerged strongly from each of these strands:

a. the importance of expert peer review

b. the need for a clear link between assessment outcomes and funding

c. the need for greater transparency, especially in panel selection

d. the need to consider carefully the trade-off between comparability of grades and the flexibility for assessors to develop methods appropriate to their subject

(…)
12. We propose retaining many of the key features of the existing process:

a. a UK-wide system

b dependence upon expert peer review to identify the best research

c. panel members recruited from within the research community (but not necessarily all UK-based academics)

d. peer reviewers informed by performance indicators but not obliged to reflect them in grading

e. an assessment organised on the basis of disciplinary panels

f. panels establish their own assessment criteria in consultation with their research community

g. transparency: panel criteria and working methods are published years in advance of the process

h. panels provide information on the quality and volume of research

i. a process designed to encourage institutions to make strategic choices about the areas of research they prioritise

j. those who are assessed control their input into the process: submissions are put together by institutions.
(…)
Centrality of expert review
15. Some of us believed, at the outset of the process, that there might be some scope for assessing research on the basis of performance indicators, thereby dispensing with the need for a complex and labour-intensive assessment process. Whilst we recognise that metrics may be useful in helping assessors to reach judgements on the value of research, we are now convinced that the only system which will enjoy both the confidence and the consent of the academic community is one based ultimately upon expert review. We are also convinced that only a system based ultimately upon expert judgement is sufficiently resistant to unintended behavioural consequences to prevent distorting the very nature of research activity.
Recommendation 1
Any system of research assessment designed to identify the best research must be based upon the judgement of experts, who may, if they choose, employ performance indicators to inform their judgement.
(…)
Respecting disciplinary differences
37. Whilst we are convinced that there is a need to ensure that panels’ practices are consistent (or equivalent) where this is appropriate, we consider it equally important to define those aspects of the assessment where greater sensitivity to disciplinary differences would enhance the reliability of the results. We have therefore brought forward proposals which we believe will enable panels to assess work in their fields in a way which is both more sensitive and more consistent.
Recommendation 7
a. The rule that each researcher may only submit up to four items of research output should be abolished. Research Quality Assessment panels should have the freedom to define their own limits on the number and/or size of research outputs associated with each researcher or group.
b. Research Quality Assessment panels should ensure that their criteria statements enable them to guarantee that practice-based and applicable research are assessed according to criteria which reflect the characteristics of excellence in those types of research in those disciplines.
38. We propose to work alongside the research communities to develop a set of disciplinespecific performance indicators which could form the basis of the indicative bandings. These bandings would be produced at least one year before the assessment. They would inform institutions’ key strategic choice – which subject areas to submit for RQA and which for RCA. They would also inform the decisions of the panels but would not bind the panels in any way.
39. The number of bands would be allowed to vary between subjects, reflecting the extent to which different subject communities were prepared to accept performance indicators as a reliable indicator of quality.
Recommendation 8
a. The funding councils should work alongside the subject communities and the research councils to develop discipline-specific performance indicators.
b. Performance against these indicators should be calculated a year prior to the exercise and institutions advised of their performance relative to other institutions.
c. The weight placed upon these indicators, as well as their nature, should be allowed to vary between panels.”

5. Excertos do relatório Assessing Research: The researchers’ View8 preparado para os Higher Education Funding Councils do Reino Unido
KEY FINDINGS
Peer Review

The overwhelming majority of the academics and research managers who took part in this study felt that research should be assessed using a system based on peer review by subject-based panels – of the twenty nine systems designed, twenty five were based on Expert Review. The participants also indicated that these panels should be informed by metrics and self-assessment, with some input from the users of research.

Transparency, Stability and Professionalism


There was a very strong desire for a system with clear rules, and transparent procedures, that were established at the outset and not modified during the assessment process. The appointment of panels and the selection of their criteria they used were thought to be critical areas for transparency. Participants in the study considered that the panels themselves should be professionalized and that there should be increased and earlier involvement of international members.
Clarity of Submission

Almost half the groups were unhappy with the flexibility and lack of clarity over which staff should be submitted in the current assessment system, and one third of the groups felt that more staff should be submitted in future9. In addition to reducing the scope for ‘playing the system’ it was felt that submission of more staff would improve the inclusiveness of the process. A few groups included other steps to make the process more inclusive and sensitive, both to researchers and to a lesser extent institutions.

(…)
Agreement between Disciplines

The most important characteristics of high quality research were seen as rigour; international recognition; originality; and the idea that the best research sets the agenda for new fields of investigation. There was general agreement the importance of these characteristics by participants from different disciplines and academic roles – although absolute ranking varied.
There was also broad agreement across disciplines about the most important characteristics for a research assessment system; however, researchers from Medicine, Science and Engineering placed a greater importance on peer review, while their colleagues in the Arts, Humanities and Social Sciences felt subject related flexibility in the assessment system was more important.
Comparability and Flexibility

Participants ranked both comparability of assessments between subjects and methodological sensitivity to the subject being assessed very highly when considering characteristics of research assessment systems. Despite this, when designing research assessment systems almost half the groups suggested that panels should be given more autonomy in developing their criteria and assessment methods.”

6. Excertos do documento Funding Higher Education in England: How the HEFCE10 allocates its funds
Funds for research
61. We are committed to promoting excellent research. HEFCE research funds are distributed selectively to higher education institutions that have demonstrated their strength in research by reference to national and international standards. This quality is measured in a periodic Research Assessment Exercise (RAE). (…)
62. Our funding for research in 2002-03 is £940 million and is allocated with reference to both quality and volume of research activity. We refer to this quality-related research funding as QR.

(…)
65. Mainstream QR funds are divided between 68 subject areas (units of assessment). Each subject is assigned one of three cost weights, which have been calculated to reflect the relative costs of research in those subjects. These are multiplied by the volume11 of research in each subject to work out the total funding for that subject.

66. The three cost weights are:





Weighting


A High cost laboratory and clinical subjects

1.6

B Intermediate cost subjects

1.3

C Others

1.0

(…)
69. The 68 subject totals are distributed to institutions in proportion to the volume of research multiplied by the quality of research in the subject for each institution.”

(…)
71. The quality of research is assessed in a Research Assessment Exercise conducted every four or five years.”

7. Excertos do documento Governance of Public Research – Toward better practices12
Institutional modes of funding remain important to safeguard the longer-term capabilities of knowledge creation and the serendipity of scientific discoveries. More performance-based institutional funding may help to ensure good accountability of public investment. However, attention must be paid to streamlining rigidities that may be caused by inappropriate systems for evaluating programmes and researchers. (…) hence, how to foster curiosity-driven basic research rather than applied research in these areas is felt to be a challenge.

(…)
There are other evidences of this fundamental problem. For example, the US National Institutes of Health attempted to define a priority-setting method several years ago. The document explicitly recognises that the complexity of its mission arises from the difficulty of deciding how much to devote to basic research in scientific disciplines on one hand, and how much to devote to research on specific diseases on the other (National Institutes of Health, 1997).
Denmark has a specific formula to define the balance. Over the last 10 years publicly

funded basic and project research has been balanced at a 60/40 ratio.

(…)
In principle there are two different ways of funding research in the public sector. These are normally categorised as “institutional” funding and “project” funding. Institutional funding refers to block funds that governments or funding agencies allocate to research-performing institutions annually. Institutions are free to use these funds in any way they see fit, as they do not come with strings attached. Basic research is normally funded by this mechanism.

(…)
Priority setting is “essentially a complex political process involving many people who interact with one another.

(…)
The concept of priorities is being broadened from “thematic” priorities to “structural” priorities, e.g. training of research personnel or balancing different kinds of funding instruments,

(…)
New approaches to decision-making processes are being adopted, including broadening of consultation processes that involve scientific experts together with policy, business and community representatives;

(…)
Ensuring the long-term sustainability of the research enterprise
The third challenge faced by governments is that of ensuring the long-term sustainability of the research enterprise as it adjusts to the pressures outlined above, namely the need to respond to a more diverse set of stakeholders and more effectively capitalise on emerging scientific and technological opportunities. Doing so implies ensuring adequate breadth of the research portfolio, insulating the science system from the business cycle and other rapid shifts in funding or interests, maintaining public confidence in the objectivity of the science system, and attending to needs for research infrastructure and human resources.

(…)
It is quite clear to countries that they have to maintain strong support for basic research in order not to lose, or even still to establish a strong science base. This support can take very different forms. Most OECD countries provide this support as institutional funding (…).

(…)
Also, increases in competitive funding levels relative to institutional funding can affect institutions’ capacity to conduct basic research as well as their science infrastructure investments. Such effects could be negative if public funding did not take account of the full costs incurred."

8. Excertos de "Cinco Anos de Actividades - Relatório 1997-2001", FCT - Fundação para a Ciência e a Tecnologia13


Novo modelo de avaliação e financiamento de unidades de I&D e avaliação internacional de 1996

Em 1996 foi definido um novo modelo de financiamento plurianual de unidades de investigação, baseado em critérios de responsabilização, avaliação independente internacional e estabilidade:

O financiamento plurianual foi reforçado, passando a ser composto por um Financiamento de Base (indexado ao número de investigadores doutorados e à classificação de avaliação da actividade relevante), e um Financiamento Programático Especial, relativo a algumas unidades em função das necessidades específicas detectadas pelos avaliadores.

No âmbito do financiamento plurianual de unidades de I&D passou a prever-se a possibilidade de recrutamento de doutorados, pela própria instituição, por um período até 3 anos (eventualmente renovável).

As unidades passaram a ter de dotar-se de contabilidade individualizada, de regras explícitas de designação da direcção científica, de planos e relatórios anuais de actividade e de uma comissão de aconselhamento externa, com participação internacional. Foram também encorajadas a promover auditorias externas periódicas à sua contabilidade.

A avaliação das unidades passou a ser feita por Painéis de Avaliação constituídos por cientistas estrangeiros, eventualmente coordenados por um cientista português que não avalia, e a incluir a interacção directa entre os avaliadores e elementos das unidades de investigação em visitas dos Painéis de Avaliação às unidades, ou, no caso de unidades novas, em sessões de apresentação das actividades das unidades aos Painéis de Avaliação.

As unidades são classificadas numa escala Excelente, Muito Bom, Bom, Regular e Fraco (ver Tabela 8.1 com a descrição da grelha de classificação em inglês). As classificadas com Fraco deixam de ser consideradas no programa. As outras vêem os seus financiamentos de investimento para o triénio seguinte redefinidos de acordo com os resultados das avaliações e as recomendações dos painéis de avaliação.

Tabela 8.1 – Grelha de classificação das unidades de I&D


Grades

Description

Excellent

Research activities at a high international level,

with publications in internationally leading journals

Very Good

Research activities at a good international level and at a high national level,

with publications in internationally leading journals

Good

Research activities at a high national level and at a fair international level,

with publications in internationally well-known journals

Fair

Research activities at a fair national level,

with publications only partially in internationally well-known journals

Poor

Research activities of insufficient quality


A distribuição das unidades classificadas com Excelente, Muito Bom, Bom, Regular e Fraco foi na proporção de, respectivamente, 16%, 28%, 31%, 19% e 6%, tendo o Programa passado a envolver 254 unidades.

O novo modelo de avaliação e financiamento estabeleceu que o financiamento de base por doutorado integrado em cada unidade de investigação corresponde a valores decrescentes definidos para três escalões de financiamento, agrupando-se no primeiro escalão as unidades classificadas com Excelente ou Muito Bom, considerando o segundo escalão constituído pelas unidades classificadas com Bom e prevendo um financiamento por doutorado para estas unidades de menos 1/6 do considerado para o primeiro escalão, e considerando o terceiro escalão constituído pelas unidades classificadas com Regular e com um financiamento por doutorado igual a 2/3 do considerado para o primeiro escalão.



Quanto ao financiamento programático, foi solicitado aos painéis de avaliação que o propusessem para as unidades onde a sua atribuição tivesse um elevado potencial para conduzir a uma actividade de investigação de elevada qualidade significativamente acrescida, independentemente das classificações de qualidade geral atribuídas. Na verdade, este financiamento não deve ser atribuído como prémio às unidades de melhor qualidade, mas como instrumento para obter resultados de investigação acrescidos de elevada qualidade internacional. Em resultado da avaliação e das propostas de financiamento associadas, verificou-se que houve unidades classificadas com Excelente que não receberam financiamento programático, assim como houve unidades classificadas com Bom e com Regular que receberam este tipo de financiamento. Mais precisamente, o financiamento programático foi atribuído a, respectivamente, 81%, 69%, 41%, 20% das unidades classificadas com Excelente, Muito Bom, Bom, Regular e Fraco, sendo a correspondente fracção do financiamento programático total atribuído, respectivamente, 36%, 47%, 14%, 3%, pelo que 83% do financiamento programático total foi atribuído a unidades nos dois níveis de apreciação global mais elevados. Como as unidades classificadas com Excelente são um pouco mais de metade das classificadas com Muito Bom, verificou-se que o financiamento programático foi mais significativo para as unidades com a classificação mais elevada.

(…)


É de notar que o financiamento em curso e a reorganização das unidades, com base nas recomendações de peritos externos com experiência de avaliação científica além de ter possibilitado a implementação de um modelo estável de financiamento plurianual de base e programático das unidades de investigação, tem conduzido à endogenização de práticas de avaliação e acompanhamento, de uma forma que tem promovido uma "cultura de rigor e qualidade", num contexto de uma crescente e exigente internacionalização.

Desde 1996, as unidades de investigação foram avaliadas com base em critérios internacionais de referência, por painéis de cientistas estrangeiros, envolvendo a análise de relatórios e planos de actividades, e visitas a todas as unidades.

(…)


A distribuição das unidades avaliadas em 1999 pelos níveis de classificação de qualidade global, Excelente, Muito Bom, Bom, Regular e Fraco, foi, respectivamente, 20%, 38%, 25%, 13%, e 4%.

(…)


No que respeita à relação da dimensão das unidades com a respectiva classificação, os resultados mostram que, apesar do aumento unidades com mais de 10 doutorados, Figura 8.7, o escalão com maior fracção unidades classificadas com Excelente continua a ser o de dimensão entre 10 e 15 doutorados.

Figura 8.7  Evolução da distribuição da dimensão das unidades de investigação

em número de doutorados (unidades avaliadas em 1999) .

(Fonte: Relatório da Avaliação das Unidades de I&D – 1999)



(…)

Financiamentos de Base e Programático

Os resultados da avaliação traduzem-se na atribuição de financiamentos de Base e Programático, de acordo com o modelo de avaliação e financiamento definido em 1996.


A metodologia usada para a definição do Financiamento de Base segue os princípios em vigor desde 1996, estabelecendo uma diferenciação moderada de financiamento entre os vários níveis de apreciação global das unidades, uma vez que se considera ser mais apropriado que a diferenciação entre grupos de investigação seja feita na base competitiva associada aos concursos para projectos de I&D e concessão de bolsas, assim como na concessão, ou não, a unidades de investigação, de financiamento plurianual e/ou da sua componente programática.

(…)


A atribuição de Financiamento Programático também seguiu a metodologia de 1996, baseando-se nos quantitativos propostos pelos avaliadores. No entanto, estas recomendações não se suportaram na análise detalhada de aspectos financeiros, nem no financiamento global disponível, pelo que tiveram naturalmente de ser ajustadas, mais uma vez com base em procedimentos semelhantes aos implementados em 1996. De facto, as indicações dos avaliadores conduziram a uma razão entre o Financiamento Programático global para três anos e o Financiamento de Base de cerca de 2,4, razão que, por razões orçamentais, não poderia exceder 1,5.

Parece indicado que em avaliações futuras, seja atribuído a cada painel de avaliação um plafond de financiamento programático para três anos a aplicar ao conjunto das unidades a considerar por esse painel, no valor aproximado de 1,5 vezes o financiamento de base anual aplicável à totalidade das unidades de investigação consideradas pelo mesmo painel, e solicitar ao painel de avaliação que limite ao plafond definido as suas recomendações de financiamento programático total para todas as unidades consideradas. Ao restringir os montantes totais de financiamento programático às ordens de grandeza que foi possível aplicar na sequência das avaliações de 1996 e 1999 aumenta-se a racionalidade das decisões de atribuição deste tipo de financiamento feitas com base nas recomendações dos painéis de avaliação.

(…)


Os resultados da avaliação [de 1999] traduziram-se numa nova distribuição de financiamento plurianual para o período de três em três anos 2000-2002. A respectiva repartição por grupos de áreas científicas é ilustrada na Figura 8.8.

Figura 8.8  Distribuição relativa do total do Financiamento Plurianual

(Base e Programático) por grupos de áreas cientificas,

definido após a avaliação de 1999, unidades avaliadas em 1999/2000

(Fonte: Relatório da Avaliação das Unidades de I&D – 1999)

Com o Programa de Financiamento Plurianual de Unidades de I&D promoveu-se a organização das actividades científicas e tecnológicas universitárias numa malha básica de unidades de investigação da iniciativa dos próprios investigadores, com fronteiras flexíveis que se ajustam naturalmente na actualização anual de equipas de investigação, e mais profundamente de três em três anos em resultado das avaliações internacionais promovidas pela FCT, e que recebem financiamentos que lhes são exclusivamente destinados em função dos resultados das avaliações externas.



Esta forma de organização institucional das actividades científicas e tecnológicas universitárias assegura unidades com muito maior flexibilidade, dinamismo, coesão e capacidade estratégica do que os departamentos universitários tradicionais, e permite constituir unidades interdisciplinares e interdepartamentais, ao mesmo tempo que contempla a interlocução directa entre os líderes das unidades de investigação e a FCT, com o consequente acréscimo de responsabilização e empenho, e de reforço das unidades de investigação e dos investigadores no meio universitário.

O sistema de organização, financiamento e avaliação da investigação universitária assim adoptado em Portugal tem características claramente vantajosas relativamente a muitos dos sistemas de organização, financiamento e avaliação adoptados noutros países:

  Os sistemas que consideram apenas centros de excelência ou com missões específicas, alienando a possibilidade de estímulo, responsabilização e orientação da maior parte do sistema científico e tecnológico de base universitária pelas entidades com a responsabilidade da coordenação da política científica e tecnológica, e deixando-as às próprias instituições universitárias;

   Os sistemas onde a avaliação e o financiamento institucional da investigação científica universitária são dirigidos aos departamentos universitários, frequentemente não os avaliando na totalidade, mas considerando fracções (muitas vezes minoritárias) decididas pelos próprios departamentos, onde além do desajuste entre as unidades orgânicas consideradas e a sua constituição - claramente inconveniente de um ponto de vista de gestão organizacional - fica dificultada a organização científica interdisciplinar e interdepartamental, são envolvidos interlocutores intermediários entre a entidade de avaliação e financiamento e os investigadores, ficam diluídas as responsabilidades e não são directamente estimuladas as lideranças científicas;



   Os sistemas que envolvem uma matriz nacional de centros de investigação localizados junto às universidades, mas dependentes funcionalmente de uma estrutura nacional central com quadros próprios de investigadores e regras de gestão unificadas, que resultam em estruturas relativamente rígidas e dificilmente modernizáveis.”

1 Ênfase em negrito (bold) meu.

2 Por exemplo, no Reino Unido foi formalmente constituída em Junho de 2002 uma comissão alargada de cientistas para análise do processo de avaliação e financiamento em vigor e preparação de propostas de alteração. Esta comissão recorreu à obtenção de opiniões de uma amostra da comunidade científica reunida em “workshops” que se realizaram em Dezembro de 2002 e teve-as em conta na preparação das suas conclusões. O relatório da comissão foi publicado em Maio de 2003, altura em que foi aberto um processo de consulta pública até ao fim de Setembro de 2003. Depois de analisadas as contribuições foi preparado um novo sistema que ficou estabelecido em Fevereiro de 2004, para ter efeito na avaliação de 2008 e no consequente financiamento.

3 No sistema do Reino Unido, para unidades com na mesma classificação de qualidade atribuídas por painéis de avaliação constituídos por cientistas das áreas correspondentes, considerando todas as áreas científicas o mínimo financiamento por investigador que uma unidade pode receber é 63% (aproximadamente 2/3) de uma unidade que receba o máximo.

4 No sistema do Reino Unido, uma unidade com a classificação máxima (escalão 5*) nunca pode receber por investigador menos de 90% do montante atribuído a unidades com classificação do escalão imediatamente inferior (escalão 5) de qualquer das áreas científicas, e recebe pelo menos 170% do montante atribuído a unidades com classificação dois níveis abaixo (escalão 4).

5 No sistema do Reino Unido, cada “research assessment unit”, equivalente para efeitos de avaliação e financiamento a uma nossa unidade de investigação, indica os seus investigadores que pretende considerar elegíveis, o que, naturalmente, tem consequências para a classificação de qualidade pelos painéis de avaliação.

6 O relatório, publicado em Janeiro de 1998, foi preparado por uma comissão internacional constituída em 1997 pela DFG – Deutsche Forschungsgemeinschaft, a entidade alemã análoga da FCT – Fundação para a Ciência e a Tecnologia, na sequência de um caso de fraude científica na área da investigação biomédica com grande impacto na comunidade científica internacional e na opinião pública do país.

7 O relatório foi preparado por uma comissão presidida por Sir Gareth Roberts por solicitação, em Junho de 2002, dos quatro Higher Education Funding Councils do Reino Unido (England: HEFCE, Scotland: SHEFC, Wales: HEFCW, Northern Ireland: NIHEC), e foi posto a consulta pública de Maio a Setembro de 2003.

8 Este relatório foi preparado por Steven Wooding and Jonathan Grant da RAND Europe por solicitação da comissão presidida por Sir Gareth Roberts cujo relatório foi objecto da secção precedente. Contém os resultados de “facilitated workshops” que tiveram lugar com académicos e gestores de ciência do Reino Unido em Dezembro de 2002.

9 Nota minha: O processo de avaliação e financiamento em vigor no Reino Unido, desde 1992, prevê que cada “assessment unit” indique quais investigadores devem ser considerados elegíveis para efeito de avaliação e financiamento. Como o financiamento, em cada escalão, é proporcional ao número de investigadores considerados, as unidades procuram incluir mais ou menos investigadores conforme as suas expectativas do resultado final de financiamento resultante do equilíbrio entre um maior número de investigadores e os seus efeitos numa inferior classificação de qualidade, e conforme a importância que atribuem ao prestígio alcançado com classificações elevadas de qualidade (neste caso adptando por uma diminuição do número de investigadores indicados para avaliação). Chegou a haver unidades que indicaram menos de 20% dos seus membros. As mudanças propostas em 2003 incluem a obrigatoriedade de inclusão de pelo menos 80% do total dos membros de cada unidade para efeitos de avaliação e financiamento.

10 Higher Education Funding Council for England.

11 Principalmente determinado pelo número de investigadores indicados pela unidade para avaliação e financiamento.

12 Relatório da OCDE de 29 de Setembro de 2003.

13 Editor: Observatório das Ciências e das Tecnologias, 2002.






©aneste.org 2017
enviar mensagem

    Página principal