Title: Metody pro evaluaci v
1Metody pro evaluaci výsledku VaV - follow up
Doc. MUDr. Ivan Pohl, CSc.
- Vzdelávánà pracovnÃku VaV MU a VFU Brno
v endoskopických - vyÅ¡etrovacÃch technikách a endoskopicky
asistované miniinvazivnà chirurgii - s využitÃm nových materiálu
- Tato prezentace je spolufinancována Evropským
sociálnÃm fondem a státnÃm rozpoctem Ceské
republiky.
2Hodnocenà vedy a výzkumu
- Výkon individuálnà nebo kolektivnÃ
- Kvalitativnà hodnocenà nebo kvatitativnÃ
3RVVI
- Rady pro výzkum, vývoj a inovace (RVVI) jako
poradnÃho orgánu vlády a Grantové agentury CR - Ministerstva jsou správnà orgány oprávnené
poskytovat podporu ze státnÃho rozpoctu
4Grantová agentura CR
- vyhlašuje verejné souteže ve výzkumu a vývoji na
podporu grantových projektu základnÃho výzkumu - Projekty
- (1) standardnà grantový projekt
- (2) postdoktorský grantový projekt
- (3) bilaterálnà grantový projekt.
5Metody pro hodnocenà vedy a výzkumu (Ráb P.,
Kadlecová I Inforum 2008 )
- 1. ranking
- 2. benchmarking
- 3. rating benchmarking
6A Directory of Evaluation Methods Relevant to
Technology Development Programs (USA)
- Peer Review/Expert Judgment
- Monitoring, Data Compilation, and Use of
Indicators - Bibliometrics counts and citation analysis
- Bibliometrics data mining
- Bibliometrics hotspot patent analysis
- Network Analysis
- Case Study Method Exploratory, Descriptive, and
Explanatory - Survey Method
- Benchmarking Method
- Technology Commercialization Tracking Method
- Benefit-Cost Case Study
- Econometric Methods
- Historical Tracing
- Spillover Analysis.
7Zdroje dat pro bibliometrické metody
- Polytematické
- Science Citation Index
- Scopus
- Scholar Google
- Oborové
- databáze Medline
- astronomie, fyzika, NASA-ADS
- medicÃnský citacnà index Národnà lékarské
knihovny - Specializované
- patentový citacnà rejstrÃk Derwent, STN
Internat., Dialoq - Web of Science
- Journal Citation Reports
- RIV
- ASEP
8Informacnà systém výzkumu, vývoje a inovacà (IS
VaV)
- RIV - registr informacà o výsledcÃch výzkumu a
vývoje. - ASEP Automatizovaný Systém Evidence Publikacà a
dalÅ¡Ãch typu výsledku pracoviÅ¡t AV CR
9Databáze
- Web of Science (WoS)
- SCOPUS - Scopus Citation Tracker
- review citations to a particular author.
- review the citations in a particular field.
- Use the refine box to view a summary of citing
documents
10 Analýza casopisu
- Journal of Citation Reports
- Celkem je vyhodnocováno asi 9100 casopisu od 2200
nakladatelu ze 78 státu, zahrnujÃcÃch asi 230
vednÃch oboru. - Journal Impact Factor
- pomer poctu citacà v hodnoceném roce na všechny
clánky publikované v daném casopise za predchozÃ
dva roky, k celkovému poctu všech techto clánku
11Analýza casopisu
- Immediacy Index
- Citacnà polocasy
- Opatrnost pri interpretaci výsledku
bibliometrické analýzy !
12Problémy citacnÃch indexu
- citacnà zvyklosti v jednotlivých oborech se liÅ¡Ã,
- smysl má porovnávat stejné obory,
- mezioborové práce majà obvykle vyššà citovanost,
- vysokou citovanost majà práce z úzkého oboru,
- citacnà mafie (gangy),
- vysokou citovanost majà prehledové a metodické
clánky, - nezasloužená citovanost (šéfové, drobná
spolupráce), - negativnà citace má stejnou váhu jako pozitivnÃ,
- dobrá práce prejde do referátového clánku, který
je citován, - autocitace (tvorà cca 1/3 vÅ¡ech citacÃ),
- velmi dobré publikace majà desÃtky, výjimecné
stovky citacÃ, - znevýhodnenà popularizátoru vedy.
13Metodika hodnocenà výsledku výzkumných organizacÃ
- Úvod
- Hodnocenà výsledku výzkumných organizacÃ
- Hodnocenà výsledku programu výzkumu, expr. vývoje
a inovacà ukoncených v r. 2009 a 2010 - Pravidla overitelnosti vykazovaných výsledku
- Renormalizace bodového ohodnocenà a pravidla
rozdelovánà institucionálnÃch prostredku
výzkumných organizacà a stanovenà financnÃ
hodnoty bodu, - Záver a PrÃlohy.
14HodnotÃcà kritéria pro výber projektu TACR
- Binárnà kritéria ano ne (ne znamená automaticky
vyrazenà projektu) - Navrhovaný projekt je projektem aplikovaného
výzkumu nebo experimentálnÃho vývoje - Návrh projektu je v souladu s cÃli programu a
podprogramu - Podstata návrhu projektu nebo jejà cásti nebyla
reÅ¡ena v rámci jiného projektu, atd. - PrÃjemce prokázal požadovanou spoluúcast pri
financovánà - PrÃjemce prokázal, že projekt bude generovat
alespon 1 aplikovaný výsledek z množiny
podporovaných výsledku, který bude realizován v
praxi do 3 let od ukoncenà projektu
15HodnotÃcà kritéria pro výber projektu TACR
- Bodovaná kritéria
- Kapacity výzkumného týmu (max. 10 bodu, prahová
hodnota 5 bodu) Prokázánà odborné zpusobilosti
rešitelu, znalost rešenà analogických problému v
zahranicÃ, porovnánà reÅ¡enà se stavem v CR a ve
svete - Ocekávané prÃnosy projektu z hlediska cÃlu
programu (max. 20 bodu, prahová hodnota 10 bodu)
Novost reÅ¡enÃ, aplikacnà potenciál, výsledku
projektu, celková úroven a komplexnost reÅ¡enà - Existence významných tržnÃch prÃležitostà a
schopnost techto prÃležitostà využÃt (max. 20
bodu, prahová hodnota 10 bodu) - Znalost
relevantnÃho trhu pro uplatnenà výsledku. atd. - atd. celkem 7 bodu a 18 podbodu
- Jde o mix kritérià ryze odborných, technických a
ekonomických. CÃl je posÃlenà ceské ekonomiky a
minimalizovat rizika neúspeÅ¡ného reÅ¡enÃ.