Medizinisch-biowissenschaftliche Datenbanken und der Impact-Faktor

 

 Buy Article Permissions and Reprints

Hintergrund: Der im Journal Citation Report (JCR) publizierte Impact-Faktor (IF) ist ein Maß für die Häufigkeit, mit der medizinische Fachzeitschriften zitiert werden. Die daraus gezogenen Rückschlüsse auf die Verbreitung einzelner Zeitschriftenartikel werden weltweit häufig für akademische Bewertungen verwendet. Auf Grund dieser Wichtigkeit ist der IF oft Gegenstand internationaler Diskussionen, auch vor dem Hintergrund, dass hauptsächlich ein begrenzter Pool von Datenbanken (Science Citation Index, SCI) für seine Berechnung herangezogen wird.

Fragestellung: Woraus besteht die Datenbasis des IF? Ist der IF für eine objektive Bewertung medizinischer Fachzeitschriften ausreichend?

Methodik: Vergleichende Recherche in 38 Einzeldatenbanken (SCI, MEDLINE [ME], EMBASE [EM)], BIOSIS Previews [BA] und andere) sowie Datenbank-Kombinationen.

Ergebnisse: 1. Zeitschriften mit hohem IF (≥ 1) wurden fast vollständig im SCI gefunden (98 %), in anderen Datenbanken nur in geringerem Anteil (ME, EM, BA je 60 %). 2. Umgekehrt waren bei drei Probemengen deutschsprachiger Zeitschriften 90 % der in SCI häufig indexierten Periodika auch im JCR vertreten, bei den in ME, EM und BA, aber nicht in SCI erfassten nur 23,5-57 %. 3. Die hochgerechnete mittlere Ergiebigkeit (Basis:18 Recherchen in Publikationstiteln) bei medizinisch-biowissenschaftlichen Fragestellungen liegt für die produktivsten Einzeldatenbanken bei: SCI = 34 %, ME = 27 %, EM = 33 %, BA = 25 %; bei Datenbankkombinationen: SCI + ME = 44 %, SCI + ME + EM = 55 %, SCI + ME + EM + BA = 65 %, jeweils bezogen auf die in einer 38-Datenbanken-Kombination auffindbaren Publikationshinweise. Die Nutzungskosten steigen in der Reihe ME < EM < SCI < BA < Derwent, CAS.

Folgerungen: 1. Die Zitationsanalyse des IF erscheint vor allem im Hinblick auf deutschsprachige Zeitschriften eingeschränkt. Bewertungen der Publikationsleistung auf dieser Basis sollten daher ergänzenden Korrekturverfahren unterworfen werden. 2. Recherchen in Einzeldatenbanken, auch SCI, führen nur zu orientierenden Ergebnissen. Bei Anspruch auf größtmögliche Vollständigkeit sollten Datenbank-Kombinationen verwendet werden.

Biomedical databases and the journal impact factor

Background: Citation frequencies of medical journals are measured by the Journal Impact Factors (IF) published annually in the Journal Citation Report (JCR). Conclusions drawn from IF concerning the distribution of single journal articles are used world-wide for academic evaluation purposes. Because of this importance, IF are widely and controversially discussed, also regarding their derivation from a limited pool of databases (Science Citation Index, SCI).

Objective: To determine the comprehensiveness of IF’s data basis by testing (i) SCI’s sources, (ii) SCI’s output. Are the IF sufficient for an objective evaluation of medical journals?

Methods: Comparative searches in 38 databases and their combinations (SCI; MEDLINE [ME]; EMBASE [EM]; BIOSIS Previews [BA] and other relevant systems).

Results: (i) Journals with higher IF (≥ 1) are almost completely retrievable in SCI (98 %), but only approx. 60 % in ME, EM, BA. (ii) Reverse: three samples of mainly German-language journals frequently indexed in SCI were represented in JCR by 90 %; but only 23,5-57 % of sample periodicals had an IF when indexed in ME, EM and BA, but not in SCI. (iii) Compiled average search results in the most productive databases in 18 biomedical queries, when titles were searched: SCI = 34 %, ME = 27 %, EM = 33 %, BA = 25 %; and, when combined: SCI + ME = 44 %, SCI + ME + EM = 55 %, SCI + ME + EM + BA = 65 %, compared to the results in a 38-databases cluster. Costs increase in the order ME < EM < SCI < BA < Derwent, CAS.

Conclusions: (i) The citation analyses presented in JCRs appear limited especially regarding German-language biomedical journals. Evaluation of publications based on IF therefore should be complemented by corrective measures. (ii) Single-database searches, including SCI, at best render orientating results; database combinations are recommended when higher completeness is required.

Literatur

• 1 Anonym. Le facteur d’impact: »Audimat« valable des revues scientifiques? (Editorial).  Ann Franc Anesth Reanim. 1995;  14 247-248
  Google Scholar
• 2 Anonym. Glued to the screen: An investigation into information addiction world-wide. Reuters Ltd, London 1997
  Google Scholar
• 3 Antes G, Rüther A, Kleijnen J. Die Cochrane Collaboration. Erstellung, Aktualisierung und Verbreitung systematischer Übersichtsarbeiten.  Münch Med Wschr. 1996;  138 829-832
  Google Scholar
• 4 Arbeitsgemeinschaft der wissenschaftlichen medizinischen Fachgesellschaften (AWMF) .Resolution Impact Faktor. AWMF Online. Internet URL http://www.uni-duesseldorf.de/WWW/AWMF/res/res-impf.htm
  Google Scholar
• 5 Arbeitsgemeinschaft der wissenschaftlichen medizinischen Fachgesellschaften (AWMF) .AWMF-Kommission »Bibliometrie« zum Impact-Faktor: Fachgesellschaften sind zur Benennung wichtiger wissenschaftlicher Zeitschriften aufgefordert. AWMF Online. Internet URL http://www.uni-duesseldorf.de/WWW/AWMF/mb/mitt9710.htm
  Google Scholar
• 6 Arbeitsgemeinschaft der wissenschaftlichen medizinischen Fachgesellschaften (AWMF) .Vorschlag zur Verwendung des »Impact Factor«. AWMF Online. Internet URL http://www.uni-duesseldorf.de/AWMF/bimet/impa-emp.htm
  Google Scholar
• 7 Bador P, Petit O. Facteur d’impact et indexation dans les bases de donnees bibliographiques: comparaison des ces deux criteres de qualite pour l’evaluation des revues pharmaceutiques.  Journal de Pharmacie Belgique. 1998;  53 71-80
  Google Scholar
• 8 Barillot M J, Sarrut B, Doreau C G. Evaluation of drug interaction document citation in nine on-line bibliographic databases.  Ann Pharmacother. 1997;  31 45-49
  Google Scholar
• 9 Barnaby D P, Gallagher E J. Alternative to the Science Citation Index impact factor as an assessment of emergency medicine’s scientific contributions.  Ann Emergency Med. 1998;  31 78-82
  Google Scholar
• 10 Behles C, Schweim H G. Informationsflut - wo ist die Arche?.  Dtsch Apothekerz. 1999;  6 623-627
  Google Scholar
• 11 Benitez-Bribiesca L. The impact factor of medical journals: Its use and misuse (Editorial).  Archiv Med Res. 1999;  30 161-162
  Google Scholar
• 12 Brody S. Impact factor as the best operational measure of medical journals (Letter; Comment).  Lancet. 1995;  346 1300-1301
  Google Scholar
• 13 DIMDI Deutsches Institut für Medizinische Dokumentation und Information (DIMDI) .Internet-Einstieg Datenbank-Recherche (Datenbank-Kurzbeschreibungen. grips-Kommandos. Infomaterial). Internet URL http://www.dimdi.de/
  Google Scholar
• 14 DIMDI (Kaiser D) .Online Bibliometrie mit grips. 1995
  Google Scholar
• 15 Farriol M, Jorda-Olives M, Padro J B. Bibliographic information retrieval in the field of artificial nutrition.  Clinical Nutrition. 1998;  17 217-222
  Google Scholar
• 16 Froemter E, Braehler E, Langenbeck U, Meenen N M, Usadel K H. Das AWMF-Modell zur Evaluierung publizierter Forschungsbeiträge in der Medizin.  Dtsch Med Wschr. 1999;  124 910-915
  Google Scholar
• 17 Gallagher E J, Barnaby D B. Evidence of methodological bias in the derivation of the Science Citation Index impact factor.  Ann Emerg Med. 1998;  31 83-86
  Google Scholar
• 18 Garfield E. The significant scientific literature appears in a small core of journals.  Scientist. 1996;  10 17
  Google Scholar
• 19 Garfield E. How can impact factors be improved? BMJ (Clin. Res.  Ed.). 1997;  313 411-413
  Google Scholar
• 20 Garfield E. Der Impact Faktor und seine richtige Anwendung (Editorial; Kommentar).  Unfallchirurg. 1998;  101 413-414
  Google Scholar
• 21 Garfield E. Citation-based and descriptor-based search strategies. Internet URL http://www.isinet.com/hot/essays/3.html
  Google Scholar
• 22 Garfield E. The Impact Factor. Internet URL http://www.isinet.com/hot/essays/7.html
  Google Scholar
• 23 Garfield E. Using the impact factor. Internet URL http://www.isinet.com/hot/essays/8.html
  Google Scholar
• 24 Golder W. Der Impact Faktor: eine kritische Analyse.  Fortschr Roentgenstr. 1998;  169 220-226
  Google Scholar
• 25 Haynes R B, Wilscynski N, McKibbon K A, Walker C J, Sinclair J C. Developing optimal search strategies for detecting clinically sound studies in MEDLINE.  J Am Informatics Ass (JAMIA). 1994;  1 447-458
  Google Scholar
• 26 Haller U, Hepp H, Reinold E. Tötet der »Impact Factor« die deutsche Sprache? (Editorial).  Gyn-geburtsh Rundsch. 1997;  37 117-118
  Google Scholar
• 27 Hamilton D P. Publishing by - and for? - the numbers.  Science. 1990;  250 1331-1332
  Google Scholar
• 28 Hecht F, Hecht B K, Sandberg A A. The journal »impact factor«: A misnamed, misleading, misused measure.  Cancer Gen and Cytogen. 1998;  104 77-81
  Google Scholar
• 29 Herfarth C, Schuermann G. Deutsche klinische Zeitschriften und der Impact Faktor (Editorial).  Chirurg. 1996;  67 297-299
  Google Scholar
• 30 ISI .Web of Science. ISI citation databases - a sitewide solution. Internet URL http://www.isinet.com/products/citation/wos.html
  Google Scholar
• 31 ISI .Science Citation Index. Science Citation Index Expanded(TM). SciSearch. Internet URL http://www.isinet.com/products/citation/citsci.html
  Google Scholar
• 32 Kämper U, Wolff C. Free MEDLINE und die Nebenwirkungen. grips-News (DIMDI Newsletter) 1998. Internet URL http://www.dimdi.de/germ/nesgerm/news983d.htm
  Google Scholar
• 33 Kleijnen J, Knipschild P. The comprehensiveness of MEDLINE and EMBASE computer searches. Searches for controlled trials of homoeopathy, ascorbic acid acid for common cold and gingko biloba for cerebral insufficiency and intermittent claudication. Pharmac Weekbl.  Scientific Ed. 1992;  14 316-320
  Google Scholar
• 34 Korevaar J C, Moed H F. Validation of bibliometric indicators in the field of mathematics.  Scientometrics. 1996;  37 117-130
  Google Scholar
• 35 Korwitz U. Welchen »Rang« hat ein Wissenschaftler.  Nachr Dok. 1995;  46 267-272
  Google Scholar
• 36 Linardi P M, Coelho P M, Costa H M. The »impact factor« as a criterion for the quality of scientific production is a relative, not absolute, measure.  Brazil J Med Biol Res. 1996;  29 555-561
  Google Scholar
• 37 Lindner U K, Oehm V. Die Magie des Impact Faktors - Enttarnung eines Phänomens (Editorial).  HNO. 1997;  45 953-954
  Google Scholar
• 38 Meenen N M. Der Impact-Faktor - ein zuverlässiger scientometrischer Parameter?.  Röntgenpraxis. 1998;  51 266-271
  Google Scholar
• 39 Oestern H, Probst J. Zur Verwendung des Impact-Faktors als Maß wissenschaftlicher Leistungen. Beschluss des Präsidiums der Deutschen Gesellschaft für Unfallchirurgie vom 21.06.1997.  Unfallchirurg. 1997;  100 838
  Google Scholar
• 40 Pendlebury D A. Science, citation, and funding (Letter).  Science. 1991;  251 1410-1411
  Google Scholar
• 41 Porta M. The bibliographic »impact factor« of the Institute of Scientific Information: how relevant is it really for public health journals?.  J Epidemiol Commun Health. 1996;  50 606-610
  Google Scholar
• 42 Rovers J P, Janosik J E, Souney P F. Crossover comparison of drug information online database vendors: Dialog and Medlars.  Ann Pharmacother. 1993;  27 634-639
  Google Scholar
• 43 Schmieder R E, Martus P, Klingbeil A U. Reversal of left ventricular hypertrophy in essential hypertension: A meta-analysis of all randomised double-blind studies.  JAMA. 1996;  275 1507-1513
  Google Scholar
• 44 Schoonbaert D, Roelants G. Citation analysis for measuring the value of scientific publications: quality assessment tool or comedy of errors?.  Trop Med Int Health. 1996;  1 739-752
  Google Scholar
• 45 Schweim H G, Winkmann G. Qualitätssicherung wissenschaftlicher Informationen in Datenbanken.  Zeitschr ärztl Fortb Qualitätssich. 1998;  92 723-728
  Google Scholar
• 46 Seglen P O. Causal relationship between article citedness and journal impact.  J Amer Soc Information Sci (JASIS). 1994;  45 1-11
  Google Scholar
• 47 Seglen P O. Citations and journal impact factors: questionable indicators of research quality.  Allergy. 1997;  52 1050-1056
  Google Scholar
• 48 Seglen P O. Why the impact factor of journals should not be used for evaluation research.  BMJ. 1997;  314 498-502
  Google Scholar
• 49 Seglen P O. Citation rates and journal impact factors are not suitable for evaluation of research.  Acta Orthop Scand. 1998;  69 224-229
  Google Scholar
• 50 Stegmann J. How to evaluate impact factors.  Nature. 1997;  390 550
  Google Scholar
• 51 Stegmann J. Building a list of journals with constructed impact factors.  J Documentation. 1999;  55 310-324
  Google Scholar
• 52 Stegmann J. Constructed Impact Factors (CIF) for journals not listed in the Journal Citation Report (JCR). 1999. Internet URL http://www.medizin.fu-berlin.de/medbib/CIF/cif.html
  Google Scholar
• 53 Stegmann J. Why not use Journal Impact Factors? EAHIL Online Newsletter 1999; 47. Internet URL http://www.eahil.org/newsletter/47/impact.htm
  Google Scholar
• 54 STN International .Cited References in CAPlus and CA. STNewsline 2000; No. 5 (European Edition, May 18). Internet URL http://www.fiz-karlsruhe.de/stn/stnewspd/archiv/newsl500.html
  Google Scholar
• 55 Stock W O. Web of Science: Ein Netz wissenschaftlicher Informationen - gesponnen aus Fußnoten.  Password. 1999;  7 21-25
  Google Scholar
• 56 Testa J. The ISI database: the journal selection process. Internet URL http://www.isinet.com/hot/essays/199701.html
  Google Scholar
• 57 Topfer L A, Parada A, Menon D, Noorani H, Perras C, Serra-Prat M. Comparison of literature searches on quality and costs for health assessment using the MEDLINE and EMBASE databases.  Intern J Technolo Assess in Health Care. 1999;  15 297-303
  Google Scholar
• 58 Winkmann G, Schweim H G. Medizinisch-biowissenschaftliche Datenbanken und der Impact Faktor. Langfassung, URL http://www.thieme-connect.com/BASScgi/4?Sprache=DE&FID=Start& NextFID=JournalTOC&JournalKey=18
  Google Scholar
• 59 Woods D, Trewheellar K. MEDLINE and EMBASE complement each other in literature searches (Letter; Comment).  BMJ. 1998;  316 1166
  Google Scholar

Korrespondenz

Prof. Dr. rer. nat. habil. H. G. Schweim

Deutsches Institut für Medizinische Dokumentation und Information (DIMDI)

Weisshausstraße 27

50939 Köln

Phone: 0221/ 4724-211

Fax: 0221/ 411429

Email: schweim@dimdi.de