Bibliometría y Ciencias Sociales Bibliometría y Ciencias Sociales| Abrir en ventana nueva |
En 1969 Alan Pritchard1 fué el primero que definió el término Bibliometría como
la aplicación de los métodos estadísticos y matemáticos dispuestos para definir los
procesos de la comunicación escrita y la naturaleza y el desarrollo de las disciplinas
científicas mediante técnicas de recuento y análisis de dicha comunicación
. El
tratamiento y manejo de la literatura científica por medios cuantitativos de recuento y
análisis sirve no solo para analizar el volumen de publicaciones, la productividad de
autores, revistas ó materias, sino también en un sentido más amplio, para el
conocimiento de los procesos y la naturaleza de las Ciencias, para el que a partir de 1960
comienza a acuñarse el término Cienciometría ó Ciencia de la Ciencia.
A través de la Bibliometría es posible ver la actividad, estructura y evolución de una ciencia, cuantificar sus resultados y aplicarlos en campos como la Biblioteconomía, la Historia de las disciplinas, la sociología de las ciencias o la política científica.
La bibliometría puede dividirse en dos áreas: descriptiva, que trata de aspectos puramente cuantitativos, como distribución geográfica, documental, temática y su productividad y evaluativa, que añade a la primera estudios de evaluación de la actividad científica. Esta segunda implica técnicas estadísticas y programas informáticos de mayor complejidad, teniendo que manejarse sus resultados con cuidado, sobre todo en las Ciencias Sociales, donde factores sociales, económicos y políticos actúan sobre los indicadores bibliométricos, desviando sus resultados.
Un indicador es un parámetro que se utiliza para evaluar cualquier actividad. Los resultados de las investigaciones de cualquier disciplina se transmiten en forma de publicaciones: libros, revistas, tesis doctorales, Actas de Congresos, informes etc. El tipo de publicaciones utilizadas para la comunicación entre especialistas, varía en las distintas ciencias. Mientras que en las llamadas Ciencias Puras el 80% se transmite a través de revistas, en las Ciencias Sociales y Humanas, predominan las monografías y compilaciones (del 50% al 80% según las áreas).
Las posibilidades de aplicación de los indicadores bibbliométricos están en relación directa con la informatización de los documentos y las ventajas ofrecidas por las Bases de Datos. Es necesario que dichas bases recojan adecuadamente la información, una de las razones por las que dichas técnicas han sido muy poco utilizadas en las Ciencias Sociales. Dadas las características más universales de las Ciencias "duras", su literatura se encuentra mucho mejor controlada en Bases de Datos internacionales de fácil acceso actualmente. El carácter menos internacional y más localista de los estudios sociales han contribuído a la dispersión de sus publicaciones, lo que dificulta cualquier análisis e impide conseguir óptimos resultados.
Otro problema reside en la falta de formación de los especialistas en Ciencias Sociales en matemáticas o estadística, lo que les ha hecho dar la espalda a estas técnicas, aduciendo los problemas de su aplicación e incluso manteniendo la imposibilidad de su uso en razón a las peculiaridades epistemológicas o metodológicas de determinadas ciencias como la Historia.
Sin embargo están claros los avances conseguidos a partir de métodos cuantitativos en el ámbito de las investigaciones históricas. La demografía histórica, la historia económica o la prosopografía son claro ejemplo de ello. No parece coherente excluir del tratamiento estadístico una disciplina social, tan "cualitativa" o "cuantitativa" en el ámbito de sus publicaciones como la economía, la educación o la sociología. El problema está en la forma de utilización de dichas técnicas bibliométricas, cuyas deficiencias, ya denunciadas desde áreas como la medicina ó la física para realizar análisis "cualitativos" están siendo en muchos casos, si no superados totalmente, sí mejorados por nuevas técnicas de análisis y nuevos indicadores gracias a las bases de datos relacionales.
Incluso un tema tan "cualitativo" e individual como el suicidio fué tratado por Durkheim a partir de técnicas estadísticas. La falta de control de las variables o la mala aplicación de los indicadores no es razón para invalidar un método reconocido y aplicado universalmente. Además la cuantificación no excluye otro tipo de análisis y una correcta interpretación de los resultados.
El objeto de estudio de la Bibliometría, ya lo hemos dicho, es similar para cualquier ciencia: los productos del pensamiento representados físicamente en los documentos, es decir, el conocimiento intelectual apoyado en soporte material (libros, revistas etc.). La posibilidad o no de contabilizar su producción, de evaluar la actividad investigadora o de realizar el "mapa" de una disciplina, es similar para todas las Ciencias.
Los indicadores sociales, políticos o económicos que afectan su valor están más allá de la simple productividad en todas ellas, siendo necesario un tipo de análisis ponderativo. La calidad científica es dificilmente objetivable, siendo los propios "colegas" o expertos los más idóneos para valorarla. Por supuesto, con los inconvenientes de parcialidad (simpatías, relaciones personales etc.)
Las Bases de datos bibliográficas, tanto en línea como en CD-ROM, constituyen una de las principales fuentes de información sobre las publicaciones. Las ventajas que aportan dichas Bases de Datos para la elaboración de estudios bibliométricos son las siguientes:
Antes de utilizar una Base de Datos para realizar un estudio bibliométrico hay que analizar su cobertura temática, geográfica y documental, sus criterios de indización etc. Cuanto mayor homogenenidad tenga mejores serán los resultados. Podemos encontrarnos con falta de uniformidad en los siguientes aspectos:
Las dificultades se acentúan cuando debemos manejar varias Bases de Datos con distinto nivel de tratamiento formal y de contenido. Además hay disciplinas como la Historia que por su carácter interdisciplinar requiere la consulta a muchas y variadas Bases, ya que existe un gran número de trabajos diseminados en publicaciones periódicas no específicas o de ámbito local.
Los indicadores, afirman algunos autores, solo son aplicables a aquellas fuentes que sean un buen reflejo de la actividad del área. Hay revistas de Ciencias Sociales de tipo divulgativo y trabajos coyunturales, de escaso nivel científico, que podrían tergiversar, de no ser contrastados, la realidad de una disciplina.
Veamos cuales son los principales indicadores bibliométricos para medir la literatura científica:
Los tipos básicos de publicaciones son:
La publicación de la literatura científica en unos y otros depende, como ya hemos dicho, de las disciplinas. En Ciencias Sociales el libro, y sobre todo la literatura gris, como Actas de Congresos, tienen aún mayor importancia que las revistas, y esto se acentúa en la Historia. Las razones fundamentales pueden ser:
Es cierto que muchas de las revistas donde publican los historiadores en nuestro país, son de baja calidad, tanto por su falta de normalización internacional, como por la escasa difusión y el carácter divulgativo de muchas de ellas. Sin embargo conviene recordar el importante papel que grandes y buenas revistas han jugado en la historiografía contemporánea. Sólo dos ejemplos :Annales para la historiografía francesa o Quaderni Storici para la italiana.
Uno de los indicadores más utlizados en el análisis bibliométrico de revistas es el de la distribución de revistas por temas, a partir de la aplicación de la ley de la dispersión de Bradford2 ,que permite además planificar racionalmente las políticas de adquisiciones. Los artículos sobre un tema se concentran en un número reducido de revistas y el resto en un serie más amplia de ellas, muchas sin conexión directa con la disciplina. Esta realidad está suficientemente demostrada en las Ciencias Sociales y sobre todo en Historia Contemporánea (La investigación sobre el franqusismo). Bradford distribuyó las revistas en zonas concéntricas descendentes en producción sobre una materia,a partir de un pequeño núcleo de revistas muy productivas. Se observaría que cada zona o grupo incluiría el mismo número de artículos que el núcleo, distribuídos en mayor número de revistas.
Respecto al aumento de la producción científica, Price3 formuló una ley según la cual el crecimiento de la ciencia es exponencial, siendo su ritmo más rápido que la mayoría de los fenómenos sociales. Mientras que la población se duplica cada 50 años, la literatura científica se convierte en el doble en 10 años. Como consecuencia de este crecimiento Price habla de la "contemporaneidad" de la Ciencia, lo que significa que el 87% de los científicos de todos los tiempos están vivos. Las críticas a Price postulan la existencia de un límite de saturación por razones socioeconomicas, políticas o culturales, que por otra parte aún no se vislumbra. Han cambiado muchos hábitos de publicación como la tendencia a la multidisciplinariedad o el aumento de colaboraciones, pero el crecimiento desmesurado de las publicaciones lleva a los responsables en política cientifica a realizar inversiones para "evaluar" y seleccionar toda esta litaratura.
El aumento de publicaciones es claro en cualquiera de las Ciencias Sociales, pero a la hora de evaluar una línea ascendente o descendente por años hay que tener en cuenta factores puntuales tales como modas historiógraficas o celebración de centenarios y conmemoraciones. La aparición y desaparición de títulos de revistas, tan sujetas en Ciencias Sociales a problemas económicos, desvirtúan en años el volumen de la producción científica.
Se mide a través del número de publicaciones producidas por un investigador, grupo de investigación, institución editora o país en un período de tiempo.
Los estudios de productividad por autores han sido investigados por Lotka4 y dan como resultado la existencia de un pequeño grupo de personas muy productivas al lado de un gran número que apenas publican.
Respecto a esto convendría hacer algunas matizaciones:
Entre los autores más productivos no todos tienen la misma consideración científica. Está claro que productividad no significa calidad. Es significativo incluso el hecho de que especialistas de renombre tengan muy escasa producción. Entrarían aquí factores de reconocimiento docente o profesional, ajenos a la Bibliometría.
Y conviene seguir relativizando, pues el "silencio" se debe en muchos casos a factores sociales y políticos externos a la valía intelectual. La existencia de grupos editoriales, revistas con una determinada línea historiográfica, consejos de redacción o grupos profesionales y universitarios vetan o acaparan el acceso a determinados medios de publicación.
Existe por otra parte en la sociedad actual una carrera desenfrenada por el "curriculum" que obliga a publicar sin tener que decir, a publicar oportunamente (centenarios, modas), a "publicar o morir"
Un estudio elaborado por Zuckerman5 sobre los premios Nobel dice que el 5.9% de sus trabajos fueron realizados antes de recibir el Nobel y el 2,9 seis años después. A través de las Bases de datos se puede comprobar la "vida productiva" de un autor, así como su "consideración" en la comunidad científica desde sus publicaciones en revistas de tipo local a su "consagración" en monografías de amplia tirada.
A través de la co-autoría de las publicaciones es posible también analizar el grado de colaboración de los autores. La tendencia general es el aumento de publicaciones de varios autores en revistas, aunque el porcentaje para Ciencias Sociales es muy inferior que en Ciencia y tecnología. Un trabajo referido a seis años de publicaciones en el ámbito universitario6 español da una tasa global de co-autoría en Ciencias Sociales del 0,39%, mientras que para las revistas españolas y en una temática concreta, el franquismo7, obtuvimos un porcentaje del 0,05%.
Además el índice de firmas/trabajo está en relación con cifras de apoyo estatal o privado y trabajos experimentales.Incluso se ha detectado mayor índice de colaboración entre los autores más productivos. El trabajo en colaboración es un indicador para detectar los llamados "colegios invisibles", grupos profesionales unidos por líneas de investigación, relaciones personales, de docencia etc.
El estudio de las instituciones públicas o privadas responsables y su tipología (comerciales, gubernamentales, academicas etc.) permite obtener un panorama sobre los "circuitos" de edición en los que se mueve una disciplina, pudiéndose ver qué instituciones y en qué medida son las de mayor productividad. Este tipo de análisis han sido utilizados por los responsables de la política científica de nuestro país para considerar subvenciones a Universidades y Centros de Investigación8
Los lugares de publicación, además de mostrar áreas geográficas más prolíficas, ayudan en la observación de tendencias "centralistas" o de "regionalización" en la investigación de un país.
Respecto a tesinas y tesis el análisis de los datos nos aportan no sólo aquellas Universidades, Facultades o Departamentos más productivos, sino también las líneas de investigación de cada una de ellas. Universidades, Facultades y Departamentos más productivos, así como la observación de las líneas de investigación
Uno de los aspectos más interesantes y al mismo tiempo de mayor dificultad en los análisis bibliométricos es el estudio de los temas y materias más o menos estudiadas en las distintas disciplinas. Ello permite descubrir la evolución de las corrientes investigadoras, y los aspectos de cada Ciencia que más o menos interesan a los especialistas.
Tres son los sistemas más utilizados para analizar las materias a través de las Bases de Datos:
Las Bases de Datos permiten realizar recuentos de palabras, eliminando los términos vacíos de contenido (artículos, preposiciones, conjunciones etc.) y analizar su frecuencia de aparición en títulos o incluso, cuando la Base de Datos los recoge, en los resúmenes. Técnicas más avanzadas, algunas en estudio, permiten análisis de co-ocurrencias, es decir, la frecuencia de aparición de unos términos junto a otros e incluso su valoración sintáctica o semántica.
En Ciencias Sociales los títulos en muchos casos no tienen correspondencia con el contenido, utilizándose a veces títulos sugestivos o impactantes, por razones generalmente comerciales.
Esto produce gran cantidad de información vacía de contenido o errónea, que desvirtúa las conclusiones.
La utilización de los descriptores,-conceptos que responden al contenido,-como indicador de temática, es a veces criticada por la carga de subjetividad que puede acarrear al ser consecuencia de la interpretación del indizador. No es tanta si se cuenta con un vocabulario controlado o tesauro y desde luego con la misma subjetividad se enfrenta un historiador ante un texto histórico. En cualquier caso los resultados del análisis de los descriptores nos dan una posibilidades de profundización temática que no es posible a través únicamente del título.
El carácter más genérico y jerárquico de las clasificaciones son también un inconveniente para la citada profundización. Una clasificación debe además tener homogeneidad, especialidad y probada eficacia en recoger todos los temas que pretendemos analizar. Una clasificación establecida a priori del análisis debe ser revisada o modificada una vez introducida la información, por no ajustarse a las nuevas tendencias o líneas de investigación que puedan ir surgiendo y que por otra parte son tan interesantes de detectar.
En el recuento de descriptores se está también utilizando el "co-word analysis" o "analisis de co-palabras", consistente en la observación de aquellos términos de indización que aparecen juntos en los documentos y que establecen entre sí "clusters" o relaciones temáticas mutuas. El Centre de Sociologie de L'Innovation de París ha desarrollado un programa LEXINET, de indización automática por ordenador sobre el texto completo de los documentos. La utilización de estos sistemas "expertos" en análisis terminológico permite elaborar "mapas de la ciencia" y conocer a través de los términos la estructura y dinámica de las diversas disciplinas.
Los aspectos temáticos más estudiados por la Bibliometría son:
El análisis de las citas que una publicación recibe de otras posteriores o de las referencias que una publicación hace de otras anteriores es otro de los indicadores más utlizados en Bibliometría a partir de los años 60.
Los análisis de citas suelen realizarse para medir la repercusión o impacto de una revista o de un autor. También ha sido utilizado para estudiar el grado de obsolescencia o envejecimento de la literatura científica, o través de las redes de citas conocer los llamados "colegios invisibles", grupos de profesionales o especialistas que se citan entre sí.
Un problema inseparable al crecimiento de la ciencia es el de la obsolescencia o envejecimiento de la literatura científica. Burton y Kebbler9 elaboraron el concepto de "vida media" o "semiperiodo", tiempo durante el cual fue publicada la mitad de la literatura activa circulante. La vida media puede interpretarse como la velocidad en que los documentos se vuelven obsoletos, es decir, dejan de tener impacto y difusión dientífica. Por ello, su medición se realiza a través de los años de publicación de la bibliografía citada en un momento dado. Se ha comprobado las diferencias tan acusadas que existen entre unas Ciencias y otras, desde 3,9 años de "vida media" para la Física, hasta 10 años en algunas Ciencias Sociales y Humanas, p.ej. la Historia, siendo tambien diferente este índice según las subáreas temáticas. Hay disciplinas con un gran número de citas de tipo "clásico" y otras muy actuales. Price elaboró un índice consistente en el porcentaje de referencias de menos de 5 años, que llegan al 50% en Ciencias duras y desciende al 20% o menos en las llamadas Ciencias del Espíritu.
Aunque Terradas y Lopez Piñeiro10 mantienen la misma obsolescencia en libros que en revistas (para Medicina), está por comprobar si esto sucede en Ciencias Sociales como la Historia, donde las citas de revistas suelen constituir un núcleo más actual o puntero, frente al carácter "clásico" de las monografías. Lo que no es posible es la comparación entre disciplinas dada su variable obsolescencia.
Los análisis de impacto de revistas se miden hoy mediante el cociente de citas que recibe una publicación y las referencias que emite en un período de tiempo11 . La longitud del período de tiempo varía según las disciplinas, siendo más valorable en general un impacto a largo plazo que significa más que una moda o la apertura de una línea de investigación, un reconocimiento permanente de la sociedad cientifica.
En los inicios Cole12 sugirió que el número de citas recibidas por un trabajo implicaba la "calidad" del documento. Esto está hoy en entredicho desde el punto de vista de la sociología de la Ciencia, pues aunque la cita puede representar un reconocimiento al valor profesional existen una serie de condicionantes sociales, políticos y económicos que distorsionan y subjetivizan dichos índices.
La obtención del indicador de impacto a través de las revistas llevó a Garfield a crear en 1972 el Science Citation Abstracts, repertorio que se viene utilizando internacionalmente como baremo de la repercusión y difusión de la literatura científica. La escasa presencia de revistas no anglosajonas y en concreto españolas en el área de Ciencias Sociales hace arbitraria su aplicación indiscriminada en la evaluación de los especialistas de nuestro país.
Solo a partir de índices de citas que contemplen la realidad de cada país y cada disciplina, así como la totalidad de publicaciones periódicas se puede hacer una valoración fiable de su impacto y difusión.
El mayor o menor número de citas por trabajo varía también enormemente según las Ciencias. En el estudio elaborado para Medicina13 se da como media 15 referencias por artículo de revista, mientras que en un reciente análisis realizado sobre la revista Trabajos de Prehistoria dicho porcentaje asciende a 38 citas por artículo. En cualquier caso, la dispersión es grande y de un 10% de los artículos (en Medicina) a un 7% (para Prehistoria) no tienen cita ninguna.
Dos factores que inciden de forma muy importante en los estudios de citas son la vida media de las publicaciones según las disciplinas y la tipología documental citada. En cuanto a lo primero conviene resaltar la peculiaridad de los trabajos históricos con un gran número de referencias muy antiguas, aquellas que se refieren a las propias fuentes primarias de investigación, lo cual se acentúa en Historia moderna y contemporanea, y otro bloque que representan las citas a especialistas o "colegas",cuya obsolescencia es por supuesto menor y similar al resto de las Ciencias Sociales. Aunque existen muy pocos estudios de referencias en Historia, un trabajo publicado en 197214 sobre 7.000 articulos de Historia Inglesa daban un 25% de citas anteriores a 1800 para la Edad Moderna (fuentes primarias) y un 22% de trabajos publicados entre 1960 y 1970, último año recogido. Para Historia Contemporánea en cambio las publicaciones del XIX representaban el 48%, mientras que para 1960-70 las citas eran el 13,8%. Este mismo trabajo daba un 34% de monografías citadas frente a un 21% de revistas. En Química por el contrario se citan un 92,7% de artículos frente a un 5,2% de monografías.
Aunque no hay duda de que cualquier trabajo con citas se revaloriza, y que una publicación muy citada implica un impacto, hay factores y variables, aparte las diferencias disciplinares reseñadas, que pueden ser entre otros:
Por último, es posible descubrir "redes de citas" entre revistas que se citan entre sí, así como el análisis de co-citas: dos documentos que son citados conjuntamente por un tercero. Ello nos permite analizar los llamados "colegios invisibles", término anglosajón recogido del primer Colegio Invisible histórico, la Royal Society de Londres a mediados del S.XVII. Las redes de citas han sido estudiadas por Price16 , interesando sobre todo a los sociólogos. Kaplan17 y Morton18 publicaron trabajos sobre citas para ver el comportamiento de la comunidad científica.
Crane19 realizó un interesante trabajo analizando los diferentes tipos de relaciones entre los especialistas de un tema concreto: la sociología rural. Llegó a un modelo de "colegio invisible" que suponía una estrecha relación entre los científicos de la red y su productividad ocupando las posiciones centrales o "cabezas" del colegio los autores de más alta producción y "visibilidad", que actúan de receptores y difusores de la información. Las relaciones establecidas entre los componentes de un "colegio" implican además de una misma línea de investigación, relaciones jerárquicas maestro-discípulo (direccion de tesis o proyectos), institucionales, e incluso ideoólogicas o personales.
Los defensores del análisis de co-citas mantienen que estos "clusters" representarían la infraestructura intelectual y social de la ciencia, ofreciendo información sobre un campo o especialidad científica y el estado de la cuestión y del desarrollo actual e histórico de las Ciencias, con más eficacia que las fronteras disciplinares tradicionales.
En cualquier caso, al no existir una metodología clara y estando las técnicas en proceso de elaboración, la interpretación de los datos debe realizarse con sumo cuidado y siempre con conocimientos suficientes del área que se desea analizar, de sus grupos de expresión y de las carácterísticas de colaboración y difusión de esa Ciencia.
ALCAIN, M.D. y SAN MILLAN, M.J. "Uso y tendencias de las técnicas bilbiométricas en Ciencias Sociales y Humanas a nivel internacional" en Revista Española de Documentación Cientifica,1993, vol.16, nº1, pp.30-41.
ALMUIÑA FERNANDEZ, C. "Hispania. Revista de Historia (1940-1989).Análisis y evolución de contenidos" en Hispania, L/2,175, (1990), pp.393-416
CARBONELL, Ch.O."L'analyse de contenu d'une revue hsitorique: l'analyse cuantitative" en Storia della Storiographie, 3 (1983) pp.96-112
COZZENS, S.E. "Literature-based data in research evaluation: A managers guide to Bibliometrics". SPSG Concept Paper ,1990, nº 11
GARFIELD, E. "How ISI select journals for coverage:quantitative and cualitative considetrations" en Currents Contents, 1990, nº22, pp.5-13
Handbook on quantitative studies on Sicence and Technology. Holanda: Ed. Van Raan, 1988
JULIA, S. "La historia social y la historiografía española" en Ayer,1993, nº 10, pp. 28-46
LOPEZ PIÑERO, J.M. Y TERRADA, M.L. La informacion científica en Medicina y sus fuentes, Valencia: Inst. de Estudios Documentales e Históricos sobre la Ciencia, 1993
LOPEZ PIÑERO, J.M. EL Analisis estadístico y sociométrico de la literatura científica. Valencia: Centro de Documentación e Informática Médica, 1972
NARIN, F. y MOLL, J.K. "Bibliometrics" en Annual Review of Information Science and technology, 1977, nº 12, pp.35-58
ROMAN ROMAN, A. Las revistas de ciencias sociales para el estudio de la Historia: la transición (1975-1985), una perspectiva historiografica y documental
SANCHO, R. "Indicadores bilbiométricos utilizados en la evaluacion de la Ciencia y la Tecnología. Revisión bibliográfica" en Revista española de Documentación Cientifica, 1990, Vol.13, nº 3-4, pp.842-865
SIMPSON, I.S. Basic statistics for Librarians Library Association Publishing Ltd. 1988
| Mª Cruz Rubio Liniers Proyecto Clío |
1 Pritchard, Alan." Statiscal bibliography or Bibliometrics" en Journal of Documentation, 1969, vol.25, nº4, pp. 348-369 2 Bradford, S. Documentation. London: Crosby Lockwood, 1948 3 Price, D.S. Little Science, Big Science. New York:Columbia University Press, 1963 4 Lotka, A.J."The frecuency Distribution of Scientific Productivity" en Journal of the Washington Academy of Sciences 1926,vol.26, nº317 5 Zuckerman, H. Scientific elite. Nobel laureates in the United States.London: Free Press, 1977 6 Villagrá Rubio, Angel."Scientific production of Spanish universities in the fields of Social Sciences and Language" en Scientometrics, 1992, vol.24, nº1, pp.3-19 7 Rubio Liniers, María Cruz y Ruiz Franco, Rosario. "La investigacion histórica sobre el franquismo: un análisis bibliométrico de las revistas españolas (1976-1992) (En prensa) 8 La produccion cientifica de la Universidad española en Ciencias Sociales y Humanidades. Madrid: Instituto de Información y Documentación en Ciencias Sociales. 1986-1987 9 Burton, R.E. y Kebler, R.W."The "half-life" of Some Scientific and Technical Literatures" en American Documentation 1960, Vol.11, pp. 18-22 10 Terrada, M.L. y Lopez-Piñero,J.M.et al.,Indice de Citas e indicadores Bibliométricos de las Revistas Españolas de Medicina interna y sus especialidades. Barcelona:Inst.de Estudios Documentales e Históricos sobre la Ciencia, 1992 11 Este índice fué estudiado por Raising, L.M. "Mathematical evaluation of the Scientific serial" en Science, 1960, vol.131, pp.1417-1419 y Westbrook,J.H."Identifying significant Research" en Science, 1960, vol.132, pp.1229-1234 12 Cole, J.R. "Scientific output and recognition" en
13 Rerrada,M.L. y Lopez-Piñero, J.M. et alt. Op.cit. 14 JONES, Clyve, CHAPMAN, Michael y CARR, Pamela "The Characteristic of the literature used by Historians" en Journal Librarianship, 1972, Vol.4, nº 3,pp.137-156 15 GARFIELD, E. "Is citation Analysis a legitimitate evaluation tool? en Scientometrics, 1979, Vol.1, nº 4, pp.359-375 16 PRICE, D.J. "Networks of Sicentific Papers" en Science, 1965, nº 149,pp. 510-515 17 KAPLAN, N."The norms of citation behavior" en American Documantation, 1965, nº 16 pp. 179-184 18 MERTON, R.K. "Behavior Patterns of Scientifics" en The American Scholar, 1969, nº 38, pp.197-225 19 CRANE,D. "Social structure in a group of Scientits.A test of the "invisible College" hypotesis" en American Sociological Review, 1969, nº 34, pp. 335.352