Thursday 14 September 2017

Criteria, classifications and tendencies of bibliometric indicators in the evaluation of the science

Source: http://rcics.sld.cu/index.php/acimed/rt/printerFriendly/744/504




Revista Cubana de Información en Ciencias de la Salud, Vol. 26, Núm. 3 (2015)














SARTÍCULO
DE REVISIÓN




Criterios,
clasificaciones y tendencias de los indicadores bibliométricos en la
evaluación de la ciencia


Criteria, classifications
and tendencies of bibliometric indicators in the evaluation of the science

Critérios,
classificações e tendências dos indicadores bibliométricos
na avaliação da ciência



María Josefa
Peralta González,I Maylín Frías Guzmán,
I
Orlando Gregorio
ChavianoII


I Universidad Central "Marta Abreu" de Las Villas, Santa
Clara, Villa Clara, Cuba.


II Departamento
de Ciencia de la Información. Pontificia Universidad Javeriana. Bogotá,
Colombia.









RESUMEN
El presente trabajo
se realiza con el objetivo de enunciar los referentes teóricos sobre
clasificación de indicadores bibliométricos en la literatura
científica a partir de criterios, clasificaciones y tendencias que
se manifiestan en el contexto internacional. Se enfatiza en el desarrollo
de los indicadores de impacto en los sistemas de información científica
a través de valoraciones respecto al uso del factor de impacto y sus
derivados, así como en la normalización y ponderación
matemática para establecer comparación entre diferentes disciplinas
científicas. Se abordan conceptualmente las nuevas tendencias de la
medición del impacto científico en la Web: los llamados altmetrics.
Palabras clave:
bibliometría, bases de datos, indicadores bibliométricos, sistemas
de información científica.


ABSTRACTS



The
objective of this work is to state the theoretical framework about the classification
of bibliometric indicators in the scientific literature from the criteria,
classifications and trends emerging in the international context. The emphasis
is on the development of impact indicators in systems of scientific information
through assessments regarding the use of impact factor and its derivatives,
as well as standardization and mathematical weighting to establish comparisons
between different scientific disciplines. New trends to measure the scientific
impact on the Web, called almetrics, are conceptually addressed.
Key words:
bibliometric,
databases,
bibliometric indicators,
scientific information systems.


RESUMO

O presente trabalho
realiza-se com o objetivo de enunciar os referentes teóricos sobre
classificação de indicadores bibliométricos na literatura
científica a partir de critérios, classificações
e tendências que se manifestam no contexto internacional. Enfatiza-se
no desenvolvimento dos indicadores de impacto nos sistemas de informação
científica através de valorações com respeito
ao uso do fator de impacto e os seus derivados, bem como na normalização
e ponderação matemática para estabelecer comparação
entre diferentes disciplinas científicas. Abordam-se conceitualmente
as novas tendências da medição do impacto científico
no Site: os chamados altmetrics.



Palavras-chave:
bibliometría, bancos de dados, indicadores bibliométricos, sistemas
de informação científica.










INTRODUCCIÓN
La Bibliometría
se entendió, desde sus orígenes, como la disciplina encargada
de la medida de los libros.1-3 En las primeras décadas del
siglo XX, su alcance fue limitado al ámbito de los libros y sus análisis
se concentraron en el comportamiento del discurso escrito de las publicaciones
y de un área temática en particular, en un momento en que la
proliferación de una variedad de soportes comenzó a ser evidente.
El objeto de
estudio de la Bibliometría y su condición de herramienta o disciplina
instrumental de la Bibliotecología se debatió en la literatura
especializada. Su génesis en el ámbito bibliotecológico
se asoció a la gestión bibliotecaria.4 Durante la
década del 70 y del 80 del siglo XX, consolidó su carácter
interdisciplinar y se reconoció como el método de análisis
y medición de los documentos científicos. Estos se convirtieron
en su principal interés sin obviar los fines que ocasionaron su génesis.2




En el campo de las
disciplinas informativas, se convirtió en un método para la
contabilización de la cantidad de documentos y adecuar los recursos
disponibles a las necesidades de información de los usuarios, así
como cubrir tasas de información en un área de la ciencia. Por
su parte, en la recuperación de información se auxilió
del desarrollo de mapas cognitivos para facilitar la obtención de información
relevante y de aspectos estadísticos del lenguaje natural y los lenguajes
documentarios.

"Reducir
las posibilidades de la Bibliometría a la modelación bibliográfica,
como es el análisis de la dispersión de la fuentes, la productividad
de los autores o la obsolescencia de la literatura (algunas de sus aplicaciones
más conocidas) es condenarla a una suerte de subdesarrollo disciplinar
(...); aplicar sus modelos exclusivamente a la selección y adquisición
de la literatura es limitar sus potencialidades. Sin embargo, los límites
de esta ciencia aún no han sido encontrados".5

En la actualidad
constituye "un medio para situar la producción de un país
con respecto al mundo, una institución en relación con su país
y hasta los científicos en relación con sus propias comunidades".6
Presta también atención al estudio del comportamiento
de comunidades y disciplinas científicas a través de los resultados
de las investigaciones,7 así como las motivaciones y proyectos
de redes de investigadores, grupos e instituciones. Proporciona indicadores
para medir la producción y la calidad científica, y ofrece una
base para la evaluación y orientación de la investigación
y desarrollo (I+D). Las tendencias de la ciencia y la tecnología son
examinadas a través del comportamiento de la producción de artículos
científicos y registros de propiedad intelectual.

Su uso no se restringe
al listado cuantitativo de referencias publicadas o no publicadas de un autor,
país, temática o región. Abarca, además, las frecuencias
y tendencias de las citas bibliográficas que inciden en el impacto
y la visibilidad, las relaciones de colaboración internacional o nacional
que se establecen entre autores
o
instituciones, así como los canales por los que circula la información
registrada.
Las herramientas
fundamentales para la aplicación de la Bibliometría lo constituyen
los indicadores bibliométricos, utilizados ampliamente en la evaluación
de las producciones científicas en diferentes dominios del conocimiento
y de las comunidades científicas. Su definición se ha producido
vinculada a las particularidades de la producción bibliográfica
y del desarrollo de la ciencia y la técnica. Estas herramientas describen
y evalúan un fenómeno a través de medidas cuantitativas.
Cumplen dos importantes funciones: la descriptiva —en la medida que caracteriza
el estado de un sistema

y la valorativa, que juzga ese estado, según una perspectiva deseable.
La selección
de los indicadores a utilizar en determinados estudios depende de múltiples
factores y se complejiza por la gran variedad de propuestas existentes en
la literatura científica sobre el tema y la aplicación de estos
a diferentes casos de estudio. En la actualidad continúan evolucionando
fundamentalmente en la medición del impacto científico desde
el factor de impacto hasta los indicadores altmetrics, que miden la comunicación
científica en la Web 2.0, de gran utilidad en la evaluación
y gestión de la investigación.
Este fenómeno
ha condicionado la existencia de una vasta tipología para el uso de
los indicadores bibliométricos, que dificulta, en ocasiones, su selección
en el contexto de investigación. ¿Qué criterios se establecen
para su agrupación? ¿Qué clasificaciones se identifican
en la literatura? ¿Qué tendencias se vislumbran en el desarrollo
de indicadores bibliométricos en el ámbito internacional? Estas
son interrogantes que guían el presente trabajo.
Conocer y entender
las diversas clasificaciones, criterios y tendencias en torno al uso de los
indicadores, posibilita ampliar el espectro y la concepción sobre el
tema; encauza la organización metodológica de estudios bibliométricos
sin obviar relaciones de subordinación, exclusión e inclusión
de estos y favorece su aplicación según necesidades y acorde
con el objeto de estudio planteado, importante para investigaciones futuras.

LOS
INDICADORES BIBLIOMÉTRICOS EN LA LITERATURA CIENTÍFICA
El presente trabajo
es una investigación documental que muestra y analiza los fundamentos
y clasificaciones de los indicadores bibliométricos y sus tendencias
actuales, a partir de la amplia dispersión de clasificaciones y fundamentos
existentes sobre el tema en la literatura científica. Desde los objetivos
del trabajo se caracteriza como descriptiva.8

Los indicadores bibliométricos
constituyen herramientas de la Bibliometría. Como instrumentos de evaluación
cuentan con una historia reciente. Su empleo se inició en los años
70; sin embargo, a partir de la década del 80 del siglo XX se impulsó
la investigación sobre estos, lo que repercutió en la proliferación
de una variedad de términos utilizados por un sinfín de estudiosos
del tema. En la década del 90 se consolidó su uso y se combinaron
con técnicas de representación visual. Desde su nacimiento pretendieron
examinar el comportamiento de la información registrada en los libros
y publicaciones científicas; sin embargo, la intención no se
circunscribe a estas solamente. Permiten cuantificar el comportamiento de
la producción bibliográfica y la comunicación científica.
El cuadro 1 muestra su alcance a partir del examen del objeto
de estudio de la Bibliometría considerado por algunos teóricos.
Existen diversos criterios de clasificación, pero de manera general
convergen en dos agrupaciones esenciales: una división en indicadores
de productividad, visibilidad o impacto y colaboración, y otra en unidimensionales
y multidimensionales.




En las definiciones
anteriores se observa que el objeto de análisis son los documentos
en su conjunto para el estudio de elementos vinculados a su creación
y uso. Los libros y las publicaciones periódicas constituyeron el centro
de atención de los estudios bibliométricos. Se destaca la particularidad
de atender aquellos que han sido publicados. Su aplicación en la evaluación
de fondos y colecciones en las bibliotecas propició el análisis
de otras tipologías documentales.
"Los
elementos cuantificables en los cuales se basan los estudios bibliométricos
provienen de dos fuentes: las referencias y las citas, vocablos con significado
y papel específicos. El primero se usa para designar a la unidad fuente
o documento de origen, mientras que la cita corresponde al documento citado".9
Su vínculo con la actividad científica relaciona su empleo en
la evaluación de la calidad de la producción científica.10
Se definen como medidas basadas habitualmente en recuentos de publicaciones,
que persiguen cuantificar los resultados científicos atribuibles bien
a unos agentes determinados, bien a agregados significativos de esos agentes.11

Sanz y Martín
no limitan la concepción del término a los datos extraídos
de las publicaciones. Amplían la definición a los datos que
solicitan los usuarios, y permiten el análisis de la producción
y el consumo de información.12,13 Por su parte, algunos
autores no reducen el campo de aplicación de los indicadores a la literatura
científica. Para ellos constituyen una medición agregada y compleja
que permite describir un fenómeno, su naturaleza, su estado y su evolución.
Ofrecen el alcance y el límite de los fenómenos a través
de medidas cuantitativas.13-15

Varios modelos matemáticos
se emplean en los estudios métricos que derivan indicadores de comportamiento
de la información. Vinculados a la Bibliometría, son significativos
los que analizan el comportamiento de la producción y la comunicación
científica (cuadro 2).2




Por
su parte, la distinción entre indicadores es a veces difusa en el
ámbito bibliométrico por la variedad de tipologías
existentes derivadas de los diferentes intereses evaluativos. Algunos investigadores
prefieren nombrarlos sin especificar su categoría, lo cual genera
polémicas en el plano teórico, mientras que otros los agrupan
en clasificaciones específicas
(cuadro
3
)
.



También,
la tipología está en función del recuento, uso y
relaciones de los elementos bibliográficos. Para Sancho,
los indicadores de calidad están basados en percepciones (peer
review
).15,16 De manera general las clasificaciones básicas
corresponden a la producción o actividad e impacto o calidad. En
ocasiones se desglosan separados los referidos a la colaboración
y relación. El cuadro 4 revela una clasificación
general a partir de los juicios de varios autores, basados en las variables
publicaciones y citas. Las tipologías de indicadores fueron perfeccionándose
en el tiempo mediante la práctica bibliométrica.




Los indicadores
de producción o actividad se basan en la enumeración y cuantificación
de los documentos que se generan. Para Maltrás, "persiguen
cuantificar los resultados científicos atribuibles bien a unos agentes
determinados, bien a agregados significativos de esos agentes (...). Los agentes
elementales son los investigadores, pero es más frecuente calcular
indicadores de producción referidos a agregados como instituciones,
regiones, países o disciplinas".11
Los
indicadores de impacto, visibilidad o calidad son los más polémicos
y cuestionables en el ámbito bibliométrico. Se refieren al valor
final, influencia o repercusión de los documentos en el resto de las
publicaciones. Están asociados a las direcciones que alcanzan las citas
bibliográficas y generalmente se vinculan al factor de impacto e índice
de citaciones. Son indicadores parciales de la originalidad, claridad, importancia
e influencia de las publicaciones, aunque su resultado final está condicionado
por la producción científica de la variable o agregado que se
está evaluando.11



Los indicadores
de colaboración miden las relaciones que se establecen entre los productores
en la elaboración de un resultado que surge del esfuerzo cooperativo.
Se dividen en dos categorías: simple y relacional. Los indicadores
simples ofrecen información sobre las características o el nivel
de colaboración que exhibe la producción científica,
mientras los relacionales se centran en la representación gráfica
de las redes de colaboración que se establecen.11 En el
cuadro 5 se agrupan indicadores con categorías
de acuerdo con los criterios de Maltrás y Camps, donde
se recogen los más importantes indicadores existentes a la fecha.



Callón
y Courtial ofrecen un desglose de indicadores acorde con una segmentación
general que agrupa los de producción, visibilidad e impacto, y colaboración,
como indicadores de actividad.19 En ese apartado se inscriben los
indicadores de colaboración simple. Una clasificación similar
a la realizada por Callón y Courtial se utilizó
en estudios bibliométricos en universidades españolas.20-25
Esta clasificación amplía y actualiza los indicadores basados
en el factor de impacto incluyendo los incorporados por el WoS y Scopus,
así como el índice h. Incorpora una clasificación de
indicadores no bibliométricos útiles para medir el número
de documentos producidos a nivel institucional incluyendo otra tipología
de productos de investigación (cuadro 6).








Otra clasificación
general está en función de la técnica estadística
utilizada en la obtención de los indicadores bibliométricos.
Según este criterio, se clasifican y agrupan en dos categorías
esenciales: unidimensionales y multidimensionales (cuadro 7).
Los unidimensionales están basados en la estadística univariable
y reflejan una única característica del objeto estudiado. Para
Sanz y Martín, miden una característica de los
documentos publicados o de los recursos económicos invertidos en la
actividad científica, sin tomar en cuenta algún vínculo
común entre ellos. Los bi o multi dimensionales se basan
en técnicas estadísticas multivariables y su aplicación
facilita el estudio conjunto de distintas variables, así como de las
relaciones que se establecen entre estas.




Según Sanz
y Martín, "permiten tener en cuenta, de modo simultáneo,
las distintas variables o las múltiples interrelaciones que pueden
ser observadas en los documentos, o en los hábitos y necesidades de
información de los usuarios".12 Su examen se produce
sobre la base del conteo de matrices de datos y la representación de
la coocurrencia de las variables comunes. La agrupación de los indicadores
bibliométricos, según esta clasificación, varía
en la literatura. El cuadro 8 muestra una tipología
a partir del criterio de Sanz y Martín. Los indicadores
de producción y visibilidad se corresponden con los unidimensionales,
aunque existen algunos indicadores de colaboración que se integran
al criterio anterior. Su examen y representación depende, en la mayoría
de los casos, de análisis multivariante que los subordinan a los multidimensionales.











DESARROLLO
DE LOS INDICADORES BIBLIOMÉTRICOS EN LOS SISTEMAS DE INFORMACIÓN
CIENTÍFICA
Los indicadores bibliométricos
han sido tan criticados como definitivos en la evaluación científica.
Por muchos años, los indicadores bibliométricos del antiguo
Institute for Information Science (ISI), ahora Thomson Reuters,
han sido el recurso fundamental para la toma de decisiones en materia de políticas
científicas. El factor de impacto (FI) de Eugene Garfield, fue
el punto de partida de una avalancha de indicadores basados en el número
de publicaciones y en el conteo de citas, a pesar de las críticas y
sesgos. Seglen los resume desde cuatro sesgos fundamentales:26,27


-
No muestra la diferencia de la citación de los artículos en
una revista. Estadísticamente no es una representación estadística
de un artículo individual.




-
El FI de una revista no tiene en cuenta la calidad científica de los
artículos.




-
Depende del comportamiento y desarrollo de la investigación en las
áreas o campos científico. Los hábitos de citación,
la frecuencia y la dinámica son diferentes en los campos de investigación.





-
Las tasas de citaciones de los artículos determina el FI de una revista
y no viceversa.


Los sesgos planteados
por Seglen están sustentados en que resulta inapropiado realizar
comparaciones entre el número de citas generadas por diferentes campos
científicos, ya que el potencial de citación puede variar significativamente
de un campo a otro;26,30 en otras palabras, diferentes campos científicos
poseen diferentes prácticas de citación.31,32

Otros criterios abordados
en la literatura redundan en las diferencias en el impacto según la
tipología de artículos publicados por las revistas. Por ejemplo,
los artículos de revisión “review” son altamente
citados, e influyen en el FI de una revista. La extensión de los artículos
también puede influir o no en el promedio de citas por documento, así
como en la preferencia idiomática para referenciar artículos
del mismo idioma por parte de los autores. El sesgo idiomático y la
cobertura incompleta respecto a la tipología documental continúan
predominando en los sistemas de información científica.

Las principales limitaciones
señaladas al factor de impacto se refieren a la medición de
la cantidad y no de la calidad de los resultados de los trabajos publicados,
la asignación de iguales valores a todos los artículos, la influencia
igualitaria de las citas en la totalidad de los trabajos en una muestra y
la totalidad de las publicaciones las cuales no reflejan toda la actividad
científica de un contexto determinado, factores a tener en cuenta en
los procesos evaluativos de dominios científicos.
El desarrollo de
indicadores bibliométricos basados en el factor de impacto ha estado
aparejado con la aparición de competencias entre sistemas de información
científica y sistemas de rankings. Thomson Reuters y
Scopus han creado una gama de indicadores bibliométricos que
permiten la realización de análisis cuantitativos y cualitativos
de diferentes dominios científicos, según sea el objeto a medir;
sin embargo, las propias limitaciones reflejadas por los especialistas en
el tema han propiciado el desarrollo y el perfeccionamiento en su aplicación.
En este sentido, la calidad de un trabajo publicado no debe ser entendido
como el conteo de las citas recibidas, aunque en este punto el supuesto trabajo
ha transitado por un método de evaluación científica:
la revisión por pares.
La evaluación
por pares, continúa siendo estudiada como método o procedimiento
llevado a efecto en la ciencia para evaluar la calidad de un artículo
y por qué llega a ser publicado o no. Este punto tiene sus controversias
tanto económicas como subjetivas desde los procesos editoriales con
el movimiento de acceso abierto a la información científica,
acrecentado con la reciente inclusión de Scielo al Thomson Reuters
y los esfuerzo de Latindex por elevar la visibilidad e impacto a la producción
científica en Latinoamérica.33 Lo cierto es que cantidad
no es igual a calidad, pero ambas pueden complementarse según los propósitos
y alcances de un estudio bibliométrico.
La
asignación de iguales valores a la totalidad de los artículos
en la metodología bibliométrica, es un elemento al que han aparecido
alternativas matemáticas con el surgimiento de los indicadores alternativos
al factor de impacto. Scopus y Thomson Reuters apuestan por
modelaciones de indicadores bibliométricos aplicados a revistas científicas
que utilizan la ponderación matemática, eliminan las autocitas
y amplían el período de citación; tal es el caso de los
indicadores alternativos al
factor
de impacto: El Eigenfactor (Eigen) y el Scimago Journal Rank.
33-36
A pesar de estas alternativas, permanece la limitación referida al
traslado del valor del indicador general de una revista a los artículos
que la componen, si se tiene en cuenta que no todos los artículos contribuyen
de forma similar al total de citas recibidas.37

El
Scimago Journal Rank (SJR),38 es un indicador con
acceso abierto, basado en los datos de la información científica
indizada en Scopus; toma las variables de las citas y los trabajo publicados
de manera similar al factor de impacto, pero en este caso le asigna diferentes
pesos a la citación teniendo en cuenta el prestigio de la revista citante
(estimado con el algoritmo del Page Rank de las revistas en la red)
y elimina las autocitas.39,40 Las ventajas del SJR frente al FI
se refieren a la facilidad de acceso a los datos, mayor cobertura y variedad
de tipología documental, lenguaje y países de las publicaciones.39
Otros
indicadores como el Article influence score (Score) y el Source
normalized impact per paper (SNIP)
son utilizados por Thomson Reuters
y Scopus en la búsqueda competitiva de nuevos análisis
cada vez más normalizados, con el fin de disminuir los sesgos que los
análisis de citas introducen en los estudios bibliométricos.
El Score se origina del Eigenfactor; se define como la influencia
media del Eigen e incluye la variable trabajos publicados. Article
influence
mide la influencia media de los artículos de las revistas
y se basa en el mismo cálculo iterativo que Eigenfactor, pero
teniendo en cuenta el número de artículos de la revista. Se
asemeja más al FI y SJR.37,41
Por
su parte, el SNIP se define como la razón del número de citaciones
por artículo y la citación potencial en un campo científico
determinado. Desarrolla las nociones de Eugene Garfield sobre "citación
potencial", definido como la longitud media de las listas de referencias
en un campo y la determinación de la probabilidad de ser citado.
Algunos
estudios analizan este fenómeno para introducir y estudiar estos
indicadores en evolución. Han sido utilizados en revistas de diferentes
campos científicos y se ha demostrado el funcionamiento similar entre
los indicadores bibliométricos adquiridos por Thomson Reuters
(Eigenfactor y Article influence score) y los de Scopus
en la evaluación bibliométrica de revistas científicas;
así también la similitud entre el AIS y el FI al proveer similares
rankings de revistas médicas.38,42 Se visualiza
en estos casos la necesidad de complementar indicadores en determinados
campos científicos, teniendo en cuenta el rango de años que
utilizan y la cantidad de citas según la variabilidad de las disciplinas
científicas.
Los
indicadores bibliométricos basados en el FI deben ser normalizados,
ponderados y relativizados necesariamente para disminuir los sesgos en comparaciones
de revistas científicas. La Bibliometría lleva más
de 40 años contando con el factor de impacto y su evolución
se despliega a la búsqueda de normalizaciones para estudios de dominios
con comportamientos científicos diferentes. Resulta necesario para
la interpretación de los resultados de la medición de indicadores
bibliométricos, los aspectos cualitativos que caracterizan un dominio
científico o el campo científico sujeto a un estudio de este
tipo. Esta situación se presenta cuando la unidad de análisis
en la metodología bibliométrica pretende comparar producción
científica originada no solo de diferentes campos, sino de diferentes
estructuras científicas; por ejemplo: instituciones multidisciplinarias,
regiones o países y dentro de estos dominios los agregados deseados
a comparar.
De
manera general, cuando la variable citas interviene en el cálculo
del impacto científico se introducen sesgos en la evaluación
bibliométrica. Las críticas permanecen aún vigentes:
desde el punto de vista editorial, es conocida la manipulación para
aumentar dicho indicador, lo que proporciona, indica o sugiere, en los mejores
casos, referenciar artículos de revistas prestigiosas. Esto, a su
vez, se ha vuelto una estrategia para la publicación de artículos
y forma parte del "ABC" cuando los investigadores, profesores
o académicos construyen un artículo científico, teniendo
en cuenta que la citación de artículos de autores prestigiosos
y revistas influyentes puede incidir en el FI de la revista fuente.42,43
El
factor de impacto —entendido como el promedio de citas por documentos,
ya sea en dos o 5 años, según en el cálculo— es
una medida en una distribución no asimétrica; es decir, la
distribución del FI de una revista en ese período de tiempo
no se corresponde con una distribución normal, teniendo en cuenta
la mencionada contribución no equilibrada de cada “artículo”
dentro de la propia revista. Es por eso que en la evolución de la
evaluación de impacto científico está implícito
el tratamiento matemático. Se observan diferentes tendencias: ponderación
de las citas, ampliación de los períodos para reflejar más
acertadamente la realidad del impacto, unos incluyen el número de
publicaciones de las revistas, otros solo incluyen el conteo de citas.
Lo
anterior viene aparejado con la cobertura territorial, lingüística
y de campos científicos en ambas bases de datos multidisciplinarias.
Thomson Reuters, por ser el iniciador de la indización automática
de citas, fue el más criticado en la literatura; sin embargo, continúa
siendo una plataforma en constante desarrollo, selectiva en sus políticas
de inclusión y tan utilizada como Scopus. Los nuevos indicadores
mencionados, o también llamados más recientemente indicadores
bibliométricos alternativos heredados del factor de impacto, se resumen
en la tabla.
Sobre
el uso de una u otra base de datos para estudios bibliométricos de
la producción científica se ha demostrado lo siguiente:44


-
WoS no debe ser utilizado solamente para estudiar la citación
de un autor o trabajo publicado, ni como como único recurso para
análisis de citas e impacto de un autor o publicación.





-
Scopus
y Google Scholar pueden ayudar a identificar un considerable
número de citaciones que no se encuentran en el WoS, dado
que ofrecen una imagen más completa y abarcadora del carácter
internacional e interdisciplinario de la comunicación científica.






- Se presenta la problemática de las técnicas de medición
de Google Scholar para analizar con precisión y eficacia las citas.






-
La utilización de uno u otro recurso para la medición depende
del dominio científico que se analice.





-
En el caso de Scopus una de las limitantes señaladas se
refiere a la indización de las citas solamente de 1996.45




Teniendo
en cuenta estos criterios se han desarrollado estudios para comprobar la
capacidad en WoS y Scopus en cuanto al control de autoridades
y su repercusión en la visibilidad e impacto de autores e instituciones.
Persisten errores en los nombres de los autores, lo cual puede influir en
el cálculo del índice h en ambas bases de datos como indicador
incluido.46 Por otra parte, se ha comprobado que no existen diferencias
entre ambas fuentes de datos en cuanto a los datos de las publicaciones.
Se encontró mejor representación de la temática en
las categorías, así como las omisiones de datos de afiliación
de autores de Scopus.





ALTMETRICS
O INDICADORES ALTERNATIVOS EN LA MEDICIÓN DEL IMPACTO DE LA INVESTIGACIÓN
CIENTÍFICA
Los altmetrics o
indicadores alternativos se refieren a las posibilidades de recuento en la
Web social, exactamente a los "me gusta", de Facebook, favoritos
compartidos, tweets para evaluar la información científica.47
De aparición reciente, se definen como creación y estudio
de nuevos indicadores basados en la Web 2.0 para el análisis de la
actividad académica y considerados alternativos al medir formas no
convencionales de la evaluación de la actividad científica.47,48
Las menciones en blogs, el número de tweets o el de personas
que guardan un artículo en un gestor de referencias como, Mendeley,
puede ser una medida válida del uso y la repercusión de las
publicaciones científicas. En este sentido, estas medidas se han situado
en el centro del debate de los estudios bibliométricos y han cobrado
especial relevancia.48,49 Un punto de partida es la Declaración
de San Francisco, la cual reconoce la necesidad de mejorar la forma en que
se evalúan los resultados de la investigación científica
y de fomentar un cambio hacia la evaluación basada en el contenido
científico del artículo en lugar de métricas sobre la
revista en que fue publicado.49
El origen de
estos indicadores se relaciona con la webmetría al tener en cuenta
variables de medición a sitios online, con lo que justifican
métodos y modelos bibliométricos e informétricos al estudio
de la información científica disponible en la web.2,48
En la terminología conceptual respecto a los indicadores alternativos,
confluyen varias disciplinas científicas, entre ellas la comunicación,
teniendo en cuenta las evidentes relaciones de comunicación científica
y el contenido hipertextual a través de los links.




El estudio del impacto
de la información científica en la Web se extrapola a partir
de la concepción de la cita mediante el estudio de links. La
diferencia entre las citas y los links radica en la dirección
manifiesta. La cita es unidireccional porque solo una publicación anterior
puede ser referenciada y recibir una cita por parte de otra publicada posteriormente
y no de forma inversa. Las relaciones entre los links son de forma
bidireccional por las características del contenido. El contexto o
propósito que generan los links son totalmente diferentes a
los que genera una cita o referencia; estas últimas incluyen una relación
de responsabilidad con los contenidos del documento referenciado o citado,
mientras que en los links esto no sucede.2,50

Con el surgimiento
de múltiples plataformas que permiten compartir de manera libre todo
tipo de información y enlazarse a través de la Web 2.0, la actividad
científica y académica también se ha visto beneficiada:
redes sociales académicas, gestores de referencias online, repositorios
de acceso abierto e índices de citas abiertos, como Google Scholar
y Data Sharing, son tendencias que han permitido obtener mayor rendimiento
de los recursos invertidos en la ciencia y mayor transparencia.51

De cara a la medición
del impacto científico, las técnicas webmétricas y las
bibliométricas experimentan una imbricación, a partir de las
críticas históricas del factor de impacto y con el surgimiento
y desarrollo de los recientes productos del Google Académico. La fortaleza
fundamental de los indicadores altmetrics radica en que ofrecen datos, casi
a tiempo real, de la repercusión de un trabajo en diferentes niveles
de agregación. Las principales limitaciones se refieren a:


-
La difícil jerarquización de los indicadores, de cara a las
variables a medir. En este sentido el ordenamiento en forma de rankings,
teniendo en cuenta la fuente o plataforma utilizada.




-
Algunos artículos científicos apenas tienen impacto en las redes
sociales; sin embargo, en otras fuentes —como bases de datos e índices
de citas

poseen resultados más sólidos.




-
Impacto científico versus impacto social de la actividad científica.






-
Variabilidad de los indicadores altmetrics producto del surgimiento y permanencia
de las fuentes, así como su validez, por lo que la información
es efímera, lo que dificulta reproducir los resultados al ámbito
científico.





A
su vez, se han realizado taxonomías o clasificaciones de los indicadores
altmetrics. Los criterios de clasificación se basan en las plataformas
para la medición48 y las variables a medir.52
Aunque algunas de estas plataformas miden la reputación de un investigador
de forma individual, un grupo de colegas pueden ser el reflejo de una institución.
La reputación de un investigador y la interacción entre los
grupos incide en su score, pues no solo tiene en cuenta cómo
los colegas contribuyen y evalúan los trabajos sino también
en quiénes son estas personas, lo cual significa que cuanto mayor sea
la puntuación de los que interactúan, más posibilidades
de aumentar el RG Score de un investigador y reflejar una posición
dentro de la comunidad científica.53






CONSIDERACIONES
FINALES
Los indicadores
bibliométricos deben su surgimiento y evolución a las particularidades
de la producción bibliográfica, lo que permite el estudio del
comportamiento de comunidades y disciplinas científicas a través
de los resultados de las investigaciones.



La literatura
científica sobre indicadores bibliométricos recoge amplia variedad
de criterios y clasificaciones según la bibliografía referenciada.
Pueden ser utilizados desde los diferentes objetos de estudios de la Bibliometría
como especialidad métrica de la información. Se derivan de dos
regularidades fundamentales: la producción científica y la comunicación
científica, y estas, a su vez, originan tipologías agrupadas
en la producción, visibilidad e impacto, y colaboración científica.
La tipología de los indicadores bibliométricos resulta difusa
en la literatura. Está en función del recuento, uso y relaciones
de los elementos bibliográficos, y fueron perfeccionándose a
partir de la propia práctica de los procedimientos bibliométricos.
Los indicadores bibliométricos basados en el factor de impacto y el
número de citas han sido los más polémicos en la literatura
científica, cuyas causas están centradas en la motivación
para la citación, el peso de la cita de un artículo respecto
al total de las citas que recibe la revista y el comportamiento de la citación
en diferentes áreas temáticas de la ciencia. Este fenómeno
ha originado la evolución hacia indicadores alternativos en los sistemas
de información científica, para la evaluación de la ciencia
en revistas, instituciones y países.




El desarrollo y evolución
de los indicadores bibliométricos ha estado inclinada a los indicadores
derivados del factor de impacto en busca de normalizaciones para la comparación
entre campos científicos. Los sistemas de información científica
los incluye con el fin de minimizar sesgos en los estudios comparativos y
ranking de dominios científicos.
Más
recientemente la Bibliometría se imbrica con el desarrollo de la Webmetría,
y ha generado los llamados indicadores altmetrics para medir las formas no
convencionales de la actividad científica y académica. Estos
indicadores posibilitan medir, casi a tiempo real, el impacto científico
a través de la interacción de los dominios en la Web 2.0.
Los
indicadores bibliométricos
ofrecen
en la actualidad
perspectivas interesantes a partir de la posibilidad de su uso en la gestión
y evaluación de la investigación, a niveles micro, meso y macro,
específicamente en la selección de revistas para publicar resultados
de la investigación, gestionar proyectos de colaboración, diseñar
políticas científicas y agendas de investigación, entre
otras.



REFERENCIAS
BIBLIOGRÁFICAS
1. Martínez
A. Estudios métricos de la información: selección de
lecturas. La Habana: Editorial "Félix Varela"; 2004.
2. Gorbea Portal
S. Modelo teórico para el estudio métrico de la información
documental. Gijón, España: Ediciones Trea; 2005.
3. Egghe L, Rousseau
R. Introduction to informetrics: Quantitative methods in library, documentation
and information science. New York: Elsevier Science Publishers; 1990.
4. Pritchard A. Statistical
bibliography or bibliometrics? J Document. 1969;25(4):348-9.
5. Blatt Oldira ML.
Producao Científica em Biblioteconomía no estado de Santa Catarina.
Transinformacao. 1997;9(3):68-87.
6. Macías-Chapula
CA. Papel de la informetría y de la cienciometría y su perspectiva
nacional e internacional. São Paulo: Seminario sobre Evaluación
de la Producción Científica; 1998.
7. Leydesdorff L.
The evaluation of research and the evolution of science indicators. Studies
in Science of Science. 2004;22(3):225-32.
8. Moed HF, Burger
WJ, Frankfort JG, Van Raan AF. The use of bibliometric data for the measurement
of university research performance. Res Pol. 1985;14:131-49.
9. Hernández-Sampieri
R, Fernández-Collado C, Baptista-Lucio P. Metodología de la
Investigación. México: McGraW-Hill; 2006.
10. Licea De Arenas
J. Indicadores de la actividad científica Scientometrics indicators.
Cienc Inform. 1993;24(1):2-6.
11. Maltrás
B. Los indicadores bibliométricos: fundamentos y aplicacion al análisis
de la ciencia. Gijón, España: TREA, S. L.; 2003.
12. Sanz Casado E,
Martín Moreno C. Aplicación de técnicas bibliométricas
a la gestión bibliotecaria. Invest Bibliotecol. 1998;12(24):24-40.
13. Iribarren Maestro
I. Producción científica y visibilidad de los investigadores
de la Universidad Carlos III de Madrid en las bases de datos del ISI, 1997-2003
[Tesis Doctoral]. Getafe: Universidad Carlos III de Madrid; 2006.
14.
Arencibia-Jorge R, de Moya-Anegón F. La evaluación
de la investigación científica: una aproximación teórica
desde la cienciometría. Acimed. 2008
[citado
12 de marzo de 2014];17(4).
Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352008000400004


15.
Elizagaray Fernández B. Ciencias sociales en Cuba: análisis
métrico de la producción científica en el período
2000-2008 a partir de la base de datos Cubaciencia [Trabajo de Diploma]. La
Habana: Universidad de La Habana; 2010.

16. Sancho-Lozano
R. Indicadores bibliométricos utilizados en la evaluación de
la ciencia y la tecnología. Revisión Bibliográfica. Rev
Esp Docum Cient. 1992;13(34):842-65.
17.
Scheneider JW. Concept symbols revisited: Namish clusters by parsing and filtering
of nouns phrases from citation contexts of symbols. Scienciometrics. 2006

[citado 12
de marzo de 2014]
;68(3).
Disponible en: http://www.akademiai.com/doi/abs/10.1007/s11192-006-0131-z

18.
López Piñero JM, Terrada ML. Los indicadores bibliométricos
y la evaluación de la actividad médico-científica (I).
Usos y abusos de la bibliometría. Med Clin. 1992;98:64-8.

19. Callon M, Courtial
JP, Penan H. Cienciometría. El estudio cuantitativo de la actividad
científica: de la bibliometría a la vigilancia tecnológica.
Gijón, España: Ediciones TREA; 1995.
20. Bordons M, Zulueta
MÁ. Evaluación de la actividad científica a través
de indicadores bibliométricos. Rev Esp Cardiol. 1999;52(10):790-800.
21. Camps D. Limitaciones
de los indicadores bibliométricos en la evaluación de la actividad
científica biomédica. Colomb Med. 2008:74-9.
22. Cabezas-Clavijo
Á. Estudio bibliométrico de la producción, la actividad
y la colaboración científica en grupos de investigación:
el caso de la Universidad de Murcia [Tesis Doctoral]. Granada, España:
Universidad de Granada; 2013.
23. Torres-Salinas
D. Diseño de un sistema de información y evaluación científica.
Análisis ciencimétrico de la actividad investigadora de la Universidad
de Navarra en el área de ciencias de la salud. 1999-2005. Granada,
España: Universidad de Granada; 2007.
24. de Moya-Anegón
F, Solís Cabrera FM. Indicadores bibliométricos de la producción
científica de Andalucía: Junta de Andalucía, Consejería
de Innovación, Ciencia y Empresa; 2005.
25. Van Raan AFJ.
Measurement of Central Aspects of Scientific Research: Performance, Interdisciplinarity,
Structure. Measurement. 2005:1-19.
26. Seglen PO. Why
the impact factor of journals should not be used for evaluating research.
Brit Med J. 1997;314:498-502.
27. Garfield E. Citation
indexing. Its theory and application in science, technology and humanities.
New York: Wiley; 1979.
28. Garfield E. The
use of journal impact factors and citation analysis for evaluation of science.
Cell Separation, Hematology and Journal Citation Analysis. Mini Symposium
in tribute to Arne Bøyum Cell Separation. Rikshospitalet, Oslo: The
Scientist; 1998.
29. Garfield E. Journal
impact factor: a brief review. Canadian Medical Association Journal. 1999;161(8):979-80.
30.
Aleixandre-Benavent R, Valderrama-Zurián JC, González-Alcaide
G. El factor de impacto de las revistas científicas: limitaciones e
indicadores alternativos. El profesional de la información. 2007;16(1):4-11.
31. Waltman L, van
Eck NJ. Source normalized indicators of citation impact: an overview of different
approaches and an empirical comparison. Scientometrics. 2013;2013(96):699-716.
32. Baiget T, Castro
P, Aguillo I, Tramullas J. Editoriales OA estafadoras y sin escrúpulos.
Indicadores en Ciencia y Tecnología. 2013 [citado 12 de marzo de 2014]

Disponible en:
https://digitum.um.es/jspui/handle/10201/36536

33.
Why eigenfactor. 2014 [citado 10 de marzo de 2014]. Disponible en: http://www.eigenfactor.org/whyeigenfactor.php
34.
Grupo Scimago. Scimago Journal & Country Rank: About us. 2014 [citado
10 de marzo de 2014]. Disponible en: http://www.scimagojr.com/aboutus.php

35.
Bergstrom CT. Eigenfactor measuring the value and prestige of scholarly journals.
Colege & Research Libraries News. 2007:314-6.

36. Bergstrom CT,
West JD, Wiseman MA. The Eigenfactor metrics. J Neurosc. 2008:11433-4.
37. Torres-Salinas
D, Jiménez-Contreras E. Introducción y estudio comparativo de
los nuevos indicadores de citación sobre revistas científicas
en Journal Citation Reports y Scopus. El profesional de la información.
2010;19(2):201-7.
38. SJR. SCImago
Journal & Country Rank. 2014 [citado 31 de mayo de 2014]; Disponible en:
http://www.scimagojr.com/journalsearch.php?q=5100155014&tip=sid&clean=0

39.Falagas
ME, Kouranos VD, Arencibia-Jorge R, Karageorgopoulos DE. Comparison of SCImago
Journal Rank indicator with journal impact factor. The FASEB Journal. 2008;22:2623-8.

40. Richardson M,
Domingos P. The intelligent surfer: probabilistic combination of link and
content information in PageRank. 2002 [citado 10 de marzo de 2014]. Disponible
en: http://homes.cs.washington.edu/~pedrod/papers/nips01b.pdf

41.
Rizkallah J, Sin DD. Integrative approach to quality assessment of medical
journals using impact factor, Eigenfactor and article influence. Scores PLoS
ONE. 2010;5(4). e10204.

42.
Nader Ale E, Hadi S, Mohamed Amin E, Farid Habibi T, Hossein G, Seyed Mohammad
M, et al. Effective strategies for increasing citation frequency. Internat
Educ Stud. 2013;6(11):93-9.

43. Vanclay JK. Factors
affecting citation rates in environmental science. J Informetr. 2013:265-71.
44. Yang K, Meho
LI. Citation analysis: a comparison of Google Scholar, Scopus, and Web of
Science. Austin, EE.UU. 69th Annual Meeting of the American Society for Information
Science and Technology (ASIST); 2006.
45. Jacso P. Calculating
the h-index and other bibliometric and scientometric indicators from Google
Scholar with the Publish or Perish software. Online Inf Rev. 2009;33(6):1189-2000.
46. Jacso P. Savvy
searching: software issues related to cited references. Online Inf Rev. 2007;31(6):892-905.
47. Borrego À.
Altmetrics: nuevas formas de medir el impacto de la investigación blok
de bid. Barcelona, España: Facultat de Biblioteconomia i Documentació;
2013.
48. Torres-Salinas
D, Cabezas-Clavijo Á, Jiménez-Contreras E. Altmetrics: nuevos
indicadores para la comunicación científica en la Web 2.0. Comunicar.
2013;XXI(41):53-60.
49. Declaración
de San Francisco de Evaluación de la Investigación. Rev Cubana
Salud Pública. 2014 [citado 4 de marzo de 2015];40(1). Disponible en:
http://www.bvs.sld.cu/revistas/spu/vol40_1_14/spu17114.htm

50.
Chu H, He S, Thelwall M. Library and information science schools in Canada
and USA: A Webometric Perspective. J Educ Libr Inform Sci. 2002;43(2):110-25.

51. Torres-Salinas
D, Robinson-García N, Cabezas-Clavijo Á. Compartir los datos
de investigación en ciencia: introducción al data sharing. El
profesional de la información. 2012;21(2):173-84.
52. PlumX. Current
List of metrics. 2014 [citado 4 de marzo de 2015]. Disponible en: http://www.plumanalytics.com/metrics.html

53.
RG Score. A new way to measure scientific reputation. 2014 [citado 25 de marzo
de 2015]. Disponible en: https://www.researchgate.net/publicprofile.RGScoreFAQ.html


Recibido:
15 de diciembre de 2014.

Aprobado: 7 de abril de 2015.




María Josefa
Peralta González.
Universidad Central "Marta Abreu" de
Las Villas. Santa Clara, Villa Clara, Cuba. Correo electrónico: mjosefa@uclv.edu.cu






Peralta González

1 comment:

  1. Thank you for sharing such a nice and interesting blog with us. I have seen that all will say
    the same thing repeatedly.But in your blog, I had a chance to get some useful and unique information.
    I would like to suggest your blog.
    Digital Marketing Company in India

    ReplyDelete