You are on page 1of 33

Protocolo de evaluacin de fuentes y recursos

informativos en la sociedad del conocimiento:


propuestas, enfoques y tendencias
M. Dolores AYUSO GARCA1 y Victoria MARTNEZ NAVARRO2
1Profesora Titular de Universidad, de Bibliografa y Fuentes de Informacin. Dpto. de Informacin
y Documentacin. Facultad de Comunicacin y Documentacin. Universidad de Murcia
mayu@um.es

2Profesora Asociada. Dpto. de Informacin y Documentacin.

Facultad de Comunicacin y Documentacin. Universidad de Murcia


vicmarti@um.es

RESUMEN
Este trabajo presenta un estudio de las propuestas de evaluacin de fuentes de informacin publicadas
en Internet, llevadas a cabo tanto por estudiosos de la materia como por instituciones cientficas y aca-
dmicas. El anlisis de la evolucin de las propuestas, desde las ms pioneras hasta las ms cercanas
a nuestros das, se complementa con el contexto pragmtico de las mismas, con productos como el
Current Web Contents del ISI o los directorios temticos de las agencias de evaluacin como Sosig. Se
establecen las lneas maestras de un nuevo protocolo de evaluacin propio que, siendo heredero de la
propuesta metodolgica del ISI, nace con la intencin de ser una herramienta de calidad y de valor
aadido a los servicios de referencia en Internet. Caminando hacia la normalizacin y sistematizacin
de las fuentes y recursos de informacin en la Red.
Palabras clave: Protocolo de evaluacin. Calidad. Recursos Web. Internet. Fuentes de informacin.
Agencias de evaluacin. Directorios temticos. Auditorias. Referencia.

Evaluation protocol of information resources:


proposal and trends in the information society
ABSTRACT
This work presents a study of the evaluation proposals of information sources published in Internet,
carried out by both studious of the matter and scientific and academic institutions. The analysis of the
proposals evolution, from the first pioneer until the nearest to our days, is complemented with their
own pragmatic context with products like the Current Web Contents of the ISI or the thematic direc-
tories of evaluation agencies like Sosig. They settle down the master lines of a new owned evaluation
protocol, that being heir of the methodological proposal of the ISI, is born with the intention of being
a tool of quality and of added value to the reference services in Internet. Walking toward the normali-
zation and systematizing of the sources and resources of information in the Net.
Keywords: Evaluation protocol. Quality. Web Resources. Internet. Information Sources. Evaluation
agencies. Thematic Directory. Audits. Reference.

Revista General de Informacin y Documentacin ISSN: 1132-1873


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

SUMARIO: 1. Introduccin: La evaluacin, calidad, recurso web, internet, fuentes de informacin,


agencias de evaluacin, directorios temticos, auditorias, referencia. 2 Anlisis de las principales
metodologas de evaluacin. 3 El contexto pragmtiaco de las metodologas de evaluacin. 4
Nuevo protocolo de evaluacin a partir del modelo de ISI. Propuesta propia. 5 Resultados y con-
clusiones. 6 Bibliografa y fuentes. 7 Agencia de evaluacin: directorios temticos.

1. INTRODUCCIN: LA EVALUACIN DE LAS FUENTES DE INFORMA-


CIN EN EL SIGLO XXI

El objetivo de este artculo es presentar un Protocolo de actuacin para una de


las tareas ms inherentes al profesional de la documentacin, tarea que se ha visto
redefinida en los ltimos aos ante el fenmeno del ciberespacio. Nos estamos refi-
riendo a la evaluacin de fuentes de informacin digitales en el contexto de la
informacin cientfica y tcnica, como medio para acreditar la calidad y validez de
la informacin facilitada por los profesionales de la documentacin cientfica.
Desde este supuesto, el trabajo lleva a cabo un anlisis de las propuestas ms
destacadas en la evaluacin de fuentes de informacin publicadas en Internet, para
ofrecer un protocolo propio de evaluacin, dotado de una metodologa que nace del
estudio de un amplio conjunto de aspectos relacionados con las fuentes de infor-
macin y la World Wide Web, centrndose sin embargo especialmente en dos cues-
tiones esenciales:
Caractersticas y propiedades de la fuente de informacin digital frente a la
analgica.
Estructura de la fuente de informacin digital en lnea y novedades que apor-
ta en la organizacin, consulta y difusin de la informacin que contiene.

La propuesta de las autoras se enmarca en la actual Sociedad del Conocimiento


como una herramienta de calidad y de valor aadido a los servicios de referencia en
Internet. Las autoras parten de la supuesta necesidad de contar con unas pautas cla-
ras de trabajo en la evaluacin de las fuentes digitales, como instrumento de medi-
cin de la calidad y oportunidad de un recurso ante un profesional o un colectivo de
profesionales especializados.
Segn la metodologa tradicional1, orientada hacia la evaluacin de fuentes ana-
lgicas, la tarea de evaluacin de una fuente de informacin lleva necesariamente a
valorar una serie de elementos intrnsecos a la misma, a travs de los cuales se exa-
mina el tipo de fuente de informacin ante la que nos encontramos, su cobertura, su
actualizacin, su presentacin fsica, el tratamiento que da a la informacin, etc. No
obstante, las caractersticas especficas de las fuentes digitales en lnea hacen que su
anlisis y su evaluacin presente nuevos retos, centrados en los aspectos formales y
en la calidad de los contenidos del recurso. Se trata pues de una tarea que requiere

1 BEAUDIQUEZ, Marcelle: Guide Generale de bibliographie: Methodologie et practique. 2 ed.


Pars: Saur, 1998, p. 34-38.

22 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

una metodologa propia, y que guarda cierta relacin con la informacin bibliogr-
fica del propio recurso. En ella, el documentalista no solamente identifica y recu-
pera informacin de Internet, sino que proporciona una descripcin de valor aadi-
do a unos recursos digitales que por su naturaleza requieren de un control docu-
mental.
Parece lgico, por tanto, que se desarrollen mtodos eficaces para evaluar una
fuente de informacin en la Red. Disponer de una teora de base como la que se va
a presentar en esta introduccin proporciona ayuda para, al menos, tres tareas muy
diversas relacionadas con las publicaciones digitales en general, y con las cientfi-
co-acadmicas en particular. Groso modo, proporciona un marco conceptual desde
el cual puede hacerse ms fcil la comprensin y el anlisis de la informacin digi-
tal a los estudiosos sobre el tema. Adems, identifica algunos parmetros (compo-
sicin y propiedades de un hipertexto) que ayudan en la evaluacin crtica de la cali-
dad de los recursos digitales. Y por ltimo, proporciona ideas para estructurar pro-
yectos de desarrollo de publicaciones digitales, lo que establece unas perspectivas
muy interesantes en este sector.
La demanda creciente de informacin cientfica fuera del mbito acadmico-
cientfico, junto a la necesidad de un alto nivel de calidad, ha hecho de Internet el
principal mecanismo de comunicacin cientfica en la actualidad. Si al crecimiento
exponencial de la informacin cientfica publicada en la web se le aade su falta de
estructura, heterogeneidad formal y diversidad de calidad en los contenidos, se
obtiene como resultado el reto de la calidad, uno de los principales problemas que
se afrontan ante la incapacidad de diferenciar entre los diversos componentes, pro-
ductos y servicios contenidos en la Red. La cuestin es bien sencilla, y solamente
exige del evaluador la definicin de los contenidos que realmente pertenecen al
mbito de su actividad, de tal forma que slo ser objeto de tratamiento aquella
informacin que cumpla unos requisitos mnimos de calidad.
La aproximacin del analista puede realizarse mediante una evaluacin indivi-
dualizada de los recursos informativos, tarea que se presenta como un quehacer dis-
tinto al habitual, que habr de sustentarse en una metodologa que surja de las carac-
tersticas de la informacin digital. Por ello se hace indispensable un acercamiento
integral a las caractersticas de las fuentes digitales de informacin, como corpus
conceptual a partir del cual se defina una metodologa de evaluacin, basada en
parmetros e indicadores previamente establecidos. La definicin de stos implica
el anlisis de la recuperacin y organizacin de esta informacin en la web, la eva-
luacin de calidad de los contenidos, y un tercer grupo de tareas, orientadas a los
tcnicos de descripcin de los recursos web, con la finalidad de proporcionar un
mayor valor aadido al producto final.
El nuevo paradigma de la edicin digital en Internet ha trado consigo nuevas
formas de consulta y nuevos servicios para las fuentes y recursos. La edicin cien-
tfica se ha visto alterada por la aparicin de la edicin electrnica de distintas for-
mas, no solamente en lo que respecta al formato de las publicaciones, sino tambin
en el papel que stas desempean en la comunicacin cientfica del nuevo siglo. Un
caso muy representativo al respecto son las revistas electrnicas, en cuya edicin

Revista General de Informacin y Documentacin 23


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

digital se han explotado las posibilidades que les brinda la Red, ofreciendo los
denominados servicios de valor aadido, que permiten ampliar la oferta informati-
va al usuario o investigador. Pueden citarse entre ellos:
Servicios de DSI (Difusin selectiva de la informacin), o de alerta informa-
tiva: Ofrecen al usuario informacin puntual sobre los nuevos nmeros de la
revista, y en especial sobre lo publicado por un autor, o sobre un tema, e
incluso algunos alertan al investigador de cundo y quin ha citado un deter-
minado artculo.
Integracin de la coleccin de un sistema de informacin o base de datos: Las
revistas electrnicas pueden integrar su coleccin en un sistema mayor, como
puede ser una base de datos, que ayuda a gestionar la coleccin hemerogr-
fica, y enriquece notablemente las opciones de bsqueda de documentacin
relacionada.
Bsqueda de artculos: Se crea y mantiene un archivo digital que permite al
investigador buscar un artculo dentro de la propia revista, mediante la con-
sulta del sumario, a partir de ndices auxiliares de autores, materias, o bien
utilizando un motor de bsqueda.
Guas de recursos: Directorios de URLs relacionadas con el tema que intere-
sa al lector, como por ejemplo un directorio temtico sobre revistas electr-
nicas que publican investigaciones en el rea de trabajo de nuestro usuario.
Como ejemplo de directorio de revistas electrnicas podemos citar Electronic
Journal Miner2.
Foros de discusin: Foros de discusin que aumentan la interaccin de los
autores, con los investigadores, e incluso con los propios editores.

El nuevo escenario de las fuentes de informacin digitales es la publicacin de


las mismas en Internet: este es realmente el cambio que ha propiciado la Red, no ya
al mundo de las fuentes de informacin sino al de la comunicacin y organizacin
del conocimiento en general. A travs de la WWW se han publicado una variada
tipologa de recursos como bases de datos, revistas, libros, informacin turstica,
informacin comercial, catlogos de bibliotecas, etc. La oferta de consulta de fuen-
tes de informacin en lnea crece cada da, de tal forma que ya no hay institucin
editorial que se precie que no disponga de sus obras en Internet, ya sea a texto nte-
gro, o bien ofrezca informacin referencial sobre las mismas.
En una primera aproximacin puede afirmarse que un recurso digital de calidad
es aquel que combina un buen contenido y una buena forma, o una buena organiza-
cin de este contenido. Evaluar estos dos aspectos esenciales de todo recurso web
implica un conocimiento de las caractersticas de las fuentes digitales de informa-
cin publicadas en Internet. Dichas caractersticas podran resumirse en tres al obje-
to que nos ocupa: la recuperabilidad, la capacidad, y la hipertextualidad:

2 Electronic Journal Miner. [Fecha de acceso 7 mayo 2004]. Disponible en el documento web:
<http://ejournal.coalliance.org>.

24 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

Recuperabilidad: posibilidad de recuperacin de la informacin. El sistema


de navegacin de la fuente ha de acompaarse de un motor de bsqueda.
Consiguiendo as un enfoque dual en el que una interfaze integra el sistema
de bsqueda y la exploracin.
Capacidad: La WWW no tiene lmites, de forma que la cualidad de la capa-
cidad pasa de cuantitativa a cualitativa en las fuentes de informacin digita-
les en lnea. En stas la cantidad de informacin es siempre un indicativo de
la calidad del recurso hipertextual, que se evaluar en funcin de la exhausti-
vidad de las mismas.
Hipertextualidad: Caracterstica que otorga un nuevo orden informativo supe-
rior al tratamiento de la informacin que venan aportando las fuentes anal-
gicas. Una de sus cualidades ms innovadoras ha sido el acceso no secuen-
cial a la informacin.

2. ANLISIS DE LAS PRINCIPALES METODOLOGAS DE EVALUACIN

Existe una abundante bibliografa sobre evaluacin de recursos web, la mayora


accesible a travs de la propia Red, por medio de bibliografas entre las que desta-
can las de Alexander y Tate, Auer, y McClure3. La revisin y estudio de las mismas
nos permite avanzar que las sedes web sobre evaluacin incluyen tanto listas de cri-
terios o cuestionarios concretos, como revisiones del estado de la cuestin bsi-
camente conceptuales, o mdulos formativos para el aprendizaje de habilidades
evaluadoras. La mayora de las listas de criterios no llegan a ofrecer un cuestiona-
rio de evaluacin, e incluso en aquellos supuestos que lo hacen, se trata de cuestio-
narios sin una metodologa explcita de trabajo en cuanto a procedimiento, puntua-
cin de indicadores, organizacin de los indicadores, prelacin, etc.
Esta ha sido la razn fundamental que ha guiado la seleccin de propuestas
metodolgicas que se lleva a cabo a continuacin, restringiendo el estudio a aque-
llas propuestas con una clara metodologa de trabajo, ms all de la simple presen-
tacin de un listado de criterios, y que ofrecen luego la realizacin pragmtica de
dicha metodologa en forma de un directorio temtico y gua de fuentes de infor-
macin de calidad, orientada a una comunidad concreta de usuarios, siempre del
mbito cientfico e investigador.
Entre las propuestas de evaluacin de los estudiosos ha de realizarse una men-
cin especial a los trabajos de David Stoker y Alison Cooke, presentados en el ao
1994 con motivo de un simposio organizado por la Biblioteca Universitaria de
Essen4. stos fueron pioneros no solamente en el tiempo, sino tambin en el enfo-

3 En la bibliografa final del artculo se ofrece una relacin bibliogrfica sobre evaluacin.
4 STOKER, David y COOKE, Alison: Evaluation of Networked Information Sources. En, Ahmed
H. Heal & Joachim W. Weiss (eds.), Information Superhighway: the Role of Librarians, Information Scien-
tist and Intermediaries: Proceedings of the 17 th International Essen Symposium 24th-27th October 1994.
Essen: Universitatsbibliothek Essen, 1995, p. 287-312.

Revista General de Informacin y Documentacin 25


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

que con el que se aborda el tema, presentando la evaluacin de las pginas web
como fuentes de referencia, y con especial atencin a la labor de referencia de los
servicios bibliotecarios. En esta propuesta los autores consideran ocho caractersti-
cas a tener en cuenta para la evaluacin de fuentes de informacin en lnea y en Cd-
Rom. Estas caractersticas o cualidades de las fuentes son: autoridad, genealoga u
origen de la fuente, alcance y tratamiento (propsito de la obra, cobertura, actuali-
zacin, exactitud, objetividad, y audiencia), formato, ordenacin, consideraciones
tcnicas, precio y disponibilidad, y ayuda al usuario.
Cinco aos ms tarde, Alison Cooke5 public en solitario una gua para evaluar
la informacin publicada en Internet. La autora organiza en diez parmetros la eva-
luacin de cualquier fuente de informacin, para luego desarrollar o proponer para
cada tipologa de fuente un listado especfico de indicadores con su cuestionario o
checklist, segn se trate de una base de datos, un sitio FTP, una web institucio-
nal, un directorio temtico, etc. Los parmetros propuestos por Cooke son los
siguientes: propsito, cobertura, autoridad y reputacin, exactitud, actualidad y
mantenimiento, accesibilidad, presentacin y organizacin, facilidad de uso, com-
paracin con otras fuentes y calidad global de recurso.
Esta obra del ao 1999 comprende una aportacin de especial inters, al afirmar
Cooke que el estudio de la calidad de las nuevas formas de comunicacin cientfica
en la Red pasa necesariamente por la evaluacin de stas como fuentes de informa-
cin digitales. En este sentido la autora ofrece una metodologa de evaluacin en la
que contempla una variada tipologa de formas de comunicacin cientfica en
Internet que constituyen el nuevo espacio de la literatura gris digital. Dicha meto-
dologa presta especial atencin a las caractersticas y propiedades de la fuente de
informacin digital frente a la analgica, y a la estructura del recurso en lnea, nove-
dades que aporta en la organizacin, consulta y difusin de la informacin.
Destacan tres propiedades de las fuentes digitales que las dotan de identidad propia:
el acceso aleatorio, la interaccin y la creacin, propiedades todas ellas que han
paliado notablemente los retrasos de publicacin en papel, ofreciendo a la comuni-
dad cientfica una opcin de difusin y accesibilidad universal y econmica a los
resultados de la investigacin cientfica de calidad, como respuesta vlida a las cr-
ticas en los retrasos de las publicaciones impresas inherentes al proceso de peer
review.
Carolyn Caywood6 es otra de las estudiosas ms tempranas del tema. Su pro-
puesta se basa en presentar la evaluacin de las pginas web como fuentes de refe-
rencia, tal y como hemos descrito en los trabajos de David Stoker y Alison Cooke.
Su escenario de trabajo es el bibliotecario, y tal y como indica la propia autora en
la introduccin de su propuesta, para la identificacin de los criterios de evalua-

5 COOKE, Alison: A guide to finding quality information on the Internet: selection and evaluation
strategies. Library Association Publishing, 1999.
6 CAYWOOD, C.: Library selection criteria for WWW resources. En, Public libraries, may/june
1996, p. 169 y ss.

26 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

cin se basa en los trabajos de Robert M. Gurns7 y Joel Snyders8. Caywood


apuesta por una metodologa breve y operativa, en la que considera nicamente
tres criterios de evaluacin acceso, diseo, y contenido de los que ofrece un
breve cuestionario, en el que priman los aspectos relacionados con la organiza-
cin de los contenidos de las pginas web, frente a las cuestiones de acceso y
diseo.
Propuestas pioneras fueron tambin las de autores como Ciolek9, Tillman10 y
Grassian11. Sus metodologas de evaluacin todas ellas elaboradas originaria-
mente en 1996 y revisadas en 1997 se han constituido con el paso de los aos
en un claro referente para los estudios posteriores. Ciolek propone 115 criterios
que se pueden sintetizar en 6 principales: originalidad de la informacin, facili-
dad de acceso a la informacin, estructura y organizacin, formateo y presenta-
cin, utilidad y credibilidad, y facilidad de mantenimiento de la informacin. La
propuesta de Tillman se basa en un modelo que evala la facilidad para determi-
nar el alcance del recurso, la facilidad para identificar metadatos, la estabilidad de
la informacin, y la facilidad de uso. Grassian por su parte plantea 44 criterios que
se pueden agrupar as: contenido y evaluacin, fuente y fecha, estructuras, y otros
aspectos.
El enfoque metodolgico de estos tres estudios es muy similar. En ellos se esta-
blecen unos criterios bsicos, que se dividen en subcriterios, a partir de los cuales
se desarrollan los instrumentos y procedimientos que se probarn en una fuente
digital piloto, y luego en una investigacin a gran escala. En resumen, se trata de
tres propuestas de evaluacin netamente acadmicas y orientadas a la evaluacin de
sitios con contenido cientfico o tecnolgico, que sentaron las bases de la mayora
de los estudios posteriores orientados a la definicin de un mtodo de evaluacin de
fuentes de informacin digitales en lnea.
El denominador comn a todos estos estudios es el establecimiento de una serie
de grandes reas, denominadas parmetros, sobre las que se realiza un anlisis, a
partir del cual se desarrollan indicadores concretos que informan sobre la calidad
del parmetro en cuestin. Entre el elevado nmero de propuestas pueden destacar-

7 GURNS, Robert M.: Measuring Service on the Internet. En, Computer in libraries, 1995. [Fecha
de acceso 14 mayo 2000]. Disponible en el documento <<web>>: <http://www.infi.net/CSotDFAQ.html>.
8 SNYDERS, Joel: Good, Bad, and Ugly Pages. En, Internet World, april, 1996, p. 26-7.
9 CIOLEK, Matthew: The six quests 1. The untrustworthiness of the WWW. Australian National
University, Canberra. [Fecha de acceso 22 abril 1998]. Disponible en el documento <<web>>:
<http://www.ciolek.com/PAPERS/QUEST/Quest1.html>.
10 TILLMAN, Hope: Evaluating quality on the Net. Babson College. [Fecha de acceso 18 mayo
1998]. Disponible en los documentos <<web>>: <http://www.tiac.net/users/hope/findqual.html>,
<http://www.hopetillman.com/findqual.html>.
11 GRASSIANS, Esther: Thinking critically about World Wide Web resources. University of
California at Los Angeles/UCLA. [Fecha de acceso 20 abril 1998]. Disponible en el documento <<web>>:
<http://www.library.ucla.edu/libraries/college/instruct/web/critical.htm>.
Thiking critically about discipline-based World Wide Web resources. University of California at Los
Angeles/UCLA [Fecha de acceso 20 abril 1998]. Disponible en el documento <<web>>:
<http://www.library.ucla.edu/libraries/college/instruct/web/discp.htm>.

Revista General de Informacin y Documentacin 27


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

se las recopilaciones realizadas por Alastair Smith12 o Nicole J. Auer13, coinciden-


tes en muchos de los indicadores de control de calidad. Alastair Smith propone siete
criterios o parmetros de evaluacin de calidad: cobertura, contenido, diseo grfi-
co y multimedia, propsito, reseas, usabilidad, y costes. Tambin resulta de gran
utilidad e inters la sistematizacin de parmetros de la autora Nicole Auer, que
resume en cinco los parmetros para evaluar informacin accesible en Internet:
autora, cobertura, objetividad, exactitud, y actualidad. Ambos autores desarrollan
una serie de indicadores para cada parmetro, y una serie de ejemplos de mtodos
o procedimientos que pueden aplicarse en los indicadores sugeridos.
Un ao despus de las propuestas de Ciolek, Tillman, y Grassian se dan a cono-
cer los resultados de las investigaciones llevadas a cabo en la Universidad de
Georgia entre 1996 y 1998 por Gene Wilkinson, Lisa Bennet y Kevin Oliver, cono-
cidos entre los estudiosos del tema por la gran cantidad de indicadores que maneja-
ron en las primeras etapas, alrededor de treinta decenas, los cuales quedaron final-
mente reducidos en once parmetros en un trabajo publicado en 199814: accesibili-
dad y usabilidad, identificacin y documentacin del recurso, autora, diseo y
estructura, relevancia y alcance, validez de los contenidos, exactitud y fiabilidad de
los contenidos, navegacin, calidad de los hipervnculos, y aspectos estticos y
afectivos.
Los estudios de Jim Kapoun15 tambin inciden en las lneas de trabajo expues-
tas hasta ahora. El autor presenta cinco parmetros de evaluacin, desarrollados en
un pequeo nmero de indicadores, a lo sumo tres o cuatro. Los parmetros pro-
puestos por Kapoun son: exactitud, autoridad, objetividad, actualidad, y cobertura.
Han de citarse tambin aqu los trabajos de Janet Alexander y Marsha Tate, de la
Universidad de Widener, realizados en la Wolfgram Memorial Library, y cuyos
principales resultados fueron publicados en el ao 199916. Estas autoras, tras varios
proyectos de evaluacin sobre sitios web, ofrecen mdulos de evaluacin de sedes
web jurdicas, informativas, personales, y de noticias. Su metodologa se basa en la
aplicacin de checklist o listas de control, esto es, bateras de preguntas que per-

12 ALASTAIR, Smiths: Testing the Surf: Criteria for evaluation of Internet Information Resources.
En, The Public-Access Computer Systems Review, 1997, 8, nm. 3, [Fecha de acceso 10 abril 2000].
Disponible en el documento <<web>>: <http://info.lib.uh.edu/pr/v8/n3/smit8n3.html>.
13 AUER, N.: Bibliography on evaluating Internet resources. Virginia Polytechnic Institute and State
University. [Fecha de acceso 10 marzo 2000]. Disponible en el documento web: <http://www.lib.vt.edu/rese-
arch/libinst/evalbiblio.html>.
Bibliography on Evaluating Internet Resources. En, Emergency Librarian 25 (5), May-June 1998,
p. 23-24.
14 WILKINSON, G. L., BENNET, L. T., y OLIVER, K.: Evaluating the Quality of Internet
Information. Virginia Tech. [Fecha de acceso 17 octubre 2000]. Disponible en el documento web:
<http://www.edtech.vt.edu/edtech/kmoliver/webeval/webeval.htm>.
15 KAPOUN, Jim: Teaching Undergrads WEB Evaluation. En, College and Research Libraries
News 59(7), July/August 1998, p. 522-523. Also at the ACRL website [Fecha de acceso 22 diciembre 2002].
Disponible en el documento web: <http://www.ala.org/acrl/undwebev.html>.
16 ALEXANDER, Janet, y ANN TATE, Ann: Web Wisdom: How to evaluate and create information
quality on the web. Lawrence Erlbaum Associates, 1999.

28 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

miten evaluar una serie de indicadores referentes a cinco contextos de evaluacin:


cabecera (healder), cuerpo (body), pie de pgina (footer), y navegacin (naviga-
tion); que a su vez se organizan en cinco criterios: autoridad, exactitud, objetividad,
actualidad, cobertura y destinatarios.
La propuesta de Janet Alexander y Marsha Tate ha sido una de las que ha con-
tando con mayor aceptacin en el campo de los servicios de informacin y referen-
cia, pues estas autoras realizan ricos comentarios de cada uno de los parmetros de
calidad de una fuente digital, comparndolo con su homlogo u homlogos en fuen-
tes de informacin tradicionales. Se acogen a una lnea de trabajo hecha pblica tres
aos antes por la autora Carolyn Caywood17, y que se basa en presentar la evalua-
cin de las pginas web como fuentes de referencia.
Por ltimo, en Estados Unidos y los trabajos de Jacob Nielsen18 sobre la usabi-
lidad han hecho proliferar la figura del experto en usabilidad de sedes web, ofre-
ciendo una serie de indicadores y parmetros de diseo, contenido y navegacin.
Indicadores muchos de los cuales ya se encontraban presentes en los trabajos de
Eschenfelder, Beachboard, McClure y Wyman19, y a partir de los cuales se des-
arrollaron para la administracin estadounidense una serie de indicadores de eva-
luacin de sitios web de organismos pblicos, que han sido posteriormente emple-
ados por otros estudiosos de la materia como Alastair Smith20 en su evaluacin de
los sitios web de organismos pblicos neocelandeses. Los criterios de evaluacin de
estos autores son muy similares, pudiendo sintetizarse en los siguientes criterios:
alcance, contenido, precisin, actualidad, autoridad, formato y apariencia, audien-
cia, propsito, originalidad, facilidad de uso, y costo.
En Amrica Latina se conoce la propuesta de evaluacin de sitios web de
Mercovich21. Propuesta que data de 1998, y que realiza varias pruebas a los sitios
web, relacionadas todas ellas con elementos de la naturaleza:
Prueba de fuego: portabilidad, aspecto del sitio con grficos desactivados o
en navegadores de slo texto.
Prueba de agua: utilizacin correcta de recursos HTML, diseo.

17 CAYWOOD, C.: Library selection criteria for WWW resources. Op.cit., p. 169 y ss.
18 NIELSEN, J.: Usabilidad: Diseo de sitios Web. Madrid: Prentice Hall, 2000.
NIELSEN, J. y TAHIR, M.: Usabilidad de pginas de inicio: anlisis de 50 sitios web. Madrid: Pearson
Educacin, 2002.
19 ESCHENFELDER, K. R.; BEACHBOARD, J. C.; MCCLURE, C. R.; WYMAN, S. K. (1997):
Assessing US Federal Government Websites. En, Government Information Quaterly, 14 (2), p. 173-189.
MCCLURE, C.R.; SPREHE, J.T.; ESCHENFELDER, K.: Performance measures for federal agency
websites: Final report 2000. [Fecha de acceso 2 enero 2001]. Disponible en el documento <<web>>:
<http://fedbbs.access.gpo.gov/library/download/MEASURES/measures.doc>.
20 SMITH, A. G.: Applying evaluation criteria to New Zealand government websites. En,
International Journal of Information Management, 2001, 21 (2), p. 137-149.
21 Eduardo MERCOVICH es especialista en diseo de interfaces, usabilidad, y organizacin de infor-
macin. Fundador de GaiaSur, una de las mayores consultoras en tecnologas de la informacin y de la
comunicacin de Amrica Latina. GaiaSur. [Fecha de acceso 12 enero 1999]. Disponible en el documento
<<web>>: <http://planeta.gaiasur.com.ar/gaiasur/>.

Revista General de Informacin y Documentacin 29


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

Prueba del espritu: navegabilidad, interfaz de usuario, lenguaje, amigabili-


dad.
Prueba del alma: contenido.
Prueba del metal: tcnica mediante la cual el espritu y el alma se hacen rea-
les y utilizables.

Mercovich se basa en unos criterios de evaluacin que dificultan su medicin


por su carcter netamente subjetivo, sin embargo, es una propuesta diferente y ori-
ginal, que aborda adems la evaluacin con la fluidez de un usuario comn y
corriente, contrastando con el rigor y frialdad de las propuestas anglosajonas antes
mencionadas.
Junto al trabajo de Mercovich, a nivel Latinoamericano se llev a cabo un ambi-
cioso proyecto de investigacin, a mediados de la dcada de los noventa, financia-
do por Colciencias el BID y la Universidad de Antioquia por mediacin de la
Escuela Interamericana de Bibliotecologa y su Centro de Investigaciones en
Ciencias de la Informacin. El resultado de esta investigacin qued publicado en
el Cd-rom Colombia conectada al mundo22, obra que ofrece un valioso anlisis y
una evaluacin de los sitios web de Colombia, registrados en UNIANDES y los
sitios compartidos nacionales e internacionales que estaban registrados en el motor
de bsqueda Que Hubo. En este trabajo se utiliz especialmente la calificacin
cuantitativa, entre uno y cinco, para realizar el anlisis de las sedes web, y luego se
acompa de una interpretacin cualitativa que defina las similitudes y diferencias
entre ellas, identificando el perfil global y por tipo de sedes (comerciales, persona-
les, cientficas, institucionales, y acadmicas), determinando las veinte mejores en
cuanto a su contenido, diseo y estructura, y construyendo un banco de datos con
stas en diciembre de 1998. La publicacin de esta evaluacin de sedes web permi-
te realizar un anlisis comparativo de la evolucin y el desarrollo de stas al paso
de los aos, resultando de gran valor el documento gua que acompaa a la evalua-
cin ofreciendo cien reglas, que posibilitan definir una metodologa de elaboracin
y publicacin de un sitio web ideal.
Y a comienzos del siglo XXI se publica, en la revista Ciencias de la informa-
cin, el trabajo de un grupo de investigacin liderado por Maria Ins Tmale23 de
la Universidad Estatal de Londrina (Paran, Brasil) que destaca entre los estudios
latinoamericanos por constituir una rica recopilacin bibliogrfica sobre evaluacin
y calidad de fuentes de informacin publicadas en Internet. La primera parte del tra-
bajo estudia desde los mecanismos de bsqueda, disponibles en la web, que utilizan
los motores y robots, hasta los servicios de anlisis de recursos en Internet elabora-
dos por bibliotecarios como Internet Reviews, Webwatch, o Infofilter project. En una

22 CORREA URIBE, Guillermo: Colombia conectada al mundo. Medelln: Universidad de Antioquia,


1999. CD-ROM.
23 TOMAL, M.; CATARINO, M. E. et al. Evaluacin de fuentes de informacin en Internet: crite-
rios de calidad. En, Ciencias de la informacin. Vol. 32, n 2, agosto 2001.

30 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

segunda parte el artculo del grupo de Tmale se centra en los criterios de conteni-
do (validez, precisin, autoridad y reputacin de la fuente, singularidad, acabado, y
cobertura) y de forma (caractersticas de navegacin, ayuda al usuario, y uso de tec-
nologas apropiadas), haciendo una referencia especial a las investigaciones ante-
riores del propio grupo de investigacin24.
En el panorama espaol existen diferentes trabajos que aportan datos sobre los
indicadores ms pertinentes para una correcta evaluacin que contribuya al control
de calidad de este tipo de publicaciones. En este sentido, hemos escogido algunas
de las experiencias ms interesantes, aunque existen otros, a modo indicativo de los
trabajos llevados a cabo por autores espaoles.
En primer lugar, es obligada una referencia al proyecto DARWIN25, coordinado
desde la Universidad de Salamanca, por ser un trabajo pionero en Espaa para la
constitucin de un directorio analtico de recursos web informativos. El directorio
se hizo pblico a la comunidad acadmica espaola durante el curso 1999-2000, y
en el mismo participan las siguientes universidades: Universidad de Barcelona,
Complutense de Madrid, Extremadura, Len, Politcnica de Valencia, Salamanca, y
Valencia. Actualmente Darwin se encuentra en una etapa de rediseo, que guiar los
futuros desarrollos de este directorio.
La metodologa analtica de un recurso web de Darwin se organiza en un anli-
sis descriptivo y cualitativo. En el primero, los analistas indican brevemente los
datos bsicos del recurso seleccionado, describiendo solamente los aspectos que se
precisan para identificar el recurso: ttulo del recurso, URL, responsable, pas de
origen, idioma, tipo de recurso, fecha de la ltima actualizacin, clasificacin y
materia a partir de una adaptacin de la Clasificacin Decimal Universal (CDU). El
anlisis cualitativo, por su parte, se centra en los aspectos relativos a la calidad de
la informacin contenida en el recurso, y estructurada alrededor del acceso, diseo,
y contenido. Los mbitos de este ltimo anlisis toman como punto de referencia la
propuesta de Carolyn Caywood26.
En las Jornadas Espaolas de Documentacin del ao 2000, se ofrece una pano-
rmica del estado de la cuestin en materia de localizacin, identificacin y des-
cripcin de documentos web. Se reflexiona en torno a los distintos proyectos de nor-
malizacin de la informacin distribuida en Internet, tanto para la identificacin de
los recursos, como para su estructuracin, acceso y referencia. En este sentido, y
aunque el trabajo no presenta una metodologa para la evaluacin de fuentes de
informacin publicadas en Internet, resulta muy clarificador para algunos de los

24 TOMAL, M. et al.: Criterios para avaliar fontes de informao na internet. En, Anais, 3.
Simposio Internacional de Biblioteconoma. Prof. Dr. Paula Tarcsio Mayrink. Marlia, 1 al 3 de set. 1999.
Marlia, pp. 271-280.
Fuentes de informacin en la Internet. Cd-rom. En, Anais, 11. Seminrio Nacional de Bibliotecas
Universitarias de la Amrica Latina. Florianpolis, 2000.
25 DARWIN. [Fecha de acceso 24 octubre 2002]. Disponible en el documento web: <<http://exli-
bris.usal.es/merlo/darwin/material/guia.htm>.
26 CAYWOOD, C.: Library selection criteria for WWW resources. Op.cit., p. 169 y ss.

Revista General de Informacin y Documentacin 31


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

indicadores a tener en cuenta en una metodologa que atienda los parmetros rela-
cionados con el encaje de la fuente en el contexto web, y en concreto con su visibi-
lidad.
As han sido los trabajos de Isidro F. Aguill, presentados en las citadas jorna-
das, y los de Llus Codina de la Universidad Pompeu Fabra27. Las investigaciones
de Aguill28 se caracterizan por el empleo de tcnicas cibermtricas, procurando un
modelo de evaluacin de sedes web muy cercano al modelo de Ingwersen. Su meto-
dologa se basa fundamentalmente en las dos principales caractersticas de las sedes
web, esto es, su cobertura global y su naturaleza hipertextual. Caractersticas que
permiten desarrollar indicadores que miden la visibilidad e impacto de la presencia
de un grupo de organizacin en Internet teniendo en cuenta la semejanza entre los
enlaces hipertextuales y las citas. Segn esto, el autor apuesta por una evaluacin de
calidad de las sedes web como valor aadido, siguiendo criterios cuantitativos.
Por su parte, los trabajos de Codina29 apuestan por la evaluacin cualitativa de
los recursos digitales, identificando los parmetros esenciales que pueden ser obje-
to de evaluacin. En su artculo Evaluacin de recursos digitales en lnea: concep-
tos, indicadores, y mtodos, nos conduce al anlisis de los parmetros: autora,
contenido, ergonoma, y representacin de la informacin. Y establece procedi-
mientos de anlisis para cada grupo de indicadores con los que se evaluarn los
parmetros anteriores, junto con criterios de inclusin y exclusin, prioridades y
niveles de trabajo, y una rica apuesta por la descripcin de recursos digitales
desde la norma Dublin Core que comprende los siguientes elementos: ttulo, tipo
de recurso, responsabilidad, lugar, editor, nmero normalizado, URL, descripcin,
lengua, relacin con otros recursos, cobertura y fuente.
La publicacin de trabajos posteriores ha ido enriqueciendo la propuesta inicial
del autor, y dotndola a la vez de mayor exhaustividad, en cuanto campo de traba-
jo o mbito de aplicacin, y de mayor especificidad, en cuanto al desarrollo de cues-
tionarios de evaluacin, procedimientos de anlisis, y criterios de trabajo. En defi-
nitiva, podemos afirmar que la propuesta metodolgica de Llus Codina es una pro-

27 Ambos estudiados en AYUSO GARCA, M Dolores: Bibliografa, informacin y conocimiento.


Del mtodo bibliogrfico a la normalizacin y evaluacin de recursos electrnicos. Hacia la sistematizacin
de las fuentes del conocimiento. En, Homenaje a Juan Antonio Sagredo Fernndez. Estudios de
Bibliografa y Fuentes de Informacin. (Coordinadora: Isabel Villaseor). Op. cit., p. 37-39.
28 AGUILL, Isidro F.: Indicadores hacia una evaluacin no objetiva (cuantitativa) de sedes web.
En, VII Jornadas Espaolas de Documentacin Automatizada. Fesabid 2000. Bilbao: Universidad del Pas
Vasco, 2000, p. 233-248.
29 CODINA, Llus: Evaluacin de recursos digitales en lnea: conceptos, indicadores y mtodos.
En, Revista espaola de documentacin cientfica, 2000, vol. 23, n 1, p. 9-44.
Parmetros e indicadores de calidad para la evaluacin de recursos digitales. En, VII Jornadas
Espaolas de Documentacin Automatizada. Fesabid 2000. Bilbao: Universidad del Pas Vasco, 2000, p.
135-144.
El libro digital y la www. Madrid: Tauro, 2000, p. 235-250.
Hiperdocumentos: composicin, estructura y evaluacin. En, Daz Noci, Javier y Salaverra
Aliaga, Ramn (coord.). Manual de redaccin ciberperiodstica. Barcelona: Ariel, 2003.

32 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

puesta sumamente clarificadora y didctica, pues el autor nutre constantemente sus


trabajos de referencias sobre el tema y una rica bibliografa final.
Por ltimo citar el trabajo de Mara Jimnez Piano30, en el que la autora refle-
xiona sobre la necesidad de evaluar las sedes web para garantizar su fiabilidad, ante
el incremento constante de los documentos en Internet, su descentralizacin, y la
ausencia de todo tipo de control. El artculo de Jimnez Piano propone la elabora-
cin de un cuestionario de evaluacin de sedes web de contenido cientfico. Para
ello se estudia la bibliografa especializada, analizando los criterios en los que se
basan las propuestas, y exponiendo una metodologa que lleva a la construccin de
un cuestionario organizado en 8 bloques (accesibilidad, audiencia, autoridad, con-
tenido, coste, actualizacin, diseo, y administracin), divididos a su vez en 16 cri-
terios, y 125 cuestiones, puntuadas de forma ponderada. El trabajo concluye con el
mayor peso atribuido a los criterios de contenido, diseo y accesibilidad, segn la
distribucin de stos en porcentaje. Los criterios de autoridad y organizacin obtie-
nen un menor porcentaje de representacin, no porque carezcan de importancia,
sino por contener menor nmero de criterios, y por tanto de cuestiones. Y por lti-
mo, los criterios de actualizacin y audiencia son los ms limitados, contando con
el menor porcentaje asignado sobre el total del cuestionario.

3. EL CONTEXTO PRAGMTICO DE LAS METODOLOGAS DE


EVALUACIN

En el marco de las propuestas de evaluacin institucionales, una de las aporta-


ciones ms interesantes ha sido la realizada por el ISI31 (Institute for Scientific
Information) que ha desarrollado una metodologa de evaluacin de recursos web
orientados hacia el mbito acadmico y de investigacin, al objeto de incluirlos en
el Current Web Contents. En dicha metodologa se definen como criterios de eva-
luacin los siguientes:
La autoridad del recurso web. Esto es, la credibilidad del autor en referencia
con el contenido de la pgina, especialmente si estamos ante una pgina ofi-
cial. La objetividad de la misma, la identificacin del autor y la posibilidad
de contactar con l.
La precisin del recurso. Parmetro que se encuentra en estrecha relacin con
el anterior, puesto que la autora de una pgina se encuentra vinculada nece-

30 JIMNEZ PIANO, Mara: Evaluacin de sedes web. En, Revista Espaola de Documentacin
Cientfica, 2001, 24, 4, p. 405-433.
31 Traduccin, AYUSO GARCA, M Dolores: Bibliografa, informacin y conocimiento. Del mto-
do bibliogrfico a la normalizacin y evaluacin de recursos electrnicos. Hacia la sistematizacin de las
fuentes del conocimiento. En, Homenaje a Juan Antonio Sagredo Fernndez. Estudios de Bibliografa y
Fuentes de Informacin. (Coordinadora: Isabel Villaseor). Madrid: Universidad Complutense, Escuela
Universitaria de Biblioteconoma y Documentacin, 2001, p. 19-51.

Revista General de Informacin y Documentacin 33


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

sariamente a la autoridad de esta. De tal forma, que un buen nivel de autora


indica una informacin objetiva y precisa.
La actualidad del recurso web, o puntualidad en la informacin facilitada.
La funcionalidad en el diseo y la navegacin del recurso. Presentando la
informacin estructurada, con un diseo general de fcil uso y estructurado
de forma lgica.
La aplicabilidad y contenido del recurso en relacin con otros productos.
El alcance y propsito de la fuente.
El nivel de audiencia en la comunidad cientfica o en la investigacin acad-
mica. mbitos en los que centra ISI su trabajo de referencia de fuentes de
informacin.
La calidad en la escritura. Los editores buscan ortografa bsica y competen-
cia gramatical con un uso mnimo de argot. Valorando la claridad en la dis-
cusin de cuestiones complejas y/o la genialidad, aunque no es muy comn.
Crticas. Los premios en la web se conceden por varias razones, desde el
nmero de visitantes por pgina hasta la calidad del contenido acadmico.
Dada la misin del ISI en la Red, un premio que provenga de fuentes acad-
micas es otro incentivo.

Formando parte del ISI Current Contents Connect, la versin web de Current
Contents ofrecida desde la plataforma ISI Web of Knowledge, se encuentra el
Current Web Contents, un directorio de sitios web acadmicos evaluados, avalado
por la autoridad cientfica y acadmica de su editor, el ISI, y del entorno documen-
tal en el que se ofrece. La cobertura de este directorio es muy amplia, de hecho en
enero de 2004 contaba con 3500 sitios web evaluados, abarcando casi 200 discipli-
nas en las ciencias, ciencias sociales, artes y humanidades.
La funcionalidad de bsqueda denominada Current Contents eSearch emplea un
proceso de indexacin avanzado de Internet y una tecnologa de recuperacin para
localizar informacin en la Red que sea relevante a la bsqueda planteada por el
investigador. Esta tecnologa extiende an ms el proceso de seleccin de Current
Web Contents, dado que lleva la bsqueda fuera de la base de datos de Current
Contents y rastrea en el texto completo de los sitios web. Esos sitios web, del
Current Web Contents, han sido evaluados por editores del ISI y han pasado el rigu-
roso sistema de seleccin. Segn esto, Current Contents eSearch emplea una avan-
zada tecnologa de clasificacin y localizacin de informacin en la web para
encontrar informacin pertinente a la bsqueda del investigador y abarca la siguien-
te tipologa de contenidos:
Preprints: textos completos de publicaciones preliminares, especialmente
artculos, disponibles en Internet antes de su publicacin formal.
Funding: sedes web que ofrecen informacin sobre financiamiento, becas,
y premios.
Research activity: resmenes de actividades de investigacin en forma de
artculos, resmenes de reuniones, actas, resultados de un proyecto de inves-
tigacin, etc.

34 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

Web site reviews: metainformacin sobre sitios web indexados en Current


Web Contents.

Al seleccionar la opcin Web sites el investigador puede visualizar un listado


de sitios web que han sido seleccionados por editores de contenido web de ISI por
ser pertinentes a la disciplina y por la calidad editorial de su contenido, sobre la base
de tres criterios: autoridad, exactitud o precisin, y validez. La siguiente figura
muestra el registro completo de un web sites evaluado y censado en el Current
Web Contents:

Figura 1. Estructura analtica de un Web Site. Current Web Contents.

Segn muestra la figura, el Current Web Contents ofrece de cada sitio web inde-
xado los siguientes datos:
La denominacin de la web: el ttulo del sitio web que aparece en la pgina
principal de acceso al recurso, y que se muestra en la barra de navegador.
Una breve descripcin de la sede web, llevada a cabo por los editores del ISI.
Las palabras clave asignadas por los editores a partir de la clasificacin Web
Contents.
El autor de la sede web, el editor, y el idioma o idiomas de la misma.
Tipologa del sitio web, segn una amplia clasificacin entre la que se
encuentran las bibliografas, las pginas web de institucionales gubernamen-
tales, bases de datos profesionales, etc.
Formato de presentacin de la informacin, que mayoritariamente es texto en
html con imgenes giff o jpeg, aunque tambin incluye pginas multimedia
con archivos wap, etc.

Revista General de Informacin y Documentacin 35


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

Proveedor: acadmicos, gubernamental, asociaciones, etc.


Fecha de la ltima revisin y evaluacin del sitio web.

Finalmente indicar que los resultados son clasificados segn su relevancia, aque-
llas palabras que son poco comunes en el ndice sern ms ponderadas que aquellas
palabras que aparecen con mayor frecuencia.
Junto al trabajo del ISI resulta preciso considerar, entre las propuestas institu-
cionales, las brillantes aportaciones metodolgicas realizadas por las agencias de
evaluacin (information gateways) ms significativas de Estados Unidos y del
Reino Unido. De stas se ha llevado a cabo una rigurosa seleccin, con el objeto de
ofrecer aqu una muestra lo ms significativa posible, teniendo en cuenta la exclu-
sividad, relevancia y oportunidad del proyecto en su mbito temtico de actuacin,
y como no el nivel de anlisis de sus protocolos. Cuestin esta ltima que ha esta-
do en funcin de la publicacin de los mismos en sus sedes web, y por no ser sta
una constante de la informacin que nos ha facilitado cada una de las agencias de
evaluacin.
La bibliografa final recoge los protocolos de las agencias consideradas, sirvien-
do ahora de muestra y antesala al protocolo de evaluacin de las autoras de este tra-
bajo el directorio temtico Sosig32.
SOSIG (The Social Science Information Gateway) es uno de los ejemplos ms
representativos de directorio temtico de inters acadmico. Se public en el ao
1995, y se trata de un servicio accesible a travs de Internet que proporciona acce-
so a recursos de informacin de calidad, publicados en la Red, y especializados en
Ciencias Sociales y Humanidades. Forma parte de la RDN y esta financiado por el
ESRC (Economic and Social Research Council) y el JISC del Reino Unido.
Como otras agencias de evaluacin, SOSIG dispone de un protocolo que aplica
a todo recurso que se incluye en su catlogo. El protocolo de SOSIG evala los
recursos web en trminos de contenido, forma y proceso:
Criterios de contenido: validez; autoridad y reputacin de la fuente; substan-
tividad de la informacin, valor aadido y exactitud; exactitud; comprensin;
unicidad; y composicin y organizacin.
Criterios de forma (evaluacin del medio): facilidad de navegacin; disposi-
cin de la ayuda del usuario; uso de estndares reconocidos; uso de la tecno-
loga apropiada; y esttica.
Criterios de proceso (evaluacin del sistema): integridad de la informacin;
integridad del sitio; e integridad del sistema.

Sosig podra constituirse a nivel analtico en prototipo de directorio temtico de


recursos web. La organizacin de los recursos responde a un esquema sumamente

32 Al que las autoras ya han dedicado otros trabajos presentados por la Dra. Ayuso en la Universidad
Pontificia de Colombia, Bogot y en la Universidad de la Habana.
SOSIG. [Fecha de acceso 27 junio 2003]. Disponible en el documento web: <http://sosig.esrc.bris.ac.uk/>.

36 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

til y prctico, constituido sobre dos bases de datos diferentes: un catlogo que cla-
sifica las direcciones web, y un motor de bsqueda de Ciencias Sociales. El catlo-
go referencia las direcciones web seleccionadas, evaluadas, y descritas por biblio-
tecarios o especialistas en cualquier rea temtica relacionada con las Ciencias
Sociales. Y el motor de bsqueda de Ciencias Sociales est separado del catlogo y
contiene ms direcciones que ste recopiladas automticamente por un robot, aun-
que de forma selectiva. Estas direcciones no estn organizadas ni analizadas, por lo
que tan slo se puede acceder a ellas a travs de un formulario de bsqueda ms
simple que el avanzado que permite consultar el catlogo.
Las consultas ms ricas, en trminos documentales, son las realizadas sobre el
catlogo de Sosig, y especialmente aquellas llevadas a cabo desde la opcin del
tesauro, o mejor dicho, de tres tesauros temticos que incluye. Dichos tesauros con-
tienen los trminos utilizados como palabras clave para describir el contenido del
recurso web. Para realizar una bsqueda utilizando este tipo de herramienta es pre-
ciso pinchar en la pgina principal sobre la opcin thesauri, momento a partir del
cual se contar con un formulario de bsqueda en el que el usuario habr de preci-
sar el tesauro que quiere activar y el trmino que desea localizar. Inmediatamente
despus aparecern los diferentes trminos que contienen las palabras escritas,
pudindose seleccionar entre ellas y lanzar la bsqueda directamente al catlogo.
SOSIG trabaja con tres tesauros para asignar trminos controlados a los recur-
sos web que cataloga, y para proveer al usuario de trminos alternativos en sus bs-
quedas. Estos tesauros son: HASSET: tesauro de Ciencias Sociales en general;
IBSS: tesauro especializado en Gobierno, Poltica, y Antropologa; CareData:
tesauro especializado en Trabajo y Bienestar Social.
Los tesauros pueden ser de gran ayuda al usuario al aumentar la exactitud de sus
bsquedas, si sus tentativas iniciales recuperan pocos o ningn recurso relevante en
su consulta inicial. La consulta de un tesauro puede llevarse a cabo buscando direc-
tamente y los trminos admitidos con respecto a nuestro trmino de bsqueda,
mediante el formulario dispuesto para tal fin; o bien, el usuario puede navegar por
el tesauro para conocer las relaciones semnticas entre los trminos de su inters
antes de lanzar la bsqueda al catlogo. En la consulta del tesauro, las relaciones se
muestran como ofrece la figura siguiente, de tal forma que cada trmino es un hiper-
vnculo que muestra su red de relaciones semnticas, figurando el trmino actual
(Current term) que ha guiado la consulta en la parte superior. Adems, cada tr-
mino admitido dispone de una casilla de marcado que permite al usuario seleccio-
nar las palabras clave por las que va a llevar a cabo la bsqueda, e incluso de una
opcin de inclusin de todos los trminos relacionados al trmino en cuestin.

Revista General de Informacin y Documentacin 37


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

Figura 2. SOSIG. Consulta del tesauro General Social Science.

4. NUEVO PROTOCOLO DE EVALUACIN A PARTIR DEL MODELO


DEL ISI. PROPUESTA PROPIA

A partir de la revisin bibliogrfica llevada a cabo, y siguiendo muy de cerca la


propuesta de evaluacin del ISI, las autoras proponen un protocolo de evaluacin,
cuya metodologa de trabajo presupone dos grandes etapas:
La definicin de unos parmetros e indicadores, y su organizacin en tres sec-
ciones, que se corresponde con la naturaleza intrnseca de una fuente de informa-
cin publicada en Internet: micronavegacin, macronavegacin, y usabilidad.
Y el avance de un procedimiento de evaluacin que incluye la definicin de unas
etapas en el procedimiento, unos criterios de trabajo y un orden de prioridad en los
parmetros (centrando ste todo su protagonismo sobre los parmetros de la autora
y el contenido), el sistema de puntuacin de los indicadores, y unos modelos de
fichas de trabajo.

4.1. PARMETROS E INDICADORES


4.1.1. De la necesidad de unos parmetros e indicadores
La tarea de evaluacin de una fuente de informacin conlleva la valoracin de
una serie de elementos intrnsecos a la misma, que en el supuesto de fuentes digita-

38 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

les se centran en los aspectos formales y en la calidad de los contenidos del recur-
so. Se trata pues de una tarea que requiere una metodologa propia, y que guarda
cierta relacin con la informacin bibliogrfica del propio recurso. En ella el profe-
sional de la documentacin, suma o aade a la ya tradicional identificacin y recu-
peracin de informacin en Internet, una descripcin de valor aadido a unos recur-
sos digitales que por su naturaleza requieren de un control documental que ha de
considerar necesariamente:
Las propiedades o caractersticas del recurso digital a evaluar: Parmetros.
Los elementos del recurso digital que se van a considerar para cada una de
las caractersticas anteriores: Indicadores.
Y en tercer lugar aquellos medios por los que se procede a determinar la cali-
dad del recurso digital: Procedimientos.

Parece lgico, por tanto, que antes de presentar los parmetros e indicadores se
recuerde aqu y ahora la necesidad de stos en la metodologa de evaluacin que nos
concierne. Para cada parmetro, hay varios indicadores. O lo que es lo mismo, para
cada propiedad de la fuente digital, se considerarn una serie de elementos en la
evaluacin de cada una de las caractersticas o propiedades de la misma, al objeto
de proceder a determinar la calidad de sta. En cada indicador el evaluador ha de
contemplar los siguientes elementos:
Definicin: La presentacin del indicador.
Examen: La pregunta o preguntas que debe hacerse al analista para adoptar
decisiones sobre el indicador.
Ejemplos: Aclaraciones o ejemplos de recursos digitales en lnea que ayudan
a entender la evaluacin del indicador.
Procedimiento: Orientaciones, cuando sea oportuno, sobre cmo proceder a
la evaluacin del indicador.
Puntuacin: La escala de puntuacin recomendada.

4.1.2. Organizacin de los parmetros

Autores como Llus Codina33 organizan los parmetros e indicadores de evalua-


cin en la micronavegacin y la macronavegacin. Nosotros vamos a considerar una
tercera seccin relativa a la usabilidad, quedando por tanto los parmetros de nues-
tro protocolo de evaluacin agrupados en las tres siguientes secciones:
Micronavegacin: Examina los aspectos de organizacin y estructura de la
publicacin.
Macronavegacin: Aspectos de encaje del recurso en el contexto global de la
WWW.

33 Codina, Llus: El libro digital y la www. Madrid: Tauro, 2000, p. 189 ss.

Revista General de Informacin y Documentacin 39


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

La luminosidad de una web se refiere al nmero de enlaces que contiene


hacia otras sedes web. La razn para aadir enlaces a webs externas es
doble: por un lado, es una forma de aadir utilidad a una publicacin, por
otro lado, tambin es una forma indirecta de hacer ms popular un recurso.
Ahora bien, en el mundo acadmico, los enlaces externos son un arma de
doble filo. Por un lado, pueden ser un excelente complemento a cualquier
material, pero tambin son una invitacin a abandonar la publicacin y a la
consiguiente dispersin y posible confusin del lector. Por tanto procede
examinar la calidad de la luminosidad de una publicacin con la utilizacin
de los indicadores que se presentan ms abajo.
La visibilidad se refiere al grado en el cual una web es enlazada o citada
por otras web. En teora, existe una correlacin directa entre el grado de
visibilidad (o popularidad) de un recurso digital y su calidad. Por tanto, la
visibilidad o popularidad de un recurso digital puede ser un buen indicador
de calidad. Adems, se supone que si publicamos en la web, lo hacemos
para ser visibles, por tanto, forma parte de la calidad intrnseca de un recur-
so su habilidad para hacerse visible. Se considerarn, en este sentido, los
indicadores que se presentan ms abajo.

Usabilidad: Se refiere principalmente, pero no exclusivamente, a los aspectos


transaccionales de una sede web. Esto es, a la facilidad de uso de aquellas
opciones de la publicacin digital que impliquen algn tipo de actividad (por
ejemplo, la participacin en foros) o transaccin (por ejemplo, suscripciones
o compras de libros).
En la evaluacin de la usabilidad de una fuente o recurso de informacin digi-
tal ha de hacerse notar que, ante la variedad de mtodos existentes y en la
lnea de la metodologa de evaluacin de las dos secciones anteriores, se ha
seleccionado el mtodo heurstico. Este mtodo es el realizado por evaluado-
res especializados a partir de principios establecidos por la disciplina de la
IPO/HCI. Esta evaluacin puede llegar a detectar aproximadamente el 42%
de los problemas graves de diseo y el 32% de los problemas menores,
dependiendo del nmero de evaluadores que revisen el sitio.
Nielsen describe en su web el listado de principios heursticos extrados del
anlisis factorial de 249 problemas de usabilidad. De ellos se han selecciona-
do aquellos que guardan una mayor relacin con los parmetros de procesos,
errores, y adaptacin. Aunque los evaluadores pueden incorporar nuevos
parmetros o indicadores a su checklist de criterios, cuando lo estimen
necesario. Posteriormente, se recomienda realizar un test de usuarios para
completar la evaluacin de la usabilidad.

40 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

Tabla resumen. Parmetros por secciones.

I. Micronavegacin. 1. Autora / Fuente: Identificacin y solvencia de la fuente.


2. Contenido: Calidad y cantidad de la informacin.
3. Navegacin y Recuperacin.
4. Ergonoma: Comodidad y facilidad de utilizacin.
II. Macronavegacin. 5. Luminosidad.
6. Visibilidad.
III. Usabilidad. 7. Procesos.
8. Errores.
9. Adaptacin.

Fuente: Elaboracin propia.

4.1.3. Definicin de los indicadores

Ya en la presentacin de los indicadores se hizo referencia a la importancia que


tiene en toda metodologa la inclusin para cada indicador evaluado de la definicin
del mismo, su examen, los ejemplos aclaratorios, el procedimiento y la puntuacin.
Por tanto, nos disponemos ahora a definir los indicadores que habrn de conside-
rarse en cada uno de los parmetros de las secciones de micronavegacin, macro-
navegacin, y usabilidad a las que se ha hecho referencia en el epgrafe anterior.

Seccin de Micronavegacin

1. Parmetro: Autora / Fuente.


1.1. Autora: Responsabilidad intelectual del recurso e identificacin del orga-
nismo responsable de su publicacin.
1.2. Adecuacin: Adecuacin entre la autora y la agenda temtica del recur-
so oficial.
1.3. Comunicacin: Posibilidad de enviar mensajes sobre el contenido al
administrador del recurso.
2. Parmetro: Contenido.
2.1. Temtica, usuarios potenciales y finalidades de la fuente.
2.2. Inters intrnseco: Vinculacin del tema de la fuente a la investigacin o
al sector de la I+D.
2.3. Originalidad y oportunidad del tema presentado.
2.4. Poltica editorial.
2.5. Cantidad o volumen de informacin: Cantidad de informacin en relacin
al tema de la fuente, a sus objetivos y finalidades, y a los usuarios previ-
sibles de la misma.

Revista General de Informacin y Documentacin 41


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

2.6. Rigor: En la elaboracin y presentacin de la informacin.


2.7. Edicin: Supervisin de la informacin, control de revisin.
2.8. Actualizacin: Periodicidad de actualizacin de la informacin.
2.9. Recursos multimedia o audiovisuales.
2.10. Archivo retrospectivo: Acceso al fondo histrico de la fuente.
3. Parmetro: Navegacin y recuperacin.
3.1. Sumario: Sumario global de la fuente. Elementos de navegacin remotos,
o sistemas de navegacin complementarios, como tablas de contenido,
ndices y mapas de sitio.
3.2. Expresividad: Capacidad de expresar con un nmero limitado de opcio-
nes los contenidos principales, o secciones, de la fuente.
3.3. Identificacin bsica de las principales secciones de la fuente: Examen
del ttulo, autor y fecha.
3.4. Recorrido secuencial: Posibilidad de un recorrido secuencial por el con-
tenido de la fuente, ya sea en su totalidad o en una de sus secciones.
3.5. Navegacin estructural: Posibilidad de un recorrido no secuencial por el
contenido de la fuente.
3.6. Orientacin: Indicaciones de contexto.
3.7. Jerarquizacin: Indicacin directa o indirecta de la importancia relativa
de las secciones o de la informacin contenida en la fuente.
3.8. Sumarios locales: Sumarios de secciones de la fuente.
3.9. ndices: Contenido de la fuente organizado en forma de ndices temti-
cos, cronolgicos, geogrficos, u onomsticos.
3.10. Navegacin semntica: Enlaces entre secciones no relacionadas estruc-
turalmente.
3.11. Sistema de etiquetas: Conjunto de trminos, o de iconos, utilizados para
rotular las distintas secciones del recurso.
3.12. Recuperacin de informacin: Inclusin de un sistema de bsqueda por
palabras, que apoye los mens de navegacin.
3.13. Bsqueda avanzada: Sistema de bsqueda avanzada por campos, opera-
dores booleanos, de proximidad, de truncamientos, etc.
3.14. Lenguaje documental: Uso de un vocabulario controlado, en forma de
clasificacin o tesauro.
4. Parmetro: Ergonoma.
4.1. Facilidad de uso de la fuente.
4.2. Flexibilidad: Posibilidad de llevar a cabo una accin de diversas formas.
4.3. Claridad: Contraste adecuado entre figura y fondo.
4.4. Legibilidad: Facilidad de lectura de la informacin textual.
4.5. Recursos multimedia: Adecuacin del uso de imgenes o sonido en el
recurso.
4.6. Velocidad: Tiempo de descarga de las diversas secciones del recurso.

42 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

Seccin de Macronavegacin

5. Parmetro: Luminosidad.
5.1. Enlaces a recursos externos.
5.2. Contexto del anclaje: Contexto de presentacin de los anclajes que acti-
van los enlaces.
5.3. Anticipacin: Informacin anticipada ofrecida por el anclaje.
5.4. Oportunidad o adecuacin de los enlaces externos.
5.5. Calidad de los enlaces externos.
5.6. Actualizacin de los enlaces externos.
5.7. Tratamiento de los enlaces externos.
6. Parmetro: Visibilidad.
6.1. Ttulo: Ttulo de la fuente en las etiquetas de la seccin HEAD.
6.2. Transparencia: Informacin textual sobre la temtica principal del
recurso.
6.3. Metainformacin: Metadatos en la seccin HEAD.
6.4. Metadatos Dublin Core.
6.5. Popularidad: Nmero de citaciones que recibe la fuente.

Seccin de Usabilidad

7. Parmetro: Procesos.
7.1. Visin de estatus: Visin no ambigua del proceso de transaccin.
7.2. Uso de convenciones.
8. Parmetro: Errores.
8.1. Deshacer errores o ltimas acciones.
8.2. Mensajes del sistema en caso de error.
8.3. Consecuencias de los errores para el usuario especialmente.
9. Parmetro: Adaptacin.
9.1. Adaptacin o personalizacin: Capacidad de adaptacin de la fuente a
cada usuario.
9.2. Redundancia: Posibilidad de realizar las mismas acciones por distintos
medios.
9.3. Polticas y normas de uso.

Este conjunto de indicadores, organizados en nueve parmetros, podran consti-


tuir un estndar vlido para la evaluacin de los recursos digitales. Un estndar que
permite la evaluacin de los aspectos formales y de calidad de los contenidos de las
fuentes de informacin digitales. No obstante, podran definirse nuevos indicadores
para estos parmetros en funcin de las necesidades del evaluador, e incluso estu-
diar la puesta en escena de un nuevo parmetro. Supongamos por un momento, que
una agencia de evaluacin recibe como encargo de trabajo la creacin de un reper-

Revista General de Informacin y Documentacin 43


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

torio de fuentes de informacin digitales para disminuidos fsicos. En este supues-


to, podra entrar en juego un nuevo parmetro que tendra que ver con la accesibili-
dad de las pginas web, segn las pautas del W3C (World Wide Web Consortium).
Y al contrario, cuestiones de tiempo u oportunidad pueden llevar a estudiar una
metodologa ms breve o reducida, en la que los evaluadores centren su trabajo en
dos parmetros: autora y contenidos.
Por tanto, el grupo de indicadores de calidad que ofrecen aqu las autoras, puede
ser discutible y susceptible de cambios y mejoras, y as lo esperamos, en determi-
nadas circunstancias, pero ante todo se trata de unos indicadores articulados en
parmetros, organizados stos en secciones, y de los que se facilitar su presenta-
cin en la Gua de buenas prcticas, dotando al evaluador de un caso prctico en el
que se define el indicador, se le orienta en su examen, se facilitan ejemplos que ayu-
den a entenderlo, se dan pautas para el procedimiento, y finalmente se asigna una
puntuacin dentro de una escala razonada y recomendada.

4.2. PROCEDIMIENTO

4.2.1. Generalidades

Como recomendacin general, los evaluadores inspeccionan la fuente de infor-


macin individualmente y solamente despus de la evaluacin pueden comunicarse
sus resultados. stos han de realizar informes por escrito a partir de la recogida de
datos que lleven a cabo en las fichas de trabajo que se presentan ms abajo, tarea
que iniciara una vez que naveguen a travs de la web al menos dos veces para fami-
liarizarse con su estructura y antes de comenzar con la evaluacin propiamente
dicha.
Las sesiones de evaluacin durarn aproximadamente unas dos horas por recur-
so, tras las cuales los evaluadores elaboran una lista de puntos dbiles, tambin se
incluirn los fuertes, que han de explicar conforme a los principios o estndares de
calidad que describe la Gua para cada indicador. El anlisis de cada punto dbil, o
indicador susceptible de mejora, se ha de realizar por separado y no en conjunto. Se
trata de evitar repetir los errores en el rediseo de la web y permitir la solucin de
problemas concretos sin necesidad de redisear el sitio al completo.
La jerarquizacin de la gravedad de los problemas, o puntos dbiles, facilitar la
aplicacin posterior de medidas correctoras. Dicha gravedad es medida por tres fac-
tores:
1. La frecuencia con la que el problema ocurre.
2. El impacto del problema cuando sucede.
3. Y la persistencia del problema, esto es, si el problema de resuelve la primera
vez que se use el sitio web o aparece repetidamente.

44 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

4.2.2. Etapas del procedimiento de evaluacin

Se organiza el procedimiento de la evaluacin en cuatro etapas, que seran las


siguientes:
I. Etapa de definicin del escenario de trabajo.
El equipo de evaluacin, en funcin de las necesidades expuestas en torno al
trabajo que se le ha encomendado, ha de determinar inicialmente cul ser su
escenario de trabajo. O dicho de otra forma, qu tipo de fuentes de informa-
cin van a ser objetivo de evaluacin, dejando bien delimitado el campo tem-
tico de las mismas, su cobertura cronolgica, documental, lingstica y geo-
grfica.
En esta etapa ser preciso que todos los miembros del equipo participen en la
definicin del grupo de fuentes de informacin que se van a evaluar.
Habitualmente, se elabora un esquema de clasificacin que sirve de gua,
teniendo presentes diversos puntos de vista desde los que pueden clasificarse
las fuentes objeto de evaluacin, como la naturaleza jurdica de la institucin
editora (fuentes de informacin oficiales y fuentes de informacin editadas por
instituciones u organismos privados), el tipo de informacin que contengan
(fuentes primarias o fuentes secundarias), su distribucin (venal o no venal),
etc.

II. Etapa de definicin de los objetivos o finalidades de la evaluacin.


La tarea de la evaluacin de las fuentes de informacin puede llevarse a cabo
por diversos motivos, persiguiendo por tanto distintos objetivos:
Se evala al objeto de crear un directorio de recursos de informacin para
profesionales. Estos directorios garantizan la calidad de las fuentes inclui-
das, garanta de calidad que se deriva de la propia necesidad de evaluacin.
El documentalista evala para medir la calidad de la fuente, medida que le
habilitar profesionalmente para censar o no censar la fuente en cuestin
en el directorio de recursos.
Se evala al objeto de auditar una fuente o un proyecto de informacin. La
evaluacin de una fuente de informacin permite detectar los puntos fuer-
tes y dbiles de la misma, proponiendo para stos ltimos medidas correc-
toras que mejoren la calidad de la fuente en relacin con las de su entorno.
De esta forma, resulta habitual que la auditoria de informacin precise de
la evaluacin de una fuente en el conjunto de aqullas con las que se her-
mana, de tal forma que se informe sobre su posicionamiento en el grupo.
Esta auditoria tambin ayuda a estructurar proyectos de desarrollo de
publicaciones digitales.
Se evala al objeto de conocer, y mejorar si fuera preciso, el posiciona-
miento de la fuente de informacin en la Red, en funcin de los resultados
obtenidos por medio de los motores de bsqueda.
Y finalmente, el profesional de la informacin tambin evala para des-
arrollar y acrecentar su capacidad de interlocucin frente a sus usuarios.

Revista General de Informacin y Documentacin 45


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

Desarrollando as las habilidades precisas que harn posible que el docu-


mentalista pueda indicar a sus usuarios qu fuentes son las ms idneas
para sus necesidades informativas.
Aunque la metodologa propuesta en esta Gua es comn a cualquiera de
los objetivos anteriores, merece la pena definir de antemano la finalidad del
trabajo de la evaluacin, puesto que, la prctica ha demostrado que, un traba-
jo de evaluacin orientado hacia sta consigue habitualmente mejores resul-
tados en los exmenes y puntaciones de la fuente.

III. Etapa de identificacin de la fuente de informacin.


En esta etapa el evaluador lleva a cabo una exploracin de la fuente de
informacin, recorriendo las secciones ms importantes de la misma, des-
cendiendo hasta un segundo nivel, de tal forma que se precise la autora, los
temas de la fuente, y los usuarios potenciales de la misma. Los datos de esta
etapa se corroborarn y ampliarn, si fuera necesario, tras la etapa de la
exploracin sistemtica.

IV. Etapa de exploracin sistemtica de la fuente de informacin.


En esta cuarta etapa el evaluador pasa revista a todos y cada uno de los par-
metros que conforman las secciones de micronavegacin, macronavegacin
y usabilidad de la fuente digital. De tal forma que, en esta etapa se examinan
por medio de los procedimientos que establezca el documentalista los indi-
cadores de cada parmetro. Examen que le llevar a la asignacin de pun-
tuaciones, y a la elaboracin de unas conclusiones.
Finalmente apuntar, que esta exploracin sistemtica permitir al evaluador
decidir si evala una fuente en su conjunto, o una seccin o secciones de la
misma, en funcin de su amplitud y complejidad.

4.2.3. Criterios de trabajo y orden de prioridad de los parmetros

Una metodologa de evaluacin ha de contemplar la posibilidad de excluir recur-


sos, as como un procedimiento para la ponderacin de los indicadores. Segn lo
anterior, podemos afirmar que todo procedimiento encaminado a guiar la tarea de la
evaluacin, o bien otra, ha de establecer un criterio de trabajo, a modo de filtro ini-
cial que, en este caso, avala la calidad de un recurso candidato. Sin este aval inicial
tendra sentido plantearse interrogantes del siguiente tipo: todo recurso de infor-
macin publicado en Internet puede ser objeto de evaluacin?, han de ponerse en
prctica todos los indicadores expuestos para cada uno de los recursos digitales sus-
ceptibles de evaluar?, etc.
La respuesta a estas cuestiones se encuentra en el siguiente criterio: cualquier
recurso digital que no consiga una buena puntuacin para los parmetros de autora
y contenido no habra de seguir evalundose, pues se trata de un recurso que no

46 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

supera los estndares de calidad y contenido. De ah que se convenga como criterio


de inclusin, de un recurso en el procedimiento completo de la evaluacin, la supe-
racin de los indicadores considerados en los parmetros relativos a la autora /
fuente y al contenido.
Por tanto, todos los recursos digitales sern objeto de evaluacin mediante el
examen detenido de cada unos de los indicadores que conforman los parmetros de
autora / fuente, contenido, acceso a la informacin, ergonoma, luminosidad, visi-
bilidad, procesos, errores, y adaptacin, siempre que superen adecuadamente los
estndares relativos a los dos primeros parmetros de la micronavegacin, quedan-
do as garantiza su solvencia en cualquier directorio de fuentes de informacin espe-
cializadas.
Definido el criterio de inclusin de un recurso en el proceso de evaluacin, sera
preciso plantear la cuestin de los contextos de la evaluacin, contextos que deter-
minarn en muchos de los casos las prioridades o niveles de aplicacin de los indi-
cadores. A este respecto, los evaluadores podrn establecer las prioridades y niveles
de la evaluacin en funcin del escenario de la misma. Un poco ms arriba ya se ha
hecho referencia a estos escenarios, sirva ahora de ejemplo ilustrativo, de la priori-
zacin de los indicadores, la evaluacin de la sede web de una institucin pblica al
objeto de realizar una auditoria que mejore su posicin en la Red. En este supues-
to, cobra especial importancia el parmetro de la visibilidad, uno de los dos par-
metros que conforman la seccin de la macronavegacin de nuestra metodologa,
esto es, un medidor de aspectos relacionados con el encaje del recurso en el con-
texto global de la web. En otros escenarios de evaluacin, como la confeccin de un
directorio de recursos especializados en una materia, los indicadores del parmetro
visibilidad seran objeto del proceso de la evaluacin, pero no adquiriran aqu la
prioridad del caso anterior. Resultando ahora cruciales los parmetros de la micro-
navegacin, especialmente los relativos a la identificacin y solvencia de la fuente,
calidad y cantidad de informacin, navegacin y recuperacin, y el segundo par-
metro de la macronavegacin, la luminosidad del recurso digital.
Una vez definidas las prioridades de los indicadores, en funcin del escenario de
la evaluacin, los evaluadores precisarn de herramientas de trabajo complementa-
rias, tales como los modelos de fichas de trabajo que se presentarn ms abajo, para
comenzar con la tarea de la puntuacin si procede. Decimos si procede pues no est
generalizada la operacin de la puntuacin en todas las metodologas, de hecho
algunas agencias de evaluacin no trabajan con este sistema, aunque en nuestra
metodologa hemos optado por el sistema de la puntuacin de los indicadores dada
la operatividad que permite.

4.2.4. Puntuacin de los indicadores

Emprender la evaluacin de sedes web es reconocer implcitamente que los


recursos de informacin en Red, por ms dismiles que sean, tienen unas caracte-

Revista General de Informacin y Documentacin 47


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

rsticas comunes y que a los elementos que se van a considerar para cada una de las
caractersticas o propiedades se les puede asignar una puntuacin para cada sitio
web particular. De esta forma, con la tarea de la puntuacin de un recurso, tarea que
el evaluador lleva a cabo en la elaboracin de la Ficha de Anlisis, que se presenta-
r en el prximo epgrafe, se pretende valorar en qu medida la situacin del recur-
so, en relacin con el indicador evaluado en ese momento, es ptima, o requiere
alguna correccin, en el sentido de ser objeto de posibles mejoras. Segn lo ante-
rior, se aconseja aplicar una puntuacin de 0 a 3 segn las siguientes pautas:
0 Puntos: El indicador evaluado presenta un error grave en la fuente de infor-
macin. Sera la situacin contraria a la ideal.
1 Punto: El indicador evaluado presenta un error en la fuente de informacin.
Sera un error subsanable.
2 Puntos: El indicador evaluado es correcto, aunque el evaluador puede pro-
poner una medida de mejora del mismo.
3 Puntos: El indicador evaluado alcanza la mxima puntuacin, esto es, se
ajusta perfectamente al estndar recomendado.

En todos aquellos supuestos en los que el evaluador asigne a un indicador una


puntuacin comprendida entre 0 y 2 puntos, es preciso que ste contemple unas
indicaciones de subsanacin del error en la Ficha de Conclusiones. Especialmente
si las puntuaciones asignadas han sido 0 y 1 punto, pues se registra un desvo sig-
nificativo del estndar deseado.
La puntuacin que el evaluador asigne a cada uno de los indicadores estar en
funcin, inicialmente, de la naturaleza del recurso digital. De tal forma, que en fun-
cin de sta el evaluador identificar qu indicadores, de todos aquellos aplicables,
no corresponde evaluar dada la naturaleza de la web en cuestin. En este ltimo
supuesto, se consignarn las siglas NP (no procede) en la casilla de puntuacin de
la ficha de anlisis.
Como ltima apreciacin en torno a las puntuaciones, indicar que algunos indi-
cadores no son susceptibles de puntuar entre 0 y 3, pues denotan por s mismos
valores binarios, es decir, se cumplen o no se cumplen. Sirva de ejemplo el indica-
dor Comunicacin contemplado en el examen del parmetro Autora/Fuente,
este indicador alude a la posibilidad de enviar mensajes sobre el contenido de la
fuente al responsable o administrador del recurso. Por tanto, si existe esa posibili-
dad se puntuar el indicador con un 1, y si no existe con un 0.

4.2.4. Modelos de fichas de trabajo

Al objeto de facilitar la puesta en prctica del procedimiento de evaluacin


expuesto, se facilitan a continuacin unas fichas de trabajo, a modo de instrumen-
tos para las tareas de identificacin, anlisis y conclusiones. En ellas el evaluador
identifica la fuente de informacin digital que evala, as como los datos corres-

48 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

pondientes al profesional de la informacin, y a la fecha de la evaluacin. Siguiendo


con una ficha analtica para cada parmetro analizado, y finalmente una ficha de
conclusiones que acta como sntesis de la evaluacin.
Ficha de Identificacin: Contiene los datos esenciales del recurso, ms una des-
cripcin, mediante palabras clave, de los temas y el pblico potencial de la fuente
de informacin. Tambin suele acompaarse de informacin de carcter comple-
mentario, esto es, comentarios descriptivos de la fuente, as como los datos respec-
to al evaluador y la fecha de realizacin. Su realizacin se corresponde con la etapa
de identificacin.

Ttulo y URL.
Tema.
Pblico.
Autor / Fuente.
Evaluador, datos de identificacin.
Fecha de evaluacin.

La posibilidad de enriquecer la ficha de identificacin del recurso digital, con


datos complementarios como el tipo de recurso, el idioma, el nmero normalizado,
etc. estar en funcin, una vez ms, del escenario de evaluacin. Resultando conve-
niente contar con una extensa ficha de identificacin del recurso digital en aquellos
supuestos en los que la tarea de la evaluacin tenga como escenario la constitucin
de un directorio especializado de recursos digitales, pues las ms de las veces esta
ficha de identificacin servir de instrumento base para las fichas de descripcin del
directorio.
Ficha de Anlisis: Contiene los resultados del anlisis de cada parmetro, eva-
luando los indicadores que lo conforman y asignando puntuaciones. De esta forma,
se suele acompaar de breves observaciones del evaluador al respecto de las pun-
tuaciones asignadas. Su realizacin se corresponde con la etapa de exploracin sis-
temtica de la fuente de informacin.

1. Parmetro Fuente / Autora


Indicadores Observaciones Puntuacin
1.1 Autora
1.2. Adecuacin
1.3 Comunicacin
Puntuacin global del parmetro:

Revista General de Informacin y Documentacin 49


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

2. Parmetro Contenido
Indicadores Observaciones Puntuacin
2.1. Temapblico-objetivos
2.2 Inters Intrnseco
2.3 Originalidad-Oportunidad
2.4 Cantidad
2.5 Rigor
2.6 Edicin
Puntuacin global del parmetro:

Ficha de Conclusiones: Contiene una sntesis valorativa de la publicacin, con


un apartado de puntos fuertes y puntos dbiles, un apartado de recomendaciones,
que debera contener indicaciones para cada uno de los parmetros que hayan arro-
jado puntuaciones bajas, una valoracin global en una escala de suficiente a exce-
lente resultado de una sntesis de los apartados de la Ficha de Anlisis.

Puntuacin global Puntuacin global de la fuente de informacin, suma de las puntuaciones


obtenidas dividida por el nmero de indicadores empleados.
Anlisis Enumeracin de los principales aspectos de la fuente, esto es, los ms
cercanos al estndar ideal y aquellos otros ms lejanos.
Recomendaciones Enumeracin de aquellas recomendaciones que el evaluador estima
oportunas, en relacin con las puntuaciones asignadas. Al menos de
aquellos indicadores que no llegaron a los 2 puntos.
Valoracin global

5. RESULTADOS Y CONCLUSIONES

Las propuestas metodolgicas para la evaluacin de fuentes de informacin


publicadas en Internet se han desarrollado de forma paralela a la evolucin y la apli-
cabilidad de las tres caractersticas que hemos destacado en las mismas: la recupe-
rabilidad, la capacidad, y la hipertextualidad. As, han aparecido un elevado nme-
ro de propuestas para llevar a cabo dicha evaluacin. De stas, el presente trabajo
ha seleccionado un grupo representativo, en funcin de la robustez y autoridad cien-
tfica de la institucin siempre acadmica o investigadora responsable de la
propuesta, y de su contexto pragmtico. A fin de centrar nuestro campo analtico en
aquellas propuestas que han supuesto la puesta en marcha de un producto de cali-

50 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

dad con un claro valor informativo aadido, trtese de un directorio de pginas web,
un catlogo o un ndice temtico. Y todo ello, sin dejar a un lado las propuestas y
anlisis del estado de la cuestin de los estudiosos de la materia. A tenor de todo lo
anterior, los resultados y conclusiones de este trabajo ponen de manifiesto que nos
encontramos ante una compleja realidad, por la proliferacin de las metodologas,
que persigue encontrar un mtodo que permita seleccionar el mejor modo de eva-
luacin dada la necesidad de informacin especializada y de calidad del usuario
cientfico y acadmico. Este es el ncleo central de toda la cuestin, sobre el que
radica la evaluacin de fuentes de informacin digitales.
Por tanto, recordemos ahora brevemente que ante la necesidad de un protocolo
de evaluacin de fuentes de informacin digitales en el contexto de la informacin
cientfica y tcnica, como medio para acreditar la calidad y validez de la informa-
cin facilitada por los profesionales de la documentacin cientfica, se ha llevado a
cabo una revisin bibliogrfica del estado de la cuestin, que nos ha llevado hasta
la vertiente pragmtica de las propuestas de evaluacin ms relevantes, algunas de
ellas puestas ya en marcha desde los primeros aos de la dcada de los noventa,
tanto de estudiosos de la materia como de agencias de evaluacin.
El panorama ha resultado muy alentador, aunque el avance y el crecimiento de
las nuevas formas de publicacin de la informacin cientfica en Internet, est defi-
niendo da a da un nuevo reto para las propuestas de evaluacin. stas han de ten-
der necesariamente hacia la estandarizacin de los parmetros que consideran, de
sus procedimientos y criterios de trabajo empleados.
Las autoras llevan a cabo una propuesta de protocolo de evaluacin, como una
herramienta de calidad y de valor aadido a los servicios de referencia en Internet.
Procurando un acercamiento a la normalizacin y sistematizacin de las fuentes y
recursos de informacin en la Red. Este protocolo supone un reto a las metodolog-
as revisadas, pues se centra en los aspectos formales y en la calidad de los conteni-
dos del recurso digital. Por esto nace del estudio de la recuperacin y organizacin
de la informacin cientfica en la web, para la definicin de una evaluacin de cali-
dad de los contenidos, como tarea orientada a los tcnicos de descripcin de los
recursos web, con la finalidad de proporcionar un mayor valor aadido al producto
final.
Segn lo anterior, el protocolo parte de la siguiente premisa: una fuente de infor-
macin digital de calidad es aquella que combina un buen contenido y una buena
forma, o una buena organizacin de dicho contenido. Evaluar estos dos aspectos
implica un conocimiento de las caractersticas, ya mencionadas, de las fuentes
publicadas en Internet: recuperabilidad, capacidad, e hipertextualidad. Ciertamente
conviene sealar que se trata de un protocolo para la evaluacin crtica de la calidad
de las fuentes de informacin cientfico-acadmicas, proporcionando ideas para
estructurar proyectos de desarrollo de publicaciones digitales.
Y por ltimo, apuntar que desde la propuesta de las autoras, se definen dos esce-
narios bsicos de trabajo para la evaluacin de una fuente de informacin en
Internet:

Revista General de Informacin y Documentacin 51


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

Directorios de fuentes de informacin de calidad: Estos directorios o catlo-


gos, dirigidos a grupos de profesionales, garantizan la calidad de las fuentes
incluidas, garanta de calidad que se deriva de la propia necesidad de evalua-
cin. El documentalista evala para medir la calidad de la fuente, medida que
le habilitar profesionalmente para censar o no censar la fuente en cuestin
en el directorio de recursos.
Auditorias de fuentes de informacin: La auditoria de fuentes y recursos de
informacin cientfica publicados en Internet es uno de los escenarios de tra-
bajo de la evaluacin. La evaluacin de una fuente de informacin permite
detectar los puntos fuertes y dbiles de la misma, proponiendo para stos lti-
mos medidas correctoras que mejoren la calidad de la fuente en relacin con
las de su entorno. De esta forma, resulta habitual que la auditoria de infor-
macin precise de la evaluacin de una fuente en el conjunto de aqullas con
las que se hermana, de tal forma que se informe sobre su posicionamiento en
el grupo. Esta auditoria tambin ayuda a estructurar proyectos de desarrollo
de publicaciones digitales.

BIBLIOGRAFA Y FUENTES

ALEXANDER, Janet E. y MARSHA A. Tate: Widener University. [Fecha de acceso 20


febrero 2002]. Disponible en el documento web: <http://www.widener.edu/Woltgram-
Memorial-Library/webevaluation/webstrbib.htm>
ALISTAIR, Smith: Information Quality WWW Virtual Library. [Fecha de acceso 7 noviem-
bre 2002]. Disponible en el documento web:
<http://www,vuw.ac.nz/-agsmith/evaln/evaln.htm>
BINGHAMTON UNIVERSITY: [Fecha de acceso 1 febrero 2002]. Disponible en el docu-
mento web: <http://library.lib.binghamton.edu/search/evaluation.html>
CORRYN, Crusby: Humboldt State University. [Fecha de acceso 3 mayo 2002]. Disponible
en el documento web: <http://library.humboldt.edu/-ccm/crithink.html>
Charles R. MCCLURE: Syracuse University. [Fecha de acceso 12 junio 2002]. Disponible
en el documento web: <http://istweb.syr.edu/-mcclure/Web.Eval.Bibl.May2O.html>
David GRAF: S. University in Valdosta. [Fecha de acceso 22 diciembre 2002]. Disponible
en el documento web: <http://chiron.valdosta.edu/dlgraf/default.htm#Bibliographic>
DESIRE: Unin Europea. [Fecha de acceso 12 septiembre 2002]. Disponible en el docu-
mento web: <http://www.ukoln.ac.uk/metadata/desire/quality/bibliography.html>
Emily OKADA, y Mary POPP:. Indiana University. [Fecha de acceso 3 abril 2002].
Disponible en el documento web: <http://www.indiana.edu/-librcsd/eval/review.html>
Michael ENGLE: Cornell University. [Fecha de acceso 6 mayo 2002]. Disponible en el
documento web:
<http://www.library.cornell.edu/okuref/research/webeval.html#webliog>
Nicole AUER: Virginia Polytechnic Institute. [Fecha de acceso 4 junio 2002]. Disponible en
el documento web: <http://www.lib.vt.edu/research/libinst/evalbiblio.html>
OAKTON COMMUNITY COLLEGE: [Fecha de acceso 20 abril 2002]. Disponible en el
documento web: <http://serverecc.oakton.edu/-wittman/find/eval.htm>

52 Revista General de Informacin y Documentacin


2005, 15, nm. 1 21-53
M. Dolores Ayuso y Victoria Martnez Protocolo de evaluacin de fuentes y recursos...

Robin BISHOP: Alberca University. [Fecha de acceso 2 mayo 2002]. Disponible en el docu-
mento web: <http://www.slis.ualberta.ca/598/robin/pap598.htm>
Shawn PATTERSON y Robert SCHROEDER: University of Detroit Mercy. [Fecha de acce-
so 20 junio 2002]. Disponible en el documento web:
<http://www.udmorcy.edu/htmls/Academics/library/webog>
Susan E. BECK:New Mexico State University. [Fecha de acceso 7 abril 2002]. Disponible
en el documento web: <http://lib.nmsu.edu/staff/susabeck/checsref.html>
THE SOUTHEAST AND ISLANDS REGIONAL TECHNOLOGY IN EDUCATION
CONSORTIUM(SEIR*TEC). [Fecha de acceso 24 marzo 2002]. Disponible en el docu-
mento web: <http://www.serve.org/seir_tec/k12/webresources.html>
Toni GREER; Donna HOLINGA; Christy KINDEL y Melissa NETZ: University of Illinois.
[Fecha de acceso 10 mayo 2002]. Disponible en el documento web:
<http://Irs.Ed.uiuc.edu/wp/credibility/bib.html>
VALPARAISO UNIVERSITY: [Fecha de acceso 2 octubre 2002]. Disponible en el docu-
mento web: http://www.valpo.edu/library/evaluation.html.>

AGENCIAS DE EVALUACIN: Directorios temticos

BUBL. [Fecha de acceso 27 junio 2003]. Disponible en el documento web:


<http://bubl.ac.uk/link>.
Infomine. [Fecha de acceso 27 junio 2003]. Disponible en el documento web:
<http://infomine.ucr.edu>.
The Scout Report. [Fecha de acceso 27 junio 2003]. Disponible en el documento web:
<http://www.scout.wisc.edu>.
RDN. [Fecha de acceso 27 junio 2003]. Disponible en el documento web:
<http://www.rdn.ac.uk/>.
Virtual Library. [Fecha de acceso 27 junio 2003]. Disponible en el documento web:
<http://www.vlib.org>.
EEVL. [Fecha de acceso 27 junio 2003]. Disponible en el documento web:
<http://www.eevl.ac.uk/>.
Psigate. [Fecha de acceso 27 junio 2003]. Disponible en el documento web:
<http://www.psigate.ac.uk/homenew.htm>.
HUMBUL. [Fecha de acceso 27 junio 2003]. Disponible en el documento web:
<http://humbul.ac.uk>.
SOSIG. [Fecha de acceso 27 junio 2003]. Disponible en el documento web:
<http://sosig.esrc.bris.ac.uk/>.
The Argus Clearinghouse. [Fecha de acceso 27 junio 2003]. Disponible en el documento
web: <http://www.clearinghouse.net>.

Revista General de Informacin y Documentacin 53


2005, 15, nm. 1 21-53

You might also like