Effects of Inconsistent Relevance Judgments on Information Retrieval Test Results: A Historical Perspective

Saračević, Tefko

doi:10.1353/lib.0.0000

Cited by 40 publications

(37 citation statements)

References 38 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Therefore, a reliable RJ is critical for a precise and effective evaluation. As these evaluation techniques become ubiquitous, the accuracy and meaningfulness of the result is subjective [36]. Due to conflicts in human judgement, research has been conducted to determine how to obtain reliable relevance judgements [37,38].…”

Section: Discussionmentioning

confidence: 99%

Dynamis: Effective Context-Aware Web Service Selection Using Dynamic Attributes

et al. 2015

View full text Add to dashboard Cite

Quality web service discovery requires narrowing the search space from an overwhelming set of services down to the most relevant ones, while matching the consumer's request. Today, the ranking of services only considers static attributes or snapshots of current attribute values, resulting in low-quality search results. To satisfy the user's need for timely, well-chosen web services, we ought to consider quality of service attributes. The problem is that dynamic attributes can be difficult to measure, frequently fluctuate, are context-sensitive and depend on environmental factors, such as network availability at query time. In this paper, we propose the Dynamis algorithm to address these challenges effectively. Dynamis is based on well-established database techniques, such as skyline and aggregation. We illustrate our approach using observatory telescope web services and experimentally evaluate it using stock market data. In our evaluation, we show significant improvement in service selection over existing techniques.

show abstract

Section: Discussionmentioning

confidence: 99%

Dynamis: Effective Context-Aware Web Service Selection Using Dynamic Attributes

et al. 2015

View full text Add to dashboard Cite

show abstract

“…(SARACEVIC, 2009. Para algumas publicações selecionadas, ver Saracevic ( , 2008, Spink et al (2001), Jansen et al (1998). Maiores detalhes em:…”

Section: Sumário Geral Sumário Do Capítulo 10unclassified

A classificação e o vocabulário controlado como instrumentos efetivos para a recuperação da informação arquivística

Sousa¹,

Júnior²

2017

Da Produção À Preservação Informacional: Desafios E Oportunidades

View full text Add to dashboard Cite

A cópia e/ou reprodução é permitida para uso pessoal ou para fins de estudo e pesquisa, sempre que citada a fonte. Comitê EditoralArmando Malheiros -Universidade de Minho-Porto, Portugal. Ely Francina Tannuri de Oliveira -Departamento de Ciência da Informação, Universidade Estadual Paulista (UNESP), Marília SP. José Augusto Chaves Guimarães -Departamento de Ciência da Informação, Universidade Estadual Paulista (UNESP), Marília SP. Lena Vania Ribeiro Pinheiro -Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT), Rio de Janeiro RJ. Capa e foto: Juliano Serra Diagramação, composição e links hipertextuais: Jaime RobredoComo citar a presente obra:ROBREDO, Jaime; BRÄSCHER, Marisa (Orgs.). Passeios pelo bosque da informação: estudos sobre a representação e organização da informação e do conhecimento -eroic . Brasília DF: IBICT, 2010. v + 329 p. Disponível em: http://www.ibict.br/publicacoes/eroic.pdf.Passeios pelo bosque da informação : estudos sobre representação e organização da informação e do conhecimento -eroic / Jaime Robredo, Marisa Bräscher (Orgs. (FCI). No Prefácio da obra, de autoria dos atuais líderes do Grupo, encontra-se um breve resumo de sua história e de algumas de suas realizações. O que se pretende destacar aqui, entretanto, é o aspecto inovador da presente obra, resultante de algumas de suas características, quais sejam, por exemplo: i) sua natureza de obra eletrônica, em forma de um e-livro que reúne em quatorze capítulos os resultados de pesquisas concluídas recentemente, ou ainda em andamento, de dezenove de seus vinte e três membros atuais, em solo ou em co-autoria; ii) a intenção de oferecer aos estudantes de graduação ou de pós-graduação um material didático atualizado e de fácil uso, que cobre diversos tópicos de interesse de várias disciplinas das grades curriculares, não somente dos cursos oferecidos pela jovem Faculdade, mas também de outras áreas que, cada dia mais numerosas, se interessam pelos processos informacionais, como atestam as variadas procedências dos candidatos a uma vaga na pós-graduação em ciência da informação; iii) o espírito de integração e intercâmbio de idéias entre os autores, e a necessidade de adequar os textos às normas da Associação Brasileira de Normas Técnicas, na busca das melhores práticas de apresentação dos capítulos, levou, juntamente com as modernas facilidades da computação gráfica, a resultados significativos quanto a qualidade atingida, praticamente sem custo; e iv) a preocupação de aproveitar ao máximo as facilidades oferecidas pelos recursos da Web, dentre eles a prática cada dia mais comum de ‗copiar e colar', na intenção de extrair das bibliografias, para posterior uso, referências com endereços eletrônicos interessantes, em que porventura foi substituído o nome de um ou mais autores, citados na referência precedente, pelo traço ‗_______' pode levar a dramáticas perdas de preciosas informações. Assim, após reflexão, foi adotada a manutenção, nas bibliografias que acompanham os capítulos desta obra, dos nomes de todos os autores de trab...

show abstract

“…Interassessor reliability is a controversial issue when it comes to the evaluation of automatically generated document similarity models. Some (e.g., Harman & Vorhees, 2006) point to strong consistency while others (e.g., Saracevic, 2008; Morris, 2010) point to substantial individual differences. Research evidence on which conclusions can be drawn is rather limited (Saracevic, 2008).…”

Section: Introductionmentioning

confidence: 99%

“…Some (e.g., Harman & Vorhees, 2006) point to strong consistency while others (e.g., Saracevic, 2008; Morris, 2010) point to substantial individual differences. Research evidence on which conclusions can be drawn is rather limited (Saracevic, 2008). In this paper we report two experiments that contribute to this issue.…”

Section: Introductionmentioning

confidence: 99%

Human assessments of document similarity

Westerman¹,

Cribbin²,

Collins³

2010

J. Am. Soc. Inf. Sci.

View full text Add to dashboard Cite

Two studies are reported that examined the reliability of human assessments of document similarity and the association between human ratings and the results of n-gram automatic text analysis (ATA). Human inter-assessor reliability (IAR) was moderate to poor. However, correlations between average human ratings and n-gram solutions were strong. The average correlation between ATA and individual human solutions was greater than IAR. N-gram length influenced the strength of association, but optimum string length depended on the nature of the text (technical versus non-technical). We conclude that the methodology applied in previous studies may have led to overoptimistic views on human reliability, but that an optimal n-gram solution can provide a good approximation of the average human assessment of document similarity, a result that has important implications for future development of document visualization systems.

show abstract

Effects of Inconsistent Relevance Judgments on Information Retrieval Test Results: A Historical Perspective

Cited by 40 publications

References 38 publications

Dynamis: Effective Context-Aware Web Service Selection Using Dynamic Attributes

Dynamis: Effective Context-Aware Web Service Selection Using Dynamic Attributes

A classificação e o vocabulário controlado como instrumentos efetivos para a recuperação da informação arquivística

Human assessments of document similarity

Contact Info

Product

Resources

About