信息检索系统的评价.ppt

n提 问 1 1 试解释试解释信息检索系统的内涵。信息检索系统的内涵。 2 2 什么是什么是”评价评价”？第十一章第十一章 信息检索系统评价信息检索系统评价 11.1 评价研究概述评价研究概述一、一、意义意义n评价评价（Evaluation）：发现和收集关于某种活动的数据，发现和收集关于某种活动的数据，从中判断该项活动的质量及达到预期目标程度的行为从中判断该项活动的质量及达到预期目标程度的行为。 简单地说，评价就是对系统的价值和效率进行测评。简单地说，评价就是对系统的价值和效率进行测评。n信息检索系统评价信息检索系统评价：根据给定的根据给定的指标体系，采用一定的，采用一定的方法和程序，对信息检索系统的，对信息检索系统的功能、特性和和运营状况进行进行评测评测，或对有关假设、预期效益、性能值进行，或对有关假设、预期效益、性能值进行验证验证，以确，以确定系统达到了何种水平、投入成本是否值得、是否可以改定系统达到了何种水平、投入成本是否值得、是否可以改进和如何进和如何改进，乃至系统是否应生存下去。，乃至系统是否应生存下去。第十一章第十一章 信息检索系统评价信息检索系统评价 11.1 评价研究概述评价研究概述一、一、意义意义 信息检索系统的评价研究，一直是信息检索领域的一项重要研究内容。多年来人们进行了大量的评价试验和多角度。多年来人们进行了大量的评价试验和多角度的探索。的探索。 原因在于，检索系统评价工作在为研究者验证检索系统原因在于，检索系统评价工作在为研究者验证检索系统效益、比较各种检索技术的优劣、改进现有检索系统、开发效益、比较各种检索技术的优劣、改进现有检索系统、开发新的应用领域等方面，都具有不可替代的作用。新的应用领域等方面，都具有不可替代的作用。第十一章第十一章 信息检索系统评价信息检索系统评价 11.1 评价研究概述评价研究概述一、意义一、意义主要意义：n了解已有检索系统的功能，找出缺陷并改进；了解已有检索系统的功能，找出缺陷并改进；n比较各种检索系统的优劣；比较各种检索系统的优劣；n提高提高效率和效益；提高提高效率和效益；n有助于新的检索系统的设计；有助于新的检索系统的设计；n丰富信息检索的理论。丰富信息检索的理论。 第十一章第十一章 信息检索系统评价信息检索系统评价 11.1 评价研究概述评价研究概述二、评价范围与类型二、评价范围与类型 信息检索系统是一个有众多功能模块组成的集合体。信息检索系统是一个有众多功能模块组成的集合体。 评价可以从不同角度、基于不同目的和方法来进行。评价可以从不同角度、基于不同目的和方法来进行。 评价范围评价范围：各种类型的检索系统及组成要素。：各种类型的检索系统及组成要素。 评价评价类型类型： 宏观评价宏观评价：着眼于检索系统的宏观方面，如情报源类型、系统：着眼于检索系统的宏观方面，如情报源类型、系统结构、收录范围、利用率等。结构、收录范围、利用率等。 个别评价个别评价：仅对系统的某一性能、功能进行评价。：仅对系统的某一性能、功能进行评价。 性能评价性能评价(performance evaluation)：面向用户的评价，测定检：面向用户的评价，测定检索系统的质量或服务效果。也称为检索效果评价索系统的质量或服务效果。也称为检索效果评价(effectiveness evaluation)。第十一章第十一章 信息检索系统评价信息检索系统评价 11.1 评价研究概述评价研究概述二、评价范围与类型二、评价范围与类型评价评价类型类型： 效益评价效益评价（benefits evaluation）：测定系统或用户获得的的经测定系统或用户获得的的经济效益和社会效益济效益和社会效益。 ( (有直接的、潜在的；难以直接计量有直接的、潜在的；难以直接计量) ) 费用费用/ /效果评价效果评价（cost effectiveness evaluation）：考察系统考察系统达到的性能与费用消耗之间的关系达到的性能与费用消耗之间的关系。（用户、系统两方面）。（用户、系统两方面） 费用费用/ /效益评价效益评价（cost benefits evaluation）：考察系统的服务考察系统的服务效益与费用消耗间的关系效益与费用消耗间的关系。（计量难度较大）。（计量难度较大） ( (详见详见P207P207的解释的解释) )第十一章第十一章 信息检索系统评价信息检索系统评价 11.2 评价指标评价指标 一、评价指标体系一、评价指标体系 要评价一个检索系统，必须有一套科学的评价标准。要评价一个检索系统，必须有一套科学的评价标准。 建立检索系统评价指标体系应遵循的原则：建立检索系统评价指标体系应遵循的原则：n各指标应定义单一、明确，具有可操作性。各指标应定义单一、明确，具有可操作性。n评价指标最好能够量化或计量。评价指标最好能够量化或计量。n指标要完善、细致、全面。指标要完善、细致、全面。 下面给出传统检索系统评价指标体系模型：（下面给出传统检索系统评价指标体系模型：（供参考供参考）第十一章第十一章 信息检索系统评价信息检索系统评价 11.2 评价指标评价指标综合指标体系学习费用实验费用收录范围使用方便性检索结果形式查全率新颖性可存取性查准率存贮空间开销研制费用运行费用灵活性检索性能用户费用数据质量响应时间系统费用可靠性 逐一评价这些指标，可以判定检索系统的优劣。逐一评价这些指标，可以判定检索系统的优劣。 其中，比较重要的其中，比较重要的是检索性能指标。是检索性能指标。11.2 评价指标评价指标问 题:n什么是查全率、查准率什么是查全率、查准率? ?第十一章第十一章 信息检索系统评价信息检索系统评价 11.2 评价指标评价指标二、主要性能指标及分析二、主要性能指标及分析1查全率和查准率查全率和查准率n查全率查全率(Recall ratio，R)：衡量一次检索中与提问相关的：衡量一次检索中与提问相关的文献有多少篇被检出。文献有多少篇被检出。（衡量检出相关文献的能力衡量检出相关文献的能力） 量数据库中的相关文献总检出的相关文献量R第十一章第十一章 信息检索系统评价信息检索系统评价 11.2 评价指标评价指标二、主要性能指标及分析二、主要性能指标及分析1查全率和查准率查全率和查准率n查准率查准率(Precision ratio，P)：衡量被检出的文献中有多少：衡量被检出的文献中有多少篇与提问相关。篇与提问相关。 （衡量检索的精确度衡量检索的精确度）检出文献总量检出的相关文献量P第十一章第十一章 信息检索系统评价信息检索系统评价 11.2 评价指标评价指标二、主要性能指标及分析二、主要性能指标及分析 例： 设某检索系统的数据库中共有相关文献设某检索系统的数据库中共有相关文献20篇。针对某篇。针对某一个提问，检出文献总数为一个提问，检出文献总数为30篇，其中相关文献数为篇，其中相关文献数为15篇。求查全率篇。求查全率R、查准率、查准率P。%752015R%503015P第十一章第十一章 信息检索系统评价信息检索系统评价 11.2 评价指标评价指标二、主要性能指标及分析二、主要性能指标及分析 为便于分析，我们给出数学语言描述：设某文献库所存储的文献总为便于分析，我们给出数学语言描述：设某文献库所存储的文献总量为量为L。对某一给定提问，。对某一给定提问， a表示被检出的与提问相关的文献数；（表示被检出的与提问相关的文献数；（前例前例 a=15） b表示被检出的与提问无关的文献数；（误检，表示被检出的与提问无关的文献数；（误检，前例前例 b=15） c表示与提问相关，但未被检出的文献数（漏检，表示与提问相关，但未被检出的文献数（漏检，前例前例 c=5）caaR查全率baap查准率babE误检率cacQ漏检率显然，显然，p第十一章第十一章 信息检索系统评价信息检索系统评价 11.2 评价指标评价指标二、主要性能指标及分析二、主要性能指标及分析1查全率和查准率查全率和查准率 下面讨论与查全率、查准率有关的几个问题。下面讨论与查全率、查准率有关的几个问题。（）查全率和查准率的相互关系（）查全率和查准率的相互关系n一个理想的检索系统，应是、。一个理想的检索系统，应是、。 但实际上是不可能的。但实际上是不可能的。n一般说来，二者之间存在着一般说来，二者之间存在着反变关系反变关系，即：，即： 若要提高查全率，查准率往往就会下降；若要提高查全率，查准率往往就会下降； 若要提高查准率，查全率又就会下降。若要提高查准率，查全率又就会下降。 （二者相互制约）（二者相互制约）第十一章第十一章 信息检索系统评价信息检索系统评价 11.2 评价指标评价指标二、主要性能指标及分析二、主要性能指标及分析（）查全率和查准率的相互关系（）查全率和查准率的相互关系n与的关系可由下图描述：（与的关系可由下图描述：（称为称为图图）第十一章第十一章 信息检索系统评价信息检索系统评价 11.2 评价指标评价指标二、主要性能指标及分析二、主要性能指标及分析1查全率和查准率查全率和查准率（）影响查全率、查准率的相关因素（）影响查全率、查准率的相关因素 文献库编制质量文献库编制质量 文献收集是否齐全，索引体系是否完善，检索途径的多少，文献收集是否齐全，索引体系是否完善，检索途径的多少，都会影响到查全率。都会影响到查全率。 对情报需求的理解对情报需求的理解 要达到较高的查全率和要达到较高的查全率和查准率查准率，应较好地理解情报需，应较好地理解情报需求，制定好检索策略。求，制定好检索策略。第十一章第十一章 信息检索系统评价信息检索系统评价 11.2 评价指标评价指标二、主要性能指标及分析二、主要性能指标及分析（）影响查全率、查准率的相关因素（）影响查全率、查准率的相关因素 检索语言的一致性检索语言的一致性 检索的实质就是提问标识与文献标识的异同比较。检索的实质就是提问标识与文献标识的异同比较。 为此，需要不同人员表达文献主题的语言一致，更需要标识提问与为此，需要不同人员表达文献主题的语言一致，更需要标识提问与标识文献的语言一致。标识文献的语言一致。即，标引语言和检索语言的一致性，对查全和即，标引语言和检索语言的一致性，对查全和查准起着支配作用。查准起着支配作用。 标引的网罗性标引的网罗性 对文献主题分析得越透彻，抽出的检索词越多，检索时可检出的相对文献主题分析得越透彻，抽出的检索词越多，检索时可检出的相关文献就越多，即查全率越高。但检出的文献并非全部适用，因而查关文献就越多，即查全率越高。但检出的文献并非全部适用，因而查准率降低。准率降低。 反之，如果标引时只标出中心主题，检出的文献必然比较适用，即反之，如果标引时只标出中心主题，检出的文献必然比较适用，即查准率较高。但漏检会增多，从而降低查全率。查准率较高。但漏检会增多，从而降低查全率。第十一章第十一章 信息检索系统评价信息检索系统评价 11.2 评价指标评价指标二、主要性能指标及分析二、主要性能指标及分析（）影响查全率、查准率的相关因素（）影响查全率、查准率的相关因素 检索词的专指性检索词的专指性 检索词选得词意越狭窄、越具体、越专深，检出的文献就会越对口，检索词选得词意越狭窄、越具体、越专深，检出的文献就会越对口，查准率就越高。但命中文献就越少，查全率就会降低。查准率就越高。但命中文献就越少，查全率就会降低。 相反，如果检索词定得较笼统、较宽泛，检出的文献就会增多，查相反，如果检索词定得较笼统、较宽泛，检出的文献就会增多，查全率会提高。但不相关的文献也会增多，查准率会降低。全率会提高。但不相关的文献也会增多，查准率会降低。 检索策略和提问构造检索策略和提问构造 对检索词的选取，需恰当地确定网罗度和专指度。对检索词的选取，需恰当地确定网罗度和专指度。 当采用布尔组配时，若使用当采用布尔组配时，若使用AND较多，即限制严，则下降，而较多，即限制严，则下降，而上升；反之，若使用上升；反之，若使用OR较多，则上升，而下降。较多，则上升，而下降。第十一章第十一章 信息检索系统评价信息检索系统评价 11.2 评价指标评价指标二、主要性能