曹洁 SA18008164 BELIEFS AND BIASES IN WEB SEARCH RYEN W.WHITE
曹洁 SA18008164
>互联网搜索中的信仰与偏见 )研究问题： ·人们对不同结果的信仰(yes-no)会因为搜索而改变吗（以及如何改变）？ ·搜索引擎结果在多大程度上偏向于特定结果？ ·偏见在多大程度上影响了搜索行为？ 。 这些因素对搜索结果有什么影响，特别是对结果准确性的影响如何？ ⊙研究方法： 。探索性的回顾调查（问卷调查） ·对网络搜索引擎返回的标题和结果的人工标注 对搜索引擎上搜索行为的大规模日志分析 ⊙研究结果： 。网络搜索者表现出他们自己的偏见，也受到搜索引擎的偏见。 。 搜索者倾向于正面信息而不是负面信息，并且给出了比预期更高的基本比率。 ·搜索引擎强烈支持一个特定的、通常是积极的视角，而不管事实如何。 。 偏见可能会影响搜索结果，搜索者找到的答案中大约有一半实际上是不正确的 研究结论： 。 我们的发现对搜索引擎设计有一定的影响，包括考虑满足搜索者（通过验证他们的信念）的愿 望的排名算法的开发，以及提供准确的答案和适当考虑基本比率
互联网搜索中的信仰与偏见 研究问题: 人们对不同结果的信仰(yes-no)会因为搜索而改变吗(以及如何改变)？ 搜索引擎结果在多大程度上偏向于特定结果？ 偏见在多大程度上影响了搜索行为？ 这些因素对搜索结果有什么影响，特别是对结果准确性的影响如何？ 研究方法： 探索性的回顾调查(问卷调查) 对网络搜索引擎返回的标题和结果的人工标注 对搜索引擎上搜索行为的大规模日志分析 研究结果： 网络搜索者表现出他们自己的偏见，也受到搜索引擎的偏见。 搜索者倾向于正面信息而不是负面信息，并且给出了比预期更高的基本比率。 搜索引擎强烈支持一个特定的、通常是积极的视角，而不管事实如何。 偏见可能会影响搜索结果，搜索者找到的答案中大约有一半实际上是不正确的 研究结论： 我们的发现对搜索引擎设计有一定的影响，包括考虑满足搜索者(通过验证他们的信念)的愿 望的排名算法的开发，以及提供准确的答案和适当考虑基本比率
Contents o INTRODUCTION o RELATED WORK o BELIEFS DURING SEARCH QUESTIONS,ANSWERS,JUDGMENTS BIASED SERPS SEARCH RESULTS BIASED BEHAVIORS OUTCOMES DISCUSSION AND IMPLICATIONS CONCLUSIONS
Contents INTRODUCTION RELATED WORK BELIEFS DURING SEARCH QUESTIONS, ANSWERS, JUDGMENTS BIASED SERPS & SEARCH RESULTS BIASED BEHAVIORS & OUTCOMES DISCUSSION AND IMPLICATIONS CONCLUSIONS
1.introduction ©认知上的偏见可能会导致人们建立基于错误前提的 信念，并以看似不合理的方式行事。 搜索引擎既需要考虑满足用户又需要考虑提供正确 的答案，偏见对答案准确性有潜在反作用。 对于重要的搜索，如健康领域的搜索，考虑到不正 确答案的潜在严重后果，准确性相比满意度更重要。 o 这篇论文首次对搜索中的信念和偏见进行了全面的 研究，在是非问题的背景下研究偏见，因为可以通 过专家的帮助获得直接的正确答案用于研究答案的 准确性
1.introduction 认知上的偏见可能会导致人们建立基于错误前提的 信念，并以看似不合理的方式行事。 搜索引擎既需要考虑满足用户又需要考虑提供正确 的答案，偏见对答案准确性有潜在反作用。 对于重要的搜索，如健康领域的搜索，考虑到不正 确答案的潜在严重后果，准确性相比满意度更重要。 这篇论文首次对搜索中的信念和偏见进行了全面的 研究，在是-非问题的背景下研究偏见，因为可以通 过专家的帮助获得直接的正确答案用于研究答案的 准确性
2.RELATED WORK ©一些领域的研究与本文的工作相关： ·认知偏差和决策 ·利用搜索行为对结果进行排序 ·搜索交互中的偏差 ·个性化和多样性 等等
2.RELATED WORK 一些领域的研究与本文的工作相关： 认知偏差和决策 利用搜索行为对结果进行排序 搜索交互中的偏差 个性化和多样性 等等
3.BELIEFS DURING SEARCH o问卷调查： ·调查方式：电子邮件 调查人群：微软公司员工，包括技术和非技 术人员 调查内容：受访者使用搜索引擎搜索“是-非 问题”前后的回忆 量化指标：受访者在搜索前后对每个结果（是 和否)的信任程度 调查重点：受访者的信念是如何随着他们回 忆的搜索而改变的
3. BELIEFS DURING SEARCH 问卷调查： 调查方式：电子邮件 调查人群：微软公司员工，包括技术和非技 术人员 调查内容：受访者使用搜索引擎搜索“是-非 问题”前后的回忆 量化指标：受访者在搜索前后对每个结果(是 和否)的信任程度 调查重点：受访者的信念是如何随着他们回 忆的搜索而改变的
(a) Belief distribution before searching 50% 39.4% sjuapuodsaJ 40% 30% 18.6% 20.7% 20% 16.5% 10% 4.8% a9 0% 调查结果 Yes Equal No (b) Belief distribution after searching 图1回忆信念的分布图 50% (a)搜索前 40% 36.2% (b) 搜索后 30% 21.8% 18.1% 20% 16.0% 8.0% 10% 五个响应组： 89 0% 是、倾向于是、相等、倾向 Yes Equal No 于否和否 Figure 1.Distribution of(a)prior and(b)posterior reported recalled beliefs about the answer (ranging from Yes to No)
调查结果 图1 回忆信念的分布图 (a) 搜索前 (b) 搜索后 五个响应组: 是、倾向于是、相等、倾向 于否和否
Table 1.Fraction of respondents reporting different beliefs following search (columns)given the belief before(rows). Belief after search Yes Equal No aiofaq Yes 77.1% 8.6% 8.6% 2.9% 2.9% y5ipas 2 35.1%①40.5% 9.5% 2.7% 12.2% Equal 23.1% 12.8% 43.6% 15.4% 5.1% 16.1% 9.7% 19.4% 19.4%① 35.5% No 11.1% 11.1% 77.8% 表1用户在搜索后转换到特定选项的比例 发现： 1.如果搜索者最初对自己的信仰有把握，那么他们在搜索后可能会保持不变。 77%之前坚信是的搜索者在事后仍然相信是，同样的，78%表示不是。 2.受访者在搜索前选择“倾向于是”或“倾向于否”， 要么保留这一信念，要么变得 更加确定。 3.被调查者在开始选择“是”或“否”（包括确定或者倾向)的，在搜索之后不 太可能将他们的观点戏剧性地改变为相反的观点。 4.一开始不确定（平等）的受访者是可能在搜索后保持不确定性(44%)或者更可能 倾向于积极，例如，在之前认为平等的受访者中36%(23.1%+12.8%)之后认 为是，而21%认为不是(15.4%+5.1%)
表1 用户在搜索后转换到特定选项的比例 发现： 1. 如果搜索者最初对自己的信仰有把握，那么他们在搜索后可能会保持不变。 77%之前坚信是的搜索者在事后仍然相信是，同样的，78%表示不是。 2. 受访者在搜索前选择“倾向于是”或“倾向于否”，要么保留这一信念，要么变得 更加确定。 3. 被调查者在开始选择“是”或“否”（包括确定或者倾向）的，在搜索之后不 太可能将他们的观点戏剧性地改变为相反的观点。 4. 一开始不确定(平等)的受访者是可能在搜索后保持不确定性(44%)或者更可能 倾向于积极，例如，在之前认为平等的受访者中36% (23.1% + 12.8%)之后认 为是，而21%认为不是(15.4% + 5.1%)
对这些发现有几个可能的解释： 1.搜索者被支持或确认他们先前信念的信息所吸引，因此不太可能改变他们 的观点。 2.搜索引擎在列表中对结果的肯定程度较高， 导致搜索者更有可能查看这些 结果。 3.对提交给搜索引擎的肯定-否定问题的正确答案的先前分布是偏向积极的。 Table 2.Reported motivations for considering other answers 受访者对搜索结果的信任 once candidate answer was found.Multiple reasons permitted. 程度： ● 85%的受访者报告说通 Reason Percentage of responses 过搜索找到了他们的是 Confirmation of the current best 否问题的答案 83.9% 92%的受访者报告说他 answer from another source 们对答案的准确性有信 Information that contradicted the current 43.4% 心或非常有信心 best answer (e.g.,to assess its validity) 49%的受访者报告查看 Direct comparisons of the two outcomes 16.9% 了多个答案 (ves and no)in the same Web page 表2一旦找到候选答案，受访者考虑其他答案的动机
表2 一旦找到候选答案，受访者考虑其他答案的动机 对这些发现有几个可能的解释: 1. 搜索者被支持或确认他们先前信念的信息所吸引，因此不太可能改变他们 的观点。 2. 搜索引擎在列表中对结果的肯定程度较高，导致搜索者更有可能查看这些 结果。 3. 对提交给搜索引擎的肯定-否定问题的正确答案的先前分布是偏向积极的。 受访者对搜索结果的信任 程度： • 85%的受访者报告说通 过搜索找到了他们的是 -否问题的答案 • 92%的受访者报告说他 们对答案的准确性有信 心或非常有信心 • 49%的受访者报告查看 了多个答案
总结： 这项调查是对信仰动态及其对搜索行为影响的初步探索的一部分。 与本文的重点相关的发现有两个主要结论： 受访者体现了证实性搜索行为：如果他们 坚信是或否，则会坚持回答；如果最初倾 向于是或否，则转变为更坚定的信念；受 访者倾向于支持其信念的信息，一旦找到 答案，就寻求证实 。 如果人们不确定（即，对是和否有相同的 信念)，他们在搜索后倾向于正面答案的 可能性几乎是负面答案的两倍
这项调查是对信仰动态及其对搜索行为影响的初步探索的一部分。 与本文的重点相关的发现有两个主要结论: 总结： 受访者体现了证实性搜索行为：如果他们 坚信是或否，则会坚持回答；如果最初倾 向于是或否，则转变为更坚定的信念；受 访者倾向于支持其信念的信息，一旦找到 答案，就寻求证实。 如果人们不确定(即，对是和否有相同的 信念)，他们在搜索后倾向于正面答案的 可能性几乎是负面答案的两倍