数据标注案例分享：搜索结果相关性匹配标注项目丨曼孚科技

?搜索结果相关性匹配标注有助于优化搜索模型，更好地匹配用户需求。

以下内容节选于某搜索结果相关性匹配标注项目。

一.标注需求说明

阅读资讯内容并随意进行提问，页面会反馈答案内容，需要对答案内容进行标注评分。

总计有4种标注结果：十分相关、一般相关、略微相关、不相关。

☆十分相关：问题中的名词、动词在回答内容中都有提及，且回答内容较为完整全面。(能够精准回答问题的答案，用户会更加感兴趣。)

☆一般相关：问题中的名词、动词基本在回答内容中都有提及，但回答内容并不够完整与全面。(描述了相关的事实，用户有可能感兴趣。)

☆略微相关：问题中的名词在回答内容中有提及，但是内容基本与问题无关。(大的主题相关，但是细节相差较大。不能回答问题，用户基本不感兴趣。)

☆不相关：问题中的名词没有在回答内容中提及，且与问题内容毫不相干。(完全无关，用户完全不感兴趣。)

二.实际标注范例

1.问题：巨鲸和谷歌什么时候停止合作?

1)回答内容样例一：

巨鲸音乐网创始人兼CEO 陈戈表示，历史上，巨鲸音乐网获得四大及音乐工业全球历史上第一个MP3免费搜索下载视听授权，从2009年3月谷歌音乐搜索上线到2012年6月，巨鲸服务谷歌上亿用户60亿次下载视听，产生PV150亿左右，广告存量4亿元左右;但谷歌从2010年退出中国后一直混乱，谷歌音乐广告销售几乎停止，同时多次拒绝巨鲸来卖广告的申请，导致在巨大流量下，谷歌负责的广告销售极少。两者的合作几乎停止。

标注结果：

十分相关，提及巨鲸和谷歌的合作，提到谷歌从2010年退出中国。

2)回答内容样例二：

巨鲸音乐CEO陈戈透露，巨鲸音乐已于上月获得来自谷歌与姚明的新一笔投资，金额在数百万美元级别。陈戈同时强调，谷歌退出中国不影响巨鲸的发展，巨鲸音乐将推出音乐云服务，甚至还会计划推出独立音乐搜索。巨鲸音乐网由陈戈于2005年创办，启动资金是体育明星姚明以及其经纪人章明基共同投资的300万美元。2008年，谷歌中国斥资700万美元，与巨鲸音乐网合作推出谷歌音乐产品。2009年3月30日，双方正式面向大陆用户推出正版音乐搜索。而这也是谷歌在全球第一次尝试音乐搜索服务。

标注结果：

一般相关，提及巨鲸和谷歌的合作，但未提及中止合作的事情，不能回答问题。

3)回答内容样例三:

“谷歌音乐搜索没有给谷歌带来过多的利润是其被关闭的主要原因。”飞象网CEO、知名电信专家项立刚在接受《国际金融报》记者采访时表示，谷歌音乐搜索涉及到知识产权等方面的因素，近年来的利润收入没有达到预期的目标，加上百度等有力竞争者对其“虎视眈眈”。

标注结果：

略微相关，提及谷歌的一些信息，不能回答问题。

4)回答内容样例四:

据法新社及日本共同社最新报道，日本宣布退出国际捕鲸委员会，将在2019年7月重新开启商业捕鲸活动。早在2018年的9月10日，在巴西召开的国际捕鲸委员会大会上，日方就曾提出要恢复商业捕鲸。但国际捕鲸委员会以41票反对、27票赞成的投票结果，否决了日方的提案。有专家分析，正是由于支持捕鲸与反对捕鲸的国家无法达成一致，日本担心影响自己的商业捕鲸活动，索性“退群”了之。此前，日本就有试探性动作，表达过退群的意愿，当时即遭到了多国的抗议。澳大利亚海洋保护协会首席执行官达伦.金德利塞兹表示，日本“退群”意味着“背弃国际社会”，“会给其他国际条约或公约开一个非常危险的先例”。新西兰鲸类和海豚信托基金代表利茨.斯洛滕说，如果日本退出，可能在国际捕鲸委员会引发严重后果：一些国家或许会效仿，这一国际组织可能分裂。

标注结果：不相关，问题和内容完全不相关。

2.问题：哪只战队是英雄联盟s8世界赛冠军?

1)回答内容样例一:

11月3日，英雄联盟S8世界赛总决赛在韩国仁川开打，最终IG3:0击溃FNC拿下冠军宝座。为了庆祝胜利，IG背后的老板王思聪11月6日通过微博发布冠军之月庆祝抽奖活动，在转发/评论/点赞中抽取113个人每个人一万元现金。

标注结果：

十分相关，提及英雄联盟、S8、冠军，能够回答问题。

2)回答内容样例二:

全球总决赛(简称S8)在韩国火热开战，比赛将从10月1日持续到11月3日，为今年最长的国际赛事赛程，24支世界最顶级的LOL队伍将争夺2018年最高的荣誉S8召唤师英雄奖杯。LPL赛区的三支队伍RNG、EDG、IG战队作为中国代表队赴韩征战，目前IG战队已顺利挺进决赛，这是LPL时隔四年再一次挺进全球总决赛的决赛舞台。

标注结果：

一般相关，提及英雄联盟、S8，不能够回答问题。

3)回答内容样例三:

5月22日，《英雄联盟》2017年季中冠军赛在巴西里约热内卢落下帷幕，韩国战队SKT以3：1的比分击败欧洲黑马战队G2，蝉联季中赛冠军，战队成员Faker从传奇足球明星罗纳尔多手中接过奖杯。

标注结果：

略微相关，提及英雄联盟，不能够回答问题。

4)回答内容样例四:

DOTA2领域中国战队实力强劲中国的电子竞技战队在世界赛场上一直保持着很强的竞争力，而在DOTA2领域，甚至有着统治级的表现。

标注结果：

不相关，问题和内容完全不相关。