CN103186619A

CN103186619A - 一种基于非点击操作信息的评价搜索结果的方法与设备

Info

Publication number: CN103186619A
Application number: CN2011104574247A
Authority: CN
Inventors: 曹中宇; 王超东
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2011-12-30
Filing date: 2011-12-30
Publication date: 2013-07-03
Anticipated expiration: 2031-12-30
Also published as: CN103186619B

Abstract

本发明的目的是提供一种基于非点击操作信息的评价搜索结果的方法与设备。首先，获取一个或多个用户对待评价的基于相同查询序列的搜索结果的非点击操作信息；接着，根据所述非点击操作信息，对所述搜索结果进行评价。与现有技术相比，本发明通过获取用户对待评价的基于相同查询序列的搜索结果的非点击操作信息，如是否输入新的查询序列、对搜索结果项的划选操作等，并基于预定评价规则对该搜索结果进行评价，将用户对搜索结果执行无点击操作时即可满足搜索需求的情形包含至评价标准中，从而为提高搜索结果评价的准确性提供更为可靠的依据。

Description

一种基于非点击操作信息的评价搜索结果的方法与设备

技术领域

本发明涉及计算机领域，尤其涉及一种用于评价搜索结果的技术。

背景技术

在现有技术中，对搜索结果的评价主要依赖于用户对搜索结果的点击行为，而未考虑用户在搜索过程中不需对所述搜索结果进行点击操作即可满足其搜索需求的情形，例如，用户仅通过搜索结果页面展示的搜索结果摘要即可满足查询需求，而无需点击各搜索结果项的链接以进入其所对应的页面。由于忽略对用户无点击操作的评价，从而导致对搜索结果评价的不够准确。

因此，如何有效并准确地评价搜索结果，成为目前亟待解决的问题之一。

发明内容

本发明的目的是提供一种用于评价搜索结果的方法与设备。

根据本发明的一个方面，提供了一种计算机实现的用于评价搜索结果的方法，该方法包括以下步骤：

a.获取一个或多个用户对待评价的基于相同查询序列的搜索结果的非点击操作信息；

b.根据所述非点击操作信息，对所述搜索结果进行评价。

根据本发明的另一方面，还提供了一种用于评价搜索结果的设备，该设备包括：

操作信息获取装置，用于获取一个或多个用户对待评价的基于相同查询序列的搜索结果的非点击操作信息；

评价装置，用于根据所述非点击操作信息，对所述搜索结果进行评价。

与现有技术相比，本发明通过获取用户对待评价的基于相同查询序列的搜索结果的非点击操作信息，如是否输入新的查询序列、对搜索结果项的划选操作等，并基于预定评价规则对该搜索结果进行评价，将用户对搜索结果执行无点击操作时即可满足搜索需求的情形包含至评价标准中，从而为提高搜索结果评价的准确性提供更为可靠的依据。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个方面的用于评价搜索结果的设备示意图；

图2示出根据本发明另一个方面的用于评价搜索结果的方法流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

图1示出根据本发明一个方面的评价搜索结果的设备示意图。其中，评价设备1包括操作信息获取装置111和评价装置112。

在此，评价设备1可以是一个网络设备或位于其中的功能模块，其中，网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云，在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机；评价设备1也可以是用户设备，其包括但不限于任何一种可与用户通过键盘、遥控器、触摸板、或声控设备进行人机交互的电子产品，例如计算机、智能手机、PDA、游戏机、或IPTV等。

以下参照图1来对评价设备1评价搜索结果的过程进行详细描述：

具体地，操作信息获取装置111获取一个或多个用户对待评价的基于相同查询序列的搜索结果的非点击操作信息。

在此，所述非点击操作信息包括但不限于以下任一项：

1)用户输入新的查询序列的操作信息；例如，在已获得搜索结果后，用户在搜索结果页面中的搜索输入框又进行输入操作，且该输入操作对应的新的查询序列与前次查询序列相关，例如两个查询序列中有部分查询关键字完全相同，则可确定用户在其搜索需求未被满足的情况下输入新的查询序列；

2)用户对搜索结果的各个搜索结果项的划选操作信息；其中，所述划选操作信息包括但不限于用户对搜索结果的各个搜索结果项进行划选操作的次数；例如，根据鼠标点下的操作相关信息，如点下的位置坐标及点下的时间信息，以及相应地释放鼠标时该鼠标释放的操作相关信息，如释放的位置坐标及释放的时间信息，以记录该等操作为一次划选操作，同时，根据该点下的位置坐标与释放的位置坐标，确定该次划选操作对应的搜索结果项，并根据该点下的时间信息与放开的时间信息，确定该次划选操作的时长；

3)用户对搜索结果的各个搜索结果项的悬停操作信息；

其中，所述用户对所述搜索结果的各个搜索结果项的悬停操作信息包括以下至少任一项：

a)用户在搜索结果的各个搜索结果项上的悬停操作次数；例如，实时地获取鼠标移入搜索结果的某个搜索结果项所在区域的时间以及移出该区域的时间，当移入时间与移出时间的时间间隔超过预定时间间隔阈值时，记录为一次悬停操作，进而统计用户在该搜索结果所在搜索结果页面中的总的悬停操作次数；

b)用户在搜索结果的各个搜索结果项上的每次悬停操作的持续时间；例如，实时地获取鼠标移入搜索结果的某个搜索结果项所在区域的时间以及移出该区域的时间，记录移入时间与移出时间的时间间隔，即每次悬停操作的持续时间。

本领域技术人员应能理解上述悬停操作信息仅为举例，其他现有的或今后可能出现的悬停操作信息如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

本领域技术人员应能理解上述非点击操作信息仅为举例，其他现有的或今后可能出现的非点击操作信息如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

在此，所述获取非点击操作信息的方式包括但不限于以下任一情形：

1)操作信息获取装置111获取一个用户通过用户设备对待评价的基于相同查询序列的搜索结果执行的非点击操作信息；

2)操作信息获取装置111应事件触发实时地、或周期地接收来自第三方设备发送的多个用户对待评价的基于相同查询序列的搜索结果的非点击操作信息。

在一示例中，当评价设备1为网络设备时，首先，用户借助用户设备的交互装置，包括但不限于键盘、鼠标、遥控器、触摸板、或手写设备，与用户设备的浏览器软件或客户端软件进行交互。以鼠标为例，用户在用户设备的浏览器软件的搜索结果页面中进行划选操作时，该用户设备实时地获取用户对搜索结果的某一搜索结果项的划选操作，例如用户设备首先获取鼠标点下的操作相关信息，如点下的位置坐标及点下的时间信息，接着当释放该鼠标时，获取该鼠标释放的操作相关信息，如释放的位置坐标及释放的时间信息，并记录该次操作为划选操作，同时，根据该点下的位置坐标与释放的位置坐标，确定该次划选操作对应的搜索结果项，并根据该点下的时间信息与释放的时间信息，确定该次划选操作的时长；从而确定与该用户划选操作相对应的非点击操作信息，然后将该非点击操作信息通过约定的通信方式发送至评价设备1；接着，操作信息获取装置111实时地接收该非点击操作信息。

在另一示例中，操作信息获取装置111经由第三方设备提供的应用编程接口(API)，受预定条件或事件触发地、或定期地向该第三方设备发送接收多个用户对待评价的基于相同查询序列的搜索结果执行的非点击操作信息的请求消息，并接收该第三方设备响应于该请求消息返回的多个用户对待评价的基于相同查询序列的搜索结果执行的非点击操作信息。在又一示例中，第三方设备主动向评价设备1推送多个用户对待评价的基于相同查询序列的搜索结果执行的非点击操作信息，操作信息获取装置111接收该多个用户对待评价的基于相同查询序列的搜索结果执行的非点击操作信息。

本领域技术人员应能理解上述获取非点击操作信息的方式仅为举例，其他现有的或今后可能出现的获取非点击操作信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

接着，评价装置112根据操作信息获取装置111获取的非点击操作信息，对搜索结果进行评价。

在此，根据预定的评价规则对所述搜索结果进行评价的情形包括但不限于以下至少任一项：

1)用户在获得搜索结果后输入新的查询序列；

例如，若用户在获得搜索结果后在搜索结果页面中重新输入新的查询序列，则评价装置112确定该搜索结果的评价等级为低；

2)用户在搜索结果的各个搜索结果项的划选次数超过预定划选次数阈值；

例如，若用户在搜索结果的各个搜索结果项的划选次数超过预定划选次数阈值范围最大值，则评价装置112确定该搜索结果的评价等级为高；

3)用户在搜索结果的各个搜索结果项的悬停次数超过预定悬停次数阈值；

例如，若用户在搜索结果的各个搜索结果项的悬停次数超过预定悬停次数阈值范围最大值，则评价装置112确定该搜索结果的评价等级为高；

4)用户在搜索结果的各个搜索结果项的悬停时长超过预定悬停时长阈值；

例如，若用户在搜索结果的各个搜索结果项的悬停时长超过预定悬停时长阈值范围最大值，则评价装置112确定该搜索结果的评价等级为高。

本领域技术人员应能理解，上述各项预定的评价规则不仅可以单独用于评价装置对搜索结果进行评价，还可以将其中多项结合用于评价装置对搜索结果进行评价。

在此，对所述搜索结果进行评价的评价标准包括但不限于以下任一形式：

a)预定评价等级，如预定评价等级为高、中、低；例如，预定多个用户中80％以上的用户在获得基于相同查询序列的搜索结果后均输入新的查询序列且未对各个搜索结果项有划选、悬停等操作，则评价等级为低级；再例如，预定多个用户中80％以上的用户在获得基于相同查询序列的搜索结果后，对该搜索结果的某一搜索结果项的划选次数超过预定划选次数阈值范围最大值，则评价等级为中级；又例如，预设多个用户中80％以上的用户在获得基于相同查询序列的搜索结果后，符合上述对搜索结果进行评价的情形2)、3)、4)中的两项或两项以上，且未输入新的查询序列，则评价等级为高级；

b)预定评价标准为好/不好，例如，如果多个用户中80％以上的用户在获得基于相同查询序列的搜索结果后均输入新的查询序列且未对各个搜索结果项有划选、悬停等操作，则评价结果为不好；又例如，如果多个用户中80％以上的用户在获得基于相同查询序列的搜索结果后，符合上述对搜索结果进行评价的情形2)、3)、4)中的两项或两项以上，且为输入新的查询序列，则评价结果为好。

在一示例中，非点击操作信息示出多个用户中85％的用户在基于同一查询序列“丁丁历险记”的搜索结果的搜索结果页面中重新输入新的查询序列，且对该搜索结果的各个搜索结果项没有划选、悬停等操作，则评价装置112对该搜索结果进行评价的评价等级为低。

优选地，还可根据预定的加权规则给上述预定评价规则赋予权重，评价装置112根据该等权重，加权获取非点击操作信息所对应的评价值以确定评价等级，从而实现对搜索结果进行评价。

在一示例中，预设的加权规则示出：

1)当对搜索结果进行评价的情形为：多个用户中80％以上的用户在基于相同查询序列的获得搜索结果后输入新的查询序列，则该情形对应的评价值为-10，且该评价值在用于确定整个非点击操作信息所对应的评价值中所具有的权重为0.5，

2)当对搜索结果进行评价的情形为：多个用户在搜索结果的各个搜索结果项的划选次数均值超过预定划选次数阈值范围最大值3次，则该情形对应的评价值为10，且该评价值在用于确定整个非点击操作信息所对应的评价值中所具有的权重为0.2，

3)多个用户在搜索结果的各个搜索结果项的悬停次数均值超过预定悬停次数阈值范围最大值5次，则该情形对应的评价值为10，且该评价值在用于确定整个非点击操作信息所对应的评价值中所具有的权重为0.2，

4)多个用户在搜索结果的各个搜索结果项的悬停时长均值超过预定悬停时长阈值范围最大值120秒，则该情形对应的评价值为10，且该评价值在用于确定整个非点击操作信息所对应的评价值中所具有的权重为0.1；

非点击操作信息示出多个用户在基于同一查询序列“国家大剧院”的搜索结果的搜索结果页面中对各个搜索结果项划选操作次数均值为5次，即超过预定划选次数阈值范围最大值3次，该等用户在该搜索结果页面中对各个搜索结果项的悬停次数均值为6次，即超过预定悬停次数阈值范围最大值5次，该等用户在该搜索结果页面中对各个搜索结果项的悬停时长均超过预定悬停时长阈值范围最大值120秒，且该等用户中90％的用户在该搜索结果页面中未输入新的查询序列，则评价装置112对该等非点击操作信息所对应的评价值加权获取对搜索结果的评价值为5(＝10×0.2+10×0.2+10×0.1)，大于预定权值范围最大值3，确定评价等级为高级。

本领域技术人员应能理解上述对搜索结果进行评价的方式仅为举例，其他现有的或今后可能出现的对搜索结果进行评价的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

优选地，操作信息获取装置111和评价装置112之间是持续不断地工作。具体地，操作信息获取装置111持续地获取一个或多个用户对待评价的基于相同查询序列的搜索结果的非点击操作信息；接着，评价装置112也持续地根据所述非点击操作信息，对所述搜索结果进行评价。在此，本领域技术人员应理解“持续”是指各装置不断进行上述非点击操作信息的获取、对搜索结果的评价，直至满足预定停止条件，例如请求获取装置111在较长时间内停止对非点击操作信息的获取。

优选地(参照图1)，评价装置112根据非点击操作信息以及该等非点击操作信息发生的时间信息，对搜索结果进行评价。

在此，所述非点击操作信息包括用户输入新的查询序列的操作信息、对搜索结果的各个搜索结果项的划选操作信息、悬停操作信息以及该等输入、划选、悬停操作发生的时间信息。

在此，用户的在后操作可以代表对其在前操作的否定，由此在后发生的非点击操作的评价权重大于在前发生的非点击操作的评价权重。

在一示例中，非点击操作信息示出某一用户在获得搜索结果后未输入新的查询序列，同时对搜索结果中的搜索结果项A进行划选操作且该划选操作结束的时间为12:01PM，且该用户对该等搜索结果中的搜索结果项B也进行划选操作且该划选操作结束的时间为12:03PM；则评价装置112根据预定的加权规则，对在后发生的对搜索结果项B的划选操作赋予评价值20，且权重0.8，对搜索结果项A的划选操作赋予评价值10，且的权重0.2，接着对该等非点击操作信息所对应的权重加权获取权值为9(＝(20×0.8+10×0.2)/2)，位于预定权值范围(6至11)中，确定评价等级为中级。

更优选地(参照图1)，评价装置112根据非点击操作信息，并结合用户对搜索结果的点击操作信息，对该搜索结果进行评价。

具体地，评价装置112可对非点击操作和点击操作赋予权重，根据预定加权规则，获取加权后的评价值，以确定对搜索结果的评价等级。

在一示例中，预定加权规则示出：点击操作对应的评价权重为0.6，非点击操作的评价权重为0.4；用户对各个搜索结果项有点击操作，且该点击操作对应的评价值为8，同时根据非点击操作信息确定与其相应的评价等级为高、其权值值为为18，则评价装置112计算获得权值12(＝8×0.6+18×0.4)，12大于预定评价等级阈值范围最大值11，则确定评价等级为高级。

在此，将一个或多个用户对待评价的基于相同查询序列的搜索结果的非点击操作和点击操作相结合，可将用户通过点击搜索结果以满足搜索需求和不用点击即可满足搜索需求的情形均包含至评价标准中，进一步提高对搜索结果进行评价的准确性。

图2示出根据本发明一个方面的评价搜索结果的方法流程图。

以下参照图2来对评价设备1评价搜索结果的过程进行详细描述：

具体地，在步骤S1中，评价设备1获取一个或多个用户对待评价的基于相同查询序列的搜索结果的非点击操作信息。

在此，所述非点击操作信息包括但不限于以下任一项：

3)用户对搜索结果的各个搜索结果项的悬停操作信息；

1)在步骤S1中，评价设备1获取一个用户通过用户设备对待评价的基于相同查询序列的搜索结果执行的非点击操作信息；

2)在步骤S1中，评价设备1应事件触发实时地、或周期地接收来自第三方设备发送的多个用户对待评价的基于相同查询序列的搜索结果的非点击操作信息。

在一示例中，当评价设备1为网络设备时，首先，用户借助与用户设备的交互方式，包括但不限于键盘、鼠标、遥控器、触摸板、或手写设备，与用户设备的浏览器软件或客户端软件进行交互。以鼠标为例，用户在用户设备的浏览器软件的搜索结果页面中进行划选操作时，该用户设备实时地获取用户对搜索结果的某一搜索结果项的划选操作，例如用户设备首先获取鼠标点下的操作相关信息，如点下的位置坐标及点下的时间信息，接着当释放该鼠标时，获取该鼠标释放的操作相关信息，如释放的位置坐标及释放的时间信息，并记录该次操作为划选操作，同时，根据该点下的位置坐标与释放的位置坐标，确定该次划选操作对应的搜索结果项，并根据该点下的时间信息与释放的时间信息，确定该次划选操作的时长；从而确定与该用户划选操作相对应的非点击操作信息，然后将该非点击操作信息通过约定的通信方式发送至评价设备1；接着，在步骤S1中，评价设备1实时地接收该非点击操作信息。

在另一示例中，在步骤S1中，评价设备1经由第三方设备提供的应用编程接口(API)，受预定条件或事件触发地、或定期地向该第三方设备发送接收多个用户对待评价的基于相同查询序列的搜索结果执行的非点击操作信息的请求消息，并接收该第三方设备响应于该请求消息返回的多个用户对待评价的基于相同查询序列的搜索结果执行的非点击操作信息。在又一示例中，第三方设备主动向评价设备1推送多个用户对待评价的基于相同查询序列的搜索结果执行的非点击操作信息，在步骤S1中，评价设备1接收该多个用户对待评价的基于相同查询序列的搜索结果执行的非点击操作信息。

接着，在步骤S2中，评价设备1根据其在步骤S1中获取的非点击操作信息，对搜索结果进行评价。

1)用户在获得搜索结果后输入新的查询序列；

例如，若用户在获得搜索结果后在搜索结果页面中重新输入新的查询序列，则在步骤S2中，评价设备1确定该搜索结果的评价等级为低；

例如，若用户在搜索结果的各个搜索结果项的划选次数超过预定划选次数阈值范围最大值，则在步骤S2中，评价设备1确定该搜索结果的评价等级为高；

例如，若用户在搜索结果的各个搜索结果项的悬停次数超过预定悬停次数阈值范围最大值，则在步骤S2中，评价设备1确定该搜索结果的评价等级为高；

例如，若用户在搜索结果的各个搜索结果项的悬停时长超过预定悬停时长阈值范围最大值，则在步骤S2中，评价设备1确定该搜索结果的评价等级为高。

本领域技术人员应能理解，上述各项预定的评价规则不仅可以单独用于评价设备1对搜索结果进行评价，还可以将其中多项结合用于评价设备1对搜索结果进行评价。

在一示例中，非点击操作信息示出多个用户中85％的用户在基于同一查询序列“丁丁历险记”的搜索结果的搜索结果页面中重新输入新的查询序列，且对该搜索结果的各个搜索结果项没有划选、悬停等操作，则在步骤S2中，评价设备1对该搜索结果进行评价的评价等级为低。

优选地，还可根据预定的加权规则给上述预定评价规则赋予权重，在步骤S2中，评价设备1根据该等权重，加权获取非点击操作信息所对应的评价值以确定评价等级，从而实现对搜索结果进行评价。

在一示例中，预设的加权规则示出：

非点击操作信息示出多个用户在基于同一查询序列“国家大剧院”的搜索结果的搜索结果页面中对各个搜索结果项划选操作次数均值为5次，即超过预定划选次数阈值范围最大值3次，该等用户在该搜索结果页面中对各个搜索结果项的悬停次数均值为6次，即超过预定悬停次数阈值范围最大值5次，该等用户在该搜索结果页面中对各个搜索结果项的悬停时长均超过预定悬停时长阈值范围最大值120秒，且该等用户中90％的用户在该搜索结果页面中未输入新的查询序列，则在步骤S2中，评价设备1对该等非点击操作信息所对应的评价值加权获取对搜索结果的评价值为5(＝10×0.2+10×0.2+10×0.1)，大于预定权值范围最大值3，确定评价等级为高级。

优选地，评价设备1在步骤S1和步骤S2中是持续不断地工作。具体地，在步骤S1中，评价设备1持续地获取一个或多个用户对待评价的基于相同查询序列的搜索结果的非点击操作信息；接着，在步骤S2中，评价设备1也持续地根据所述非点击操作信息，对所述搜索结果进行评价。在此，本领域技术人员应理解“持续”是指评价设备1在各步骤中不断进行上述非点击操作信息的获取、对搜索结果的评价，直至满足预定停止条件，例如评价设备1在较长时间内停止对非点击操作信息的获取。

优选地(参照图2)，在步骤S2中，评价设备1根据非点击操作信息以及该等非点击操作信息发生的时间信息，对搜索结果进行评价。

在一示例中，非点击操作信息示出某一用户在获得搜索结果后未输入新的查询序列，同时对搜索结果中的搜索结果项A进行划选操作且该划选操作结束的时间为12:01PM，且该用户对该等搜索结果中的搜索结果项B也进行划选操作且该划选操作结束的时间为12:03PM；则在步骤S2中，评价设备1根据预定的加权规则，对在后发生的对搜索结果项B的划选操作赋予评价值20，且权重0.8，对搜索结果项A的划选操作赋予评价值10，且的权重0.2，接着对该等非点击操作信息所对应的权重加权获取权值为9(＝(20×0.8+10×0.2)/2)，位于预定权值范围(6至11)中，确定评价等级为中级。

更优选地(参照图2)，在步骤S2中，评价设备1根据非点击操作信息，并结合用户对搜索结果的点击操作信息，对该搜索结果进行评价。

具体地，在步骤S2中，评价设备1可对非点击操作和点击操作赋予权重，根据预定加权规则，获取加权后的评价值，以确定对搜索结果的评价等级。

在一示例中，预定加权规则示出：点击操作对应的评价权重为0.6，非点击操作的评价权重为0.4；用户对各个搜索结果项有点击操作，且该点击操作对应的评价值为8，同时根据非点击操作信息确定与其相应的评价等级为高、其权值值为为18，则在步骤S2中，评价设备1计算获得权值12(＝8×0.6+18×0.4)，12大于预定评价等级阈值范围最大值11，则确定评价等级为高级。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims

1.一种计算机实现的用于评价搜索结果的方法，该方法包括以下步骤：

b.根据所述非点击操作信息，对所述搜索结果进行评价。

2.根据权利要求1所述的方法，其中，所述非点击操作信息包括以下至少任一项：

-所述用户输入新的查询序列的操作信息；

-所述用户对所述搜索结果的各个搜索结果项的划选操作信息；

-所述用户对所述搜索结果的各个搜索结果项的悬停操作信息。

3.根据权利要求2所述的方法，其中，所述用户对所述搜索结果的各个搜索结果项的悬停操作信息包括以下至少任一项：

-用户在所述搜索结果的各个搜索结果项上的悬停操作次数；

-用户在所述搜索结果的各个搜索结果项上的每次悬停操作的持续时间。

4.根据权利要求1至3中任一项所述的方法，其中，所述步骤b包括：

-根据所述非点击操作信息以及所述非点击操作信息发生的时间信息，对所述搜索结果进行评价。

5.根据权利要求1至4中任一项所述的方法，其中，所述步骤b包括：

-根据所述非点击操作信息，并结合所述用户对所述搜索结果的点击操作信息，对所述搜索结果进行评价。

6.一种用于评价搜索结果的设备，该设备包括：

7.根据权利要求6所述的设备，其中，所述非点击操作信息包括以下至少任一项：

-所述用户输入新的查询序列的操作信息；

8.根据权利要求7所述的设备，其中，所述用户对所述搜索结果的各个搜索结果项的悬停操作信息包括以下至少任一项：

-用户在所述搜索结果的各个搜索结果项上的悬停操作次数；

9.根据权利要求6至8中任一项所述的设备，其中，所述评价装置用于根据所述非点击操作信息以及所述非点击操作信息发生的时间信息，对所述搜索结果进行评价。

10.根据权利要求6至9中任一项所述的设备，其中，所述评价装置用于根据所述非点击操作信息，并结合所述用户对所述搜索结果的点击操作信息，对所述搜索结果进行评价。