揭秘目前淘宝搜索的算法

本文由淘宝搜索算法总监青峰撰写，介绍了算法模型、线下评估、线上测试的机制。对想了解淘宝搜索算法的同学很有帮助。作者介绍：青峰，淘宝搜索算法总监。淘宝搜索排名的目的是帮助用户快速找到所需的商品。从技术上讲，在用户输入与关键词匹配的产品中，最符合用户需求的产品排名第一，其他产品排名第二。为了更好地实现这一目标，算法排序系统基本上从三个方面进行了推广：一是．当用户输入关键字搜索算法模型时，系统根据算法模型实时计算匹配的每个产品，并根据分数的大小对产品进行排序。对于好的算法模型，首先要考虑哪些特征因素可以应用。例如，在网页搜索中，算法模型基本上是根据网页的重要性和相关性来计算网页的分数，然后进行排序。这里的相关性和重要性是网页排名模型中的两个重要因素。具体来说，相关因素是指文档中搜索关键字的程度，当程度越高时，文档的相关程度就越高。Google的Pagerank等重要因素可以理解为网页入口中超链接的数量:一个网页被其他网页引用的越多，网页就越有价值。特别是，网页越重要，网页的重要性就越高。在考虑淘宝搜索时，很容易想到一些特征因素，比如A．文本相关性：关键词与商品的匹配、匹配程度、重要词的匹配、匹配词之间的距离等，都可能影响相关性。例如，在搜索“小鸭洗衣机”时，商品的中心词是洗衣机的相关性高于销售洗衣机配件的相关性，小鸭的相关性高于“小”和“鸭”分开时的相关性。BM25等是文本相关性最基本的计算方法。B．类别热点：淘宝数据的一个重要特点是，每种商品都附着在类别属性系统下，每种商品都做了很好的分类。在搜索过程中，同一搜索词的大量用户行为数据很容易集中在相应的热门类别上。例如，“手机”的搜索行为将集中在手机类别上，而不是配件类别上。C．图片质量：图片是电子商务网站的一个非常重要的数据。图片是否精致、有吸引力，图片中是否有各种“银屑病”，以及商品匹配，都极大地影响了用户的点击和购买决策。D．商品质量：每种商品质量不同，商品描述的真实性，是否质优价廉，受欢迎程度等．作弊因素：类似于全网搜索中的关键词堆砌，linkspam，网页重复等作弊问题，电子商务搜索也面临着同样的问题，如商品关键词堆积、重复分销、重复开店、广告商品排水等，也有价格作弊、交易作弊等独特的商品问题，需要使用统计分析或机器学习来发现和识别异常规律，并应用于F的排序．公平因素：淘宝商品非常丰富，每个搜索词都有足够的商品竞争，需要让更多的商品和卖家有机会展示相似的质量，而不是像网络搜索是一个基本的静态排名，作为商品点击和显示马太效应。类似商品、卖家、买家、搜索词等方面有许多特征因素。一个排名模型是将各种不同的特征因素结合起来，给出商品相关分数的最终关键词。类似商品、卖家、买家、搜索词等方面有很多特征因素。一个排名模型是将各种不同的特征因素结合起来，给出商品相关性分数的最终关键词。只有一两个特征因素，才能对商品进行最基本的排名。如果有更多的特征参与排序，我们可能会得到更好的排序算法。组合方法可以简单地人工配置到复杂的学习模型，如Learningtorank。那么如何衡量不同算法之间的优缺点呢？二．线下评估算法模型的评估一般分为线下评估和在线评估。许多线下评估反映在搜索中常用的相关性（Relevance）指标。相关性的定义可分为狭义相关性和广义相关性。狭义相关性一般是指检索结果和用户查询的相关性。从广义上讲，相关性可以理解为用户查询的综合满意度。当用户在搜索框中输入关键字并满足需求时，体验过程越顺畅、越方便，搜索相关性就越好。当淘宝搜索衡量狭义相关性时，通常使用PI（PerItem）测试方法：A．提取具有代表性的查询关键字，形成适当规模的关键字集合B．对于此关键字集，从模型的输出结果中查询相应的结果，进行人工标注(人工判断为相关性好，中，差等）.    对于人工评估的结果数据，使用预定义的评估计算公式，如DCG，使用数值方法来评估算法模型的结果和理想结果的接近度，使用人工标记数据来计算相关的分数来判断模型的质量；在这个过程中，不可避免地会有主观的判断，然而，通过整合多人的判断结果，我们仍然可以获得具有统计意义的结果。另一方面，标记数据也可以帮助我们找到一个算法性能不理想的地方，并有针对性地改进它。广义相关性线下评价难度大，受人工主观因素影响较大。SBS通常用于一般（SidebySide）评价方法，对于一个关键字，两个不同算法模型的输出结果同时显示在屏幕上，每个新模型和比较模型显示位置关系立即，手动判断不知道哪一边的数据是新模型的结果，手动判断搜索结果好，新模型和旧模型的搜索性能是通过最终的统计结果来衡量的。线下评价的方法和指标有很多，不同的搜索引擎会关注不同的指标。比如Yahoo的全网搜索引擎之前更关注RCFP。（Relevance，Coverage，Freshness，Perspective）等等，淘宝搜索线下评估时一般统计DCG和SBS的指标。线下评价方法在统计上具有一定的指导意义，可以在一定程度上区分模型的质量。然而，要真正验证算法模型的质量，还需要接受真实的流量来验证。线下评价方法在统计上具有一定的指导意义，可以在一定程度上区分模型的质量，但要真正验证算法模型的质量，还需要接受真实的流量来验证。三．为了真正验证算法模型的质量，在线测试需要一个能够提供真实流量的系统。淘宝搜索实现BTS（BucketTestingSystem）系统就是这样一个环境，在用户搜索时，搜索系统会根据一定的策略自动决定用户的分组号（Bucketid），确保自动提取导入不同组的流量具有可比性，然后让不同组的用户看到不同算法模型提供的结果。通过数据分析，记录用户在不同模型下的行为，形成一系列指标。通过对这些指标的比较，最终形成了不同模型之间的结论。数据指标在统计意义上具有可比性，只要分组的流量达到一定程度。不同的BTS系统会关注不同的数据指标。在淘宝搜索中，很多算法模型测试都会关注一些重要指标:访问UV交易转化率:来淘宝搜索的UV，最终通过搜索结果交易的用户比例。IPV-UV转换率:有多少用户点击淘宝搜索的UV搜索结果CTR？：点击搜索产生的PV比例客户单价：淘宝搜索中每个交易用户的平均价格基尼系数：基尼系数是一个经济术语，考虑社会财富的集中；如果社会财富集中在少数富人手中，基尼系数就会增加，社会稳定性和可持续发展会出现问题；淘宝搜索借用这个概念来衡量PV显示和点击的集中度，在保证用户体验的前提下，给更多高质量或小而漂亮的卖家展示的机会。大多数时候，我们有几个模型和功能在线测试。我们使用BTS来观察测试情况。如果我们提高稳定性，我们将逐渐向所有用户开放。如果没有改进，我们也可以获得经验，帮助我们更好地理解用户。

以上就是关于揭秘目前淘宝搜索的算法的相关介绍，更多揭秘目前淘宝搜索的算法相关内容可以咨询我们或者浏览页面上的推荐内容。我们将让你对揭秘目前淘宝搜索的算法有更深的了解和认识。