欢迎来到【discuznt 4.0 源码】【soap java 客户端源码】【顺路者拼车系统源码】dpm源码检测-皮皮网网站!!!

皮皮网

【discuznt 4.0 源码】【soap java 客户端源码】【顺路者拼车系统源码】dpm源码检测-皮皮网 扫描左侧二维码访问本站手机端

【discuznt 4.0 源码】【soap java 客户端源码】【顺路者拼车系统源码】dpm源码检测

2024-12-24 09:45:42 来源:{typename type="name"/} 分类:{typename type="name"/}

1.dpmԴ?码检???

dpm源码检测

dpmԴ????

       在研究推荐和排序算法的过程中,DSSM(深度结构语义模型)是码检不可或缺的一部分。本文将详细介绍DSSM及其变体CNN-DSSM和LSTM-DSSM。码检

       论文链接:microsoft.com/en-us/res...

       源码:github.com/baharefatemi...

       简介

       现代搜索引擎在检索文章时,码检通常将文章中的码检关键字与query中的内容进行比较。然而,码检discuznt 4.0 源码这种做法存在一个问题,码检即文字具有多义性,码检同样的码检含义可以用多种表达方式进行表达。因此,码检我们需要对query和document进行语义上的码检相似度匹配。

       通常,码检我们会使用隐语义模型LSA、码检soap java 客户端源码LDA来衡量Query和Document之间的码检相似性。然而,码检由于LSA、LDA是无监督学习的模型,这些模型的效果并不符合预期。基于隐语义模型,有两种扩展:第一种是使用BLTM结合DPM来拟合query和document之间的关系,另一种方法是采用深度模型对query和document进行自编码,但这两种方法都是无监督的方法。

       本文针对搜索场景,提出了一系列深度网络语义模型(Deep Structured Semantic Models),模型的顺路者拼车系统源码核心思想是:首先将query和document映射到同一个低维语义空间,然后通过cosine来计算query和document之间的距离。与之前的无监督学习模型不同,DSSM使用document的点击量进行训练,因此DSSM的效果要优于其他无监督模型。

       接下来,我们来看看DSSM是如何对query和document进行处理的。

       DSSM的结构采用DNN结构,将输入的query和document转换到低维的语义空间,然后计算他们的cosine相似度。

       语义特征计算部分,首先使用DNN网络将query和document从高维的空间转换到低维的空间。对输入的微信小程序 蓝牙 源码query和document假设他们是x,经过转换的向量为y,[公式]表示隐藏层,[公式]分别表示隐藏层的参数和偏置。

       最后一层采用tanh函数作为激活函数。最后将query和document映射到低维向量之后,我们采用cosine计算他们的相似度。

       为了解决query和document在第一层维度非常大的问题,本文提出了word hashing的方法,来对文本进行降维。做法就是使用n-gram来表示一个词语,例如good,我们把它拆分成trigram:go goo ood od。股票公式源码怎么做

       为了训练DSSM,我们需要得到query和他们对应的点击的document。作者假设如果用户点击了某个document,那么这个query和document就是相关的。因此,作者认为DSSM的目标是最大化给定query所对应的document的条件似然函数。条件似然函数的计算方式为:[公式]。其中,[公式]是平滑参数,D是针对query的所有可能相关的document集合,[公式]表示和query有关的且用户点击的document。

       有了以上的介绍,我们所要最大化的条件似然函数就是[公式]。因此,loss函数就是:[公式]。文中作者采用梯度下降法来最大化loss函数。

       作者收集了现实生活中用户搜索的日志作为实验的数据集,这份数据包含条用户query,平均每条query包含条url。每一个(query, document)的相关性分为5档,分别是0~4分,得分是人工评价的。模型的排序效果通过NDCG来衡量,这是推荐系统常见的评价指标,具体就是评价推荐给用户的内容是否是用户感兴趣的,而用户的阅读习惯一般是从上到下,所以我们希望将最相关的内容排在前面,然后以此类推。

       实验效果如下,其中:首先我们可以看出DSSM的效果优于其他模型,并且L-WH DNN的效果是最好的。

       DSSM是搜索里非常经典的一个算法,在工业界也广泛被使用。而且,根据应用场景的不同,对特征处理也会有一些区别。例如,在推荐召回模块的应用中,我们的输入可能就不再是query和doc的word embedding,而是用户和推荐的物品(例如**,商品)的特征。

       本文依然是由DSSM的作者提出,在语义特征计算部分采用CNN网络,网络结构如上图所示。在词向量的表达上依然采用了word hash(不知道为啥作者对word hash这么执着)。

       不过,trigram表示不能忽略了文本的上下文信息,因此作者在word trigram的基础上增加了letter trigram。在一定的窗口大小内,对该窗口内的word进行拼接就是letter trigram,例如I have an apple,可以被拼接为 # I have, I have an, ... 以此类推。

       然后以上表示经过卷积层,max-pooling,和全连接之后得到query和doc的低维向量。最后计算相似度的时候还是cosine距离。

       本文针对CNN-DSSM无法捕捉长文本的上下文信息的缺点,引入了LSTM。同时在LSTM的cell中加入了peehole,LSTM的cell结构如上图所示。

       与传统的LSTM不同,作者在遗忘门、输入门、输出门中都考虑了[公式],总体来说考虑的信息更丰富。