word2vec原始论文

word2vec和深度学习有什么关系

1、计算机视觉

ImageNet Classification with Deep Convolutional Neural Networks, Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, NIPS 2012.

Learning Hierarchical Features for Scene Labeling, Clement Farabet, Camille Couprie, Laurent Najman and Yann LeCun, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013.

Learning Convolutional Feature Hierarchies for Visual Recognition, Koray Kavukcuoglu, Pierre Sermanet, Y-Lan Boureau, Karol Gregor, Micha?l Mathieu and Yann LeCun, Advances in Neural Information Processing Systems (NIPS 2010), 23, 2010.

2、语音识别

微软研究人员通过与hintion合作，首先将RBM和DBN引入到语音识别声学模型训练中，并且在大词汇量语音识别系统中获得巨大成功，使得语音识别的错误率相对减低30%。但是，DNN还没有有效的并行快速算法，很多研究机构都是在利用大规模数据语料通过GPU平台提高DNN声学模型的训练效率。

在国际上，IBM、google等公司都快速进行了DNN语音识别的研究，并且速度飞快。

国内方面，阿里巴巴，科大讯飞、百度、中科院自动化所等公司或研究单位，也在进行深度学习在语音识别上的研究。

3、自然语言处理等其他领域

很多机构在开展研究，2013年Tomas Mikolov,Kai Chen,Greg Corrado,Jeffrey Dean发表论文Efficient Estimation of Word Representations in Vector Space建立word2vector模型，与传统的词袋模型（bag of words）相比，word2vector能够更好地表达语法信息。 深度学习在自然语言处理等领域主要应用于机器翻译以及语义挖掘等方面。

word2vec和word embedding有什么区别

个人理解是，word embedding 是一个将词向量化的概念，来源于Bengio的论文《Neural probabilistic language models》，中文译名有"词嵌入"。

word2vec是谷歌提出一种word embedding 的工具或者算法集合，采用了两种模型（CBOW与skip-gram模型）与两种方法（负采样与层次softmax方法）的组合，比较常见的组合为 skip-gram+负采样方法。

可以查看以下两个来源，

word embedding :Word embedding - Wikipedia

word2vec中的数学原理详解：word2vec 中的数学原理详解（一）目录和前言

对于起源与其他的word embedding方法可以查看 Deep Learning in NLP （一）词向量和语言模型

如何用 word2vec 计算两个句子之间的相似度

读到这里，你或许认为我这篇文章同样不涉及敏感话题，同样符合社会主流价值观，回过头来看一看你会发现我这篇文章的最初写作目的是什么。虽然写到中间部分时提出了自己的观点，但观点在上一段已经写完了，因此这一段只能接着我最初了目的去写了，这也算是一种首尾照应吧。

孟子曰：吾善养吾浩然之气。我可能不善养他那种浩气，但我会善养我书卷气。在一个社会普遍缺钙，现实中气不足的时代，书卷气对人尤其重要，它可以让人活得有价值，有尊严，有品位。而要想养成这种书卷气，就必须读些有“气”的文史典籍，读些有书卷气的人。

如何在原有词向量的基础上fine-tune

最近正好组内做了一个文档相似度的分享。决定回答一发。

首先，如果不局限于NN的方法，可以用BOW+tf-idf+LSI/LDA的体系搞定，也就是俗称的01或one hot representation。

其次，如果楼主指定了必须用流行的NN，俗称word-embedding的方法，当然首推word2vec（虽然不算是DNN）。然后得到了word2vec的词向量后，可以通过简单加权/tag加权/tf-idf加权等方式得到文档向量。这算是一种方法。当然，加权之前一般应该先干掉stop word，词聚类处理一下。

还有，doc2vec中的paragraph vector也属于直接得到doc向量的方法。特点就是修改了word2vec中的cbow和skip-gram模型。依据论文《Distributed Representations of Sentences and Documents》（ICML 2014）。

还有一种根据句法树加权的方式，是ICML2011提出的，见论文《Parsing Natural Scenes and Natural Language with Recursive Neural Networks》，后续也有多个改编的版本。

当然，得到词向量的方式不局限于word2vec,RNNLM和glove也能得到传说中高质量的词向量。

如何评价Word2Vec作者提出的fastText算法

astText简而言之，就是把文档中所有词通过lookup table变成向量，取平均后直接用线性分类器得到分类结果。fastText和ACL-15上的deep averaging network [1] (DAN，如下图)非常相似，区别就是去掉了中间的隐层。两篇文章的结论也比较类似，也是指出对一些简单的分类任务，没有必要使用太复杂的网络结构就可以取得差不多的结果。

文中实验选取的都是对句子词序不是很敏感的数据集，所以得到文中的实验结果完全不奇怪。但是比如对下面的三个例子来说：

The movie is not very good , but i still like it . [2]

The movie is very good , but i still do not like it .

I do not like it , but the movie is still very good .

其中第1、3句整体极性是positive，但第2句整体极性就是negative。如果只是通过简单的取平均来作为sentence representation进行分类的话，可能就会很难学出词序对句子语义的影响。

从另一个角度来说，fastText可以看作是用window-size=1 + average pooling的CNN [3]对句子进行建模。

总结一下：对简单的任务来说，用简单的网络结构进行处理基本就够了，但是对比较复杂的任务，还是依然需要更复杂的网络结构来学习sentence representation的。

另外，fastText文中还提到的两个tricks分别是：

hierarchical softmax

类别数较多时，通过构建一个霍夫曼编码树来加速softmax layer的计算，和之前word2vec中的trick相同

word2vec有什么应用

您好，我看到您的问题很久没有人来回答，但是问题过期无人回答会被扣分的并且你的悬赏分也会被没收！所以我给你提几条建议：

一，你可以选择在正确的分类下去提问，这样知道你问题答案的人才会多一些，回答的人也会多些。

二，您可以到与您问题相关专业网站论坛里去看看，那里聚集了许多专业人才，一定可以为你解决问题的。

三，你可以向你的网上好友问友打听，他们会更加真诚热心为你寻找答案的，甚至可以到相关网站直接搜索.

四，网上很多专业论坛以及知识平台，上面也有很多资料，我遇到专业性的问题总是上论坛求解决办法的。

五，将你的问题问的细一些，清楚一些！让人更加容易看懂明白是什么意思！

谢谢采纳我的建议！ ！

求关于文档相似度

对于文档/文本相似度的判定采取的主要算法有3种：

1、最长公共子串算法（Longest-common-subsequence , LCS算法）。LCS算法就是求两个字符串的公共子串的最大可能长度。

2、余弦定理 （向量空间算法）。这是利用余弦定理和广义Jaccard系数来计算文本相似度。

3、距离编辑算法（Levenshtein Distance,LD算法）。距离编辑的定义是将字符串A转换为字符串B所用的最少字符操作数。

有用“距离编辑算法”写了毕业论文和代码，某宝上搜索“文档相似度检测系统 代码”可以买到

Word2vec的词聚类结果与LDA的主题词聚类结果,有什么不同

所以Word2vec的一些比较精细的应用，LDA是做不了的。

比如：1）计算词的相似度。同样在电子产品这个主题下，“苹果”是更接近于“三星”还是“小米”？2）词的类比关系：vector（小米）- vector（苹果）+ vector（乔布斯）近似于 vector（雷军）。

3）计算文章的相似度。这个LDA也能做但是效果不好。

而用词向量，即使在文章topic接近的情况下，计算出的相似度也能体现相同、相似、相关的区别。反过来说，想用词向量的聚类去得到topic这一级别的信息也是很难的。

很有可能，“苹果”和“小米”被聚到了一类，而“乔布斯”和“雷军”则聚到另一类。这种差别，本质上说是因为Word2vec利用的是词与上下文的共现，而LDA利用的是词与文章之间的共现。

PS. 说起来，拿LDA和doc2vec比较才比较合理啊~~。

转载请注明出处51数据库 » word2vec原始论文