word2vec 究竟学到了什么？理论显示其特征学习近似 PCA

一篇新论文为 word2vec 的学习过程建立了闭式理论，指出在特定近似条件下，其训练可化为无权最小二乘矩阵分解，最终学习到的表示对应目标矩阵的主成分。理论显示，模型从小初始化开始，会按离散步骤逐个学习正交线性概念并增加嵌入矩阵的秩；在类比补全基准上，近似模型达到 66% 准确率，原始 word2vec 为 68%。