方匡南的个人网站

注：该文发表在Journal of Data Science，转载于统计之都网站 http://cos.name/2016/05/e-commerce-customer-reviews-hot-topic-analysis/

电子商务顾客评论的热点话题分析

作者：蔡越 (厦门大学经济学院统计系)，郭鹏（厦门数析信息科技有限公司），

方匡南（厦门大学经济学院统计系，厦门大学数据挖掘研究中心）

摘要: 买家的评论文本数据是电子商务领域一种重要的数据形式，通过对其分析，电商卖家可以直接了解顾客对产品的态度与建议，提取顾客关注的热点问题，也可以进行顾客分类，实现精准营销，改进和提高生产和服务等；买家可以提取所关注属性的相关评价，了解舆论情感倾向，提高购物决策效率。但是大数据环境下海量文本的出现给文本数据的有效利用带来了一定的困难，比如结构化处理后的文本数据的高维特性给电子商务文本聚类等分析带来了新的挑战。本文主要研究当词条数目（变量数）远远大于评论文本数（样本数）时如何归纳顾客评论以及提取热点话题。本文抓取了亚马逊中国站热门产品kindle的评论文本，通过惩罚高斯混合模型聚类方法，同时进行文本聚类和有效词条的筛选，实现了大规模评论文本的有效、快速、自动聚类，为后续更加精细的商业分析提供了良好的基础。

关键词：顾客评论；文本分析；聚类；热点话题

一、业务介绍

电子商务数据分析根据数据类型可以划分为以下几个方面：1）用户行为数据的分析，也可以称为事件分析，包括用户点击、浏览、收藏、购买等行为流程的分析；2）顾客信息分析，包括顾客年龄、性别、地区、交易模式、偏好等数据的分析；3）产品信息分析，包括产品参数、门类等，以实现优化产品结构、库存管理等；4）文本数据分析，包括用户评论文本数据以及外部可搜集的舆论文本等；5）业绩数据分析，例如通过对比营销前后的业绩数据检验营销手段效果等。分析流程包括数据的收集、整理、存储、管理、调用、分析、应用、检验、调整等。具体的研究方向涉及到电子商务网络平台的优化，用户行为分析,海量数据处理,营销因素研究等。以上分析的角度与方法贯穿于整个电子商务运行的生命周期，在信息科技飞速发展、数据急速扩张的时代，及时意识到数据分析的重要性并将其充分运用到商业经营当中，对于电子商务领域有着极其重要的意义。通过一系列的数据分析，电子商务运营方可以达到优化运营、完善产品、精准营销、维护吸引用户、创造良好口碑、知己知彼的健康运作状态。

2016年1月22日，中国互联网络信息中心(CNNIC)发布的第37次《中国互联网络发展状况统计报告》显示，截至2015年12月，我国网络购物用户规模达到4.13亿，较2014年底增加5183万，增长率为14.3%，与此同时，手机网络购物用户规模增长迅速，达到3.40亿，手机网络购物的使用比例由42.4%提升至54.8%，随之而来的是网民在各种网络平台上所发表的购物观点、意见等的激增，这些评论文本包含了消费群体对所购买的商品或者服务的情感态度等信息，反映了用户通过互联网对产品各方面发表的看法，对电子商务平台销售者以及个体消费者都有重要的分析价值。Deloitte Consumer Products Group调查显示，有67%的网民会浏览在线评论，其中82%认为在线评论影响了他们的购买决策，可见，在线评论引发的电子口碑已不容小觑，通过评论分析，商家能够了解市场对产品的看法，发现与竞争对手的差异，为产品改进、价格优化等提供有价值信息。具体来讲，透过商品评论，销售者可以直接了解到当前出售产品的评论热点、提取产品优势和不足、挖掘顾客建议，甚至提前预测顾客需求，达到指导生产服务的目的；另外与商家的促销信息相比，在线评论具有独立性、非商业性，因此深得用户信赖，与此同时，由于缺少线下体验，更多的用户倾向于先看评论，后做决策，通过查看商品评价，消费者可以迅速了解到其他顾客对商品的评价、锁定关注属性的相关评价，支持消费决策。所以说，电子商务评论文本蕴含了顾客产品评分、销售数据等无法涵盖的重要信息，对评论文本的归纳与挖掘可以实现相关信息的提取，进而为产品经营乃至产品购买提供一定的决策支持[1]。

在大数据的时代背景下，电子商务领域也面临着数据急剧扩张的问题，评论文本也是如此，尤其是热门销售产品，其评论文本可以在短时间内达到极高的累计值，此时进行评论文本的人工阅读与分析不仅耗费时间和精力，也无法确保分析的准确性和全局性，所以有必要借助于数据分析手段以及自然语言处理等方法来实现文本的快速、准确分析[2]。聚类分析是一种自动、快速实现评论文本信息挖掘的有效方式。通过对顾客评论文本聚类，可以实现热点话题的自动识别，提取产品的优势与不足，指导生产与营销，并实现顾客的有效划分，为后续更加精准的分析提供良好的分析基础。但是，文本数据经过结构化处理后，往往存在高维特性，即词条数目远远大于评论文本数，需要在聚类前或者聚类过程中进行变量（特征）筛选以改善聚类效果。综合考虑互联网的文本数据文本容量庞大、表述歧义性、类属中介性等特性，以及模型聚类在处理互联网的文本数据时理论和实效方面的优势，本文选取惩罚高斯混合模型对文本数据进行聚类分析，在进行聚类特征筛选的同时改善了聚类效果，实现了电子商务评论文本热点话题的自动、高效聚类。

二、数据描述

本文所使用的评论文本数据都通过网络爬虫获取。所谓网络爬虫，是按照一定的规则，自动地抓取网络信息的程序或者脚本，将互联网上的网页下载到本地形成一个互联网内容的镜像备份。传统爬虫按照访问网页地址，即访问统一资源定位器（Uniform Resource Locator，URL），从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。由于本文主要分析对象是电子商务平台顾客产品评论语料，并关注实证层面，所以采用基于产品编码的爬取方式，即选定某种研究产品垂直爬取目标网页的评论文本等数据，采用R语言、Python语言编写网络爬虫或利用其他开源爬虫程序（如Gooseeker）完成数据获取、解析、存储与调用。

我们抓取了亚马逊中国站上热门产品“kindle”电子书阅读器下“kindle”、“kindle paperwhite”、“kindle voyage”三个子类产品的商品评论语料，抓取的期间为2014年10月3日至2015年8月24日，抓取的字段包括：project_id、source_id、conment、meta、pubdate，分别代表产品大类id、产品子类id（共三个子产品，取值为1、3、4，分别对应“kindle paperwhite”、“kindle voyage”和“kindle”）、产品评论、产品评分（5分、4分、3分、2分、1分）和评论日期。在产品5个等级的评分中，5分为最高分，1分为最低分。理论上来讲，1、2分属于用户对产品“差评”；3分表明用户对产品给予“中评”；即用户对产品基本满意，用户的产品评价中等；4、5分为表明用户对产品给予“好评”，即用户的产品评价最高。抓取评论文本总计5477条，其中“kindle”2942条、“kindle paperwhite”902条、“kindle voyage”1633条，各子类产品语料分布情况详见表1.

表1 产品各水平得分评论数汇总表

三、数据建模

（一）描述性分析

在获取的三种产品评论语料中，kindle的语料数超过了50%，而kindle paperwhite评论语料最少，不足20%，详见图1。将各月评论数累积加总，绘制各月累积评论数趋势图2。

图1 三种产品评论语料占比

图2 累积评论趋势(注：横坐标,时间/月，纵坐标,评论数/条)

图2上标注了各月累积评论数的最大值、最小值以及均值，累积评论在2015年7月达到了最大值，为914条，在2014年11月达到了最小值，为262条，整个研究区间内月平均评论数为498条，总体来看，各月评论数围绕该均值上下波动，且呈现上升趋势。

利用Python中mmseg算法包对所有产品的评论语料进行分词，绘制词云图，输出词频最高的前60个词汇，可以直观的看出，“kindle”、“电子书”、“亚马逊”是出现次数最多的几个词汇，“分辨率”、“快递”、“背光灯”、“性价比”、“保护套”、“翻页键”等为消费者关注较多的产品属性，但是针对不同关注焦点的具体评论情况还有待于进一步的分析。

从三类产品各自的词云图（图3至6）可以看出，除了“kindle”、“电子书”、“亚马逊”、“分辨率”、“快递”、“性价比”等相同的高频词汇，三个子类产品都出现了词汇“iPad”，可见多数消费者都会讲kindle与iPad进行对比；此外，“退货”问题也是关注的重点。分别来看，三种产品词云的差异之处在于：“Paperwhite”有关于“反应速度”的评论语句；“voyage”有“赠送”、“限量版”、“珍藏版”出现；“kindle”则出现“数据线”、“充电器”、“开机”、“待机时间”等高频词汇。可见，虽然消费者对三种产品都存在共性的关注点，但是针对不同的产品也有不同的侧重点。

图3 全部语料词云图

图4 Paperwhite语料词云

图5 Voyage语料词云

图6 kindle语料词云

此外，在产品大类层次下，5分评论占比最多，达到65%，2分评论最少，仅为3%，整体评论趋于乐观。图8显示产品voyage 1分评价显著高于2分评价，且占比高于另外两种子产品，属于评价分布异常产品，应给予预警。

图7 总体评分占比

图8 各子产品评分分布

（二）模型设定

（1）文本结构化处理

文本数据属于非结构化数据，要对其进行聚类分析，需要事先进行结构化处理。本文采用的结构化处理方式是构建空间向量模型，向量的权重采用TF-IDF值，即词频-逆向文件频率(Term Frequency–Inverse Document Frequency，简称TF-IDF)。文本分词处理后，由 个词汇项$w_1,w_2,\cdots,w_N$构成的包含M个文本$d_1,\cdots,d_M$

的文本集合 ，的TF-IDF矩阵如表2所示：

表2 文本TF-IDF矩阵

矩阵元素$tf-idf_{i,j}=tf_{i,j}\cdot idf_j$,其中：

$$tf_{ij} = \frac{n_ij}{\sum_{j=1}^Nn_{i,j}} \quad \quad(1)$$

$n_{i,j}$ 表示词项$\omega_j$ 在文本$d_i$中的频数，$\sum_{j=1}^Nn_{i,j}$则为文本$d_i$的总词数；

$$idf_j=log \frac{|D|}{|\{i : \omega_j \in d_i\}|} \quad \quad(2)$$

$|D|$为文本集合 中的总文本数， $|\{I:w_j \in d_i \}|$表示包含词项 $w_j$的总文本数，由于矩阵的稀疏性， $|\{I:w_j \in d_i \}|$ 可能趋近于零，故一般采用$idf_i=log\frac{|D|}{1+|\{i:w_j \in d_i \}|}$ 的计算形式。

（2）聚类模型设定

结构化处理后，每一个文本即每一条评论语料都对应着一个以词项TF-IDF值为元素的向量，对不同评论进行聚类，就是向量$d_1,\cdots,d_M$的聚类，其中$d_i = [tf-idf_{i,1},tf-idf_{i,2},\cdots,tf-idf_{i,N}](i=1,2,\cdots,M)$；记词汇向量$w_j = [tf-idf_{i,j},tf-idf_{2,j},\cdots,tf-idf_{M,j}](j=1,2,\cdots,N)$。

聚类过程中，并不是所有的词汇都是聚类的相关变量，使用这些变量会增加聚类过程中的噪音，会妨碍挖掘真实的聚类结构[3]。所以，为了提高聚类效果，有必要在聚类之前或者聚类过程中进行变量筛选，减少聚类变量数目，即降低矩阵维度，来增加聚类的准确性。鉴于惩罚GMM聚类的优势[4]以及对高维文本IF-IDF矩阵聚类的适用性[5]，本文采用惩罚GMM模型来实现文本聚类。

假设文档集合服从高斯混合模型$f(d_i)=\sum_{k=1}^K\pi_kN_k(d_k;\mu_k,\Sigma_k)$ ，其中，$\pi_k$是混合比率，满足$0 \leq \pi_k \leq 1$ ，且$\sum_{k=1}^K\pi_k=1$ ，$\mu_k=(\mu_{k1},\cdots,\mu_{kj},\cdots,\mu_{kN})$ 为第k个类的高斯分布的均值向量，$\Sigma_k$ 即为相应的方差协方差矩阵。本文我们将注意力集中在高维数据上，故简单假设 $\Sigma_k=\Sigma=diag(\sigma_1^2,\cdots,\sigma_j^2,\sigma_N^2)$，即不同类的方差协方差矩阵都是相同的，并且均为对角矩阵。该模型的含义在于，观测文档数据来自由K个子类组成的总体，每个文档由第 个类生成的概率为 ，基本的思想就是为每个子类的数据分布假定了一个概率模型，并利用有限混合模型将总体模型作为这些子类模型的混合，通过逐渐逼近的方法，使得模型可以最佳拟合给定的数据集。在有限混合模型中，每一个成分对应一个类。这样关于合适的聚类方法以及聚类数目的问题转化为关于模型如何选择的问题。和通常所用的系统聚类法（或称层次聚类法）及K-means聚类法相比，基于混合模型的聚类并不是仅仅给出关于聚类样品的类标签，而是给出了每个聚类样品属于某一个类（作为模型成分的分布）的概率，并由此来决定类别的标签。

对于某一给定的观测文档$d^*= [ tf-idf_1^*,  tf-idf_2^*,\cdots,tf-idf_N^*]$，可以计算$d^*$ 来自类别k的概率为：

$$p_k=\frac{\pi_k}{\sqrt{2\pi} \Pi_{j=1}^N \sigma_j} exp(-\sum_{j=1}^N\frac{(tf-idf_j^*-\mu_{kj})^2}{2\sigma_j^2}),k=1,\cdots,K   （3）$$

$d^*$将被归类于$p_k$最大的那一类。

记 $\Theta = \{\sigma_j^2,\pi_k,\mu_{kj},k=1,\cdots,K;j=1,\cdots,N\}$作为包含所有参数的集合，给定数据$d_1,\cdots,d_n$ ，对数似然函数为：

$$l_0(\Theta)=\sum_{i=1}^Mlog(\sum_{k=1}^K \pi_kN_k(d_i;\mu_k,\Sigma_k)  （4）$$

设惩罚模型通式为：

$$l_p(\Theta)=l_0(\Theta)-J(\Omega)\quad \quad（5）$$

$$\Omega = \{\mu_{kj},k=1,\cdots,K;j=1,\cdots,p \} \quad \quad （6）$$

本文选择$L_1$ 惩罚，即

$$J(\Omega)=\lambda \sum_{k=1}^K\sum_{j=1}^N|\mu_{kj}|   \quad \quad （7）$$

基于参数$\Theta$ 求上式的最大值通常是比较困难的，本文采用期望最大算法(expectation maximization (EM) algorithm) (Dempster, Laird, Rubin(1977))[6]，引进隐含变量$\tau_{ik}$ ，为  $d_i$是否来自于类别k的示性函数，即当 来自于类别k时，$\tau_{ik}=1$ ，否则$\tau_{ik}=0$ ，如果可以获得数据$\tau_{ik}$ 的观测值，以上的对数似然函数就可以转换为：

$$ l_p(\Theta) =  \sum_{i=1}^M \sum_{k=1}^M \tau_{ik}(log\pi_{k} + logN_k(N_i; \mu_k,\Sigma)) – J(\Omega)  \quad \quad（8）$$

对式（8）求解即可得到未知参数估计值以及相应的聚类结果[7]。

（三）模型估计结果

从抓取的评论语料中抽取部分语料人工进行评论主题标注，以标准主题为类别标准，对比不同聚类方法的聚类效果进行对比评价。标注评论语料总计57条，共标注为6个主题，基本构成如2表所示。

表2 标注语料构成

本文采用纯度(purity)和F值两个指标评价聚类系统的整体性能。假设标注的类别用L表示，共有I类，其中第i个标注类别表示为$L_i$ ，同样，假设聚类类别用K表示，共有J类，则第j个聚类类别表示为$K_j$ ，聚类结果和标注结果匹配表如表3所示。

表3聚类结果匹配表

其中$n_{ij}$表示聚类结果j中包含的标注类别为i的样本个数，括号中的$n_i$ 表示标注的类别$L_i$ 中包含的样本数，即$n_i=\sum_{j=1}^Jn(i,j)$ 。定义聚类类别j的纯度$p(i,j)$ 如下：

$$p(i,j)=\frac{\max\limits_i (n(i,j))}{\sum_{i=1}^In(i,j)} \quad \quad (9)$$

定义整体聚类纯度为：

$$P=\sum_{j=1}^J \frac{\sum_{i=1}^In(i,j)}{n}p(i,j) \quad \quad (10)$$

$$= \sum_{j=1}^J\frac{\max\limits_i (n(i,j))}{n}$$

其中，n为样本总数，该值越大，说明聚类的结果与被分析的数据越匹配，即算法的有效性越高。

对于F值的定义参照信息检索的评测方法，将每个聚类结果看做查询结果，对于聚类类别j和标注类别i，有以下定义：

$$precision(i,j) =\frac{n(i,j)}{\sum_{i=1}^I n(i,j)} \quad \quad（11）$$

$$recall(i,j) = \frac{n(i,j)}{n_i} \quad \quad （12）$$

形式类似信息检索评测的准确率和召回率。标注类别i和聚类类别j之间的f值定义为：

$$f(i,j)=\frac{2 \times precision(i,j) \times recall(i,j)}{recision(i,j) + recall(i,j) }（13）

最终聚类结果的评价函数F表示为:

$$F=\sum_{i=1}^I\frac{n_i}{n}max(f(i,j)) \quad \quad（14）$$

以聚类纯度和F值为评价指标，分别运用K-means欧式距离聚类、K-means余弦距离聚类[8][9]、惩罚高斯混合模型聚类对标注的文本进行聚类，得到的聚类效果对比汇总如表4所示。

表4 不同文本聚类方法聚类指标对比

综合以上分析结果，对文本TF-IDF矩阵进行聚类时，K-means欧式距离聚类、K-means余弦距离聚类和惩罚GMM聚类三种方法中，惩罚GMM聚类效果最好，K-means余弦距离聚类其次，K-means欧式距离聚类效果最差。在处理大量文本聚类问题时，应首先考虑惩罚GMM聚类以提高聚类效果。

四、业务实施

本部分选取文本聚类效果最好的惩罚GMM模型对全部5477条评论语料进行聚类，最终得到8个有效聚类结果，实现了评论文本话题自动、快速聚类。通过这种文本聚类方式，即使有上千条评论语料，也可在很短的时间内准确抓取热点话题，提取消费者关注的产品属性。

各个类别对应的标签以及评论数见表5，部分详细聚类结果如表6所示，同时绘制了类别的词云图（图9至12），增强结果的可读性。

表5 聚类结果分布

从聚类结果可以看出，可以实现热点话题识别，热点话题涉及到顾客针对产品的态度、反馈的问题、提出的意见等等，这些话题的内容深刻影响着潜在消费者的购买意愿，所以销售者面对这些话题要及时作出反馈，如产品存在的问题要及时改进、消费者提出的质疑要及时回应等，只有不断发现问题、不断修正，才能在维护好既有用户的同时吸引更多的潜在顾客，创造更多的商业价值。

从表5可以看出，在所有kindle评论中，超过三分之一的评论围绕“屏幕”这一话题展开，可见对于kindle这款产品人们最关心的莫过于屏幕的质量，针对主题为“屏幕”的评论文本类，可以进一步提取顾客对屏幕属性的评价，发现反馈最多的问题包括：阴阳屏、屏幕亮点、屏幕发黄、分辨率低等等，这就为产品质量的提升指出了明确的方向；另外，“翻页闪屏”问题也颇受关注，消费者反馈，kindle系列产品在翻页时存在闪屏现象，导致阅读体验大打折扣；此外，“喜欢”、“感觉好”、“感觉不错”三个文本类都表现了消费者对kindle这款产品积极的评价态度，在一定程度上有助于商家快速了解顾客评价倾向，以便及时作出经营策略调整；“电子书券”文本类中包含77条评论，通过查看评论文本，得知，kindle voyage 这一款产品在销售时许诺赠送100元电子书券，但是很多顾客反映并未收到电子书券并要求商家做出解释，针对这种类型的聚类结果，销售者应予以重视并及时与顾客沟通，最小化事件不良影响，营造产品良好口碑。

表6 聚类结果汇总

图9 话题“喜欢”词云图

图10 话题“翻页闪屏”词云图

图11话题“不错”词云图

图12话题“电子书券”词云图

五、总结与讨论

本文从电子商务文本数据分析需求出发，针对文本数据结构化处理后高维稀疏的特性，提出将惩罚高斯混合模型应用于文本聚类，以纯度和F值两个指标为评价标准，利用人工标准主题的语料验证了惩罚高斯混合模型聚类方法在评论文本聚类方面的优越性，最后将其应用到亚马逊热门产品kindle的评论分中，得到8个有效聚类，即8个热点话题，结合产品特点以及业务需求，参照聚类结果提出了产品和服务的具体改进建议。

本文的研究重点集中于文本数据的结构化处理和文本聚类两个方面，虽然取得了较好的分析效果，但是不论在研究方法还是研究深度上都还有改进空间。在文本聚类方面，降维处理可采用的惩罚函数有多重形式，本文只考虑了L1范数惩罚，并未考察分组或分层等惩罚形式[10]，所以未来有必要进一步针对文件聚类的更加高效的方法；此外，在聚类分析的基础上有必要进行更加深入的文本挖掘探索，如文本情感分析、产品属性评价提取等，实现评论文本更加全面、细致的分析，充分挖掘文本信息的价值，为电子商务经营提供更加精准的建议。

参考文献

[1] Dave K, Lawrence S, Pennock D M. Mining the peanut gallery: Opinion extraction and semantic classification of product reviews[C]//Proceedings of the 12th international conference on World Wide Web. ACM, 2003: 519-528.

[2] 王和勇, 蓝金炯. 面向海量高维数据的文本主题发现[J]. 情报杂志, 2015, 34(11),162-167.

[3] 张亮, 李敏强. 一种有限混合模型对无监督文本聚类的广义方法[J]. 模式识别与人工智能, 2007, 20(5),698-703.

[4] Pan W, Shen X. Penalized model-based clustering with application to variable selection[J]. The Journal of Machine Learning Research, 2007, 8, 1145-1164.

[5] Willett P. Document clustering using an inverted file approach[J]. Journal of Information Science, 1980, 2(5), 223-231.

[6] Dempster A P, Laird N M, Rubin D B. Maximum likelihood from incomplete data via the EM algorithm[J]. Journal of the royal statistical society. Series B (Statistical Methodology), 1977, 1-38.

[7] Maugis-Rabusseau C, Michel B. Adaptive density estimation for clustering with Gaussian mixtures[J]. ESAIM: Probability and Statistics, 2013, 17, 698-724.

[8] Hatagami Y, Matsuka T. Text mining with an augmented version of the bisecting k-means algorithm[C]//Neural Information Processing. Springer Berlin Heidelberg, 2009, 352-359.

[9] Yao M, Pi D, Cong X. Chinese text clustering algorithm based k-means[J]. Physics Procedia, 2012, 33: 301-307.

[10] Zhao P, Rocha G, Yu B. Grouped and hierarchical model selection through composite absolute penalties[J]. Department of Statistics, UC Berkeley, Tech. Rep, 2006, 703.