如何合理评估促销活动效果？
如何合理评估促销活动效果
激烈的市场竞争，催生出各种名目的促销活动，大街、超市、商场促销广告无处不在。促销活动之前，需要精心策划营销方案，各部门集中讨论、审核拍板、动员；活动执行，需要专人控场与维护；活动结束后，需要对整场活动进行总结与评估。
从百度搜索来看，更多关注的是促销活动方案的策划，而对于促销活动评估则相对少一些。随着成本意识、效用意识的增加，重视促销活动的评估是零售人员必须做到的。一方面清晰的看到活动效果、意义，另一方面则在于总结不足，为以后的营销活动作出合理的指导。
促销活动效果评估，常用的方法：
【业绩比较】：追逐收入和利润是每一场活动的主要面，同比、环比是最常见的手段。现在流行“用数据说话”，同比、环比数据对比成了营销达人、数据达人最喜欢炫耀的戏法。关于同比需要谨慎的地方在于前后两年是否具有可比性。前一年销售大环境、人员、产品、活动方式等均要适当考虑，不开随意判断本期是增长或者下滑。关于环比，着重考虑销售是否具有季节性趋势或者其他周期趋势。当然也离不开“目标完成率”这个指标，在与目标对比时需要谨慎，因为目标的制定是建立在科学合理、排除主观臆断之上的。
【迎合程度】：如果一场促销活动未经深入调查研究而随意制定，那这样的促销活动只是一厢情愿，因为没有考虑市场是否有需求。巨大的客流量、客观的成交率将构成收入的全部，具体的分析可以包括活动客流量分析、客流构成分析、成交率分析等等。活动的折扣力度、客单价是否迎合顾客的消费能力，为活动准备的广告页是否有足够的吸引力，诸如新品体验券、优惠券、现金券、预售券、员工券等等的回收率同样是我们需要分析的内容。
【成本费用】：其实这项内容在促销活动策划阶段就已经派上用场了。没有哪个领导不关心成本和费用，即使你把活动预期乐观到天花乱坠。上级需要在活动之前就看到预期的效
果， “活动效用”指标或者“净活动效用”指标是比较好的选择。如果你是这场活动的策划者，我相信你会把最乐观的“活动效用”指标拿给上级看，因为活动效用比净活动效用从数值上大很多，大部分的人还是喜欢接受好看的数据。不过这是一种不自信的做法，净活动效用或许才是我们需要关注的。
【活动影响力】每场促销活动一般都会有一个主推的主题，围绕这个主题策划人员配备了相应的产品。一场成功的活动不仅能做好主推产品，顺带着提升了其他品类的销售，也就是活动的拉动能力，这样的营销策划影响力会从活动开始一直延续到活动结束之后，使品牌或者商场的整体销售被提高到另一个高度，从活动前、活动中到活动后，销售呈现出一种向上提升的趋势。
以上是本博总结的几个常见评估方法，不一定正确，需要结合不同行业、不同活动类型来应用。
关于活动评估，推荐阅读：数据化管理的《如何科学的进行五一促销活动评估》
另：更新内容
@茵曼文案lala凤 根据自己在工作中的实践与摸索，总结了15种促销方式，她没想到的是，这个图迅速在微博上疯传，并被许多网友惊呼为“目前看起来最全的促销图”。
数据分析预处理的方法——SPSS、Clementine如何处理缺失值、离群值、极值？
数据预处理的方法——SPSS、Clementine如何处理缺失值、离群值、极值？
【一】什么是预处理、预分析？
高质量数据是数据分析的前提和分析结论可靠性的保障。尽管在获取数据源时数据分析师格外谨慎，耗费大量的时间，但数据质量仍然需持续关注。不管是一手还是二手数据源，总是会存在一些质量问题。同时，为了满足数据分析、挖掘的实际需要，对噪声数据如何处理，是丢弃还是补充，或者重新计算新的数据变量，这些不是随意决定的，这就是数据预处理的一个过程，是在数据分析、挖掘开始前对数据源的审核和判断，是数据分析必不可少的一项。本文暂只简单讨论一下缺失值、异常值的处理。
【二】如何发现数据质量问题，例如，如何发现缺失值？
1、SPSS是如何做到的？
（1）系统缺失值、空白值
每一个变量均有可能出现系统缺失或者空白，当数据量巨大时我们根本无法用眼睛看出是否有缺失，最明智的做法是把这项任务交给数据分析工具，比如Excel，可通过数据有效性、筛选、查找、计数等功能去实现，如果是SPSS数据源，可以通过描述统计之“频率”项来实现。
上图，五个变量中，家庭人均收入有效样本94
，有6个无效样本，在spss数据区域显示为空白值。其他变量均没有缺失，对于这6个缺失值是留是踢需要谨慎。
（2）变量取值分布
这一项不容忽视，一般由于输入错误、数据本身或者其他原因造成。这里分分类变量和数值变量进行检查。
分类变量取值分布检查：
描述统计之“频率”项，可以对变量以及变量取值进行频次统计汇总，因此，此处仍然采用“频率”项。
上图，我们已经确认是否献血样本全部有效，但是不代表这个变量没有其他噪声。通过此变量取值分布的考察，我们可以发现是否献血有4个水平，分别为“0”“1”“No”“Yes”，但实际上，该变量的取值至于两个水平，“No”“Yes”，其余两个取值是错误操作导致的，这是系统缺失值，可以通过重新赋值进行处理。
数值变量取值分布检查：
数值变量取值分布不宜采用“频次”的统计，一般可通过直方图、含有正态检验的直方图来实现。
上图，数值变量的直方图，可以清楚的看到其分布情况。可以初步判断存在异常值。
（3）离群值、极值
在SPSS中可以通过“箱图”直观的看到异常值，探索分析项或者箱图功能可实现。
上图，为spss探索分析结果，还可以设置分组变量。可以直观的发现，家庭人均收入存在极值，编号为66，可以快速查找定位。
2、Clementine
是怎么做到的？
Data Audit，数据审核节点示例：以下数据流看图不解释。
首先，建立以上数据流。最后一个为“数据审核”节点，右键选择并打开编辑：
上图，为clementine变量诊断结果，非常直观，图文并茂，而且一张图几乎说明了数据源各种质量问题。是否无偿献血，取值水平有4个，家庭人均收入最大值有异常，且明确显示有6个无效值。其他变量正常。
上图，
是clementine变量诊断结果中的另外一张图表，我们可以发现家庭人均收入有一枚极值，六枚无效值。通过上述诊断，数据质量问题一目了然。
【三】如何处理缺失值、离群值、极值？
1、SPSS实现方法
上图，为spss变量转换菜单下的重新编码为相同变量选项卡。可以轻松实现变量重新赋值。
主要实现方法：重新编码为相同/不同变量、计算变量、缺失值分析模块，此处略，后续文章会涉及。
2、Clementine实现方法
（1）是否无偿献血 重新分类
我们已经清楚的知道，是否无偿献血变量在取值分布上存在问题。在clementine，需要用
Reclassify节点进行重新分类，在变量诊断的第一种表格上选中是否无偿献血变量，点击左上角“生成”按钮，生成一个Reclassify节点。打开该节点，如上图所示，即可完成重新分类。
（2）无效值、空白值的处理
家庭人均收入变量存在6
个无效值，我们建议保留这6个样本，希望通过决策树算法进行针对性的预测，从而为这6个无效值进行赋值。如上图所示进行操作。然后，选中该变量，点击左上角“生成”按钮，自动生成一个缺失值插补超级节点。
（3）离群值、极值的处理
家庭收入变量还存在一枚极值，对于该极值，我们采取剔除丢弃处理，在clementine变量诊断表格中，如上图操作，点击生成按钮，自动生成一个离群值和极值超级节点。
（4）以下为clementine的处理结果
我们将自动生成的两个超级节点，连接在数据流末端，再次进行数据审核，结果如上图所示，此时，我们可以看到，上述几个问题已经达到合理地解决。最终我们剔除了一个极值，对其他质量问题采取保守态度进行相应的处理。
上图，为整个过程的数据流图示。
总结：
1、通过SPSS描述统计的相关过程，可以实现数据质量的探索分析并进行相应的预处理。
2、通过Clementine的Type节点、Filler节点、Reclassify节点、Data Audit等节点可以实现数据质量的探索，而且比SPSS更直观，更快捷。
3、相比而言，clementine在数据分析预处理方面更加优秀，结果可视化程度较高，直观易懂，而且处理流程简短精悍，虽然通过spss或者excel也可以完成这些工作，但我想，如果能合理选择有效驾驭，
clementine是一个不错的选择，这不是炫耀或者奢侈，更效率更效果的工作才是最终目的。
如何用SPSS对数据进行标准化处理？
SPSS统计分析软件是我最早接触的数据分析工具，我的博客将陆续介绍SPSS统计分析软件的相关内容，这类文章将统一按照在标题或者正文第一段出现 SPSS案例分析 + 编号 的形式组织，便于读者朋友们快速查询、收集，今天是第一篇，即 SPSS案例分析1，后文将不再说明。
--------------------------------------------------------------->
进行多元统计分析时，我们往往要收集不同量纲的数据，比如销售总额（万元），利润率（百分数）。这表现为变量在数量级和计量单位上的差别，从而使得各个变量之间不具有综合性，而多元分析方法大多对变量要特殊的要求，比如符合正态分布或者变量之间具有可比性。这时就必须采用某种方法对各变量数值进行标准化处理，或者叫无量纲化处理，解决各数值不具综合性的问题。
spss提供了很方便的数据标准化方法，这里只介绍Z标准化方法。即每一变量值与其平均值之差除以该变量的标准差。无量纲化后各变量的平均值为0，标准差为1，从而消除量纲和数量级的影响。该方法是目前多变量综合分析中使用最多的一种方法。在原始数据呈正态分布的情况下，利用该方法进行数据无量纲处理是较合理的。
spss的实现步骤：图例
【1】分析——描述统计——描述
【2】弹出“描述统计”对话框，首先将准备标准化的变量移入变量组中，此时，最重要的一步就是勾选“将标准化得分另存为变量”，最后点击确定。
【3】返回SPSS的“数据视图”，在原始变量的最后多了一列Z开头的新变量，这个变量就是标准化后的变量了。基于此字段可以做其他分析。
SPSS案例分析10：用因子分析结果进行聚类分析
得到因子得分并不是最终的结果，降维是为了使我们的思路更加集中，但降维结束后得到的却未必是我们所期望的。为了更好的加以分析，我们可以在降维因子分析的基础上对得到的潜在因子进行聚类或者计算出综合因子得分进行排序。综合因子得分的计算前面我已经讨论过了（点击这里），卢文岱先生的书里介绍了因子分析之后进行聚类分析，放在这里学习学习。
【案例】：美国洛杉矶12个地区的调查数据（人口、校龄、总雇员、房价、服务），该数据可到人大经济论坛spss版块下载。点击下载
【案例说明】：12个地区的5个调查指标数据经过因子分析处理后，找到两个潜在的因子：人口因子和福利因子。并且spss自动保存了12个地区的因子得分。这个案例的目的在于评价12个地区经济情况。我们现在走一条曲线救国的思路：利用人口因子和福利因子两个变量进行聚类，看看这12个地区有哪些是相似的（同一类），这些相似的地区有哪些特征，从而集中评价属于同一类的某几个或一个地区。
【因子分析过程】：我前面有写，不再讨论。
【聚类过程】：亮点——因子得分散点图-增强聚类的可视化，更加易懂。
一、操作：
（1）因子1，因子2为参与聚类的变量，地区编号为标示。
（2）盲聚类，先给定范围2-4类，然后对2、3、4进行比较，最终确定聚为几类。
（3）个人较喜欢输出树状图，讨厌冰柱图。要求输出聚类的树状图。采用欧氏距离平方聚类。
（4）不需要进行标准化处理，因为两个因子本身就是无量纲变量。
二、重要结果（对比）：
（1）从聚类分析输出结果很难看出各地区在经济特性方面的区别。
（2）亮点：因子得分-类别散点图，可视化的效果。
上图显示，2、3、7为第二类，处在人口因子和福利因子都较低的左角，可以认为从5
个经济指标来看均较差的地区；1、4、5为第一类，人口因子（人口数和就业人数）得分较低，福利因子较高，
即人口和就业者较少，但福利条件去很不错的地区群（这可是梦寐以求
的好地方啊！）；6、8、9、11、12为第三类人口因子较高，福利因子较低，人口多，就业者多，比如hn，人口第一大省，但整体经济实力较东部地区差，福利跟不上。
做法：因子得分2为纵轴、因子得分1为横轴（谁横谁纵没有定论），用地区编号标识地区，用聚类得到的各地区类别号分组。（依次做分为2类的、3类的、4类的散点图进行比较）。
三、讨论：
就此案例而言，最终聚为几类合适？卢文岱先生的书并没有给出结果。我个人的思路：从上面的散点图可以看出，编号为10的这个地区，偏离1、5、4地区较远，聚类过程显示这四个地区为同一类。鉴于1、5、4更集中，10地区较远，用异常值的思想来讲，10地区为异常值，单独放一边讨论，视为特例对待。其他11个地区分为3类。即最终聚为4类（或3类+1特例）。
从这个案例可以看出，我们很有必要在spss既得结果中提取其他可视化图形，比如上面这个因子得分散点图，使分析效果更加显著。
SPSS案例分析10：用因子分析结果进行聚类分析
得到因子得分并不是最终的结果，降维是为了使我们的思路更加集中，但降维结束后得到的却未必是我们所期望的。为了更好的加以分析，我们可以在降维因子分析的基础上对得到的潜在因子进行聚类或者计算出综合因子得分进行排序。综合因子得分的计算前面我已经讨论过了（点击这里），卢文岱先生的书里介绍了因子分析之后进行聚类分析，放在这里学习学习。
【案例】：美国洛杉矶12个地区的调查数据（人口、校龄、总雇员、房价、服务），该数据可到人大经济论坛spss版块下载。点击下载
【案例说明】：12个地区的5个调查指标数据经过因子分析处理后，找到两个潜在的因子：人口因子和福利因子。并且spss自动保存了12个地区的因子得分。这个案例的目的在于评价12个地区经济情况。我们现在走一条曲线救国的思路：利用人口因子和福利因子两个变量进行聚类，
看看这12个地区有哪些是相似的（同一类），这些相似的地区有哪些特征，从而集中评价属于同一类的某几个或一个地区。 【因子分析过程】
：我前面有写，不再讨论。
【聚类过程】：亮点——因子得分散点图-增强聚类的可视化，更加易懂。
一、操作：
（1）因子1，因子2为参与聚类的变量，地区编号为标示。
（2）盲聚类，先给定范围2-4类，然后对2、3、4进行比较，最终确定聚为几类。
（3）个人较喜欢输出树状图，讨厌冰柱图。要求输出聚类的树状图。采用欧氏距离平方聚类。
（4）不需要进行标准化处理，因为两个因子本身就是无量纲变量。
二、重要结果（对比）：
（1）从聚类分析输出结果很难看出各地区在经济特性方面的区别。
（2）亮点：因子得分-类别散点图，可视化的效果。
上图显示，2、3、7为第二类，处在人口因子和福利因子都较低的左角，可以认为从5个经济指标来看均较差的地区；1、4、5为第一类，人口因子（人口数和就业人数）得分较低，福利因子较高，即人口和就业者较少，但福利条件去很不错的地区群（这可是梦寐以求的好地方啊！）；6、8、9、11、12为第三类人口因子较高，福利因子较低，人口多，就业者多，比如hn，人口第一大省，但整体经济实力较东部地区差，福利跟不上。
做法：因子得分2为纵轴、因子得分1为横轴（谁横谁纵没有定论），用地区编号标识地区，用聚类得到的各地区类别号分组。（依次做分为2类的、3类的、4类的散点图进行比较）。
三、讨论：
就此案例而言，最终聚为几类合适？卢文岱先生的书并没有给出结果。我个人的思路：从上面的散点图可以看出，编号为10的这个地区，偏离1、5、4地区较远，聚类过程显示这四个地区为同一类。鉴于1、5、4更集中，10地区较远，用异常值的思想来讲，10地区为异常值，单独放一边讨论，视为特例对待。其他11个地区分为3类。即最终聚为4类（或3类+1特例）。 从这个案例可以看出，我们很有必要在spss既得结果中提取其他可视化图形，比如上面这个因子得分散点图，使分析效果更加显著。
-----------------------------------------------------------
SPSS聚类分析——一个案例演示聚类分析全过程
本文实际为2010
年5
月8日完成并发布的，浏览量：7199，评论数：5。
在百度新版空间升级过程中，该篇文章丢失，今天，重新更新并发布，作为 SPSS案例分析系列的第17篇文章。同时希望百度新版空间能不断完善，在升级过程中尽量避免出现文章丢失的现象。
案例数据源：
有20种12盎司啤酒成分和价格的数据，变量包括啤酒名称、热量、钠含量、酒精含量、价格。数据来自《SPSS for Windows 统计分析》data11-03。点击下载
【一】问题一：选择那些变量进行聚类？——采用“R型聚类”
1、现在我们有4个变量用来对啤酒分类，是否有必要将
4
个变量都纳入作为分类变量呢？热量、钠含量、酒精含量这3个指标是要通过化验员的辛苦努力来测定，而且还有花费不少成本，如果都纳入分析的话，岂不太麻烦太浪费？所以，有必要对4个变量进行降维处理，这里采用spss R型聚类（变量聚类），对4个变量进行降维处理。输出“相似性矩阵”有助于我们理解降维的过程。
2、4个分类变量量纲各自不同，这一次我们先确定用相似性来测度，度量标准选用pearson系数，聚类方法选最远元素，此时，涉及到相关，4个变量可不用标准化处理，将来的相似性矩阵里的数字为相关系数。若果有某两个变量的相关系数接近1或-1，说明两个变量可互相替代。
3、只输出“树状图”就可以了，个人觉得冰柱图很复杂，看起来没有树状图清晰明了。从
proximity matrix表中可以看出热量和酒精含量两个变量相关系数0.903，最大，二者选其一即可，没有必要都作为聚类变量，导致成本增加。至于热量和酒精含量选择哪一个作为典型指标来
代替原来的两个变量，可以根据专业知识或测定的难易程度决定。（与因子分析不同，是完全踢
掉其中一个变量以达到降维的目的。）这里选用酒精含量，至此，确定出用于聚类的变量为：酒精含量，钠含量，价格。
【二】问题二：20中啤酒能分为几类？——采用“Q型聚类”
1、现在开始对20中啤酒进行聚类。开始不确定应该分为几类，暂时用一个3-5类范围来试探。Q型聚类要求量纲相同，所以我们需要对数据标准化，这一回用欧式距离平方进行测度。
2、主要通过树状图和冰柱图来理解类别。最终是分为4类还是3类，这是个复杂的过程，需要专业知识和最初的目的来识别。我这里试着确定分为4类。选择“保存”，则在数据区域内会自动生成聚类结果。
【三】问题三：用于聚类的变量对聚类过程、结果又贡献么，有用么？——采用“单因素方差分析”
1、聚类分析除了对类别的确定需讨论外，还有一个比较关键的问题就是分类变量到底对聚类有没有作用有没有贡献，如果有个别变量对分类没有作用的话，应该剔除。
2、这个过程一般用单因素方差分析来判断。注意此时，因子变量选择聚为4类的结果，而将三个聚类变量作为因变量处理。方差分析结果显示，三个聚类变量sig值均极显著，我们用于分类的3个变量对分类有作用，可以使用，作为聚类变量是比较合理的。
【四】问题四：聚类结果的解释？——
采用”均值比较描述统计“
1、聚类分析最后一步，也是最为困难的就是对分出的各类进行定义解释，描述各类的特征，即各类别特征描述。这需要专业知识作为基础并结合分析目的才能得出。
2、我们可以采用spss的means均值比较过程，或者excel的透视表功能对各类的各个指标进行描述。其中，report报表用于描述聚类结果。对各类指标的比较来初步定义类别，主要根据专业知识来判定。这里到此为止。
以上过程涉及到spss层次聚类中的Q型聚类和R型聚类，单因素方差分析，means过程等，是一个很不错的多种分析方法联合使用的案例。数据源和部分介绍均摘自《SPSS for Windows 统计分析》书中。
个性化推荐技术漫谈
如果说过去的十年是搜索技术大行其道的十年，那么个性化推荐技术将成为未来十年中最重要的革新之一。目前几乎所有大型的电子商务系统，如Amazon、CDNOW、Netflix等，都不同程度地使用了各种形式的推荐系统。而近来以“发现”为核心的网站正开始在互联网上崭露头角，比如侧重于音乐推荐的八宝盒，侧重于图书推荐的豆瓣等等。
那么，一个好的推荐系统需要满足什么目标呢？
个性化推荐系统必须能够基于用户之前的口味和喜好提供相关的精确的推荐，而且这种口味和喜欢的收集必须尽量少的需要用户的劳动。推荐的结果必须能够实时计算，这样才能够在用户离开网站前之前获得推荐的内容，并且及时的对推荐结果作出反馈。实时性也是推荐系统与通常的数据挖掘技术显著不同的一个特点。
一个完整的推荐系统由三部分构成：行为记录模块、模型分析模块和推荐模块。行为记录模块负责记录能够体现用户喜好的行为，比如购买、下载、评分等。这部分看起来简单，其实需要非常仔细的设计。比如说购买和评分这两种行为表达潜在的喜好程度就不尽相同完善的行为记录需要能够综合多种不同的用户行为，处理不同行为的累加。模型分析模块的功能则实现了对用户行为记录的分析，采用不同算法建立起模型描述用户的喜好信息。最后，通过推荐模块，实时的从内容集筛选出目标用户可能会感兴趣的内容推荐给用户。因此，除了推荐系统本身，为了实现推荐，还需要一个可供推荐的内容集。比如，对于音乐推荐系统来说，一个音乐库就是这样的内容集。我们对内容集本身需要提供的信息要求非常低，在经典的协同过滤算法下，内容集甚至只需要提供ID就足够。而对于基于内容的推荐系统来说，由于往往需要对内容进行特征抽取和索引，我们就会需要提供更多的领域知识和内容属性。这种情况下，还是拿音乐举例，歌手、流派之类的属性和音频信息就成为必需的内容集信息。 http://www.chinakdd.com
迄今为止在个性化推荐系统中，协同过滤（Collaborative Filtering）技术是应用最成功的技术。目前国内外互联网上有许多大型网站已经应用这项技术为用户更加智能的推荐内容。如果你想要研究协同过滤，一定不能错过MovieLens（http://movielens.umn.edu/）。
它是协同过滤最著名的研究项目之一。
第一代的协同过滤技术，又被称为基于用户（User-based）的协同过滤。基于用户的协同过滤，基本原理是基于用户行为选择的相关性。用户的行为选择这里指的是下载、购买、评价等等能够显式或者隐式体现出用户喜好的行为。在一个典型的基于协同过滤技术的推荐系统中，输入数据通常可以表述为一个m×n 的用户内容矩阵R，m是用户数，n是内容数。矩阵的值与内容的类型有关，通常由行为记录模块决定。如果内容是网上书店中的书，则矩阵的值可以表示用户购买与否，例如1表示购买，0表示没有购买；或者表示用户对它的评价有多高，这样的评价值就可以有几个等级，比如常见的1～5级评价制。
基于用户的协同过滤，通过比较目标用户的一系列行为选择和其他用户之间的相似性，来识别出一组相互具有类似喜好的用户，又可以称为“同好”。一旦系统能够识别一个用户的同好用户，就能够将他们最感兴趣的内容作为当前用户的推荐结果推荐给这个用户。也就是说，以前的行为选择与你相似的用户，在以后的行为中很可能也会和你相似。因此将这些用户做为基准来向你推荐内容。
协同过滤的核心问题是寻找与目标用户兴趣相近的一组用户。这种相似用户通常被称为最近邻居（Nearest Neighbor）。用户之间的相似度是通过比较两个用户的行为选择矢量得到的。目前，比较行为选择矢量的相似度计算方法有许多种，比较经典的算法包括泊松相关系数（Person Correlation Coefficient）和余弦相似性（Cosine-based Similarity）。
“最近邻居”产生后，我们就能够计算得到用户最可能感兴趣的内容集（也叫做TopN推荐集）。为了得到推荐集，分别统计“最近邻居”中的用户对不同内容的兴趣度，取其中排
在最前面的内容作为推荐集。下面是一个简化的示例：假如用户张三有两个同好：李四和王五。
http://www.dmresearch.net/bbs
张三喜欢看电影A；
李四喜欢看电影A，B，C和D；
王五喜欢看电影A，B，D，E和F；
这样，推荐系统就能够过滤出相似用户都喜欢的电影B和D作为张三最可能也会喜欢的电影推荐给张三。
基于用户的协同过滤技术在个性化推荐系统中获得了极大的成功，但它有自身的局限性。推荐集的产生方式意味着一个内容只有已经被用户选择（购买）后才有机会被推荐给其他用户。对于一个网上书店来说，新上架的书因为还没有被相当数量的用户购买或者评价的记录，便很少有机会被用户的“最近邻居”筛选进入推荐集。这个问题，也被称之为协同过滤的“冷启动”问题。
此外，因为计算用户的相似度时，是通过将目标用户的历史行为记录与其他每一个用户的记录相比较得出的，所以对于一个现实的推荐系统来说，扩展性将成为非常严重的问题。设想一下，对于一个拥有上百万用户的网站来说，每计算一个用户都将涉及到上百万次的比较，更不要说其中会带来的大量数据库IO操作的开销。
于是第二代基于内容项（Item-based）的协同过滤技术就产生了。与基于用户的技术不同
的是，这种方法比较的是内容项与内容项之间的相似度。Item-based 方法同样需要进行三个步骤获得推荐：1）得到内容项（Item）的历史评分数据；2）针对内容项进行内容项之间的相似度计算，找到目标内容项的“最近邻居”；3）产生推荐。这里内容项之间的相似度是通过比较两个内容项上的用户行为选择矢量得到的。举个例子，假设用户和内容项如下：
可以看出，电影A与D是最相似的。因为张三喜欢A，所以电影D就可以推荐给张三。
和基于用户的推荐系统相比，基于内容项的推荐系统最大的改进是更具有扩展性。基于内容项的方法通过计算内容项之间的相似性来代替用户之间的相似性。对于通常的互联网应用来说，提供的内容项数量相对较为稳定。比如一个大型网上书店，可能出售的书籍数量也就在几十万上下，而用户数量就可能达到几百万。所以，比起用户，内容项之间的相似性计算需要的计算量要少很多，从而大大降低了在线计算量，提高系统性能。基于内容项的推荐系统应用最为成功的是Amazon。Amazon为此还申请了一项专利叫做”Collaborative
recommendations using item-to-item similarity mappings”[1]。当然，在降低了计算量的同时，完全基于内容项的推荐技术也在推荐的准确度上做了小小的牺牲。大多数情况下，基于用户的推荐技术表现要略好于基于内容项的方法。这是因为基于内容的方法忽略了相似用户之间的组群特征。 http://www.chinakdd.com
不论是第一代的基于用户方法，还是第二代的基于内容项方法，都不可避免的遇到数据稀疏的问题。在任何一个网站中，用户的评分记录或者购买记录，相对整个可供选择的内容集来说，都是很小的一部分。所以在许多推荐系统中，每个用户涉及的数据量相当有限，在一些
大的系统如Amazon中，用户最多不过就评价过上百万本书的1％，造成评估数据相当稀疏。当用户评价过的内容之间找不到交集时，就难以判断用户的口味是否相似，难以找到相似用户集，导致推荐效果大大降低。为了解决用户数据的稀疏问题，最方便的办法就是将用户对没有选择过的内容项的评分设为一个固定的缺省值，例如用户的平均评分。针对如何预测遗漏的评分业内又提出了很多种方法，不过一般来说采用最简单的改进方法就可以有效地提高协同过滤推荐系统的准确度。
另外一方面，即便采用了基于内容项的方法，在数据量巨大的时候，计算复杂度仍然成为性能瓶颈。为了进一步解决协同过滤技术的扩展性能问题，目前比较有效的办法是在用户评分数据上做一次聚类分析(clustering)。聚类技术首先将具有相似兴趣爱好的用户分配到相同的分类中。聚类产生之后，它或者将“最近邻居”搜索对象限制在最相近的聚类中，根据类中其他用户的评价预测目标用户的评价，或者用聚类的中心作为近似提取推荐结果。由于用户之间的分类相对变化比较小，因此聚类过程往往可以离线进行，而无需实时计算，这样就大大降低了实时推荐的计算压力，提高推荐系统的速度。一般来说，聚类将用户分为多少个类，推荐系统的整体速度就能够提高多少倍。具体选择什么样的聚类算法，又会因应用领域和数据的分布特性而不同。如果聚类算法选择不当，反而会降低推荐的准确性。近年来，推荐系统的算法技术的发展也有了一些新的方向，比如SlopeOne，SVD等方法，就不一一列举了。
在我看来，一个商用推荐系统的尤其关键之处在于对海量用户数据的处理。因为推荐系统是数据优先，数据的积累越多对推荐的精度就越有好处。而当用户的行为数据真正积累到上百万甚至上亿时，如何在合理时间内得出有效的推荐，就是对推荐技术最大的考验。除此之外，一个优秀的推荐系统需要能够结合内容相似与用户行为相。传统的协同过滤方法是忽略内容
本身的属性的，这一方面固然是对数据要求少的优点，但另一方面也带来了难以避免的“冷启动”问题。其实，随着标签系统在互联网上的广泛应用，标签本身就不失为是一种很好的内容属性。如何利用也是值得大家探讨的。充分利用到内容本身的属性，将不同的相似性结合起来，这会给基于协同过滤的推荐技术带来新的动力。最后一点，设计良好的推荐技术要能够从用户对推荐内容的反馈中自行调整和学习。因为实际上每个用户对于推荐的内容都有不同的要求，比如有的用户可能偏好比较热门的内容，有的用户更愿意发现冷门的内容。针对不同用户的反馈来不断学习每个用户的特征，才能够避免所采用算法本身先天的偏差，获得较为理想的效果。
文章来源： http://www.chinakdd.com/index.html
用K-MEANS进行客户细分组合的实例
在10月1日上线了，我负责的一个产品， 投资品搜索，2个月后，记录了大量的客户真实需求数据。
客户的投资金额的需求是多少，客户的投资期限的需求是多久，这些真实的客户需求。我能不能直接根据客户需求最集中的区域，定制几款特定投资金额、投资期限的产品来满足90%的客户需求，并且降低这个页面的跳出，提高产品使用率。 前面是关于问题的描述。后来经过考虑决定使用K-MEANS聚类方法来解决这个问题。k-means算法广泛应用于划分目标客户类型的应用中。 下面开始介绍我通过K-MEANS聚类的步骤和最后的结果。
1. 首先从公司数据库mongo数据库中导出一周数据。（导原始数据的时候才发现，很多客户
没有看清楚，输入是以万为单位，输入了很多大的离谱的数值。产品做的不仔细，没有很好的提示客户）
2. 由于K-MEANS对错误数据和偏离数据非常敏感，所以我仔细筛选排除出错误数据（例
如投资金额大于1000万）。
3. 由于有多个ID或者IP(未登录)重复刷新多次记录，所以根据同一IP和ID对记录进行了
去重。
4. 我对划分种类数目（即K值）进行了多次试验调整。由于原始数据中有很多偏离的数据，
所以划分太少之后，会出现数据聚合太多集中。（例如划分成四类后99%的客户集中在一起，不能达到目标）
5. 最后我把数据划分成了50类进行试探，按照每个类中的案例数进行降序排列。得到如下
结果
6. 我认为最后把其中6类进行进行分析是合适的，这6类已经能够覆盖78.77%的客户需求。
排除后面的噪点或者小需求。
7. 最后。我把这六类的投资金额和投资期限逐一筛选出来
总结，我们可以最后推出6款投资产品，他们分别如上图所示，就能够满足基本上80%的客户需求。