Clik here to view.
XML和XPath使用方法备忘
如果把XML看作传统的关系数据库，那么XPath就是SQL。R语言中的XML包可用来解析处理XML或是HTML数据。在之前的文章中，我们了解到readHTMLTable函数，如果页面中的数据是一个规整的表格，用它是很方便的，但如果页面中是一些非结构化的数据，就要用到XML包中的其它函数了。其中最重要两个函数是xmlTreeParse()和getNodeSet()，前者负责抓取页面数据并形成树状结构，...
View ArticleClik here to view.
R书精选之十二宫
以前人的烦恼是没有书可读，现在人的烦恼是书太多了。关于R语言的书已经出版很多了，博主大约读过其中的四十多本，但是书在精，而不在多，学在透，而不在速。把有限的时间放到无限的书海中，这不是阅读的真意。本着造福学习者的角度，博主精选出十二本R书。什么是好书的标准？我以为是：有案例，有代码，有习题，有讲解，逻辑清楚，排版精良，体系完备，互有补充，内容千锤百炼，值得反复揣摩。书单均为英文版，都可以从网上找到。...
View ArticleClik here to view.
数据挖掘的三行俳句
最近才看到Tom Khabaza写的一篇很有份量的文章，阐述了数据挖掘的九大法则，在最后他以俳句方式进行了总结，可谓是字字珠玑。原文很长，只将俳句和各法则的纲要翻译放在这里。First the business goal // Is all in data mining // This defines the fieldSecond is knowledge // Of business at...
View Article灰色模型的R代码
最近帮朋友写了一个灰色模型GM(1,1)的R实现，参考网上现有的matlab代码，比较容易就可以弄出来。下面是具体过程，主函数是GM()，建立的模型是一个S3类，搭配两个自定义的泛型函数print和plot可以得到结果输出和图形。 # 本代码用来计算GM(1,1)灰度模型# 输入：x 原始数据，adv为外推预测步长# 输出：actual 原始数据，fit 拟合数据,degree 拟合精度，# C...
View ArticleClik here to view.
R语言玩转资产组合计算
以前都是用MATLAB或是EXCEL给学生讲资产组合的计算问题，实际R语言也可以做一样的事情。资产组合要解决的问题并不复杂，即给定一个可选的资产集合，要从中选择出一个最优组合，使其收益率较大，而风险较小。如果可选资产只有两个的话，问题非常简单，可以通过求导最优化的方式得到结果，即有效资产前沿的解析解。如果资产集合超过两个那么问题要复杂一些。首先需要给定一个要求的期望收益率，再求出在此约束下的方差最小...
View ArticleClik here to view.
R连接MySQL数据库方法备忘
R语言连接数据库可以利用数据库的存贮能力和R的计算能力，起到取长补短的效果。之前我们也说过了如何在R中使用SQL，很多教材上也提到了连接MySQL的方法，但是在安装上还需要注意一些细节问题。以下的解决方法也是在网上放狗加撞墙实验得出的结论。一、win平台如果是在windows平台上安装，推荐采用ODBC连接方式。除了需要安装R和MySQL之外，还要安装RODBC扩展包，以及MySQL的ODBC驱动。...
View ArticleClik here to view.
初学D3的感觉
简单来讲有如下三点感受：D3很强大D3并不容易学学会D3并不等于学会了可视化一山还有一山高，在翻过ggplot2这座山后，发现还有D3这座珠穆朗玛。ggplot2已经非常好了。能够实现The Grammar of...
View ArticleClik here to view.
实现可重复的统计slides
制作幻灯片是数据分析师的必备技能之一，优秀的slides对外可以忽悠住客户，对内可以震慑住领导。精良的slides要秀外慧中，有逻辑有内容，还要有外形有风格。达到这种标准并不容易。在过去，你可能使用office中的ppt来做传统意义的幻灯片，将图片和代码费力的copy到一张张的slides上去，然后到处找模板。但这种方式已经凹特了。在HTML5的发展背景下，已经出现了大批以网页形式的slides框架...
View ArticleClik here to view.
关于可视化的一个slide
前段时间团队内部讨论，做了一个关于数据可视化的slide，放在下面的链接中，供有兴趣的各位看看吧。ubuntu下chrome效果最佳，可尝试按下ESC看全局。https://dl.dropboxusercontent.com/u/6547489/vis-ppt/index.html
View Article电影爱好者的R函数
作为一个伪影迷，经常纠结一些电影该不该下，要不要看。毕竟吾生也有涯而片源无涯。还好可以去豆瓣一类的地方看看大家的评分择优录用。去豆瓣查分需要登录网站搜索再鼠标点点点，如果要查好几部电影就有点费事儿。其实可以用R写个函数，先抓取相应的网页，再筛选返回需要的分值。这样在R里头就可以批量查分了，恩，走起来。library(RCurl)library(XML)movieScore <-...
View ArticleClik here to view.
说英雄谁是英雄之光荣三国
本文的缘起是知乎的这一篇文章，老马这位三国历史专家让大家都知道了有这么一份三国志游戏数据的存在。这份数据很容易从网上找到，而本人只关心三国志四的各人物数据，为什么呢，因为只玩过三国志四嘛。游戏是多年前玩的，如今来玩玩数据吧。下面的问题主要围绕一个焦点，谁是三国志四中文武兼资第一人。网上下载的数据是一个Excel表格，整理之后只取了三国志四的部分，去除了分值为0的人物，整理后数据你可以从这里下载。整个...
View Article奇异值分解和潜在语义分析
奇异值分解是一种矩阵分解技术，如果将列看作特征，SVD也能看作是一种降维技术。如果将数据先进行标准化之后，再进行SVD操作，其左奇异向量U就是主成分得分，右奇异向量V就是主成分负载。但SVD的优势恰恰在于不进行标准化，当我们处理高维稀疏数据（例如文本数据）时，标准化会使矩阵不再稀疏，影响计算效率。所以一般是用SVD直接对原始数据进行操作。得到U的第一列是平均值的意义，U的后几列才有区别各样本的功能。...
View Article如何善用R的语法：三段示例
在改进R代码的运算效率时，我们常说的第一句话就是：要善用R的语法。那么问题是：HOW？下面用一个具体的问题来表达这句比较抽象的话。问题就是用R代码来模拟一个二维布朗运动，一个人从原点出发，随机的向任何一个方向前进或后退一步，不会停留在原地。这个问题是一位英国留学的朋友问我的，我觉得可能比较典型，就顺便写在博客上供大家参考比较吧。下面就这个问题，给出了三个解答，slowwalk是运行最慢的，在我的电脑...
View ArticleClik here to view.
如何批量处理文本文件
最近数据堂为了弄数据挖掘比赛提供了一批用户行为日志数据。对于以前没玩过的数据，我是特别的好奇。处理这批文本文件确实花了不少时间。数据以不同的日期作文件夹分别存放，每个文件夹中又有近一千个文本文件，每个文件都是一个用户的行为日志。为了分析这些数据，首先需要将这两万个文本文件读入R中，再用字符串函数进行处理成结构化的数据。处理方法如下：library(stringr)setwd('D:\\kaggle\...
View Article一份数据挖掘小书评
书看得多了，渐渐有了品味，所以看那些英文版的时候也不再有很膜拜的感觉。不过再差的书，总会有些许长处或教训，值得借鉴。下面列出一些在数据挖掘实现方面的书，主要是基于R和python的。Data mining with R Learning with Case studies: 我的启蒙书，很好的案例教学，这种书应该出更多些。Data Mining Applications with R:...
View Article