大数据工具比较：R语言和Spark谁更胜一筹？

本文有两重目的，一是在性能方面快速对比下R语言和Spark，二是想向大家介绍下Spark的机器学习库。

背景介绍

由于R语言本身是单线程的，所以可能从性能方面对比Spark和R并不是很明智的做法。即使这种比较不是很理想，但是对于那些曾经遇到过这些问题的人，下文中的一些数字一定会让你很感兴趣。

36大数据专稿，原文作者：Vivek Murugesan本文由36大数据翻译组-冷逸翻译，任何不标明译者和出处以及本文链接http://www.36dsj.com/archives/37692 的均为侵权。

你是否曾把一个机器学习的问题丢到R里运行，然后等上好几个小时？而仅仅是因为没有可行的替代方式，你只能耐心地等。所以是时候去看看Spark的机器学习了，它包含R语言大部分的功能，并且在数据转换和性能上优于R语言。

曾经我尝试过利用不同的机器学习技术——R语言和Spark的机器学习，去解决同一个特定的问题。为了增加可比性，我甚至让它们运行在同样的硬件环境和操作系统上。并且，在Spark中运行单机模式，不带任何集群的配置。

在我们讨论具体细节之前，关于Revolution R 有个简单的说明。作为R语言的企业版，Revolution R试图弥补R语言单线程的缺陷。但它只能运行在像Revolution Analytics这样的专有软件上，所以可能不是理想的长期方案。如果想获得微软Revolution Analytics软件的扩展，又可能会让事情变得更为复杂，比方说牵扯到许可证的问题。

因此，社区支持的开源工具，像是Spark，可能成为比R语言企业版更好的选择。

数据集和问题

分析采用的是Kaggle网站 [译者注：Kaggle是一个数据分析的竞赛平台]上的数字识别器的数据集，其中包含灰度的手写数字的图片，从0到9。

每张图片高28px，宽28px，大小为784px。每个像素都包含关于像素点明暗的值，值越高代表像素点越暗。像素值是0到255之间的整数，包括0和255。整张图片包含第一列在内共有785列数据，称为“标记”，即用户手写的数字。