大数据职位，数据场技能

简单的数据收集与处理，很多时候也会依赖于Linux系统或者基于其上的一系列工具，比如常用的Web服务器引擎Nginx及其产生的日志，常用的文件传输scp或者rsync，常用的定时任务crontab等等这些工具，稳定又实用。

2.3 Python或者R语言生态

掌握一门分析专用语言，很有必要。其中以R语言和Python语言为代表。R起源于统计学，如今在数据科学领域也占有强大的阵地。Python更是一门完整的编程语言，不论是Web开发、自动化运维、云计算，还是数据科学领域，都有众多的用户。两者在数据分析中都有完整的生态圈，而且其它环境对这两者的支持也是非常好的。

无意于争端，全看个人喜好。本人只熟悉Python这块生态，因此只讨论这一块相关的。最为大众熟悉的一些包为：Numpy，Scipy, Pandas和Scikit-learn，Keras，解决了从数据分析到机器学习和深度学习的几乎所有任务。

2.4 Hadoop与Spark生态

大数据平台，无疑是以Hadoop和Spark为代表，无论在线处理还是离线分析。Hadoop比较适合离线处理。而在线处理中，Storm就是比较有名的。如果需要自己实现Map-Reduce或者对接数据之类的开发，编程语言中以Java和Scala为代表。

在线搜索相关，估计会用前面说过的ElasticSearch或者Solr。当然，区别于hadoop的Map-Reduce流程，Spark提供的弹性数据集RDD，能作用于RDD上的算子非常多，使得数据处理与分析更加方便。除此之外，Spark还提供了实时任务的Streaming，能实时的对数据进行处理与获取结果。还有Spark SQL功能，尤其以其中的DataFrame重为重要。另外，ML与MLlib也是分布式机器学习的重要部分。

Spark是Hadoop生态圈中的有力补充，并非替代品，如果要说替代，那也只是替代了MapReduce分布式计算框架而已，分布式调试与管理依然用Yarn，文件系统依然会使用HDFS。