大数据职位，数据场技能

Hadoop发行版中，主要以三大厂商的Hadoop的为代表。Cloudera发行的CDH，Hortonworks发行的HDP，这两个是目前各种大数据框架支持的主流，另外一家是修改了核心的MapR。

2.5 概率、统计与线性代数

对数据进行统计与分析，是需要统计学的基础知识。另外，很多问题都可以转化为一个概率问题，并不是要完全确定的结果，只要概率达满足即可。概率论方面的主要是贝叶斯统计，隐马尔可夫模型等之类的。这些都是深入理解算法的基础。

对数据的运算，很多时候就是直接矩阵运算，而涉及矩阵的各种运算也正是线性代数相关相关的问题。

机器学习之所以有效，是因为模型对数据的处理，最后都会变成一系列的数学优化问题，而且主要和凸优化知识相关。机器学习的各种计算，都是和数学密切相关。除了上面的概率、统计与线性代数，还会和微积分有一定的关系。

当然，但除非你深入研究算法的核心原理或者写学术论文需要，也不要被数学吓到了。在机器学习应用过程中，并不会用到太多的数学知识。而且，也并不需要完全把上面这些课程学好了再来进行机器学习。计算机基于数学，但应用型的算法，并不需要特别深厚的数学功底。如果以前课程学得不好也没有太大的关系，很多知识到了关键时刻再补一下也不迟。

2.6 机器学习与深度学习

数据挖掘与人工智能中和算法相关的部分，常用的分类算法，聚类算法是基础。推广开来，就是监督算法与非监督算法，监督算法中，除了分类，还有回归。非监督算法中，除了聚类，还有数据降维，还有用于个性推荐的关联规则。另外，专门处理自然语言的机器学习也即NLP，或者文本数据挖掘，是另外一个侧重方向。

对算法的理解，需要前面的统计与概率等等数学知识，还需要结合编码能力，最好能自己实现一些演示算法流程的Demo程序来辅助理解。实际应用中，最好以第三方库为准，它们经过大量人员的测试，无论是性能还是算法完整性上都会更好，自己实现的程序仅仅用于理解算法流程即可。除非你对算法理解很彻底，并且编码能力也非常强，而且觉得现有的框架不能满足你的使用。