1.数学期望：在概率论和统计学中，数学期望（mean)（或均值，也简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一，它反映随机变量平均取值的大小。需要注意的是，期望值并不一定等同于常识中的期望，期望值也许与每一个结果都不想等，期望值是该变量输出值的平均数。期望值并不一定包含与变量的输出值集合里。大数定律规定，随着重复次数接近无穷大，数值的算术平均值几乎肯定地收敛于期望值。
2.最大似然估计：maximum likelihood estimation,MLE,是一种重要而普遍的求估计量的方法。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。它是一种统计方法，用来求一个样本集的相关概率密度函数的参数。
3.方差：方差即偏离均值的平方，称为标准差或均方差。若x1,x2,x3……xn的平均数为m，则方差s^2=1/n[(x1-m)^2+(x2-m)^2+…….+(xn-m)^2]，方差描述波动程度，方差小就说明数据比较稳定，方差大就是波动性比较大。
4.协方差，标准差和方差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集，比如多学科的考试成绩，面对这样的数据集，可以按照每一维独立的计算其方差，但还想了解更多（比如一个男孩子的数学成绩和语文成绩是否存在一些联系）。协方差就是这样一种用来度量两个随机变量关系的统计量，可以仿照方差的定义。
来度量各个维度偏离其均值的程度，协方差可以这样来定义
协方差的结果有什么意义呢？若结果为正值，则说明两者是正相关的（从协方差可以引出“相关系数”的定义），也就是说一个学生语文越好，数学就越好。如果为负值，就说明两者是负相关，数学越差，语文越好，如果为0，两者没关系，数学好不好与语文好不好没有关联，就是统计上说的相互独立。
5.协方差矩阵
前面提到的数学与语文成绩是典型的二维问题，而协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算很多个协方差，那自然就会想到用矩阵来组织这些数据，给出协方差矩阵的定义：
三维的例子
6.高斯分布
高斯分布(gaussian distribution),又名正态分布（Normal distribution),也称常态分布，是一个在数学，物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。
定义:
若随机变量x服从一个期望为,方差为的概率分布,且其概率密度函数为
则这个随机变量x就称为正态随机变量,正态随机变量服从的分布就称为正态分布.
正态曲线呈现钟型，两头低，中间高，左右对称，因其曲线呈钟形，因此人们又经常称之为钟形曲线。若随机变量x服从一个数学期望为u,方差o^2为的高斯分布,记为N(u,o^2).期望值决定了x的位置,方差o^2决定了x的覆盖范围,我们通常所说的标准正态分布是的正态分布u=0 o=1.
原文地址：http://www.cnblogs.com/gooutlook/p/16851944.html
