[摘要]机器学习中，特征提取和特征选择有什么区别？很简单，特征选择的主要目的是通过特征选择算法从原始特征集中选择出评估标准最佳的特征子集，以便帮助研究人员把任务更好地进...
机器学习中，特征提取和特征选择有什么区别？
很简单，特征选择的主要目的是通过特征选择算法从原始特征集中选择出评估标准最佳的特征子集，以便帮助研究人员把任务更好地进行分类与回归，提高算法的泛化能力。特征选择的优势在于可以压缩学习算法搜索的空间、减少特征集合数量的大小。除此之外，特征选择不仅能提高数据分类的精确度和效率，还可以提升对模型学习的速度。
传统的特征选择方法对于传统的数据特征具有很好的选择效果，随着以数学特征为基础的评估措施、搜索技术、统计学等多学科的发展，更多的算法工具被运用到特征选择中，并取得了可观的研究成果．处于该领域的学术研究者开发了许多实用且有效的特征选择算法，但并不是所有的方法都是完美无缺的，在存在优势的同时也存在着相应的缺点。
统计方法的缺点就在于计算过程相对复杂，数据具有一定的复杂性，而且数据特征会由于维度的增加呈指数倍趋势增长。因此，统计方法在现实使用中仍存在一定难度且不太实用。传统的计算方法已经不能适应当今时代的发展变化，应着眼于现实情况，引入更多不同的工具来更新传统算法的观念。
机器学习中，特征提取和特征选择有什么区别？
特征选择（feature selection）和特征提取（feature extraction）是特征工程中的两个重要问题。有句说法：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程尤其是特征选择在机器学习中占有相当重要的地位。
在机器学习中，特征选择（feature selection） 也被称为变量选择、属性选择 或变量子集选择 。它是指：为了构建模型而选择相关特征（即属性、指标）子集的过程。使用特征选择技术有三个原因：
简化模型，使之更易于被研究人员或用户理解缩短训练时间改善通用性、降低过拟合（即降低方差）要使用特征选择技术的关键假设是：训练数据包含许多冗余或无关的特征，因而移除这些特征并不会导致丢失信息。特征选择是指去掉无关特征，保留相关特征的过程，也可以认为是从所有的特征中选择一个最好的特征子集，本质上是一种降维的过程。
特征提取（feature extraction）是指将机器学习算法不能识别的原始数据转化为算法可以识别的特征的过程。比如说，图片是由一系列像素点构（原始数据）成的，这些像素点本身无法被机器学习算法直接使用，但是如果将这些像素点转化成矩阵的形式（数值特征），那么机器学习算法就可以使用了。
特征选择技术与特征提取有所不同。特征提取实际上是把原始数据转化为机器学习算法可以识别的数值特征，从原有特征的功能中创造新的特征，不存在降维的概念，不需要理会这些特征是否有用；而特征选择是在提取出来的特征中选择最优的一个特征子集，常常用于许多特征但样本（即数据点）相对较少的领域。特征选择应用的典型用例包括：解析书面文本和微阵列数据，这些场景下特征成千上万，但样本只有几十到几百个。