主成分分析(PCA)应用——特征提取_人脸识别(下) 序在上一篇文章中,我简单说了下利用python对图像进行操作的基础知识,不了解这方面的小伙伴可以去查看下。(传送门——主成分分析(PCA)应用——特征提取_人脸识别(上)) 接下来我们来看一下关于人脸识别的模型训练,以及PCA对机器学习流程的优化。 数据集就是我们在主成分分析(PCA)应用——特征提取_人脸识别(上)中已经处理完的图像数据,这里就不再赘述了。 模型训练人脸识别的一个常见任务就是看某 2021-06-27 机器学习 无监督学习 主成分分析 特征提取 人脸识别
主成分分析(PCA)应用——特征提取_人脸识别(上) 序我在另一篇文章《无监督学习与主成分分析(PCA)》中已经讲过关于PCA的原理,以及它的其中一个应用——降维。那么本篇文章我来说一下PCA的另一个应用——特征提取。 特征提取背后的思想是,可以找到一种数据表示,比给定的原始表示更适合分析。特征提取很有用,它的一个很好的应用实例就是最近几年很火的人脸(图像)识别。 考虑到有很多小伙伴不了解图像的处理,所以我们分成上下两篇来进行讲解。 本篇先讲解图像的 2021-06-27 机器学习 无监督学习 主成分分析 特征提取 人脸识别
无监督学习与主成分分析 序在之前的文章中,我讲了很多监督学习的算法(线性模型,SVM,决策树,神经网络等),那么接下来,我们要开始接触无监督学习了。首先,我们先说下相关概念。 无监督学习与监督学习不同,在无监督学习中,学习算法只有输入数据,并且从数据中提取需要的知识。而其中有两种常用类型:数据集变换和聚类。 无监督变换是创建数据新的表示的算法,与数据的原始表示相比,新的表示可能更容易被人或其它机器学习算法所理解。而无监督 2021-06-19 机器学习 无监督学习 主成分分析 python 数据处理
决策树集成-梯度提升决策树 基础概念集成 集成是合并多个机器学习模型来构建更强大模型的方法。在机器学习算法中有许多模型属于这一类,但已证明有两种集成模型对大量分类和回归的数据集都是有效的,二者都以决策树为基础,分别是随机森林(random forest)和梯度提升决策树(gradiet boosted decision tree)。 之前已经讲解过了随机森林(决策树集成-随机森林之分类实操),这次讲解梯度提升决策树。在了解梯 2021-06-15 机器学习 监督学习 决策树集成 python 梯度提升回归树
数据预处理与缩放 序之前我们在接触监督学习时了解到,有一些算法(譬如神经网络和SVM)对于数据的缩放非常敏感。因此,通常的做法是对数据集进行调节,使得数据表示更适合于这些算法。通常来说,这是对数据特征的一种简单的缩放和移动。 机器学习的理论实际上是起源于概率论与数理统计,接下来,我们来简单提几个相关概念,来帮助大家更好地理解接下来的要说的几种处理方法。 基础概念中位数——对于一组数字来说,中位数指的是这样的数值x: 2021-06-15 机器学习 无监督学习 数据预处理 python SVM 数据缩放
最小二乘法 基本概念线性回归模型 对于不同的数据集,数据挖掘或者说机器学习的过程,就是建立数据模型的过程。对于回归类问题,线性模型预测的一般公式如下: y=w[0]x[0]+w[1]x[1]+w[2]x[2]+……+w[p]x[p]+b 这里x[0]到x[p]表示耽搁数据点的特征(本例中特征个数为p+1),w和b是学习模型的参数,y是预测结果,对于单一特征的数据集,公式如下: *y=w[0]x[0]+b 2021-06-15 机器学习 监督学习 线性模型 python 回归模型
支持向量机(SVM)算法-实际应用 算法简介SVM 之前我们用了很多线性算法来做预测模型,像是逻辑算法(LogisticRegression),lasso,岭回归。但现实生活中,很多事情不是线性可分的(即画一条直线就能分类的),而SVM就是专治线性不可分,把分类问题转化为平面分类问题。这个算法中,我们将每一个数据项作为一个点,而在n维空间中(其中n是你拥有的特征数)作为一个点,每一个特征值都是一个特定坐标的值。然后,我们通过查找区分 2021-06-15 机器学习 监督学习 核向量机 python SVM 实际应用
支持向量机(SVM)算法-补充说明 序之前我有写过一篇关于svm的使用流程和基本概念讲解——支持向量机(SVM)算法之分类实操。不过最近又接触了一些关于svm的基础概念和预处理数据的使用,所以在这里做一下简单地补充。在接触本篇文章之前,建议先去看完支持向量机(SVM)算法之分类实操,一些我之前讲过的东西,这里就不在赘述了。 核技巧首先需要声明的一点是,向数据表示中添加非线性特征,可以让线性模型变得更强大。但是,通常来说我们并不知道要 2021-06-15 机器学习 监督学习 核向量机 python SVM 补充说明
神经网络(深度学习)算法 序我想接触过机器学习的人应该都听过一个高大上,但是又非常陌生的算法,就是“神经网络”。尤其是最近两年,这类被称为神经网络的算法以“深度学习”的名字再度流行。虽然深度学习在许多机器学习应用中都有非常大的潜力,但深度学习算法往往经过精确调整,只适用于特定的使用场景。接下来,我们只讨论一些相对简单的方法,即用于分类和回归的多层感知机(MLP),它可以作为研究更复杂的深度学习方法的起点。MLP也被称为(普 2021-06-15 机器学习 监督学习 线性模型 python 神经网络 深度学习
朴素贝叶斯分类器 基本概念鲁棒性 Huber从稳健统计的角度系统地给出了鲁棒性3个层面的概念: 1.是模型具有较高的精度或有效性,这也是对于机器学习中所有学习模型的基本要求;2.是对于模型假设出现的较小偏差,只能对算法性能产生较小的影响,如噪声;3.是对于模型假设出现的较大偏差,不可对算法性能产生“灾难性”的影响,如离群点。 PS:上面的解释是从网上抄来的 定义:对于聚类(分类)算法而言,鲁棒性意味着聚类结果不应 2021-06-15 机器学习 监督学习 线性模型 python 回归模型 朴素贝叶斯分类器