机器学习概述

Q:什么类型的程序适合在GPU上运行

A:计算密集型的程序。所谓计算密集型的程序，就是其大部分运行时间花在了寄存器上运算的，寄存器的速度和处理器的速度相当，从寄存器读写数据几乎没有延时，可以做一下对比，读内存的延迟大概是几百个时钟周期，读硬盘速度就不说了，即便是SSD，也实在是太慢了
易于并行的程序。GPU其实是做一种SIMD架构，他有成百上千个核，每一个核在同一时间最好能做同样的事情。

1.3 机器学习工作流程

1. 什么是机器学习

   机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测

2. 机器学习工作流程：
   获取数据
   数据基本处理
   特征工程
   机器学习(模型训练)
   模型评估

3. 获取到的数据集介绍

    数据简介
   
    1. 在数据集中一般:
         一行数据我们称为一个样本
         一列数据我们成为一个特征
         有些数据有目标值(标签值)，有些数据没有目标值
   
    2. 数据类型构成:
         数据类型一: 特征值 + 目标值(目标值是连续的和离散的)
         数据类型二: 只有特征值，没有目标值
   
    3. 数据分割:
         机器学习一般的数据集会划分为两个部分:
             训练数据: 用于训练，构建模型
             测试数据: 在模型检验时使用，用于评估模型是否有效
    4. 划分比例：
         训练集: 70% 80% 75%
         测试集: 30% 20% 25%
   

4. 数据基本处理

   即对数进行缺失值、去除异常值等处理

5. 特征工程

    特征工程：
    把数据转换成机器更容易识别的数据
    （特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。）
   
    为什么需要特征工程:
    数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。
   
    特征工程包含内容
        特征提取：
        将任意数据(如文本或图像)转换为可用于机器学习的数字特征
   
        特征预处理：
        通过一些转换函数将特征数据转成更加适合算法模型的特征数据的过程
   
        特征降维：
        指在某些限定条件下，降低随机变量(特征)个数，得到一组"不相关" 主变量的过程
   

6. 机器学习

   选择合适的算法对模型进行训练

7. 模型评估

   对训练好的模型进行评估

1.4完整机器学习流程

1. 抽象成数学问题

   明确问题是进行机器学习的第一步。机器学习的特征工程和模型训练通常都是一件非常耗时的过程，胡乱尝试时间成本是非常高的。

   这里的抽象成数学问题，指的明确我们可以获得怎样的数据，抽象出的问题，是一个分类还是回归或者聚类的问题。

2. 获取数据

   数据决定机器学习结果的上限，而算法只是尽可能的逼近这个上限

   数据要有代表性，否则必然会过拟合

   对于分类问题，数据偏斜不能过于严重，不同类别的数据数量不要有数个数量级的差距。

   而且还要对数据的量级有一个评估，多少个样本，多少个特征，可以估算出其对内存的消耗程度，判断训练过程中内存是否能够放得下，如果放不下就得考虑改进算法或者使用一些降维的技巧了，如果数据量实在是太大，那就要考虑分布式了。

3. 特征工程

   特征工程是非常能体现一个机器学习者的功底的。

   特征工程包括从原始数据中特征构建、特征提取、特征选择，非常有讲究。深入理解实际业务场景下的问题，丰富的机器学习经验能帮助我们更好的处理特征工程。特征工程做的好能发挥原始数据的最大效力，往往能够使得算法的效果和性能得到显著的提升，有时能使简单的模型的效果比复杂的模型效果好。

   数据预处理、数据清洗是很关键的步骤，往往能够使得算法的效果和性能得到显著提高。归一化、离散化、因子化、缺失值处理、去除共线性等，数据挖掘过程中很多时间就花在它们上面。这些工作简单可复制，收益稳定可预期，是机器学习的基础必备步骤。

   筛选出显著特征、摒弃非显著特征，需要机器学习工程师反复理解业务。这对很多结果有决定性的影响。特征选择需要运用特征有效性分析的相关技术，如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。

4. 模型训练、诊断与调优

直到这一步才用到我们上面说的算法进行训练，现在很多算法都能够封装成黑盒供人使用，使用非常方便，真正考验水平的根据对算法的理解调节（超）参数，使模型达到最优。这需要我们对算法的原理有深入的理解，理解越深入，就越能发现问题的症结，提出良好的调优方案。

5. 模型诊断

   模型验证和误差分析也是机器学习中非常重要的一步。

   通过测试数据，验证模型的有效性，通过观察误差样本，分析误差产生的原因（是参数的问题还是算法选择的问题，是特征的问题还是数据本身的问题 …），往往能使得我们找到提升算法性能的突破点。

   误差分析主要是分析出误差来源于 算法 、 特征 、数据。

6. 模型融合

   一般来说实际中，成熟的机器算法也就那么些，工程上，提升算法的准确度主要方法是模型的前端（特征工程、清洗、预处理、采样）和后端的模型融合。因为他们比较标准可复制，效果比较稳定。而直接调参的工作不会很多，毕竟大量数据训练起来太慢了，而且效果难以保证。

   模型融合的方法，主要包括一人一票的统一融合，线性融合和堆融合。

   在机器学习中模型融合非常常见，基本都能使得效果有一定的提升，而且效果很好。

7. 上线运行

   这一部分内容主要跟工程实现的相关性比较大。工程上是结果导向，模型在线上运行的效果直接决定模型的成败。不单纯包括其准确程度、误差等情况，还包括其运行的速度(时间复杂度)、资源消耗程度（空间复杂度）、稳定性是否可接受。