计算智能导论（第二版）读书笔记
译者序：
人工智能是未来之路，智能计算是未来计算的方式，计算智能是自底向上的，研究和模拟自然智能，出发点是模拟自然实现对复杂问题的求解。
导论性的介绍了
- 人工神经网络（生物神经系统NN）
- 进化计算（生物进化过程EC）
- 计算群体智能（社会组织群体行为SI）
- 人工免疫网络（自然免疫系统AIS）
- 模糊系统（人类思维过程FS）
本书翻译，谭营教授领导的北京大学计算智能实验室
原著序
计算智能（CI）。技术典范（Paradigm）,概述了流行和常用的模型，适用于刚进入计算智能的初学者和大三的教材。
六大部分如下：
- 第Ⅰ部分：不同计算范例历史回顾
- 第Ⅱ部分：人工神经网络
- 神经网络基础的人工神经元、激活函数、神经元几何结构、学习规则
- 监督学习、前馈神经网络、功能联结神经网络、乘积单元神经网络、级联神经网络、回馈升级网络，监督学习算法：梯度下降法、共轭梯度法、蛙跳、粒子群优化
- 非监督学习：学习向量量化、自组织特征图
- 径向基函数神经网络
- 增强学习
- 监督网络的性能问题
- 第Ⅲ部分：进化计算
- 进化计算过程及其基本算子
- 遗传算法
- 遗传编程
- 进化规划
- 进化策略
- 查分进化
- 文化算法
- 协同进化
- 第Ⅳ部分：群体模型
待补充~
第Ⅰ部分 引言
第1章 计算智能介绍
提出设问？什么是智能？（理解能力，从经验总获益，思考，推理能力）
阿兰~图灵，计算机智能测试——图灵测试（提问不能分辨人和机器）
现在——能做人类正在做的事，做的更好
智能计算——智能行为在复杂和变换环境中能够实现自适应机制
1.1计算智能典型方法
软计算——计算智能方法和概率方法的几何——>混合系统
1.1.1人工神经网络
人脑（复杂、非线性，并行），【好厉害的样子，(#^.^#)】估计有100亿~5000亿神经元
应用：语音识别、数据挖掘、音乐创作、图像处理、预测、机器人控制、游戏策略，信用认证
人工神经元（AN）建模生物神经元(BN)，输入信号加权
- 单层神经网络
- 多层前馈神经网络
- 时间神经网络
- 自组织神经网络
- 组合的监督与非监督的神经网络
1.1.2进化计算
适者生存，弱者淘汰，通过繁殖，继承优良基因，生存竞争。
应用：数据挖掘、组合优化、故障诊断、分类、聚类、行程安排、时间序列逼近
个体（染色体）
特性（基因）
交叉（繁殖）
选择（淘汰）
适应度函数
基本有一下几种类型：
- 遗传算法
- 遗传编程
- 进化规则
- 进化策略
- 差分进化
- 文化进化
- 协同进化
1.1.3群体智能
粒子群算法：研究鸟优雅而不可预测的飞行
1.1.4人工免疫系统
奇特的模式匹配能力
主要有以下4种
- 免疫系统传统观点
- 克隆选择理论
- 危险理论
- 网络理论
1.1.5模糊系统
某些女生能够用大多数语言进行交流。进行模拟推理。
基于常识建模
应用：控制系统、家用电器、控制交通信号灯。
1.2简短历史
第Ⅱ部分
人工神经网络
效率和解决复杂问题
分类：预测输入向量的类别
模式匹配，产生一个最佳关联给定输入向量的模式
模式完善。
优化
控制
函数拟合/时间序列建模
数据挖掘
第2章 人工神经元
实现了一个非线性映射，映射区间取决于使用的激活函数
2.1计算网络输入信号
一个人工神经元网络输入信号为计算所有输入信号的加权和。
2.2激活函数
接受网络输入信号和偏执，决定神经元的输出（激活强度）
特性：
单调递增映射、
常见的激活函数
2.3人工神经元几何构型
单个神经元可以被用来实现没有任何错误的线性可分函数。可以分隔I维输入向量的空间。即是：通过一个I维超平面将一个超过阈值的响应和低于阈值的响应分隔开。超平面构成了输入向量的便捷，改变街关联两个输出值。下图是斜坡函数神经元的决策边界
非线性可分布尔函数，异或函数的例子，需要两个输入单元，两个隐层单元和一个输出单元
2.4人工神经元学习
仍需要回答的一个问题，是否存在一个自动的方法确定权值vi和阈值sita,就是通过学习计算权值和阈值，知道得到一个特定的准则。
三种主要的学习方法：
- 监督学习（将向神经元提供一个由输入向量构成的数据集，每一个输入向量关联一个目标（期望输出），即是训练集，监督学习的目标即是调整权值使得神经元的真是输出和目标输出之间的误差最小）
- 无监督学习（无外在辅助的情况下，发掘输入数据的特征和模式，是对训练模式执行一个聚类）
- 增强学习（对性能良好的神经元给予奖励，对性能不佳的神经元给予惩罚）
不同学习类型，有着不同学习规则，下面我们在研究学习规则之前，研究如何简化模型。
2.4.1增广向量
一个人工神经元包括：权重向量，阈值，和激活函数。
为简化学习方程，输入向量被增广使其包含一个称为偏执单元的额外输入单元zi+1值总为-1
权重为阈值，人工神经元网络输入信号（求和单元）
2.4.2梯度下降学习规则
梯度下降最常用的训练神经元的方法，梯度下降定义一个误差（目标）函数衡量逼近神经元的误差，平方误差
2.4.3 Widrow-Hoff学习规则
2.4.4广义delta学习规则
2.4.5误差修正学习规则
第3章 监督学习神经网络
单个神经元学习函数类型有限制，单个可用于线性可分函数，需要学习非线性可分函数时，需要训练分层神经元网络。可以有三种训练的学习。第一种，监督学习。
这个学习需要训练集，将向神经元提供一个由输入向量构成的数据集，每一个输入向量关联真实一个目标（期望输出），即是训练集，监督学习的目标即是调整权值使得神经元的真实输出和目标输出之间的误差最小。
输入向量
目标向量
标准多层神经网络、函数链神经网络、简单反馈神经网络、时延神经网络、乘积单元神经网络、级联神经网络
介绍+学习规则+集成神经网路
3.1神经网络的类型
3.1.1前馈神经网络
3层，输入层，一个隐层，一个输出层，一个前馈神经网络可以有多个隐层。可以在输入层和输出层直接建立线性连接。
3.1.2函数链神经网络
3.1.3乘积单元神经网络
3.1.4简单反馈神经网络
3.1.5时延神经网络
3.1.6级联神经网络
3.2监督学习规则
神经网络可以计算一个给定输入模式下的输出。阐述一些训练神经网络的方法，可以使得输出是一个对目标值的精确逼近。
下面解释一下学习问题。描述不同的训练算法。
3.2.1 监督学习问题
分成训练集合、验证集合、测试集合。
- 局部最优（陷入局部最优，无法找到全局最优值）梯度下降和共轭梯度都是局部最优的例子
- 全局最优化：通常在搜索空间里更大范围进行搜索，包括——蛙跳、模拟退火、进化算法，群体优化。
两者可以结合构成混合算法
直到达到一个可以接受的经验误差。关于合适更新权值，有两类监督学习算法。
- 随机/在线学习：每当一个模式出现之后就对权值进行调整。这个轻快你给下，在训练集中随机选择下一个模式，方式在训练集中出现的顺序的偏差。
- 批/离线学习：权值的改变被积累并且仅当给出所有的训练模式后才使用积累变化的对权值进行调整。
3.2.1梯度下降优化
梯度下降导出了一个流行的学习算法。Werbos推广的反向传播，学习迭代分为以下两个阶段。
- 前馈传递：每一个训练模式简繁计算输出值
- 反向传播：从输出层到输入层反向传播一个误差信号，权值作为反向传播误差信号函数进行调整。
- 前馈神经网络
- 乘积单元神经网络