第1期 嵇小辅，等：基于FCM与集成高斯过程回归的赖氨酸发酵软测量 ·157 体浓度、基质浓度、产物浓度等，目前还缺乏在线测 习理论基础上发展起来的一种新型机器学习方法， 量的仪器与手段，影响了在线优化控制的实施。对 它描述了一类随机过程：其任意有限变量集合的分 于这些重要过程参量的测量，目前主要采取在线取 布都是高斯过程，即对任意整数n≥1及任意一族 样、离线分析的方法，但这种方法时间间隔长、数据 随机变量X,与其对应的t时刻过程状态(X)的联 滞后大，难以满足生物反应过程在线控制的要求，同 合概率分布服从n维高斯分布。GP的全部统计特 时在线取样容易造成反应过程菌体污染，降低反应 征完全由其均值m(t)与协方差函数k(t,t')确定， 过程的质量。为了解决这一难题，人们提出软测量 定义表示如下： 的理论与方法。 f(X)-GP(m(t),k(t,t')) 软测量技术起源于20世纪70年代Brosillow提 式中：t为时间变量。为了符号描述方便起见，通常 出的推断控制思想)，其基本原理是构造以直接可 对数据作预处理，使其均值函数等于0。 测的辅助变量为输入的数学模型来估计难以直接测 1.2高斯过程回归 量的主导变量。软测量建模方法可分为机理建模 给定样本训练集D={(x,:)1i=1,2,…,n}, 数据驱动建模、混合建模3种，其中数据驱动建模是 其中x:∈R是d维输入向量，y:∈R是相应的输出 从大量过程数据中提取过程信息从而建立软测量模 量。为了符号描述方便，用X表示输入向量构成的 型，不需要获得对象过程的精确数学模型，它尤其适 d×n维输入矩阵，y表示输出标量构成的输人矢 用于生物反应过程这一类内部机理尚不明确的复杂 量，那么训练集可表示为D=(X,y)。对于新样本 过程。数据驱动建模主要有神经网络、支持向量机、 x·,GP模型根据先验知识预测与x·相对应的输出 高斯过程回归(GPR)等方法，其中高斯过程回归将 值y°。 高斯先验分布运用于非参数回归函数空间，通过推 假设观察目标值y被噪声腐蚀，它与真实输出 导预测目标的后验分布建立统计模型，高斯过程回 值t相差e,即 归可以同时获得预测输出与预测精度，显著提高软 y=t+s 测量模型的性能。与神经网络、支持向量机等回归 式中：ε为独立的随机变量，满足均值为0、方差为 方法相比，高斯过程回归具有优化参数少、收敛速度 σ的高斯分布，即 快、模型精度高、泛化能力强等优点，在实际生物发 酵工业中具有较好的应用效果[26]。 e~N(0,c) 文中给出一种生物反应过程关键参量的基于模糊 观测目标值y的先验分布为 C均值聚类(FCM)与集成高斯过程回归建模方法。针 y~N(0,K+σI) 对生物发酵过程可分为延滞期、指数生长期、稳定期 式中：K=K(X,X)=(K).xa为对称正定的协方差 死亡期4个反应周期的特点，采用模糊C均值聚类方 矩阵，元素K度量了x:和x,的相关度。 法将过程数据样本分成4个子类，分别对每个子样本 由此，n个训练样本输出y和1个新样本输出 集采用高斯过程回归训练，训练过程采用Adaboost算 y·构成的联合高斯先验分布为 法以进一步提高软测量模型的泛化能力。对于新样 K(X,X)+o21 K(X,x) 本，通过计算样本点到各聚类中心的距离确定新样本 K(X,x)T k(x,x) 点对每个GPR模型的隶属度，通过加权综合给出软测 式中：K(X,x·)是新样本x·与训练集样本X的 量模型的预测输出。针对氨基酸类典型菌种L赖氨酸 n×1阶协方差矩阵，k(x·,x·)是新样本x·的自 反应过程的菌体浓度参量，建立软测量模型并开展相 协方差。 关的仿真实验研究。仿真结果表明，与单一高斯过程 GP的协方差函数需要满足对任一点集都能够 模型、集成GPR模型和基于FCM与多GPR模型方法 保证产生一个非负正定协方差矩阵。常用的协方差 相比，基于FCM与集成GPR的软测量模型具有更好地 函数为 逼近精度与泛化能力，较好地满足了赖氨酸发酵过程 +28。 软测量的要求。 式中：超参数l,σ、σ.对预测效果的影响很大。最 1高斯过程及其回归算法 优超参数可通过极大似然法获得，即通过建立训练 1.1 高斯过程原理 样本条件概率的对数似然函数对超参数求偏导，再 高斯过程(GP)是在高斯随机过程与贝叶斯学 采用共轭梯度优化方法搜索出超参数的最优解。该体浓度尧基质浓度尧产物浓度等袁目前还缺乏在线测 量的仪器与手段袁影响了在线优化控制的实施遥 对 于这些重要过程参量的测量袁目前主要采取在线取 样尧离线分析的方法袁但这种方法时间间隔长尧数据 滞后大袁难以满足生物反应过程在线控制的要求袁同 时在线取样容易造成反应过程菌体污染袁降低反应 过程的质量遥 为了解决这一难题袁人们提出软测量 的理论与方法遥 软测量技术起源于 圆园 世纪 苑园 年代 月则燥泽蚤造造燥憎 提 出的推断控制思想咱员暂 袁其基本原理是构造以直接可 测的辅助变量为输入的数学模型来估计难以直接测 量的主导变量遥 软测量建模方法可分为机理建模尧 数据驱动建模尧混合建模 猿 种袁其中数据驱动建模是 从大量过程数据中提取过程信息从而建立软测量模 型袁不需要获得对象过程的精确数学模型袁它尤其适 用于生物反应过程这一类内部机理尚不明确的复杂 过程遥 数据驱动建模主要有神经网络尧支持向量机尧 高斯过程回归渊郧孕砸冤等方法袁其中高斯过程回归将 高斯先验分布运用于非参数回归函数空间袁通过推 导预测目标的后验分布建立统计模型袁高斯过程回 归可以同时获得预测输出与预测精度袁显著提高软 测量模型的性能遥 与神经网络尧支持向量机等回归 方法相比袁高斯过程回归具有优化参数少尧收敛速度 快尧模型精度高尧泛化能力强等优点袁在实际生物发 酵工业中具有较好的应用效果咱圆鄄远暂 遥 文中给出一种生物反应过程关键参量的基于模糊 悦 均值聚类渊云悦酝冤与集成高斯过程回归建模方法遥 针 对生物发酵过程可分为延滞期尧指数生长期尧稳定期尧 死亡期 源 个反应周期的特点袁采用模糊 悦 均值聚类方 法将过程数据样本分成 源 个子类袁分别对每个子样本 集采用高斯过程回归训练袁训练过程采用 粤凿葬遭燥燥泽贼 算 法以进一步提高软测量模型的泛化能力遥 对于新样 本袁通过计算样本点到各聚类中心的距离确定新样本 点对每个 郧孕砸 模型的隶属度袁通过加权综合给出软测 量模型的预测输出遥 针对氨基酸类典型菌种 蕴鄄赖氨酸 反应过程的菌体浓度参量袁建立软测量模型并开展相 关的仿真实验研究遥 仿真结果表明袁与单一高斯过程 模型尧集成 郧孕砸 模型和基于 云悦酝 与多 郧孕砸 模型方法 相比袁基于 云悦酝 与集成 郧孕砸 的软测量模型具有更好地 逼近精度与泛化能力袁较好地满足了赖氨酸发酵过程 软测量的要求遥 员摇 高斯过程及其回归算法 员援员摇 高斯过程原理 高斯过程渊郧孕冤是在高斯随机过程与贝叶斯学 习理论基础上发展起来的一种新型机器学习方法袁 它描述了一类随机过程院其任意有限变量集合的分 布都是高斯过程袁即对任意整数 灶 逸 员 及任意一族 随机变量 载 袁与其对应的 贼 时刻过程状态 枣渊载冤 的联 合概率分布服从 灶 维高斯分布遥 郧孕 的全部统计特 征完全由其均值 皂渊贼冤 与协方差函数 噪渊贼袁贼忆冤 确定袁 定义表示如下院 枣渊载冤 耀 郧孕渊皂渊贼冤 袁噪渊贼袁贼忆冤 冤 式中院 贼 为时间变量遥 为了符号描述方便起见袁通常 对数据作预处理袁使其均值函数等于 园遥 员援圆摇 高斯过程回归 给定样本训练集 阅 越 喳 渊曾蚤袁赠蚤冤 渣 蚤 越 员袁圆袁噎袁灶札 袁 其中 曾蚤 沂 砸凿 是 凿 维输入向量袁 赠蚤 沂 砸 是相应的输出 量遥 为了符号描述方便袁用 载 表示输入向量构成的 凿 伊 灶 维输入矩阵袁 赠 表示输出标量构成的输入矢 量袁那么训练集可表示为 阅 越 渊载袁赠冤 遥 对于新样本 曾鄢 袁郧孕 模型根据先验知识预测与 曾鄢 相对应的输出 值 赠鄢 遥 假设观察目标值 赠 被噪声腐蚀袁它与真实输出 值 贼 相差 着 袁即 赠 越 贼 垣 着 式中院 着 为独立的随机变量袁满足均值为 园尧方差为 滓圆 灶 的高斯分布袁即 着耀晕渊园袁滓圆 灶 冤 摇 摇 观测目标值 赠 的先验分布为 赠耀晕渊园袁运 垣 滓圆 灶 陨冤 式中院 运 越 运渊载袁载冤 越 渊运蚤躁冤灶伊灶 为对称正定的协方差 矩阵袁元素 运蚤躁 度量了 曾蚤 和 曾躁 的相关度遥 由此袁 灶 个训练样本输出 赠 和 员 个新样本输出 赠鄢 构成的联合高斯先验分布为 赠 赠鄢 ⎡ ⎣ ⎢ ⎢ ⎤ ⎦ ⎥ ⎥ 耀 晕 园袁 运渊载袁载冤 垣 滓圆 灶 陨 摇 摇 运渊载袁曾鄢冤 运渊载袁曾鄢冤 栽 摇摇摇 噪渊曾鄢袁曾鄢冤 ⎡ ⎣ ⎢ ⎢ ⎤ ⎦ ⎥ ⎥ ⎛ ⎝ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ 式中院 运渊载袁曾鄢冤 是新样本 曾鄢 与训练集样本 载 的 灶 伊 员 阶协方差矩阵袁 噪渊曾鄢袁曾鄢冤 是新样本 曾鄢 的自 协方差遥 郧孕 的协方差函数需要满足对任一点集都能够 保证产生一个非负正定协方差矩阵遥 常用的协方差 函数为 噪赠渊曾责袁曾择冤 越 滓圆 枣 藻曾责 原 员 圆造 圆 渊曾责 原 曾择冤 ⎛ 圆 ⎝ ⎜ ⎞ ⎠ ⎟ 垣 滓圆 灶 啄责择 式中院超参数 造尧滓枣尧滓灶 对预测效果的影响很大遥 最 优超参数可通过极大似然法获得袁即通过建立训练 样本条件概率的对数似然函数对超参数求偏导袁再 采用共轭梯度优化方法搜索出超参数的最优解遥 该 第 员 期摇摇摇摇摇摇摇摇摇摇摇 嵇小辅袁等院基于 云悦酝 与集成高斯过程回归的赖氨酸发酵软测量 窑员缘苑窑