概念和名词约定 概念和名词约定 口样本sample:待研究对象的个体，包括性质已 口特征features:样本的任何可区分的且可观测 知或未知的个体（统计学中有不同的约定）。 的方面（属性）。 口类别class:将所研究的样本性质离散化成有限 ■包括定量特征和定性特征，通常最后转化为定量 的类别，认为同一类的样本在该性质上是不可区 特征。 分的。 口特征向量feature vectors::样本的所有特征组 ■类别用⊙1(i=1,2,,c,共c类)表示：如两 成的d维向量。 个类别用o1,02表示，也可用{-1,1表示。 ■是样本在数学上的表达，因此也称为样本。 口已知样本：类别情况已知的样本。 口未知样本：类别情况未知的样本。 口样本集：若干样本的集合，分已知样本集和未知 rs 样本集。 概念和名词约定 概念和名词约定 口特征空间feature space:d维特征向量的所有 口分类器classifier:能够将每个样本都分到某个 可能取值范围构成的d维特征空间。 类别中去（或者拒绝）的计算机算法。 ■每一个样本（特征向量）是该空间中的一个点， ■是从特征空间到决策空间的映射。 一个类别是该空间中的一个区域。 口Decision region:分类器将特征空间划分为若 阳山出用h古汉口上：1同业业的) 干区域（决策域）。 ■例 口Decision boundary:不同类别区域之间的边 在 位) 界称作分类边界、决策边界或分类面，决策面。 y 值 量的 Feature space (3D) Scatter plot (2D) RA 贝叶斯定理 贝叶斯定理 Reverend Thomas Bayes Two Classes(A.~A),Single Binary-Valued Feature (X.~X) 1702-1761 1000 Data AX)=PX1P P(X) The paper was sent to the Rasal Sosicty by Bichan Priss,a friend of Bayes'.who wrote. PX1d=P,=0248=0.7515 P(XIA)P(A) PA00330 I now send your an essay witich I have foumd among the papers of om deceased friend Mr Bayes. and which,in my opinon,has greut meritIn introdction whicit he has writ to this Essay. P(X,A)+P(X,-A) hes如sh店esign at时nthinking on the subjecto时行was.to find out a method by wirich P(XIA)P(A) =0.250 P-A)0.670 we miglnt judge concering the probabiliy thot an event has to hoppen,in given circumstances, P(XI)P(4)+PCXP(-4) pom supposifie时hat we bow mothing concering it but that,erthe somme circmmstance线 it has happened a certain mmber of times,and failed a certain other mmber of times. 0.75×0.33 =0.75×0.33+0.25×0.67 0.596概念和名词约定  样本sample：待研究对象的个体，包括性质已 知或未知的个体（统计学中有不同的约定）。  类别class：将所研究的样本性质离散化成有限 的类别，认为同一类的样本在该性质上是不可区 分的。  类别用ωi (i=1，2，…，c，共c类)表示；如两 个类别用ω1，ω2表示，也可用{-1，1}表示。  已知样本：类别情况已知的样本。  未知样本: 类别情况未知的样本。  样本集：若干样本的集合，分已知样本集和未知 样本集。 概念和名词约定  特征features：样本的任何可区分的且可观测 的方面（属性）。  包括定量特征和定性特征，通常最后转化为定量 特征。  特征向量feature vectors：样本的所有特征组 成的d维向量。  是样本在数学上的表达，因此也称为样本。              d x x x x  2 1 概念和名词约定  特征空间feature space：d维特征向量的所有 可能取值范围构成的d维特征空间。  每一个样本（特征向量）是该空间中的一个点， 一个类别是该空间中的一个区域。  例：限定苹果的直径尺寸（x，以厘米为单位） 在7厘米到15厘米之间，重量（y，以两为单位） 在3两到8两之间变化。那么，由x值从7到15，y 值从3到8包围的二维空间就是对苹果进行度量的 特征空间。 概念和名词约定  分类器classifier：能够将每个样本都分到某个 类别中去（或者拒绝）的计算机算法。  是从特征空间到决策空间的映射。  Decision region：分类器将特征空间划分为若 干区域（决策域）。  Decision boundary：不同类别区域之间的边 界称作分类边界、决策边界或分类面，决策面。 贝叶斯定理 贝叶斯定理 ( , ) 0.248 ( | ) 0.7515 ( ) 0.330 PX A PX A P A   ( ,~ ) 0.168 ( |~ ) 0.2507 (~ ) 0.670 PX A PX A P A   ( | )() (| ) ( ) ( | )() ( , ) ( ,~ ) ( | )() ( | ) ( ) ( |~ ) (~ ) 0.75 0.33 0.596 0.75 0.33 0.25 0.67 PX APA PA X P X PX APA PX A PX A PX APA P X APA PX AP A         