对每个样本 x，若 h 能最小化条件风险 R(h(x)|x)，则总体风险也将被最小化。这就产生了贝叶斯判定准则（Bayes decision rule）：为最小化总体风险，只需在每个样本上选择哪个能使条件风险 R(c|x) 最小的类别标记，即

此时，h∗称为贝叶斯最优分类器（Bayes optimal classifier），与之对应的总体风险 R(h∗) 称为贝叶斯风险（Bayes risk）。