【最大熵模型和算法】教程文章相关的互联网学习教程文章

最大熵模型和算法

信息 自信息 自信息的定义: 某一事件发生的自信息是它发生的概率的对数取反,即: I(x)=?logp(x) I(x) = - log p(x)I(x)=?logp(x) 也就是说,如果一个事件发生的概率越大,则它发生所含有的信息越少。 独立事件的信息: 如果两个事件x和y独立,即p(xy)=p(x)p(y),则根据自信息的定义,两个事件同时发生的信息量为 I(x∩y)=I(x)+I(y) I(x\cap y) = I(x) + I(y)I(x∩y)=I(x)+I(y) 非独立事件的信息: 如果两个事件x和y不独立,则事件...