第二十三章 信息生命体（三）（2/2）

互信息可以很方便用维恩图来可视化，即每个过程的熵相互重叠的区域（图2a）。当考虑某个过程的熵，去掉与其它所有过程的互信息，我们就得到了条件熵：即了解其它所有过程知识时，该过程还剩下的不确定性。因此，互信息度量的是我们从所有其它过程知识中获得有关某个过程的信息。

图2：维恩图表示的 a 互信息；b 传递熵。

互信息也被用来量化存储在一个系统和\/与它各个组成部分中的信息量。最常用的测量方法是超额熵（excess entropy）和主动信息（active ration）。超额熵（crutchfield Feldan 2003）被定义为一个过程过去和未来之间的互信息，衡量某个过程可以通过观察其过去的行为来解释的未来的不确定性；主动信息 A(x)也提供了类似的度量，但它不考虑整个过程的未来，而只关注和预测过程中即将抵达的下一个状态（Lizier et al. 2012a）：

（其中

代表 x 中从时间点 n 开始过去 k 个状态：{x-+1，...， x-1， x}。）

虽然互信息允许定义和量化信息，但它只是一个对称的量，不能捕捉到随机过程之间的方向性关系（如信息传递）。为克服这一信息量化处理的局限性，Schreiber（2000）引入了传递熵（transfer entropy）的概念，它是给定某个随机过程过去（如历史信息）和一个或多个其它过程当前知识了解下，对该过程未来状态的不确定性减少的一种度量（Schreiber 2000; Kaiser Schreiber 2002）：

其维恩图表示如图2。传递熵利用时间方向性来克服互信息对称性的限制，它是对两个或多个过程之间的定向传递的预测信息的度量（Lizierprokopenko 2010），因此也不一定就意味着因果作用（Jas et al. 2016）；但它的逐点变量（pot-wise，或局部变量）可以为集群行为的时空动力学提供有用的洞见（Lizier et al. 2008b）。