在之前對序列模型中的HMM（隱馬爾可夫模型）進行掌握以後，有必要對另外一個序列模型CRF進行掌握，因爲這兩個模型都是自然語言處理序列模型中的核心模型。在之前介紹的概率有向圖模型，如HMM，即貝葉斯網絡，相對應的概率無向圖模型就稱爲馬爾可夫網絡或者馬爾可夫隨機場（MRF），本篇文章所介紹的CRF就是馬爾可夫隨機場的一種。

1．馬爾可夫隨機場

馬爾可夫隨機場也叫馬爾可夫網絡，同時也是一種無向圖模型。在概率圖模型的基礎上，針對無向圖模型，首先需要對無向圖模型的基礎概念進行一定程度上的掌握。

1．1． MRF相关概念

無向圖模型MRF所特有的一些概念如下：

· 团：图中的节点子集，并且其中任意两个节点之间都有边连接；

· 极大团：为一个团，并且加入任何一个其他的节点都不能再形成团，例如下图中，该图中的团一共有｛1，2｝，｛1，3｝，｛2，3｝，｛2，4｝，｛3，4｝，｛3，5｝，｛3，6｝，｛1，3｝，｛1，2，3｝，｛2，3，4｝；其中极大团为｛1，2，3｝，｛2，3，4｝，｛3，5｝，｛3，6｝；

· 势函数（也称因子Factor）：定义在变量子集上的非负实函数，用于定义概率分布函数。在马尔可夫随机场中，多个变量之间的联合概率分布可以基于团分解为多个势函数的乘积，每个势函数仅仅与一个团相关。

· 特征函数：通常情况下都是一些实数值函数，它是用来刻画数据的一些可能成立的经验特性。例如下式就是一个特征函数：

1．2． Hammersley－Clifford定理

在对于势函数与团相关理论掌握的基础上，由此引申出随机场的基础定理，即Hammersley－Clifford定理。该定理的具体定义为：对于具有N个变量的马尔可夫随机场，已知变量为 ），这些变量中所有团所构成的集合为T，同时与团 对应的变量集合记作 ，则其对应的联合概率为：

上式中， 就是与团S所对应的势函数，其作用为对团 中的变量关系进行建模。 为规范化因子，其难以计算，在普遍情况下，无需计算出 的精确值。在针对于团 不是极大团的情况时，由于非极大团必定属于某个极大团的性质，所以还是可以用极大团进行计算来替代非极大团的联合概率，即：

上式中的 就是所有极大团的集合。Hammersley－Clifford定理是随机场的基础定理，其为马尔可夫随机场被表达为正概率分布的充分必要条件。针对于1．1中的示例图，其联合概率就为：

1．3． 分离集与马尔科夫性

在對各種馬爾可夫性進行掌握前，首先需要理解分離集的概念。分離集的定義爲：設A、B、C都是馬爾可夫隨機場中的節點集合，如果從集合A中的節點到集合C中的節點都必須要經過集合B中的節點，那麽就可以稱集合A和集合C被集合B給分離，其中集合B就爲分離集。如下圖所示：

有了分離集合的概念，對下面幾種馬爾可夫性的理解就相對簡單了，馬爾可夫性的定義爲：當一個隨機過程在給定當前狀態及所有過去狀態情況下，其未來狀態的條件概率分布僅依賴于當前狀態，即只要給定了當前狀態，未來狀態是與過去狀態無關的，也是條件獨立的，該隨機過程也就具有了馬爾可夫性。同理，在馬爾可夫隨機場中，馬爾可夫性可解釋爲當前狀態看作爲無向圖中的一個節點，過去狀態就是與當前狀態節點有邊連接的其他節點。針對于馬爾可夫性和下圖，又有：

· 全局马尔可夫性：节点集合A，C是无向图中被节点集合B分开的任意结点集合，则在给定随机变量YB的条件下，随机变量YA和YC条件独立。如上图中节点1，2就与节点6，7条件独立。

· 局部马尔可夫性：设X是无向图中任意一个结点，T是与X有边相连的所有结点，无向图中其他剩余结点为S，则给定随机变量YT的条件下，随机变量YX和YS条件独立。如上图的节点2，与2连接的节点为1和5，即给定节点1和5的情况下，那么节点2就与剩下的节点3，4，6，7条件独立。

· 成对马尔可夫性：设无向图中V和C是任意两个没有边直接连接的结点，图中其他结点的集合记做S，则给定随机变量YS的条件下，随机变量YV和YC条件独立。如上图中2和6两个节点之间没有边直接连接，那么剩余其他节点为1，3，4，5，7，给定这些节点的情况下，节点2和节点6条件独立。

綜上可知，這三種馬爾可夫性相互之間是關聯等價的，通過全局馬爾可夫性可以得到局部馬爾可夫性，通過局部馬爾可夫性也可得到成對馬爾可夫性，通過成對馬爾科夫性又可以推出全局馬爾可夫性。因此只要滿足三種性質的一種的無向圖就稱爲馬爾可夫隨機場（MRF）。

2．條件隨機場——CRF

通過上述闡述，讀者們可以對馬爾可夫隨機場，即馬爾可夫無向圖有了基本的掌握與理解。在此基礎上，本文就引出條件隨機場CRF。

2．1．CRF

由上述可知，CRF模型是無向圖模型的一種，但是其與馬爾可夫隨機場（MRF）有所不同，主要區別在于MRF模型是生成模型，而CRF模型是判別式模型，其是對條件分布進行建模。兩者之間也存在關聯，即CRF是有條件的馬爾可夫隨機場，也就是在給定隨機變量的條件下的馬爾可夫隨機場。

CRF的基本定义为：设X和Y是随机变量， 是给定X条件下Y的条件概率分布。若随机变量Y构成一个无向图的马尔可夫随机场，则称条件概率分布 为CRF。对应于马尔可夫性可理解为，如果随机变量Y构成一个无向图，且图中每一个变量Y，都满足马尔可夫性（至少满足全局马尔可夫性、局部马尔可夫性、成对马尔可夫性中一种），则称 为CRF。其中X为输入变量，即需要标注的观测序列，Y为输出变量，表示状态或标记序列。在自然語言處理领域中，普遍的输入变量X和输出变量Y具有相同图结构。

2．2．CRF線性鏈

在實際應用中，對于CRF的使用最多的情況是線性鏈CRF，線性鏈的結構如下所示：

一般地，當X和Y具有相同圖結構時，線性鏈結構就變爲如下所示：

在上圖中，X就爲觀測序列，Y就爲狀態序列。同時在給定隨機變量序列X的條件下，如果隨機變量序列Y相對于序列X的條件概率分布P（YIX）構成條件隨機場，那麽可得隨機變量Y也滿足馬爾可夫性。公式表達爲：

即Y當前狀態只與相連接的前後兩個狀態有關，而與其他狀態相互獨立，爲線性連接的關系。此時稱P（YIX）爲條件隨機場，相應的，X爲輸入或者觀測序列，Y爲輸出或者狀態序列。

2．3． CRF相关计算

當選定好勢函數後，這裏選取指數函數，通過引入特征函數，可以得到條件概率爲：

其中，tk和 sk分别为特征函数，tk定义为边上的特征函数，也叫转移特征，它依赖于当前节点和前一个节点； sk定义为结点上的特征函数，也叫状态特征，只依赖于当前结点。一般情况下，tk和sk的取值为1或者0，即满足特征条件时为1，不满足则为0。λk和μk分别为tk和sk所对应的权值。Z（x）为规范化因子，来保证P（YIX）为概率分布。

对于上述公式的理解，通过一个简单例子可以更好地去掌握。例如设输入观测序列X X3为（X1，X2，X3）对应的状态序列Y为（Y1，Y2，Y3），其中Y1，Y2，Y3 的取值为1或者2。对于第一条连接边，设特征和权值为：

對應的特征函數爲：

根据上式，同时给定相对应的权重 可写出：

由此可计算状态为 的非规范化条件概率为（不需要除以规范化因子Z） 。

3．CRF模型解決的三種問題類型

相較于之前的HMM模型，CRF模型同樣需要解決三種問題，分別爲概率計算問題、預測問題和學習問題。

· 概率计算问题：针对于概率计算问题，通常情况给定的已知信息是CRF模型的条件概率分布P（YIX）、观测序列X和状态序列Y，求解目标为某一条件概率以及相对应的数学期望。求解的方法基本就是前向后向计算方法。

· 预测问题：针对于预测问题，通常情况给定的已知信息是CRF模型的条件概率分布P（YIX）、观测序列X，求解目标为使得条件概率最大的状态序列Y，即求解观测序列所对应的状态。求解方法基本是函数计算。

· 学习问题：学习问题也叫模型训练求解参数问题，通过给定的数据集（观测序列和状态序列等）来求解CRF模型所需要的参数，通常用到的方法就是模型训练常用的尺度迭代方法（如梯度下降算法等）。

4．總結

相較于HMM模型，CRF模型計算的過程更爲複雜，但是對于整體把握CRF模型的影響並不大，只需要在思路上明白CRF模型和HMM模型在實際應用中所需要解決的三種問題即可，針對于特定問題中給定的已知條件來實現求解目標。

在自然語言處理领域，对于概率统计模型的掌握其实也就是对于HMM模型和CRF模型的掌握。虽然，HMM和CRF模型流行于在自然語言處理领域使用深度学习技术之前，但是还是那句话，目前针对于自然語言處理领域深度学习技术的瓶颈问题，不妨换个思维，考虑下概率统计模型来处理，也许能取得不错的效果。

▲文章来源于：Of Week维科号  51CTO

作者介紹

稀飯，51CTO社區編輯，曾任職某電商人工智能研發中心大數據技術部門，做推薦算法。目前攻讀智能網絡與大數據方向的研究生，主要擅長領域有推薦算法、NLP、CV，使用代碼語言有Java、Python、Scala。

原文鏈接：https://www.ofweek.com/ai/2022-04/ART-201718-8420-30559029.html

返回