海南房地产网站建设,网站建设ip,织梦5.7转wordpress,iptc网站开发工程师asp考试试题答案MRF 笔记 我们先讨论引入 MRF 的必要性。经典的例子就是四个 r.v.s 连成一个正方形的结构的时候#xff0c;我们没法通过 BN 获得给定对角线两个 r.v.s 而剩下的条件独立#xff08;不都是 d-sep#xff09;#xff0c;反过来如果希望通过 MRF 刻画某些 BN 也是不可行的我们没法通过 BN 获得给定对角线两个 r.v.s 而剩下的条件独立不都是 d-sep反过来如果希望通过 MRF 刻画某些 BN 也是不可行的经典的例子就是 inter-causal reasoning 的情形因为给定中间的节点后必然独立。MRF 与 BN 相比更加不直观一些其参数化使用的是 factor 而不是 CPD 这种比较容易理解的概念事实上 MRF 的 training 也比 BN 复杂。 我们首先从 GRF 开始所谓 Gibbs random fields 是指存在一组 factor 使得 为了将此分解与 graph 联系起来我们为每个 创建一个完全子图这些完全子图的并作为一个无向图。我们引入 reduce 这个概念就是给定一些 r.v. 后对应的 GRF 称为一个 reduce GRF。 类似于 BN 我们可以定义 global Markov independencies如果给定 后不存在从 到 的路径则 。我们可以容易证明 GRF蕴含着 global Markov independencies如果我们选择的 这个就很容易证明因为一个 clique 或者出现在 或者出现在 这样我们的 factor 就能分为两组其中一组 clique 只跟 有关另一组只跟 有关这样很自然就有条件独立性了如果并集不是全部的 r.v.s 也不要紧我们总可以用 将这部分分离一部分和 并起来一部分和 并起来否则与分离性矛盾这两部分条件独立所以能导致 。证明 completeness 需要使用构造性由于存在一条连接两者的路径我们可以选择最短的然后对这条路径上的 clique potential 做手脚如果两个路径上顶点值相同则取某个很大的值 否则为 1这样可以证明两者并不独立。 除了 global Markov independencies 以外我们还可以定义两种 local Markov independencies一个 node 与非相邻 node 在给定其 neighbors 时条件独立pairwise Markov independencies任意两个不相邻顶点在给定其他节点时条件独立我们可以证明 local Markovian 蕴含着 pairwise Markovian直接套定义GRF 可以诱导 local Markovian把 factor 分为含有给定点的和不含的然后用 local Markovian 的定义就发现独立性了对正分布而言pairwise Markovian 蕴含着 Global Markovian这个证明可以用归纳法从 的大小为 开始这时候显然成立那么对于更小的情形我们需要从某个至少含两个的集合里面取一个出来保证两部分都是非空的这样两部分分别与 并之后能利用归纳假设由于有 separability 得到分别的独立性这样根据正概率的 intersection 性质可以得到独立性其他情况需要另想办法。这样我们可以证明对正概率情形GRF、global Markovian、local Markovian 和 pairwise Markovian 是等价的。 对于 minimal I-map 问题一种方式就是将 pairwise Markov independencies 列出来所有不满足这个 assertion 的肯定有边。另一种策略是使用 local Markovian取最小的 Markov blanket。我们可以证明这俩做法都获得的是唯一的最小的 I-map。 下面我们讨论 parameterization 的问题。使用 GRF 的问题是 clique 的参数个数随着 clique 元素增多而指数的变化这导致一定的不变。另一种做法是通过 factor graph每个 factor 对应一个 node如果某个 node 在某个 clique 里面就连边这样得到一个二分图。我们可以为每个 factor 引入指数的表示形式因为正的而我们同时可以为 factor 引入所谓的 feature在那组 r.v.s 上的函数通过 feature 就能降低 parameterization 的代价了通常这会引入所谓的 log-linear model。比如 logistic regression/CRF另外有二阶的比如 Boltzmann machines。常用的一些 parameterization 的策略包括 caninical parameterization这时为所有的 clique 都分配对应的 potential function另一种思路是从 feature 入手寻找 non-redudent features然后决定参数。 接下来讨论一下 BN 与 MRF 之间的关系。 我们可以把 CPD 看成时 factor这样我们就能从形式上把 BN 转换成为 MRF只是此时的 independency assertion 并不一样为此我们引入 moral graph 的概念如果两个随机变量存在有向边则转换成无向边如果有 common effect 也加无向边。这时两者的 I-map 是一样的且是最小的也是 perfect 的。另外一个重要的结论是可以利用 moral graph 证明 d-seperation 的合理性。 如果反过来这个过程却很难可以证明如果某个 BN 是某个 MRF 的 minimal I-map那这个 BN 就没有 immoralitiesv-structure 里面 prior 之间都有边。事实上这个图也有特殊的性质我们称为 chordal这个将 BN 转换为 MRF 过程称为 triangularization。对于 non-chordal MRF 来说没有 BN 与其等价因此必须通过 triangularization 加边成为 chordal MRF 后才能构造对应的 BN所谓 chordal graph 就是 cycle 长度不超过 3。 最后讨论一些关于 partially directed models。比较经典的例子是 CRFCRF 本质上是一个 MRF但是我们关心的是 我们往往会关心 chain 结构的 CRF这个在后面我们会详细的讨论。 ——————And it came to pass, when God destroyed the cities of the plain, that God remembered Abraham, and sent Lot out of the middle of the overthrow, when he overthrew the cities in the which Lot dwelled. About these ads转载于:https://www.cnblogs.com/focus-ml/p/3775450.html
