贝叶斯网络工具箱使用

贝叶斯网络工具箱使用
贝叶斯网络工具箱使用

matlab贝叶斯网络工具箱使用

2010-12-18 02:16:44| 分类:默认分类| 标签:bnet 节点叶斯matlab cpd |字号大中小订阅

生成上面的简单贝叶斯网络,需要设定以下几个指标:节点,有向边和CPT表。

给定节点序,则只需给定无向边,节点序自然给出方向。

以下是matlab命令:

N = 4; %给出节点数

dag = false(N,N); %初始化邻接矩阵为全假,表示无边图C = 1; S = 2; R = 3; W = 4; %给出节点序

dag(C,[R,S])=true; %给出有向边C-R,C-S

dag([R,S],W)=true; %给出有向边R-W,S-W

discrete_nodes = 1:N; %给各节点标号

node_sizes = 2*ones(1,N); %设定每个节点只有两个值

bnet = mk_bnet(dag, node_sizes); %定义贝叶斯网络bnet

%bnet结构定义之后,接下来需要设定其参数。

bnet.CPD{C} = tabular_CPD(bnet, C, [0.5 0.5]);

bnet.CPD{R} = tabular_CPD(bnet, R, [0.8 0.2 0.2 0.8]);

bnet.CPD{S} = tabular_CPD(bnet, S, [0.5 0.9 0.5 0.1]);

bnet.CPD{W} = tabular_CPD(bnet, W, [1 0.1 0.1 0.01 0 0.9 0.9 0.99]);

至此完成了手工输入一个简单的贝叶斯网络的全过程。

要画结构图的话可以输入如下命令:

G=bnet.dag;

draw_graph(G);

得到:

如何用matlab贝叶斯网络工具箱画贝叶斯网络图

现在写论文,想用matlab的贝叶斯网络工具箱画个贝叶斯网络图,现在知道如何创建贝叶斯网络,设置条件概率和推理,不知道怎么画图。恳请指教,万分感谢。附阴天下雨洒水车草地湿程序

clear

clc

N=4;

dag=zeros(N,N);

C=1;S=2;R=3;W=4;

dag(C,[R S])=1;

dag(R,W)=1;

dag(S,W)=1;

%指定节点大小二进制离散

discrete_nodes=1:N;

node_sizes=2*ones(1,N);

bnet=mk_bnet(dag,node_sizes);

%bnet=mk_bnet(dag,node_sizes,'names',{'cloudyuu','S','R','W'});

%C=https://www.360docs.net/doc/2c16702389.html,s('cloudyuu')

bnet.CPD{C}=tabular_CPD(bnet,C,[0.5 0.5]);

bnet.CPD{R}=tabular_CPD(bnet,R,[0.8 0.2 0.2 0.8]);

bnet.CPD{S}=tabular_CPD(bnet,S,[0.5 0.9 0.5 0.1]);

bnet.CPD{W}=tabular_CPD(bnet,W,[1 0.1 0.1 0.01 0 0.9 0.9 0.99]);

engine=jtree_inf_engine(bnet);

evidence=cell(1,N);

evidence{W}=1;

evidence{R}=2;

[engine,loglik]=enter_evidence(engine,evidence);

marg=marginal_nodes(engine,C);

marg.T

%p=marg.T(2)

%bar(marg.T)

phemilow发表于2010-4-6 08:43

[b] [url=https://www.360docs.net/doc/2c16702389.html,/redirect.php?goto=findpost&pid=1053623&ptid=876415]1#[/url] [i]phemilow[/i] [/b]

怎么没人知道吗?

matlab神经网络工具箱简介

MATLAB软件中包含MATLAB神经网络工具箱,工具箱以人工神经网络为基础,只要根据自己需要调用相关函数,就可以完成网络设计、权值初始化、网络训练等,MATLAB神经网络工具箱包括的网络有感知器、线性网络、BP神经网络、径向基网络、自组织网络和回归网络,BP神经网络工具箱主要包括newff,sim和train三个神经网络函数各函数的解释如下:1 newff::::BP神经网络参数设置函数神经网络参数设置函数神经网络参数设置函数神经网络参数设置函数 函数功能:构建一个BP神经网络。 函数形式:net = newff(P,T,S,TF,BTF,BLF,PF,IPF,OPF,DDF) P:输入数据矩阵 T:输出数据矩阵 S:隐含层节点数 TF:节点传递函数,包括硬限幅传递函数hardlim,对称硬限幅传递函数hardlims,线性传递函数purelin,正切S型传递函数tansig,对数S型传递函数logsig BTF:训练函数,包括梯度下降BP算法训练函数traingd,动量反传的梯度下降BP算法训练函数traingdm,动态自适应学习率的梯度下降BP算法训练函数traingda,动量反传和动态自适应学习率的梯度下降BP算法训练函数traingdx,Levenberg_Marquardt 的BP算法训练函数trainlm BLF:网络学习函数,包括BP学习规则learngd,带动量项的BP学习规则learngdm PF:性能分析函数,包括均值绝对误差性能分析函数mae,均方差性能分析函数mse IPF:输入处理函数 OPF:输出处理函数 DDF:验证数据划分函数 一般在使用过程中设置前六个参数,后四个参数采用系统默认参数。 2 train::::BP神经网络训练函数神经网络训练函数神经网络训练函数神经网络训练函数函数功能:用训练数据训练BP神经网络。 函数形式:[net,tr] = train(NET,X,T,Pi,Ai) NET:待训练网络 X:输入数据矩阵 T:输出数据矩阵 Pi:初始化输入层条件 Ai:初始化输出层条件 net:训练好的网络 tr:训练过程记录 一般在使用过程中设置前三个参数,后两个参数采用系统默认参数。 3 sim::::BP神经网络预测函数神经网络预测函数神经网络预测函数神经网络预测函数 函数功能:用训练好的BP神经网络预测函数输出 函数形式:y=sim(net,x) net:训练好的网络 x:输入数据 y:网络预测数据 只要我们能够熟练掌握上述三个函数,就可以完整的编写一个BP神经网络预测或者分类的程序。

如何使用贝叶斯网络工具箱

如何使用贝叶斯网络工具箱 2004-1-7版 翻译:By 斑斑(QQ:23920620) 联系方式:banban23920620@https://www.360docs.net/doc/2c16702389.html, 安装 安装Matlab源码 安装C源码 有用的Matlab提示 创建你的第一个贝叶斯网络 手工创建一个模型 从一个文件加载一个模型 使用GUI创建一个模型 推断 处理边缘分布 处理联合分布 虚拟证据 最或然率解释 条件概率分布 列表(多项式)节点 Noisy-or节点 其它(噪音)确定性节点 Softmax(多项式 分对数)节点 神经网络节点 根节点 高斯节点 广义线性模型节点 分类 / 回归树节点 其它连续分布 CPD类型摘要 模型举例 高斯混合模型 PCA、ICA等 专家系统的混合 专家系统的分等级混合 QMR 条件高斯模型 其它混合模型

参数学习 从一个文件里加载数据 从完整的数据中进行最大似然参数估计 先验参数 从完整的数据中(连续)更新贝叶斯参数 数据缺失情况下的最大似然参数估计(EM算法) 参数类型 结构学习 穷举搜索 K2算法 爬山算法 MCMC 主动学习 结构上的EM算法 肉眼观察学习好的图形结构 基于约束的方法 推断函数 联合树 消元法 全局推断方法 快速打分 置信传播 采样(蒙特卡洛法) 推断函数摘要 影响图 / 制定决策 DBNs、HMMs、Kalman滤波器等等

安装 安装Matlab代码 1.下载FullBNT.zip文件。 2.解压文件。 3.编辑"FullBNT/BNT/add_BNT_to_path.m"让它包含正确的工作路径。 4.BNT_HOME = 'FullBNT的工作路径'; 5.打开Matlab。 6.运行BNT需要Matlab版本在V5.2以上。 7.转到BNT的文件夹例如在windows下,键入 8.>> cd C:\kpmurphy\matlab\FullBNT\BNT 9.键入"add_BNT_to_path",执行这个命令。添加路径。添加所有的文件夹在Matlab的路 径下。 10.键入"test_BNT",看看运行是否正常,这时可能产生一些数字和一些警告信息。(你可 以忽视它)但是没有错误信息。 11.仍有问题?你是否编辑了文件?仔细检查上面的步骤。

matlab工具箱的使用_Toolbox

神经网络工具箱的使用 本章主要介绍神经网络工具箱的使用,使用nntool可以使得原本用编程来创建神经网络变得容易,而且不容易出错。 1 神经网络的创建与训练 神经网络的创建主要分为以下四步: 1)在命令窗口键入nntool命令打开神经网络工具箱。如图1: 图 1 2)点击Import按钮两次,分别把输入向量和目标输出加入到对应的窗口([Inputs]和[Targets])中,有两种可供选择的加入对象(点击Import后可以看见),一种是把当前工作区中的某个矩阵加入,另一种是通过.mat文件读入。如图2和图3:

图 2 图 3 3)点击[New Network]按钮,填入各参数:(以最常用的带一个隐层的3层神经网络为例说明,下面没有列出的参数表示使用默认值就可以了,例如Network Type为默认的BP神经网络);

i)Input Range——这个通过点击Get From Input下拉框选择你加入的输入向量便可自动完成,当然也可以自己手动添加。 ii) Training Function——最好使用TRAINSCG,即共轭梯度法,其好处是当训练不收敛时,它会自动停止训练,而且耗时较其他算法(TRAINLM,TRAINGD)少,也就是收敛很快(如果收敛的话),而且Train Parameters输入不多,也不用太多的技巧调整,一般指定迭代次数、结果显示频率和目标误差就可以了(详见下文)。 iii) Layer 1 Number of Neurons——隐层的神经元个数,这是需要经验慢慢尝试并调整的,大致上由输入向量的维数、样本的数量和输出层(Layer2)的神经元个数决定。一般来说,神经元越多,输出的数值与目标值越接近,但所花费的训练时间也越长,反之,神经元越少,输出值与目标值相差越大,但训练时间会相应地减少,这是由于神经元越多其算法越复杂造成的,所以需要自己慢慢尝试,找到一个合适的中间点。比如输入是3行5000列的0-9的随机整数矩阵,在一开始选择1000个神经元,虽然精度比较高,但是花费的训练时间较长,而且这样神经网络的结构与算法都非常复杂,不容易在实际应用中实现,尝试改为100个,再调整为50个,如果发现在50个以下时精度较差,则可最后定为50个神经元,等等。 iv)Layer 1 Transfer Function——一般用TANSIG(当然也可以LOGSIG),即表示隐层输出是[-1,1]之间的实数,与LOGSIG相比范围更大。 v) Layer 2 Number of Neurons——输出层的神经元个数,需要与输出的矩阵行数对应,比如设置为3,等等。 vi) Layer 2 Transfer Function——如果是模式识别的两类(或者多类)问题,一般用LOGSIG,即表示输出层的输出是[0,1]之间的实数;如果输出超过[0,1]则可选择PURELIN。如图4和图5。

贝叶斯网络结构学习的发展与展望_贺炜

文章编号:100220411(2004)022******* 贝叶斯网络结构学习的发展与展望 贺 炜,潘 泉,张洪才 (西北工业大学自动控制系613信箱,陕西西安 710072) 摘 要:从最初的概率贝叶斯网络构建阶段到涌现大量研究成果的因果贝叶斯网络结构学习阶段,本文完整地回顾了贝叶斯网络结构学习的整个发展历程,并对该领域当前存在的问题及相关研究进行分析论述,给出了研究展望.值得一提的是,贝叶斯网络结构学习正在成为因果数据挖掘的主流. 关键词:概率贝叶斯网络;因果贝叶斯网络;贝叶斯网络结构学习;因果数据挖掘 中图分类号:TP18 文献标识码:A Development and Prospect of B ayesian N et w ork Structure Learning HE Wei,PAN Quan,ZHAN G Hong2cai (Depart ment of Cybernetics,Northwest Polytechnical U niversity,Xiπan 710072,Chi na) Abstract:From the initial stage of probabilistic Bayesian network construction to the flourishing stage of causal Bayesian network structure learning,this paper firstly reviews Bayesian network structure learning.Then its current problems,related researches and prospects are discussed.It is worth of pointing out that the research of Bayesian network structure learning is becoming the mainstream in the field of causal data mining. K eyw ords:probabilistic Bayesian network;causal Bayesian network;Bayesian network structure learning; causal data mining 1 基本概念(B asic concepts) 1.1 贝叶斯网络 贝叶斯网络[1~9]又称为信念网络,是一种图型化的模型,能够图形化地表示一组变量间的联合概率分布函数.一个贝叶斯网络包括了一个结构模型和与之相关的一组条件概率分布函数.结构模型是一个有向无环图,其中的节点表示了随机变量,是对于过程、事件、状态等实体的某特性的描述,边则表示变量间的概率依赖关系.图中的每个节点都有一个给定其父节点情况下该节点的条件概率分布函数.这样,一个贝叶斯网络就用图形化的形式表示了如何将与一系列节点相关的条件概率函数组合成为一个整体的联合概率分布函数.因果贝叶斯网络是指具有因果含义的贝叶斯网络,其中每个节点的父节点被解释为该节点相对于模型中其它节点的直接原因.为了与之区别,有时也将没有因果意义的贝叶斯网络称为概率贝叶斯网络. 贝叶斯网络作为一种图形化的建模工具,具有一系列的优点:(1)贝叶斯网络将有向无环图与概率理论有机结合,不但具有了正式的概率理论基础,同时也具有更加直观的知识表示形式.一方面,它可以将人类所拥有的因果知识直接用有向图自然直观地表示出来,另一方面,也可以将统计数据以条件概率的形式融入模型.这样贝叶斯网络就能将人类的先验知识和后验的数据无缝地结合,克服框架、语义网络等模型仅能表达处理定量信息的弱点和神经网络等方法不够直观的缺点;(2)贝叶斯网络与一般知识表示方法不同的是对于问题域的建模.因此当条件或行为等发生变化时,不用对模型进行修正;(3)贝叶斯网络可以图形化表示随机变量间的联合概率,因此能够处理各种不确定性信息;(4)贝叶斯网络中没有确定的输入或输出节点,节点之间是相互影响的,任何节点观测值的获得或者对于任何节点的干涉,都会对其他节点造成影响,并可以利用贝叶斯网络推理来进行估计预测;(5)贝叶斯网络的推理是以贝叶斯概率理论为基础的,不需要外界的任何推理机制,不但具有理论依据,而且将知识表示与知 第33卷第2期2004年4月 信息与控制 Information and Control Vol.33,No.2   Apr.,2004  收稿日期:2003-03-17  基金项目:国家自然科学基金资助项目(60172037);教育部“跨世纪优秀人才培养计划”基金资助项目(教技函[2001]1号)

Matlab神经网络工具箱介绍与数值试验

第一章Matlab神经网络工具箱介绍和数值试验 1.1Matlab神经网络工具箱中BP网络相关函数介绍 MATLAB神经网络工具箱中包含了许多用于BP网络分析和设计的函数。BP网络的常用函数如表4-1所示。[10,12] 表4-1 BP网络的常用函数 函数类型函数名称函数用途 前向网络创建函数newcf 创建一个多层前馈BP网络newff 创建一个前向BP网络 newfftd 创建一个前馈输入延迟BP网络 传递函数logsig S型的对数函数dlogsig Logig的导函数tansig S型的正切函数dtansig tansig的导函数purelin 纯线性函数 学习函数traingd 基于标准BP算法的学习函数trainrp 采用Rprop算法训练 trainlm 采用LM算法训练 traincgf 基于共轭梯度法的学习函数 仿真函数sim 仿真一个神经网络 1.2数值试验 1.2.1.“异或”问题 “异或”问题(XOR)是典型的非线性划分问题。这里以它为例,简单介绍BP网络的使用。 在Matlab7.0环境下,建立一个三层的BP神经网络,其中输入层和隐层分别各有两个神经元,输出层有一个神经元。现要求训练这一网络,使其具有解决“异或”问题的能力。 “异或”问题的训练输入和期望输出如表5-1。

表5-1 异或问题的训练输入和期望输出 1X 2X 1d 0 0 0 0 1 1 1 0 1 1 1 1) 基于标准BP 算法 结果如下及图5.1所示: 横轴表示迭代次数,纵轴表示误差。迭代到第240次时达到预设精度。迭代停止时,误差为9.97269e-005,此时的梯度为0.00924693。 050 100150200 10 -4 10 -3 10 -2 10 -1 10 10 1 240 Epochs T r a i n i n g -B l u e G o a l -B l a c k Performance is 9.97269e-005, Goal is 0.0001 图5.1 基于标准BP 算法的“异或”问题 2) 基于共轭梯度法 结果如下及图5.2所示: 横轴表示迭代次数,纵轴表示误差。迭代到第16次时达到预设精度。迭代停止时,

神经网络工具箱操作

1. 打开MATLAB,在命令行输入nntool,将出现如下界面: 图1 神经网络工具箱主界面 其中最主要的分为6个部分:第1部分中显示的是系统的输入数据;第2部分是系统的期望输出;第3部分是网络的计算输出;第4部分是网络的误差,即2 和3之间的差异;第5部分呈现的是已经建立的神经网络实例;第6部分的两个按钮分别负责数据的导入和网络模型的建立。 2. 点击“Import”按钮,分别导入输入数据与目标输出数据(数据可从工作区导入,也可从文件导入): 图2 导入输入数据集

图3 导入期望输出数据集 导入数据后主界面的情况如下: 图4 导入数据后的情况 重要说明:神经网络的数据是以列为基本单位的,即输入与输出数据的列数必须相同,否则将报错!如果原先数据是以行为单位组织的话,可以先在MATLAB 中实现转置然后再导入,即B = A’。

3.现在需要的数据已经有了,下一步就是建立一个神经网络模型对数据集进行学习。以下步骤以BP网络为例,首先点击“New”按钮,出现如下界面: 几个重要部分已在上图中框出:1处用于定义该神经网络的名称;2处用于选择神经网络的类型;3处用于选择网络的输入数据;4处用于确定网络的期望输出数据;5、6、7处分别对神经网络的主要机制函数进行设置;8处设置网络层数;9处用于选择各网络层(需要说明的是:第1层指的是隐含层而不是输入层),从而在10和11处可以对该层的神经元个数和传递函数进行设置;12处按钮可以用于查看当前所设置的神经网络的结构图(下附图);点击13处按钮即可生成对应的神经网络模型。前面只是简单地介绍了各个部分的作用,具体参数应该如何设置就只有各位自行去学习相关的文献了,此处不再多言。

贝叶斯网络结构学习及其应用研究_黄解军

收稿日期:2004-01-23。 项目来源:国家自然科学基金资助项目(60175022)。 第29卷第4期2004年4月武汉大学学报#信息科学版 Geomatics and Information Science of Wuhan U niversity V ol.29No.4Apr.2004 文章编号:1671-8860(2004)04-0315-04文献标识码:A 贝叶斯网络结构学习及其应用研究 黄解军1 万幼川1 潘和平 1 (1 武汉大学遥感信息工程学院,武汉市珞喻路129号,430079) 摘 要:阐述了贝叶斯网络结构学习的内容与方法,提出一种基于条件独立性(CI)测试的启发式算法。从完全潜在图出发,融入专家知识和先验常识,有效地减少网络结构的搜索空间,通过变量之间的CI 测试,将全连接无向图修剪成最优的潜在图,近似于有向无环图的无向版。通过汽车故障诊断实例,验证了该算法的可行性与有效性。 关键词:贝叶斯网络;结构学习;条件独立性;概率推理;图论中图法分类号:T P18;T P311 贝叶斯网络学习是贝叶斯网络的重要研究内容,也是贝叶斯网络构建中的关键环节,大体分为结构学习和参数学习两个部分。由于网络结构的空间分布随着变量的数目和每个变量的状态数量呈指数级增长,因此,结构学习是一个NP 难题。为了克服在构建网络结构中计算和搜索的复杂性,许多学者进行了大量的探索性工作[1~5]。至今虽然出现了许多成熟的学习算法,但由于网络结构空间的不连续性、结构搜索和参数学习的复杂性、数据的不完备性等特点,每种算法都存在一定的局限性。本文提出了一种新算法,不仅可以有效地减少网络结构的搜索空间,提高结构学习的效率,而且可避免收敛到次优网络模型的问题。 1 贝叶斯网络结构学习的基本理论 1.1 贝叶斯网络结构学习的内容 贝叶斯网络又称为信念网络、概率网络或因果网络[6] 。它主要由两部分构成:1有向无环图(directed acyclic graph,DAG),即网络结构,包括节点集和节点之间的有向边,每个节点代表一个变量,有向边代表变量之间的依赖关系;o反映变量之间关联性的局部概率分布集,即概率参数,通常称为条件概率表(conditional probability table,CPT),概率值表示变量之间的关联强度或置信度。贝叶斯网络结构是对变量之间的关系描 述,在具体问题领域,内部的变量关系形成相对稳定的结构和状态。这种结构的固有属性确保了结构学习的可行性,也为结构学习提供了基本思路。贝叶斯网络结构学习是一个网络优化的过程,其目标是寻找一种最简约的网络结构来表达数据集中变量之间的关系。对于一个给定问题,学习贝叶斯网络结构首先要定义变量及其构成,确定变量所有可能存在的状态或权植。同时,要考虑先验知识的融合、评估函数的选择和不完备数据的影响等因素。 1.2 贝叶斯网络结构学习的方法 近10年来,贝叶斯网络的学习理论和应用取得了较大的进展。目前,贝叶斯网络结构学习的方法通常分为两大类:1基于搜索与评分的方法,运用评分函数对网络模型进行评价。通常是给定一个初始结构(或空结构),逐步增加或删减连接边,改进网络模型,从而搜索和选择出一个与样本数据拟合得最好的结构。根据不同的评分准则,学习算法可分为基于贝叶斯方法的算法[3,7]、基于最大熵的算法[8]和基于最小描述长度的算法[1,2]。o基于依赖关系分析的方法,节点之间依赖关系的判断通过条件独立性(CI )测试来实现,文献[9,10]描述的算法属于该类算法。前者在DAG 复杂的情况下,学习效率更高,但不能得到一个最优的模型;后者在数据集的概率分布与DAG 同构的条件下,通常获得近似最优的模型[11],

不错的Matlab神经网络工具箱实用指南

Matlab的神经网络工具箱实用指南 文章摘要:第一章是神经网络的基本介绍,第二章包括了由工具箱指定的有关网络结构和符号的基本材料以及建立神经网络的一些基本函数,例如new、init、adapt和train。第三章以反向传播网络为例讲解了反向传播网络的原理和应用的基本过程。 第一章介绍 1.神经网络 神经网络是单个并行处理元素的集合,我们从生物学神经系统得到启发。在自然界,网络功能主要由神经节决定,我们可以通过改变连接点的权重来训练神经网络完成特定的功能。 一般的神经网络都是可调节的,或者说可训练的,这样一个特定的输入便可得到要求的输出。如下图所示。这里,网络根据输出和目标的比较而调整,直到网络输出和目标匹配。作为典型,许多输入/目标对应的方法已被用在有监督模式中来训练神经网络。 神经网络已经在各个领域中应用,以实现各种复杂的功能。这些领域包括:模式识别、鉴定、分类、语音、翻译和控制系统。 如今神经网络能够用来解决常规计算机和人难以解决的问题。我们主要通过这个工具箱来建立示范的神经网络系统,并应用到工程、金融和其他实际项目中去。 一般普遍使用有监督训练方法,但是也能够通过无监督的训练方法或者直接设计得到其他的神经网络。无监督网络可以被应用在数据组的辨别上。一些线形网络和Hopfield网络是直接设计的。总的来说,有各种各样的设计和学习方法来增强用户的选择。 神经网络领域已经有50年的历史了,但是实际的应用却是在最近15年里,如今神经网络仍快速发展着。因此,它显然不同与控制系统和最优化系统领域,它们的术语、数学理论和设计过程都已牢固的建立和应用了好多年。我们没有把神经网络工具箱仅看作一个能正常运行的建好的处理轮廓。我们宁愿希望它能成为一个有用的工业、教育和研究工具,一个能够帮助用户找到什么能够做什么不能做的工具,一个能够帮助发展和拓宽神经网络领域的工具。因为这个领域和它的材料是如此新,这个工具箱将给我们解释处理过程,讲述怎样运用它们,并且举例说明它们的成功和失败。我们相信要成功和满意的使用这个工具箱,对范例

如何用MATLAB的神经网络工具箱实现三层BP网络

如何用MA TLAB的神经网络工具箱实现三层BP网络? % 读入训练数据和测试数据 Input = []; Output = []; str = {'Test','Check'}; Data = textread([str{1},'.txt']); % 读训练数据 Input = Data(:,1:end-1); % 取数据表的前五列(主从成分) Output = Data(:,end); % 取数据表的最后一列(输出值) Data = textread([str{2},'.txt']); % 读测试数据 CheckIn = Data(:,1:end-1); % 取数据表的前五列(主从成分) CheckOut = Data(:,end); % 取数据表的最后一列(输出值) Input = Input'; Output = Output'; CheckIn = CheckIn'; CheckOut = CheckOut'; % 矩阵赚置 [Input,minp,maxp,Output,mint,maxt] = premnmx(Input,Output); % 标准化数据 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%% % 神经网络参数设置 %====可以修正处 Para.Goal = 0.0001; % 网络训练目标误差 Para.Epochs = 800; % 网络训练代数 Para.LearnRate = 0.1; % 网络学习速率 %==== Para.Show = 5; % 网络训练显示间隔 Para.InRange = repmat([-1 1],size(Input,1),1); % 网络的输入变量区间 Para.Neurons = [size(Input,1)*2+1 1]; % 网络后两层神经元配置

贝叶斯网络模型代码

addpath(genpathKPM(pwd)) N = 4; dag = zeros(N,N); C = 1; S = 2; R = 3; W = 4; dag(C,[R S]) = 1; dag(R,W) = 1; dag(S,W)=1; discrete_nodes = 1:N; node_sizes = 2*ones(1,N); bnet = mk_bnet(dag, node_sizes, 'discrete', discrete_nodes); onodes = []; bnet = mk_bnet(dag, node_sizes, 'discrete', discrete_nodes, 'observed', onodes); bnet = mk_bnet(dag, node_sizes, 'names', {'cloudy','S','R','W'}, 'discrete', 1:4); C = https://www.360docs.net/doc/2c16702389.html,s('cloudy'); % https://www.360docs.net/doc/2c16702389.html,s是一个关联数组; bnet.CPD{C} = tabular_CPD(bnet, C, [0.5 0.5]); CPT = zeros(2,2,2); CPT(1,1,1) = 1.0; CPT(2,1,1) = 0.1; CPT = reshape([1 0.1 0.1 0.01 0 0.9 0.9 0.99], [2 2 2]); bnet.CPD{W} = tabular_CPD(bnet, W, 'CPT', [1 0.1 0.1 0.01 0 0.9 0.9 0.99]); bnet.CPD{C} = tabular_CPD(bnet, C, [0.5 0.5]); bnet.CPD{R} = tabular_CPD(bnet, R, [0.8 0.2 0.2 0.8]); bnet.CPD{S} = tabular_CPD(bnet, S, [0.5 0.9 0.5 0.1]); bnet.CPD{W} = tabular_CPD(bnet, W, [1 0.1 0.1 0.01 0 0.9 0.9 0.99]); figure draw_graph(dag)

神经网络工具箱

神经网络工具箱 版本6.0.4(R2010a版本)25-JAN-2010 图形用户界面的功能。 nctool - 神经网络分类的工具。 nftool - 神经网络拟合工具。 nprtool - 神经网络模式识别工具。 nntool - 神经网络工具箱的图形用户界面。 nntraintool - 神经网络训练工具。 视图- 查看一个神经网络。 分析功能。 混乱- 分类混淆矩阵。 errsurf - 单输入神经元的误差表面。 maxlinlr - 最大的学习率的线性层。 鹏- 受试者工作特征。 距离函数。 boxdist - 箱距离函数。 DIST - 欧氏距离权重函数。 mandist - 曼哈顿距离权重函数。 linkdist - 链路距离函数。 格式化数据。 combvec - 创建载体的所有组合。 con2seq - 转换并行向量连续载体。 同意- 创建并发偏载体。 dividevec - 创建载体的所有组合。 ind2vec - 转换指数为载体。 最小最大- 矩阵行范围。 nncopy - 复印基质或细胞阵列。 normc - 规格化矩阵的列。 normr - 规格化行的矩阵的。 pnormc - 矩阵的伪规格化列。 定量- 值离散化作为数量的倍数。 seq2con - 转换顺序向量并发载体。 vec2ind - 将矢量转换成指数。 初始化网络功能。 initlay - 层- 层网络初始化函数。 初始化层功能。

initnw - 阮层的Widrow初始化函数。 initwb - 从重量和- 偏置层初始化函数。 初始化的重量和偏见的功能。 initcon - 良心的偏见初始化函数。 initzero - 零重量/偏置初始化函数。 initsompc - 初始化SOM的权重与主要成分。 中点- 中点重初始化函数。 randnc - 归一列重初始化函数。 randnr - 归行重初始化函数。 兰特- 对称随机重量/偏置初始化函数。 学习功能。 learncon - 良心的偏见学习功能。 learngd - 梯度下降重量/偏置学习功能。 learngdm - 梯度下降W /气势重量/偏置学习功能。 learnh - 赫布重学习功能。 learnhd - 赫布衰变重学习功能。 learnis - 重量龄学习功能。 learnk - Kohonen的重量学习功能。 learnlv1 - LVQ1重学习功能。 learnlv2 - LVQ2重学习功能。 learnos - Outstar重学习功能。 learnsomb - 批自组织映射权重学习功能。 learnp - 感知重量/偏置学习功能。 learnpn - 归感知重量/偏置学习功能。 learnsom - 自组织映射权重学习功能。 learnwh - 的Widrow - 霍夫重量/偏置学习规则。 在线搜索功能。 srchbac - 回溯搜索。 srchbre - 布伦特的结合黄金分割/二次插值。 srchcha - Charalambous“三次插值。 srchgol - 黄金分割。 srchhyb - 混合二分/立方搜索。 净输入功能。 netprod - 产品净输入功能。 netsum - 求和净输入功能。 网络创造的功能。 网络- 创建一个自定义的神经网络。 NEWC - 创建一个有竞争力的层。 newcf - 创建级联转发传播网络。

基于贝叶斯网络的各种抽样方法比较

摘要: 本文主要介绍了贝叶斯网的基本概念以及重要性抽样方法的基本理论和概率推理, 重点介绍了两种重要的抽样方法, 即逻辑抽样方法和似然加权法, 并且比较了它们的优缺点 关键词: 贝叶斯网 抽样法 无偏估计 1.引言 英国学者T.贝叶斯1763年在《论有关机遇问题的求解》中提出一种归纳推理的理论, 后被一些统计学者发展为一种系统的统计推断方法, 称为贝叶斯方法.采用这种方法作统计推断所得的全部结果, 构成贝叶斯统计的内容.认为贝叶斯方法是唯一合理的统计推断方法的统计学者, 组成数理统计学中的贝叶斯学派, 其形成可追溯到 20世纪 30 年代.到50~60年代, 已发展为一个有影响的学派.Zhang 和Poole 首先提出了变量消元法, 其原理自关于不定序动态规划的研究(Bertele and Brioschi,1972).相近的工作包括D`Ambrosio (1991)、Shachter (1994)、Shenoy (1992)等人的研究.近期关于变量消元法的研究可参见有关文献【1】由于变量消元法不考虑步骤共享, 故引进了团树传播法, 如Hugin 方法.在实际应用中, 网络节点往往是众多的, 精确推理算法是不适用的, 因而近似推理有了进一步的发展. 重要性抽样法(Rubinstein, 1981)是蒙特尔洛积分中降低方差的一种手段, Henrion (1988)提出了逻辑抽样, 它是最简单也是最先被用于贝叶斯网近似推理的重要性抽样算法. Fung 和Chang (1989)、Shachter 和Peot (1989)同时提出了似然加权算法. Shachter 和Peot (1989)还提出了自重要性抽样和启发式重要性抽样算法. Fung 和Favero (1994)提出了逆序抽样(backward sam-pling ), 它也是重要性抽样的一个特例. Cheng 和Druzdzel (2000)提出了自适应重要性抽样算法, 同时也给出了重要性抽样算法的通用框架, 这就是各种抽样方法的发展状况. 本文就近似推理阐述了两种重要的抽样方法即逻辑抽样方法和似然加权法, 并比较了它们的优缺点. 2. 基本概念 2.1 贝叶斯网络的基本概念 贝叶斯网络是一种概率网络, 用来表示变量之间的依赖关系, 是带有概率分布标注的有向无环图, 能够图形化地表示一组变量间的联合概率分布函数. 贝叶斯网络模型结构由随机变量(可以是离散或连续)集组成的网络节点, 具有因果关系的网络节点对的有向边集合和用条件概率分布表示节点之间的影响等组成.其中节点表示了随机变量, 是对过程、事件、状态等实体的某些特征的描述; 边则表示变量间的概率依赖关系.起因的假设和结果的数据均用节点表示, 各变量之间的因果关系由节点之间的有向边表示, 一个变量影响到另一个变量的程度用数字编码形式描述.因此贝叶斯网络可以将现实世界的各种状态或变量画成各种比例, 进行建模. 2.2重要性抽样法基本理论 设()f X 是一组变量X 在其定义域n X R Ω?上的可积函数.考虑积分 ()()X I f X d X Ω= ? (2.2.1)

贝叶斯网络结构学习总结

贝叶斯网络结构学习总结 一、 贝叶斯网络结构学习的原理 从数据中学习贝叶斯网络结构就是对给定的数据集,找到一个与数据集拟合最好的网络。 首先定义一个随机变量h S ,表示网络结构的不确定性,并赋予先验概率分布()h p S 。然后计算后验概率分布(|)h p S D 。根据Bayesian 定理有 (|)(,)/()()(|)/()h h h h p S D p S D p D p S p D S p D == 其中()p D 是一个与结构无关的正规化常数,(|)h p D S 是边界似然。 于是确定网络结构的后验分布只需要为每一个可能的结构计算数据的边界似然。在无约束多项分布、参数独立、采用Dirichlet 先验和数据完整的前提下,数据的边界似然正好等于每一个(i ,j )对的边界似然的乘积,即 1 1 1 () ()(|)()() i i q r n ij ijk ijk h i j k ij ij ijk N p D S N ===Γ?Γ?+=Γ?+Γ?∏∏ ∏ 二、 贝叶斯网络完整数据集下结构学习方法 贝叶斯网络建模一般有三种方法:1)依靠专家建模;2)从数据中学习;3)从知识库中创建。在实际建模过程中常常综合运用这些方法,以专家知识为主导,以数据库和知识库为辅助手段,扬长避短,发挥各自优势,来保证建模的效率和准确性。但是,在不具备专家知识或知识库的前提下,从数据中学习贝叶斯网络模型结构的研究显得尤为重要。 常用的结构学习方法主要有两类,分别是基于依赖性测试的学习和基于搜索评分的学习。 第一类方法是基于依赖性测试的方法,它是在给定数据集D 中评估变量之间的条件独立性关系,构建网络结构。基于条件独立测试方法学习效率最好,典型的算法包括三阶段分析算法(TPDA )。基于依赖性测试的方法比较直观,贴近贝叶斯网络的语义,把条件独立性测试和网络结构的搜索分离开,不足之处是对条件独立性测试产生的误差非常敏感。且在某些情况下条件独立性测试的次数相对于变量的数目成指数级增长。 第二类方法是基于评分搜索的方法,其原理是在所有节点的结构空间内按照一定的搜索策略及评分准则构建贝叶斯网络结构,这种算法虽然能够搜索到精确的网络结构,但是由于结构空间很大,从所有可能的网络结构空间搜索最佳的贝叶斯网络结构被证明为NP-hard 问题,所以一般需要使用启发式算法,代表性算法有K2算法等。基于搜索评分的方法是一种统计驱动的方法,试图在准确性、稀疏性、鲁棒性等多个因素之间找个平衡点。但由于搜索方法的先天弱点,导致用搜索评分的方法不一定能找到最好的结构,但是应用范围很广。 当观察到的数据足够充分且计算次数足够多时,基于搜索评分的方法和基于依赖性测试的方法都可以学到“正确”的网络结构。 此外,有人结合上述两种方法,提出了一些混合算法,这类算法首先利用独立性测试降

贝叶斯网络的建造训练和特性

贝叶斯网络建造 贝叶斯网络的建造是一个复杂的任务,需要知识工程师和领域专家的参与。在实际中可能是反复交叉进行而不断完善的。面向设备故障诊断应用的贝叶斯网络的建造所需要的信息来自多种渠道,如设备手册,生产过程,测试过程,维修资料以及专家经验等。首先将设备故障分为各个相互独立且完全包含的类别(各故障类别至少应该具有可以区分的界限),然后对各个故障类别分别建造贝叶斯网络模型,需要注意的是诊断模型只在发生故障时启动,因此无需对设备正常状态建模。通常设备故障由一个或几个原因造成的,这些原因又可能由一个或几个更低层次的原因造成。建立起网络的节点关系后,还需要进行概率估计。具体方法是假设在某故障原因出现的情况下,估计该故障原因的各个节点的条件概率,这种局部化概率估计的方法可以大大提高效率。 贝叶斯网络训练 使用贝叶斯网络必须知道各个状态之间相关的概率。得到这些参数的过程叫做训练。和训练马尔可夫模型一样,训练贝叶斯网络要用一些已知的数据。比如在训练上面的网络,需要知道一些心血管疾病和吸烟、家族病史等有关的情况。相比马尔可夫链,贝叶斯网络的训练比较复杂,从理论上讲,它是一个NP-complete 问题,也就是说,对于现在的计算机是不可计算的。但是,对于某些应用,这个训练过程可以简化,并在计算上实现。 贝叶斯网络具有如下特性:

1。贝叶斯网络本身是一种不定性因果关联模型。贝叶斯网络与其他决策模型不同,它本身是将多元知识图解可视化的一种概率知识表达与推理模型,更为贴切地蕴含了网络节点变量之间的因果关系及条件相关关系。 2。贝叶斯网络具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系,能在有限的,不完整的,不确定的信息条件下进行学习和推理。 3。贝叶斯网络能有效地进行多源信息表达与融合。贝叶斯网络可将故障诊断与维修决策相关的各种信息纳入网络结构中,按节点的方式统一进行处理,能有效地按信息的相关关系进行融合。 目前对于贝叶斯网络推理研究中提出了多种近似推理算法,主要分为两大类:基于仿真方法和基于搜索的方法。在故障诊断领域里就我们水电仿真而言,往往故障概率很小,所以一般采用搜索推理算法较适合。就一个实例而言,首先要分析使用那种算法模型: a.)如果该实例节点信度网络是简单的有向图结构,它的节点数目少的情况下,采用贝叶斯网络的精确推理,它包含多树传播算法,团树传播算法,图约减算法,针对实例事件进行选择恰当的算法; b.)如果是该实例所画出节点图形结构复杂且节点数目多,我们可采用近似推理算法去研究,具体实施起来最好能把复杂庞大的网络进行化简,然后在与精确推理相结合来考虑。 在日常生活中,人们往往进行常识推理,而这种推理通常是不准确的。例如,你看见一个头发潮湿的人走进来,你可能会认为外面下雨了,那你也许错了;如果你在公园里看到一男一女带着一个小孩,你可能会认为他们是一家人,你可能也犯了错误。在工程中,我们也同样需要进行科学合理的推理。但是,工程实际中的问题一般都比较复杂,而且存在着许多不确定性因素。这就给准确推理带来了很大的困难。很早以前,不确定性推理就是人工智能的一个重要研究领域。尽管许多人工智能领域的研究人员引入其它非概率原理,但是他们也认为在常识推理的基础上构建和使用概率方法也是可能的。为了提高推理的准确性,人们引入了概率理论。最早由Judea Pearl于1988年提出的贝叶斯网络(Bayesian Network)实质上就是一种基于概率的不确定性推理网络。它是用来表示变量集合连接概率的图形模型,提供了一种表示因果信息的方法。当时主要用于处理人工智能中的不确定性信息。随后它逐步成为了处理不确定性信息技术的主流,并且在计算机智能科学、工业控制、医疗诊断等领域的许多智能化系统中得到了重要的应用。 贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法,贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用,已成功地用于

目前主要存在两类贝叶斯网络学习方法

1贝叶斯网络参数学习 (1)目标是:给定网络拓扑结构S和训练样本集D,利用先验知识,确定贝叶斯网络模型各结点处的条件概率密度,记为:p(?/D,s)。 (2)常见的数学习方法有最大似然估计算法、贝叶斯估计算法、不完备数据下参数学习等。即用MLE公式和BE公式、EM来求参数。 ?最大似然估计方法中,参数是通过计算给定父结点集的值时,结点不同取值的出现频率, 并以之作为该结点的条件概率参数;最大似然估计的基本原理就是试图寻找使得似然函数最大的参数。 ?贝叶斯估计方法假定一个固定的未知参数?,考虑给定拓扑结构S下,参数?的所有 可能取值,利用先验知识,寻求给定拓扑结构S和训练样本集D时具有最大后验概率的参数取值。由贝叶斯规则,可以得出: ?不完备数据下参数学习:数据不完备时参数学习的困难在于参数之间不是相互独立的, MLE方法的似然函数和贝叶斯估计方法的后验概率都无法分解成关于每个参数独立计算的因式。EM算法的实质是设法把不完备数据转化为完备数据。 在不完全数据集上学习贝叶斯网络,Fhedma 提出了structural EM算法,该算法结合了EM 算法和结构搜索的方法,EM算法用于优化网络参数,结构搜索用于模型选择。 2贝叶斯网络结构学习 目前主要存在两类贝叶斯网络学习方法:基于搜索和评分的方法(Search and Score based Method)和基于独立性测试的方法(Conditional Independence Testing based Method). 2.1基于搜索和评分的方法 主要由两部分组成(评分函数和搜索算法)。 2.1.1常用的评分函数 有贝叶斯评分函数和基于信息论的评分函数。 (1)贝叶斯评分函数(MAP测度)

Matlab神经网络工具箱函数.

MATLAB 神经网络工具箱函数 说明:本文档中所列出的函数适用于 MATLAB5.3以上版本, 为了简明起见, 只列出了函数名, 若需要进一步的说明,请参阅 MATLAB 的帮助文档。 1. 网络创建函数 newp 创建感知器网络 newlind 设计一线性层 newlin 创建一线性层 newff 创建一前馈 BP 网络 newcf 创建一多层前馈 BP 网络 newfftd 创建一前馈输入延迟 BP 网络 newrb 设计一径向基网络 newrbe 设计一严格的径向基网络 newgrnn 设计一广义回归神经网络 newpnn 设计一概率神经网络 newc 创建一竞争层 newsom 创建一自组织特征映射 newhop 创建一 Hopfield 递归网络 newelm 创建一 Elman 递归网络 2. 网络应用函数

sim 仿真一个神经网络 init 初始化一个神经网络 adapt 神经网络的自适应化 train 训练一个神经网络 3. 权函数 dotprod 权函数的点积 ddotprod 权函数点积的导数 dist Euclidean 距离权函数normprod 规范点积权函数negdist Negative 距离权函数mandist Manhattan 距离权函数linkdist Link 距离权函数 4. 网络输入函数 netsum 网络输入函数的求和dnetsum 网络输入函数求和的导数5. 传递函数 hardlim 硬限幅传递函数hardlims 对称硬限幅传递函数purelin 线性传递函数

tansig 正切 S 型传递函数 logsig 对数 S 型传递函数 dpurelin 线性传递函数的导数 dtansig 正切 S 型传递函数的导数dlogsig 对数 S 型传递函数的导数compet 竞争传递函数 radbas 径向基传递函数 satlins 对称饱和线性传递函数 6. 初始化函数 initlay 层与层之间的网络初始化函数initwb 阈值与权值的初始化函数initzero 零权/阈值的初始化函数 initnw Nguyen_Widrow层的初始化函数initcon Conscience 阈值的初始化函数midpoint 中点权值初始化函数 7. 性能分析函数 mae 均值绝对误差性能分析函数 mse 均方差性能分析函数 msereg 均方差 w/reg性能分析函数

相关文档
最新文档