建模方法论

建模方法论
建模方法论

第二章建模方法论

2.1 数学模型

系统模型的表示方式有许多,而其中数学方式是系统模型的最主要的表示方式。系统的数学模型是对系统与外部的作用关系及系统内在的运动规律所做的抽象,并将此抽象用数学的方式表示出来。本节将讨论建立数学模型作用、数学模型与集合及抽象的关系、数学建模的形式化表示、数学模型的有效性与建模形式化、数学模型的分类等问题。

2.1.1 数学建模的作用

1、提高认识

通信、思考、理解三个层次。

首先,一个数学描述要提供一个准确的、易于理解的通信模式;除了具有清楚的通信模式外,在研究系统的各种不同问题或考虑选择假设时,需要一个相当规模的辅助思考过程;一旦模型被综合成为一组公理和定律时,这样的模型将使我们更好地认识现实世界的现象。

因此,可把现实世界的系统看成是由可观测和不可观测两部分组成。

2、提高决策能力

管理、控制、设计三个层次。

管理是一种有限的干预方式,通过管理这种方式人们可以确定目标和决定行为的大致过程,但是这些策略无法制定得十分详细。在控制这一层,动作与策略之间的关系是确定的,但是,由于控制中的动作仅限于在某个固定范围内进行选择,所以仍然限制了干预的范围。在设计层,设计者可以在较大程度上进行选择、扩大或代替部分现有的现实,以满足设计者的希望。

因此,可把现实世界的系统看成是由可控制和不可控制两部分组成。

3---

统实际系统

不可观部分不可控部分

可观部分 可控部分

目标:提高认识 目标:

提高干预能力

图 2.2 根据目标建立系统

2.1.2 集合、抽象与数学模型

抽象过程是建模工程的基础。由于建模和集合论都是以抽象为基础,集合论对于建模工程是非常有用。

1、集合:

有限集合

无限集合,整数集合I,实数集合R ,正整数集

合I +,非负整数集合I 0+=I +U{0},}{0,0∞=++∞ I I 是非

负整数加符号∞而成的集合。与其类似,R +,R 0

+和+∞,0R 则表示实数的相应集合。

叉积是集合基本运算:令A 和B 是任意集合,则A ×B={(a,b ),a ∈A,b ∈B}。

2、映射:是一个关系。具有形式:F t t w →

10,:.

3、理论构造

理论构造是根据充分的抽象概念来建立集合结构,从而使模型具有更广泛的应用能力和应用范围。理论构造的过程为:建立数学描述时,需要建立几个抽象,即要定义以下几个集合:输入、输出以及状态变量,再建立这些城乡的复合集合结构,定义函数关系。

4、数学模型

数学模型就是通过对系统的全部或部分的分析,对系统与外部的作用关系及系统内在的运动规律所做的抽象,并将此抽象用数学的方式表示出来。集合论正好可作为研究系统的工具,因为建模就是要得到一个被抽象集合机构的系统的定义,这个集合结构总是可以用若干同类结构的合成体来替代,从而不断地使其具体化。

2.1.3 数学建模的形式化表示(重要)

一个系统可以定义为下面的七元组集合结构:

δ

λ

Q

X

=

,Y

,

,

,

,

,

其中,T为时间基;X为输入集;Ω为输入段集;Q为内部状态集;Y为输出集;δ为状态转移函数;λ为输出函数。它们的含义与限制如

下:

1、时间基

T是描述时间和为事件排序的一个集合。通常,T为整数集I或实数集R,则系统也就分别被称离散时间系统或连续时间系统。

2、输入集

X代表系统界面的一部分,外部环境通过它起作用于系统。通常选取X为R n,其中n∈I+,即X代表n个时值的输入变量。

3、输入段集

一个输入段描述某时间间隔内系统的输入模式。

一个输入段集是片段的一个特例,同时,又是

这样一个映射:

X

t

t

w→

1

,

:

,其中,10,t是

时间基中从初始时刻t0到终止时刻t1的一个区间,所有上述输入片段所构成的集合都记作(X,T),输入段集Ω是(X,T)的一个子集。4、内部状态集Q

是表示系统的记忆,即过去历史的遗留物,它影响着现在和将来的响应。内部状态集Q是内部结构建模的核心。

5、 状态转移函数

状态转移函数是一个映射,它Q Q →Ω?:δ的含义是:若系统在时刻t0处于状态q ,并且施加一个输入段X t t w →10,:,则),(w q δ表示系统t1时刻的状态。因此,任意时刻的内部状态和从该时刻起的输入段唯一地决定了段终止时的状态。

状态集主要是一个建模的概念,在真实系统中并没有什么东西和它直接相对应。

6、 输出集

输出集合Y 代表着截面的一部分,系统通过它作用于环境。除方向不同外,输出集的含义和输入集完全相同。

7、 输出函数

输出函数使假想的系统内部状态与系统对其环境的影响相关联,如系统不允许输入直接影响输出,输出函数是一个这样的映射Y Q →:λ。常用的一个输出函数是下面的一个映射Y T X Q →??:λ,即当系统处于

状态Q 时,并且系统的当前输入是X 时,(q,x,t)

能够通过环境检测出来。

通过上面的输出函数的形式定义,则系统行为的概念为:一个系统的行为是其内部机构的外部表现形式,即在叉积(X ,Y ) ×(Y ,T )上的关系。

这个关系可做如下计算:对于每一个状态Q q ∈

和在Ω中的输入段X t t w →10,:,存在一个相关联的状态轨迹:

Q t t STRAJ w q →10,,: 使得 q t STRAJ

w q →0,: 和对于),(10t t t ∈,有 ),()(:,>→t w q w q t STRAJ δ

上述轨迹的可观测投影是和Q q ∈,Ω∈w 相关的输出轨迹:

Y t OTRAJ w q →10,,: 。

使用简单的输出函数形式)(q λ,则存在))(()(,,t STRAJ t OTRAJ w q w q λ→。这时系统的行为就可以通过输入-输出关系R ,表现出来:

)},,|),{(,Q q OTRAJ w w R w q ∈=Ω∈=对于某一个ρρ

称每一个s R w ∈),(ρ的元素为输入输出段对,并用它来表示一个有关系统的实验结果或观测结果。在该系统中,w 是对系统的输入,ρ是观测到的输出。

2.1.4 模型的有效性与建模形式化

模型的有效性可用实际系统数据和模型产生的数据之间的符合程度来度量。它分三个不同级别的模型有效:复制有效、预测有效和结构有效。不同级别的模型有效,存在不同的行为水平、状态结构水平和分解结构水平的系统描述。

1、 行为水平

将系统看成一个黑盒,并且对它施加一个输入信号,然后对它的输出信号进行测量与纪录。

黑盒},{ρw R s = )(t ρ

图 2.3 行为水平的系统

系统描述的基本单位是“轨迹”,它是从一个时间基的区间到表示可能的观测结果的某个

集合上的映射。

2、状态结构水平

基于建模者对实际系统的内部工作情况了解清楚,且掌握了实际系统的内部状态及其总体结构。

δλ

ρ

)(t

图2.4 状态结构水平的系统

这种描述可使系统模型自动产生一种行为轨迹,产生这种行为轨迹的基础是系统描述中存在“状态集”以及“状态转移函数”,前者表示在任意时刻所有可能的结果,而后者则提供给定状态计算未来状态的规则。

3、分解结构水平

在此水平上描述系统,建模者不仅搞清实际系统内部工作之间关系,且了解了实际系统的内部分解结构,可把实际系统描述为由许多子系统相互连接起来而构成的一个整体。

2.1.5 数学模型的分类

1、分类

(1)根据模型的时间集合可分为连续时间模型和离散时间模型。

连续时间模型:时间用实数表示,系统状态可在任意时刻获得。

离散时间模型:时间用整数表示,系统状态只能在离散的时刻点上获得。

(2)根据模型的状态变量可分为连续变化模型和离散变化模型。

连续变化模型:系统的状态变量是随时间连续变化。

离散变化模型:系统的状态变量是不连续变化,只在特定时刻变化,在两个特定

时刻之间是不变的。

综合上述,有以下分类:

第一类:连续系统,一般是常微分方程和连续时间的偏微分方程。

第二类:采用系统,系统状态随时间连续变化,而只在离散时间上获取系统状态变量值。所对应的模型是离散时间的偏微分方程模型和系

统动力学模型。

第三类:离散事件模型,系统状态在离散时间点上变化,系统的状态可以连续变化。

第四类:离散模型,系统状态变化和时间集上都是离散的。

2、例子(略)

P25—26 自看书。

2.1.6 系统描述间的关系

建模的本质是在实际系统与模型之间建立一种关系,而仿真的本质则是在模型与仿真程序之间建立某种关系。因为系统具有内部结构与外部行为,所建立的关系应考虑两者间的结构关系和行为关系。

对于行为关系,主要考虑现实系统S和描述系统S'的行为等价。这两个系统具有相同的输入和输出关系。

对于结构关系,存在两种基本关系:同态和同构。

同态是纸两个系统S和S'的T,X,Ω,Y都相同,Q,δ,λ和Q','δ,'λ不相同。

同构是一种同态,在这种同态中,映射h与状

态是一一对应的。

如果系统S到系统S’是同态,则它们是行为等价的,且同态系统S'的内部结构可能比原有系统S的内部结构要简单。而两个系统同构,也就是两个系统具有相同的内部状态结构。同构必定具有行为等价的特性,但行为等价的两个系统并一定具有同构关系。

2.2 建模方法学

2.2.1 建模过程的信息源

建模过程主要有三类信息源:

1、建模目的

建模目的对建模的形式有很大影响,在不同的建模目的下,同一个行为有时可定义为系统的内部作用,有时又可定义为系统边界上的输入变量。

如果仅需了解系统与外界的相互作用关系,那么可以建立一个以输入输出为主的系统外部行为模型。而若希望了解系统的内在活动规律,就要设法建立一个描述系统集合、状态集合及输出集合之间的内部状态结构状态模型。

2、先验知识

在系统建模的过程中,可以从与系统有关的已有知识出发,提高建模的速度和正确性。3、实验数据

系统建模的信息来源,也可以通过对系统进行实验和观测获得。对实际系统的实验和测量是掌握系统自身特性的重要手段。

2.2.2 建模途径

1、演绎法

是运用先验信息,建立某些假设和原理,通过数学的逻辑演绎来建立模型。假定对实际系统已经有一些定理和原理可以被利用,由此可以通过数学演绎和逻辑演绎来建立系统模型。

2、归纳法

是基于试验数据来建立系统模型的方法。

3实际具体的建模可归纳如下:

(1)对于内部结构和特性清楚的系统,即白盒系统,可以利用已知的一些基本定律,经过分析和演绎导出系统模型。

(2)对内部结构和特性不清楚的,即所谓黑盒或灰盒,如果允许直接进行实验测量并通过实验对假设模型加以验证和修正。

(3)对属于黑盒但又不允许直接实验观测的系统,则采用数据收集和统计归纳的方法来假设模型。

详细可见P31图2.8 建模过程框图

2.2.3 模型可信性

模型的可信度指模型的真实程度。一个模型的可信度可分为:

1、在行为水平上的可信性,即模型是否重现真实系统的行为。

2、在状态结构水平上可信性,即模型能否与真实系统在状态上互相对应,通过这样的模型可以对未来的行为进行唯一的预测。

3、在分解结构水平上的可信性,即模型能否表示出真实系统内部的工作情况,而且是惟一表示出来。

不论对于哪一个可信性水平,可信性的考虑贯穿在整个建模阶段及以后各阶段,必须考虑以下几个方面:

1、在演绎中的可信性。

2、在归纳中的可信性。

3、在目的方面的可信性。

2.3基于计算机的建模方法学

2.3.1 引言

1、研究基于计算机的建模理论目的:

在交互式计算机的辅助下,使系统建模过程进行得更加游戏哦啊、现实和高速。

2、研究内容

围绕基于计算机的建模方法学,主要研究各种存储和综合利用先验知识的概念及方法,先验知识包括与实际系统有关的数学关系和模型。

2.3.2 全局性建模的基本思路

1、全局性建模方法不仅要分析模型的静态结构,还应考虑其动态特征。

2、全局性建模的主要思想是重视模型的信息源。

3、全局性建模应能够组合和完整化模型的谋某种先验知识,这就需要一种适当的有组织的信息存储模式,同数据存储一样被称为“库”,在建模和仿真中涉及的各个对象,如变量、实体、试验框架、模型、参数等都有自己的库。

2.3.3 模型对象及其信息存储

1、变量及变量库

(1)系统的静态结构往往用输入变量、输出变量、状态变量等变量来描述,变量是描述系统的静态结构的基础。

(2)变量含义之间的内在联系被称为语义结构,即语义结构是变量之间的逻辑关系。(3)变量是模型中最基本的元素之一,它们的值可能随时间变化。

(4)变量库的基本形式是作为当前实际系统中所定义变量的字典或词典,模型是通过这些变量的一个子集形成它的静态结构,加上控制这些变量变化的饿规则及其动态结构而构成的。

2、实体及实体库

(1)一个实体是实际系统的一部分,它的作用是获取子系统和系统的边界。

(2)实体是按特定意义组合一起的变量集的标记。

(3)一个模型总是某个特定实体的某种表示,它只能包含从属于该实体的变量,实体结

构根据实体对模型分门别类,因此实体是检索模型和框架的“钥匙”。

(4)实体结构也能用来组织模型的建立过程,它是通过建立模型的静态结构而实现的。(5)实体库认为是变量库结构过渡到模型结构的第二级结构,实体库的组织原则是实体机构,它表示实际系统建模过程中任一级结构。

3、实验框架和实验框架库

(1)建模目标规定了建模过程的方向,可为建模者从中导出了一组输出和输入变量,实质上这就是一个实验框架。

(2)建模目标可导出实验框架,另一方面,它还提供了关于系统边界的信息。

(3)在完整的定义中,实验框架E包括以下几个部分:

I:输入变量集 Q:输出变量集

Ω:输

l

入段变量集 C:运行控制变量集

Ω:运行控制集 Stt/Spp:统计或信号处理c

过程集

(4)实验框架规定了实际系统或用它的模型做实验和进行观察的饿有限的环境,有意义的框架是从实际系统产生的问题提出的,它们公

式化了所要回答的问题。

4、模型库

(1)一个建模支持系统应该提供一个库,其中包括对某一给定的实际系统已经建立起来所有的模型。

(2)构造模型库的更一般的方法是使得各模型之间的相互关系皆以一个实验框架为条件。(3)模型库是一个可扩充的模型集。

5、参数集

(1)参数是模型的一个组成要素,它的最基本和最有代表性的作用是表示了现实世界中物体的系统或子系统的性质。

(2)参数库的作用:存储实际系统的实验信息;通过将模型检验中得到的估计扩展到与它有关的其他模型,从而增加这种信息的利用率。

图2.10 不同信息库之间关系

2.4 解释结构建模

2.4.1 基本概念

1、结构模型就是描述系统各实体间的关系,以表示一个作为实体集合的系统模型,其中用

集合S={s1,s2,…,sn}表示实体集合,s i 表示实体结合中元素,R={|W(x,y)}表示在某种关系W 下各实体间关系值的集合。

2、结构模型具有以下特性:

(1)是一种几何模型,可用有向连接图表示

(2)是一种以定性分析为主的模型,主要用来分析系统各实体之间的关系。

(3)可用矩阵形式来描述,可使定性分析和定量分析相结合。

(4)描述形式正处在数学模型形式与逻辑分析形式之间,它处理宏观、微观、定性定量的问题。

3、有向连接图的表示:用节点表示S 中的元素,用节点间的有向弧来表示关系R ,并约定:如果R s s j i >∈<,,则在节点s i 和s j 存在一条弧,其方向是从s i 指向s j 。这样,结构模型{S,R}就可用相应的饿有向图G={S,R}来唯一表示,其中S 为节点集合,R为有向弧的集合。见P42――43 例子

4、邻接矩阵、可达矩阵概念和作用(略)

2.4.2 结构建模(解释结构模型法)

结构建模的基本步骤可分为以下几个阶段:1、选择构成系统的要素

2、建立邻接矩阵和可达矩阵

3、层次级别的划分

4、建立结构模型

5、结合例子:人口增长因素分析

P47―51

本章作业:

1、什么是数学建模形式化的表示?试列举一例说明形式化表示与非形式化表示的区别。

2、何谓“黑盒”“白盒”“灰盒”系统?

3、模型有效性和模型可信性相同吗?有何不同?

4、基于计算机建模方法论与一般建模方法论有何不同?

5、何谓结构模型?试举一例说明之。

数据库建模经验总结

数据库如何建模 笔者从98年进入数据库及数据仓库领域工作至今已经有近八年的时间,对数据建模工作接触的比较多,创新性不敢谈,本文只是将工作中的经验总结出来,供大家一同探讨和指正。 提起数据建模来,有一点是首先要强调的,数据建模师和DBA有着较大的不同,对数据建模师来说,对业务的深刻理解是第一位的,不同的建模方法和技巧是为业务需求来服务的。而本文则暂时抛开业务不谈,主要关注于建模方法和技巧的经验总结。 从目前的数据库及数据仓库建模方法来说,主要分为四类。 第一类是大家最为熟悉的关系数据库的三范式建模,通常我们将三范式建模方法用于建立各种操作型数据库系统。 第二类是Inmon提倡的三范式数据仓库建模,它和操作型数据库系统的三范式建模在侧重点上有些不同。Inmon的数据仓库建模方法分为三层,第一层是实体关系层,也即企业的业务数据模型层,在这一层上和企业的操作型数据库系统建模方法是相同的;第二层是数据项集层,在这一层的建模方法根据数据的产生频率及访问频率等因素与企业的操作型数据库系统的建模方法产生了不同;第三层物理层是第二层的具体实现。 第三类是Kimball提倡的数据仓库的维度建模,我们一般也称之为星型结构建模,有时也加入一些雪花模型在里面。维度建模是一种面向用户需求的、容易理解的、访问效率高的建模方法,也是笔者比较喜欢的一种建模方式。 第四类是更为灵活的一种建模方式,通常用于后台的数据准备区,建模的方式不拘一格,以能满足需要为目的,建好的表不对用户提供接口,多为临时表。

下面简单谈谈第四类建模方法的一些的经验。 数据准备区有一个最大的特点,就是不会直接面对用户,所以对数据准备区中的表进行操作的人只有ETL工程师。ETL工程师可以自己来决定表中数据的范围和数据的生命周期。下面举两个例子: 1)数据范围小的临时表 当需要整合或清洗的数据量过大时,我们可以建立同样结构的临时表,在临时表中只保留我们需要处理的部分数据。这样,不论是更新还是对表中某些项的计算都会效率提高很多。处理好的数据发送入准备加载到数据仓库中的表中,最后一次性加载入数据仓库。 2)带有冗余字段的临时表 由于数据准备区中的表只有自己使用,所以建立冗余字段可以起到很好的作用而不用承担风险。 举例来说,笔者在项目中曾遇到这样的需求,客户表{客户ID,客户净扣值},债项表{债项ID,客户ID,债项余额,债项净扣值},即客户和债项是一对多的关系。其中,客户净扣值和债项余额已知,需要计算债项净扣值。计算的规则是按债项余额的比例分配客户的净扣值。这时,我们可以给两个表增加几个冗余字段,如客户表{客户ID,客户净扣值,客户余额},债项表{债项ID,客户ID,债项余额,债项净扣值,客户余额,客户净扣值}。这样通过三条SQL就可以直接完成整个计算过程。将债项余额汇总到客户余额,将客户余额和客户净扣值冗余到债项表中,在债项表中通过(债项余额×客户净扣值/客户余额)公式即可直接计算处债项净扣值。

建模方法论

第二章建模方法论 2.1 数学模型 系统模型的表示方式有许多,而其中数学方式是系统模型的最主要的表示方式。系统的数学模型是对系统与外部的作用关系及系统内在的运动规律所做的抽象,并将此抽象用数学的方式表示出来。本节将讨论建立数学模型作用、数学模型与集合及抽象的关系、数学建模的形式化表示、数学模型的有效性与建模形式化、数学模型的分类等问题。 2.1.1 数学建模的作用 1、提高认识 通信、思考、理解三个层次。 首先,一个数学描述要提供一个准确的、易于理解的通信模式;除了具有清楚的通信模式外,在研究系统的各种不同问题或考虑选择假设时,需要一个相当规模的辅助思考过程;一旦模型被综合成为一组公理和定律时,这样的模型将使我们更好地认识现实世界的现象。

因此,可把现实世界的系统看成是由可观测和不可观测两部分组成。 2、提高决策能力 管理、控制、设计三个层次。 管理是一种有限的干预方式,通过管理这种方式人们可以确定目标和决定行为的大致过程,但是这些策略无法制定得十分详细。在控制这一层,动作与策略之间的关系是确定的,但是,由于控制中的动作仅限于在某个固定范围内进行选择,所以仍然限制了干预的范围。在设计层,设计者可以在较大程度上进行选择、扩大或代替部分现有的现实,以满足设计者的希望。 因此,可把现实世界的系统看成是由可控制和不可控制两部分组成。 3--- 统实际系统 不可观部分不可控部分

可观部分 可控部分 目标:提高认识 目标: 提高干预能力 图 2.2 根据目标建立系统 2.1.2 集合、抽象与数学模型 抽象过程是建模工程的基础。由于建模和集合论都是以抽象为基础,集合论对于建模工程是非常有用。 1、集合: 有限集合 无限集合,整数集合I,实数集合R ,正整数集 合I +,非负整数集合I 0+=I +U{0},}{0,0∞=++∞ I I 是非 负整数加符号∞而成的集合。与其类似,R +,R 0 +和+∞,0R 则表示实数的相应集合。 叉积是集合基本运算:令A 和B 是任意集合,则A ×B={(a,b ),a ∈A,b ∈B}。 2、映射:是一个关系。具有形式:F t t w → 10,:. 3、理论构造

认识论原理方法论

1.实践和认识的辩证关系 (1、实践是认识的基础(实践决定认识) (1)实践是认识的来源 (2)是认识发展的动力 (3)实践是检验认识正确与否的唯一标准 (4)是认识的最终目的 (2、认识对实践有反作用 正确的认识、科学的理论对实践有巨大的指导作用; 错误的认识、不科学的理论则会把实践引向歧途。方法论:坚持实践第一的观点,积极参加社会实践活动,在实践中检验和发展认识;重视正确认识、科学理论的指导作用;理论与实践相结合。 2真理是有条件的具体的 原理内容:真理都是有条件的,任何真理都有自己的适用条件和范围。真理都是具体的,相对于特定的过程来说的, 都是主观与客观、理论与实践的具体的历史的统一方法论:我们主观与客观、理论与实践要做到具体的历史的统一,做到与时俱进,开拓创新。在探索真理的过程中要正 确对待错误。

3原理:认识具有反复性,无限性和上升性;认识运动是一种波浪的前进或者螺旋的上升;真理在发展中不断超越 自身,追求真理是一个永无止境的过程。 方法论:与时俱进,开拓创新在实践中认识和发现真理,在实践中检验和发展真理。 4、真理和谬误的辩证关系: (1)区别:真理和谬误是对立的。真理是人们对事物及其规律的正确反映,谬误是人们对事物本来面目的歪曲反映; 二者泾渭分明,相互对立,有严格的界限,不能混淆。(2)联系:真理和谬误之间又具有统一的一面,表现在: ①真理和谬误相互依存、互为前提。真理是与谬误相比较而存在 的,没有谬误也就无所谓真理。 ②真理与谬误在一定条件下相互转化。 5原理:物质和意识的辩证关系 规律的客观性与发挥主观能动性的辩证关系 实践和认识的辩证关系 认识具有反复性无限性上升性 方法论:一切从实际出发、实事求是,理论联系实际,解放思想、与时俱进,在实践中检验和发展真理。 实事求是:P41

数据仓库模型的设计

2.5数据仓库模型的设计 数据仓库模型的设计大体上可以分为以下三个层面的设计151: .概念模型设计; .逻辑模型设计; .物理模型设计; 下面就从这三个层面分别介绍数据仓库模型的设计。 2.5.1概念模型设计 进行概念模型设计所要完成的工作是: <1>界定系统边界 <2>确定主要的主题域及其内容 概念模型设计的成果是,在原有的数据库的基础上建立了一个较为稳固的概念模型。因为数据仓库是对原有数据库系统中的数据进行集成和重组而形成的数据集合,所以数据仓库的概念模型设计,首先要对原有数据库系统加以分析理解,看在原有的数据库系统中“有什么”、“怎样组织的”和“如何分布的”等,然后再来考虑应当如何建立数据仓库系统的概念模型。一方面,通过原有的数据库的设计文档以及在数据字典中的数据库关系模式,可以对企业现有的数据库中的内容有一个完整而清晰的认识;另一方面,数据仓库的概念模型是面向企业全局建立的,它为集成来自各个面向应用的数据库的数据提供了统一的概念视图。 概念模型的设计是在较高的抽象层次上的设计,因此建立概念模型时不用考虑具体技术条件的限制。 1.界定系统的边界 数据仓库是面向决策分析的数据库,我们无法在数据仓库设计的最初就得到详细而明确的需求,但是一些基本的方向性的需求还是摆在了设计人员的面前: . 要做的决策类型有哪些? . 决策者感兴趣的是什么问题? . 这些问题需要什么样的信息? . 要得到这些信息需要包含原有数据库系统的哪些部分的数据? 这样,我们可以划定一个当前的大致的系统边界,集中精力进行最需要的部分的开发。因而,从某种意义上讲,界定系统边界的工作也可以看作是数据仓库系统设计的需求分析,因为它将决策者的数据分析的需求用系统边界的定义形式反映出来。 2,确定主要的主题域 在这一步中,要确定系统所包含的主题域,然后对每个主题域的内

本体论认识论方法论 演示文稿

本体论 本体论(Ontology),是探究世界的本原或基质的哲学理论。“本体论”一词是由17世纪的德国经院学者P·戈科列尼乌斯首先使用的。从广义说,它指一切实在的最终本性,这种本性需要通过认识论而得到认识,因而研究一切实在最终本性为本体论,研究如何认识则为认识论,这是以本体论与认识论相对称。从狭义说,则在广义的本体论中又有宇宙的起源与结构的研究和宇宙本性的研究之分,前者为宇宙论,后者为本体论,这是以本体论与宇宙论相对称。 认识论 本词条由“科普中国”科学百科词条编写与应用工作项目审核。 认识论(epistemology)即个体的知识观,也即个体对知识和知识获得所持有的信念,主要包括有关知识结构和知识本质的信念和有关知识来源和知识判断的信念,以及这些信念在个体知识建构和知识获得过程的调节和影响作用,长久

以来一直是哲学研究的核心问题。在心理学领域中对认识论所进行的研究相对较短,其最早可以追溯到皮亚杰 方法论 方法论,就是关于人们认识世界、改造世界的方法的理论。 它是人们用什么样的方式、方法来观察事物和处理问题。概括地说,世界观主要说明世界“是什么”的问题,方法论主要说明“怎么办”的问题。 方法论是一种以解决问题为目标的理论体系或系统,通常涉及对问题阶段、任务、工具、方法技巧的论述。方法论会对一系列具体的方法进行分析研究、系统总结并最终提出较为一般性的原则。 方法论也是一个哲学概念。人们关于“世界是什么、怎么样”的根本观点是世界观。用这种观点作指导去认识世界和改造世界,就成了方法论。方法论是普遍适用于各门具体社会科学并起指导作用的范畴、原则、理论、方法和手段的总和。历史唯物主义的著作中经常提到方法论这个概念。

第2章数学建模方法论.doc

第2章 数学建模方法论 不同的实际问题,建模的模式千差万别,各不相同,这与问题的性质、建模的目的以及建模者自身的数学基础知识和专长有关。然而,还是有一些普遍适用的思想方法与思维方式,本章将从方法论的角度介绍建模时通常会采用的一般方法。 2.1 概 论 数学建模首先在学习形式上与别的数学课程有很大的差别,它不像许多人想像的那样单靠一个人、一支笔、一张纸就可以解决问题,它经常表现为一种集体性质的活动,三、五个人甚至于更多的人组成一个团队,通过个人的智慧和与别人的合作来解决一个甚至一类实际问题。因此,培养良好的交流、合作和表达能力非常重要。对于个人来讲,在整个建模过程中,应该自始至终坚持做好记录,独自思考时随时记下好的想法。再次,在进行集体讨论时借助于文字进行交流,并记下讨论要点;工作中记下方法、计划、进程和结果,以辅助我们高效地进行交流以及作为论文写作的原始资料。另外,思考时养成记录的习惯可以帮助我们整理思路,并经常可以激发我们产生出新的、创造性的思想。 其次,数学建模在思考方法和思维方式上与学习其他数学课程有很大差别。这表现在数学建模过程是一种创新过程,它需要相当高程度的观察力、想像力以及一些灵感和顿悟。数学建模讲求创新,而我们同学最缺乏的就是创新思维,创新思维是创新能力的核心与灵魂,创新思维主要有类比思维、归纳思维、逆向思维、发散思维、猜测思维等等。下面介绍几种常用的思维方法。 2.1.1发散性思维方法 发散性思维是创新思维的重要组成部分,是发明创造的一个有力的武器。遇到问题(特别是难题)时最好不要有一点想法就一条路走下去,应把自己的思路尽量打开,去寻求更佳的方案。这里介绍两种方法:一种是借助于一系列问题来展开思路;另一种是借助于下意识的联想来展开思路。 第一种方法我们称之为提问题法。当你想到什么主意或者面临什么难题时,通过提出一系列问题来导出一些想法或一个好的方案。一些常用的问题如下: (1)这个问题和什么问题相类似? (2)假如变动问题的某些条件将会怎样? (3)将问题分解成若干部分再考虑会怎样? (4)重新组合又会怎样? 对问题已有初步的想法或解决方案时,为进一步打开思路还可提出以下问题: (5)我们还可以做些什么工作? (6)还有没有需要进一步完善的内容? (7)可否换一种数学工具来解决此问题? 另一种方法我们称之为关键词联想法。即抓住问题或方案的关键词,然后不受任何约束地浮想联翩,并把联想到的内容记在卡片上,再在这些卡片的激发下产生新的想法,进一步想出新的主意。经过这样一个过程后,把积攒的卡片相互搭配,形成解决问题的初步思路与步骤。 例1.A 、B 两个加油站位于同一公路旁,为在公路上行驶的汽车提供同一种汽油,彼此竞争激烈。一天,A 站推出降价销售,以吸引顾客,造成B 站的顾客被拉走。B 站决定也降价销售以拉回顾客。请你站在B 加油站的立场上为其提供决策支持。 不论是A 加油站还是B 加油站,不管他们采用什么手段,其主要目的还是为获得更多的利润。影响利润的主要因素有销售量和价格。对于B 加油站来讲,其决策需要考虑销售量和成本价格,而销售量又取决于销售价格,销售价格的确定需要考虑A 站的销售价格,B 站确定的新的销售价格以及其他加油站的销售价格。这些要素之间的关系如下: 2.1.2 从整体上把握问题的方法 价格 成本价格

认识论、方法论

壹、说明何谓本体论、认识论、方法论? 一本体论的内涵 本体论(Ontology)是在讨论被调查事物的本质(essence)。本体论研究了存 在的本体,究竟是一物?抑或二物或多物?这便产生了一与多的数量问题。故就本体 论的数量而言,一般上分为一元论(Monism),或称单元论(Singularism),二元论(Bualism)、多元论(Pluralism)。简称单元论与多元论。另外,本体论研究存在的本体,究竟为物质?抑或精神?这就产生了心与物的问题。故就本体的性质而言,一般 而言分为唯物论(Materialism)、唯心论(Spiritualism)。 1.单元论与多元论 单元论是英哲华德为避免一元论此名称和心物问题的一元论混淆,故另以单元论 一词来代替。单元论认为宇宙是一个基本原素演化而成,或以宇宙的本体是一个个体 的存在(One Individual Being)。其意味主张「唯一」与「不动」。而反对「多」与「变动」。而单元论的思维方法,多为演绎法的、辩证法。例如:柏拉图以至善的理念,为一绝对原理,理念属于「模型」,现象则是依此模型而被型塑出来的。 多元论的主张,例如莱布尼兹认为宇宙由单子(Monads)组织而成,这单子是无量数的。而原子论派(Atomists)Democritus认为宇宙万物由原子构成,这原子是无量数的,所以他亦是多元论者。多元论的思维方法多为归纳法的、经验的。 2.唯物论与唯心论 唯物论主张「物质」为唯一存在,此为构成宇宙的基本元素,宇宙根本为一物质的世界,可以离我思唯(心)而独立客观的存在。例如自然唯物论者费尔巴赫主张人身是物质的一部份,脑子是人身上的一部份,故脑子本身就是物质的一部份。而思维(心)附属于脑子,故物质不是精神(心)的产物,精神(心)才是物质的产物。 唯心论主张以精神或心灵为构成宇宙之基本原素。例如莱布尼兹认为宇宙由单子(Monads)组织而成,而单子的本质为心灵而非物质的,一切物质的东西,只能视为现象而不能视作实体,这些东西的基本实体,须求于众单子,其精神能力反映在万物,以全宇宙为心灵的范围,故称唯心论。 二认识论的内涵 认识论(Epistemology)在讨论什么可视为知识或事实(fact),即知识如何能 够成立,其性质为何,批判的与经验的知识分际何在,知识的验证标准为何等。(Harmon and Mayer, 1986: 287)一般把认识论所研究的范围分为下列四项: 1.知识起源问题-以理性主义、经验主义、批判主义三观点为例 理性主义(Rationalism)主张知识起源于理性,理性是先天的心灵能力;而经验 主义(Empircism)则主张一切知识的起源于经验,而经验则是后天的。经验主义者也认为知识起源于感觉,由我们的感官摄取物象而成。感觉获得经验和数据,加以反省组成了观念,便产生知识。批判主义(Criticism)则认为知识的起源和理性及经验都有关。例如康德认为知识之所成,必然有心灵以识物,是为「先天的」形式,也必然要外物供它作为摄取的对象,此为「后天的」材料,这调合理性主义与经验主义。 2.认识对象问题-以观念论、实在论的观点为例

数据仓库建模方法论 2018-3-29

数据仓库建模方法论 通过上一篇数据仓库建设的全局概览,我们认识了数据仓库,也明确了数据建模在仓库建设中的核心地位,数据仓库模型是整个大厦的基石,也是个难点。这么重要的环节就有必要单独拿出来详细说明一下。(本文的重点是维度建模)1什么是数据模型 数据模型是抽象描述现实世界的一种方法,是通过抽象的实体及实体之间的联系来表示现实世界中事务的相互关系的一种映射。 数据仓库模型是数据模型中针对特定的数据仓库应用系统的特定模型。由下图四部分内容组成: ●业务建模,主要解决业务层面的分解和程序化。 ●领域建模,主要对业务模型进行抽象处理,生成领域概念模型。 ●逻辑建模,主要将领域模型的概念实体以及实体之间的关系进行数据库层 次的逻辑化。 ●物理建模,主要解决逻辑模型针对不同关系型数据库的物理化以及性能等 一些具体的技术问题。

2数据仓库数据模型架构 数据仓库模型由五部分组成,如下图: 系统记录域:数据仓库业务数据存储区,模型保证了数据的一致性。(继续使用Oracle?) 内部管理域:也就是元数据模型的存储管理。(工具待定) 汇总域:系统记录域的汇总数据,数据模型保证的主题分析的性能,满足部分报表查询。 分析域:用于各个业务部分的具体的主题分析。也就是数据集市。 反馈域:针对前端反馈的数据,根据业务需求而定。 3数据模型的作用 ●进行全面的业务梳理,改进业务流程。 ●建立全方位的数据视角,打通信息孤岛,去除数据差异。 ●解决业务的变动,提高数据仓库灵活性。 ●帮助数据仓库系统本身的建设。

4如何创建数据仓库模型 4.1数据仓库建模四个阶段 4.1.1业务建模 ●划分整个企业的业务,一般按部门划分,进行各个部分之间业务工作 的界定,理清各业务部门之间的关系。 ●深入了解各业务部门工作流程的方法。 ●提出修改和改进业务部门工作流程的方法。 ●数据建模的范围界定,确定数据仓库项目的目标和阶段划分。 4.1.2领域概念建模 ●抽取关键业务概念,并抽象化。 ●将业务概念分组,按业务主线聚合类似的分组概念。 ●细化分组概述,理清分组概念内的精力流程并抽象化。 ●理清分组概念之间的关联,形成完整的领域概念模型。 4.1.3逻辑建模 业务概念实体化、事实实体化、说明实体化,并考虑其属性内容。 4.1.4物理建模 ●针对特定物理平台做出相应的技术调整 ●针对模型的性能考虑,结合特定平台做出相应调整

数据仓库建模详解和建模技巧

一、构建企业级数据仓库五步法 (一)、确定主题 即确定数据分析或前端展现的主题。例如:我们希望分析某年某月某一地区的啤酒销售情况,这就是一个主题。主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系,确定主题时要综合考虑。 我们可以形象的将一个主题想象为一颗星星:统计数值型数据(量度)存在于星星中间的事实表;分析角度(维度)是星星的各个角;我们将通过维度的组合,来考察量度。那么,“某年某月某一地区的啤酒销售情况”这样一个主题,就要求我们通过时间和地区两个维度的组合,来考察销售情况这个量度。从而,不同的主题来源于数据仓库中的不同子集,我们可以称之为数据集市。数据集市体现了数据仓库某一方面的信息,多个数据集市构成了数据仓库。 (二)、确定量度 在确定了主题以后,我们将考虑要分析的技术指标,诸如年销售额之类。它们一般为数值型数据。我们或者将该数据汇总,或者将该数据取次数、独立次数或取最大最小值等,这样的数据称为量度。 量度是要统计的指标,必须事先选择恰当,基于不同的量度可以进行复杂关键性能指标(KPI)等的设计和计算。

(三)、确定事实数据粒度 在确定了量度之后,我们要考虑到该量度的汇总情况和不同维度下量度的聚合情况。考虑到量度的聚合程度不同,我们将采用“最小粒度原则”,即将量度的粒度设置到最小。 例如:假设目前的数据最小记录到秒,即数据库中记录了每一秒的交易额。那么,如果我们可以确认,在将来的分析需求中,时间只需要精确到天就可以的话,我们就可以在ETL处理过程中,按天来汇总数据,此时,数据仓库中量度的粒度就是“天”;反过来,如果我们不能确认将来的分析需求在时间上是否需要精确到秒,那么,我们就需要遵循“最小粒度原则”,在数据仓库的事实表中保留每一秒的数据,以便日后对“秒”进行分析。 在采用“最小粒度原则”的同时,我们不必担心海量数据所带来的汇总分析效率问题,因为在后续建立多维分析模型(CUBE)的时候,我们会对数据提前进行汇总,从而保障产生分析结果的效率。关于建立多维分析模型(CUBE)的相关问题,我们将在下期栏目中予以阐述。 (四)、确定维度 维度是指分析的各个角度。例如我们希望按照时间,或者按照地区,或者按照产品进行分析,那么这里的时间、地区、产品就是相应的维度。基于不同的维度,我们可以看到各量度的汇总情况,也可以基于所有的维度进行交叉分析。

高中政治哲学原理归纳 -认识论

高二政治《生活与哲学》原理与方法论归纳整理 第二部分:辩证唯物主义认识论(包括实践观和真理观)(共3条原理) 一、实践和认识辩证关系原理【重点掌握】 1、〖原理内容〗 辩证唯物主义认识论认为,(1)实践是认识的基础(实践决定意识):实践是认识的唯一来源,实践是认识发展的动力,实践是检验认识的真理性的唯一标准,实践是认识的最终目的和归宿。 (2)认识对实践具有反作用。正确的认识对实践具有指导、促进作用。而不符合事实本质规律的错误认识,会把人们的实践活动引向歧途。 2、〖方法论〗:我们要坚持实践第一的观点,积极投身实践,在实践中检验和发展认识;还要重视认识的反作用,坚持理论和实践相结合的原则,做到理论和实践的具体的历史的统一。 3、〖反对〗:反对脱离实际的夸夸其谈;反对把人们的思想观点作为检验认识的标准;反对不以认识为指导的盲目的实践。 二、真理的条件性和具体性原理【重点掌握】 1、〖原理内容〗:真理是人们对客观事物及其规律的正确反映,但真理是具体的有条件的。任何真理都有自己适用的条件和范围,任何真理都是相对于特定的过程来说的,都是主观与客观、理论与实践的具体的历史的统一。 2、〖方法论〗:(1)真理的条件性和具体性要求我们,如果不顾过程的推移,不随着历史条件的变化而丰富、发展和完善真理,只是照搬过去的认识,或者超越历史条件,把适用于一定条件下的科学认识不切实际地运用于另一条件之中,真理都会转化为谬误。(2)真理的条件性和具体性表明,真理和谬误往往是相伴而行的。在人们探索真理的过程中,错误是难免的。犯错误并不可怕,可怕的是不能正确对待错误。 三、认识过程的反复性和无限性原理【重点掌握】 1、〖原理内容〗:认识具有反复性,由于受主客观条件的限制,人类追求真理的过程不是一帆风顺的,这就决定了人们对一个事物的正确认识往往要经过从实践到认识,再从认识到实践的多次反复才能完成。认识具有无限性,认识的对象是无限变化着的物质世界,作为认识的主体的人类是世代延续的,作为认识基础的社会实践是不断发展的,因此,人类的认识是无限发展的,追求真理是一个永无止境的过程。 2、〖方法论〗:要求我们与时俱进,开拓创新,在实践中认识和发展真理,在实践中检验和发展真理。 第 1 页共1 页

辩证唯物论、认识论原理及方法论

辩证唯物论、认识论原理及方法论 一、世界物质统一性原理及方法论 1.【原理】: 自然界是物质的,人类社会是物质的. 世界是物质的世界,世界的真正统一性在于它的物质性. 2.【方法论】: 这一原理要求我们坚持一切从实际出发,实事求是,使主观符合客观. 二、一切从实际出发,实事求是 (1)是什么 我们做事情要物质运动的客观规律,从客观存在的事物出发,经过调查研究,找出事物本身固有的而不是臆造的规律性,作为我们行动的依据. (2)为什么 ①世界的物质统一性原理. 世界是物质的世界,世界的真正统一性在于它的物质性. ②物质与意识的辩证关系. 物质决定意识,意识对物质具有能动作用. ③规律的客观性和普遍性原理. (3)怎么办 ①坚持一切从实际出发,实事求是. 要尊重物质运动的客观规律,从客观存在的事物出发,经过调查研究,找出事物本身固有的而不是臆造的规律性,作为我们行动的依据. ②一切从实际出发,实事求是,要求我们充分发挥主观能动性,不断解放思想,与时俱进,以求真务实的精神探求事物的本质和规律,用科学的理论武装头脑、指导实践. ③坚持一切从实际出发,实事求是,要求我们把发挥主观能动性和尊重客观规律结合起来,把高度的革命热情同严谨的科学态度结合起来. 既要反对夸大意识能动作用的唯意志主义,又要反对片面强调客观条件,安于现状,因循守旧,无所作为的思想. 三、意识的能动作原理及方法论 1.【原理】意识具有能动性 (1)意识是对物质能动的反映(认识世界). 意识活动具有目的性,意识活动具有自觉选择性和主动创造性. 因此,意识不仅能反映事物的外部现象,而且能把握事物的本质和规律. (2)意识对物质具有能动的反作用(改造世界). ①意识对改造客观世界具有指导作用. 正确的意识促进事物的发展,使人们的实践活动获得成功. 错误的意识阻碍事物的发展,使人们的实践活动遭到失败. ②意识对于人体的生理活动具有调节和控制作用. 高昂的精神,可以催人向上,使人奋进: 萎靡的精神,则会使人悲观、消沉,丧失斗志. (强调精神力量)2.【方法论】要求我们一定要重视意识的作用,重视精神的力量,自觉地树立正确的思想意识,克服错误的思想意识. 四、物质和意识的辩证关系原理及方法论 1.【原理】物质决定意识,意识是物质的反映,意识对物质具有能动作用. 2.【方法论】一方面要坚持一切从物质出发,实事求是;另一方面,要重视意识的作用,重视精神的力量,自觉地树立正确的思想意识,克服错误的思想意识. 五、规律的客观性和普遍性原理及方法论 1.【原理】规律是事物运动过程中固有的本质的、必然的、稳定的联系. 规律是客观的,是不以人的意识为转移的,他既不能被创造,也不能被消灭. 规律是普遍的,自然界、人类社会和人的思维,在其运动、变化和发展的过程中,都遵循其固有的规律. 2.【方法论】①规律的客观性和普遍性要求我们必须尊重规律,按客观规律办事,而不能违背规律. 一旦违背规律,必然受到规律的惩罚. ②在客观规律面前,人并不无能为力的. 人可以在认识和把握规律的基础上,根据规律发生作用的条件和形式利用规律,改造客观世界,造福人类.

数据仓库建模

背景介绍 熟悉社保行业的读者可以知道,目前我们国家的社保主要分为养老,失业,工伤,生育,医疗保险和劳动力市场这6 大块主要业务领域。在这6 大业务领域中,目前的状况养老和事业的系统已经基本完善,已经有一部分数据开始联网检测。而,对于工伤,生育,医疗和劳动力市场这一块业务,有些地方发展的比较成熟,而有些地方还不够成熟。 1.业务建模阶段 基于以上的背景介绍,我们在业务建模阶段,就很容易来划分相应的业务。因此,在业务建模阶段,我们基本上确定我们本次数据仓库建设的目标,建设的方法,以及长远规划等。如下图: 图8. 业务建模阶段 在这里,我们将整个业务很清楚地划分成了几个大的业务主线,例如:养老,失业,工伤,生育,医疗,劳动力等着几个大的部分,然后我们可以根据这些大的模块,在每个业务主线内,考虑具体的业务主线内需要分析的业务主题。 因此,业务建模阶段其实是一次和业务人员梳理业务的过程,在这个过程中,不仅能帮助我们技术人员更好的理解业务,另一方面,也能够发现业务流程中的一些不合理的环节,加以改善和改进。 同时,业务建模阶段的另一个重要工作就是确定我们数据建模的范围,例如:在某些数据准备不够充分的业务模块内,我们可以考虑先不建设相应的数据模型。等到条件充分成熟的情况下,我们可以再来考虑数据建模的问题。 2.领域概念建模阶段领域概念建模阶段是数据仓库数据建模的一个重要阶段,由于我们在业务建模阶段已经完全理清相应的业务范围和流程,因此,我们在这个领域概念建模阶段的最主要的工作就是进行概念的抽象,整个领域概念建模的工作层次如下图所示:

图9. 领域概念建模阶段 从上图我们可以清楚地看到,领域概念建模就是运用了实体建模法,从纷繁的业务表象背后通过实体建模法,抽象出实体,事件,说明等抽象的实体,从而找出业务表象后抽象实体间的相互的关联性,保证了我们数据仓库数据按照数据模型所能达到的一致性和关联性。 从图上看,我们可以把整个抽象过程分为四个层次,分别为: ?抽象方法层,整个数据模型的核心方法,领域概念建模的实体的划分通过这种抽象方法来实现。 ?领域概念层,这是我们整个数据模型的核心部分,因为不同程度的抽象方法,决定了我们领域概念的不同。例如:在这里,我们可以使用“参与方”这个概念,同时,你也可以把他分成三个概念:“个人”,“公司”,和“经办机构”这三个概念。而我们在构建自己的模型的时候,可以参考业务的状况以及我们自己模型的需要,选择抽象程度高的概念或者是抽象程度低的概念。相对来说,抽象程度高的概念,理解起来较为复杂,需要专业的建模专家才能理解,而抽象程度低的概念,较适合于一般业务人员的理解,使用起来比较方便。笔者在这里建议读者可以选用抽象概念较低的实体,以方便业务人员和技术人员之间的交流和沟通。 ?具体业务层,主要是解决具体的业务问题,从这张图我们可以看出,具体的业务层,其实只是领域概念模型中实体之间的一些不同组合而已。因此,完整的数据仓库的数据模型应该能够相应灵活多变的前端业务的需求,而其本身的模型架构具有很强的灵活性。这也是数据仓库模型所具备的功能之一。 ?业务主线层,这个层次主要划分大的业务领域,一般在业务建模阶段即已经完成这方面的划分。 我们一般通过这种大的业务主线来划分整个业务模型大的框架。 通过领域概念建模,数据仓库的模型已经被抽象成一个个的实体,模型的框架已经搭建完毕,下面的工作就是给这些框架注入有效的肌体。

论西方哲学认识论的转向和科学方法论的演变

论西方哲学认识论的转向和科学方法论的演变17世纪的哲学家和科学家们对一切权威——无论是古代的权威还是中世纪的权威——都充满了强烈的理性批判意识。17世纪的时代特征就是怀疑精神和经验方法,普遍的怀疑精神是那个时代几乎所有哲学家和科学家的基本原则。 正式标志近代哲学的诞生亦即西方哲学的认识论转型就是从那个时代的弗兰西斯·培根和笛卡尔那里开始的。培根代表着实验科学的哲学,笛卡尔代表着自我意识的哲学,从培根和笛卡尔开始,哲学才把重心转移到认识论问题上。认识论问题说到底就是思维与存在的关系问题,就是主观精神如何实现对客观世界的认识问题,因此17—18世纪西欧哲学的主要兴趣就表现为对认识的来源、过程及其真理性等问题的探讨。最终竟形成了经验论哲学和唯理论哲学的尖锐对立,无论是经验论还是唯理论,其初衷都是试图说明思维与存在的关系问题,尤其是试图建立起思维与存在的同一性。 科学方法论是关于科学的一般研究方法的理论,探索方法的一般结构,阐述它们的发展趋势和方向,以及科学研究中各种方法的相互关系问题。 科学方法论有广义狭义之分。狭义的仅指自然科学方法论即研究自然科学中的一般方法,如观察法、实验法、数学方法等。广义的则指所有正确的方法论,即科学的方法论。20世纪随着自然科学的发展出现了许多新方法,如控制论方法、信息方法、系统方法等,促进了方法论研究的高度发展。 科学方法论愈来愈显示出它在科学认识中确立新的研究方向、探索各部门的新生长点、提示科学思维的基本原理和形式的作用。唯物辩证法是从人类的实践中总结和概括出来的正确的哲学方法,是科学研究的普遍的方法论。它对自然科学的一般研究方法起指导作用,并将随着科学实践的发展而发展。 科学方法论的历史形态,从科学发展的整个历史来看,有4种形态:自然哲学方法论、哲学方法论、逻辑方法论和理论方法论。 笛卡尔认为,当我怀疑一切事物的存在时,我却不用怀疑我本身的思想,因为此时我唯一可以确定的事就是我自己思想的存在。我无法否认自己的存在,因为当我否认、怀疑时,我就已经存在,所以否认自己的存在是自相矛盾的。而否认和怀疑是一种思考活动。 笛卡尔认为,我可以怀疑一切,但当我在怀疑一切时,我不能怀疑那个正在怀疑着的“我”的存在,这是清楚明白因而也是确实可靠的事实。怀疑总是一种

数据仓库模型建设规范1.0

数据仓库模型建设规范 1.概述 数据仓库不同于日常的信息系统开发,除了遵循其他系统开发的需求、分析、设计、测试等通常的软件生命周期之外,它还涉及到企业信息数据的集成,大容量数据的阶段处理和分层存储,数据仓库的模式选择等等,因此数据仓库的模型设计异常重要,这也是关系到数据仓库项目成败的关键。 物理模型就像大厦的基础架构,就是通用的业界标准,无论是一座摩天大厦也好,还是茅草房也好,在架构师的眼里,他只是一所建筑,地基—层层建筑—封顶,这样的工序一样也不能少,关系到住户的安全,房屋的建筑质量也必须得以保证,唯一的区别是建筑的材料,地基是采用钢筋水泥还是石头,墙壁采用木质还是钢筋水泥或是砖头;当然材料和建筑细节还是会有区别的,视用户给出的成本而定;还有不可忽视的一点是,数据仓库的数据从几百GB到几十TB不等,即使支撑这些数据的RDBMS无论有多么强大,仍不可避免地要考虑数据库的物理设计。 数据仓库建模的设计目标是模型的稳定性、自适应性和可扩展性。为了做到这一点,必须坚持建模的相对独立性、业界先进性原则。 2.数聚模型架构 在数聚项目实施过程,我们一般将数据仓库系统的数据划分为如下图所示几个层次。

2.1.数据架构图

2.2.架构工作方法规范

2.3.准备层L0 2.3.1.主要数据结构 临时表:从数据源抽取,直接落地到临时表。临时表总是保存这次抽取的数据,不保留历史数据。也就是说,如果是全量抽取的话,就是源系统整个表的数据,如果 是增量抽取的话,就是自从上次修改后的数据。 接口表:从临时表,经过清洗、转换到达接口表。接口表保存历史数据,也就是说,如果是全量抽取的话,就是源系统整个表的数据,如果是增量抽取的话。 接口表里面也是源系统整个表的数据。 转换表:为了进行清洗和转换建立的中间辅助表。 2.3.2.命名规范 临时表:L0_TMP_源系统_具体业务或 L0_TMP_业务主题_具体业务(对单一源)举例:L0_TMP_POS_SALESORDER 接口表:L0_DCI_业务主题_具体业务表 举例:L0_DCI_SALES_SALESORDER 转换表:L0_MAP_具体业务表 举例:L0_MAP_SALES 2.3.3.开发工作 ●开发数据抽取接口,落地TMP区 ●开发数据清洗转换程序,落地DCI区,多源系统进行合并 ●开发数据装载程序,装载到L1层 2.4.原子层L1 2.4.1.主要数据结构 维度表:整个数据仓库一致的维度 代码表:维度属性,非维度代码等。 原子事实表:根据业务主题,形成原子事实表 汇总事实表:根据分析主题,业务主题形成合并或汇总的事实表。

银行数据仓库构建的方法论

银行数据仓库构建的方法论 中国农业发展银行李小庆 (专注、专业、专长。作者为金融信息化专家,管理学博士) 银行数据仓库是用于决策支持的、面向主题的、集成的、稳定的和随时间变化的数据集合,它的目标是辅助决策,因此其历史的、概括的数据比详细的、个别的记录更重要。由于数据仓库中的数据是集成化的数据,它可能来自多个(异种)操作数据库,可能跨越较长的时间周期,它比操作数据库大几个数量级。一般而言,企业级的数据仓库其数据量可达几TB至几十TB之间,工作负荷主要是查询和分析。通常,复杂的查询可以访问几百万条记录,执行许多的扫描、连接和聚合操作,在这里查询吞吐量和响应时间比事务吞吐量更重要。 目前,各家银行已就相关业务建立了数据仓库,并初步取得了应用效果。但是,当前数据仓库都是根据具体业务分类进行建设,只能实现业务范围内的单目标决策,为了实现综合目标决策支持,就需要将不同类型数据仓库中的数据再次集成起来,并对其进行存储、管理和维护。因此,本文提出银行数据仓库的概念,通过建立全行综合性的数据仓库,采用分析软件或挖掘工具进行分析和挖掘,实施多目标决策。也就是说综合银行现有的货币经营数据仓库、信贷业务数据仓库、银行卡数据仓库、人事数据仓库等数据仓库的进行再次整合,建立一个面向主题的、集成的、综合的和持久的数据集合,在此基础上进行多维分析和数据挖掘,为银行的业务进行综合分析和战略决策提供有力的数据平台。 一、数据仓库模型和创建过程描述 尽管数据仓库是面向主题的,并为分析需求保存了许多综合数据,但对各类银行业务分类建立数据仓库,因此建立面向所有主要业务和内部管理流程、具有综合性特征的数据仓库,成为当前银行创新业务品种、提高服务质量的实际需求。数据仓库分析和决策目标众多,相关需求千变万化,数据仓库的主题面临不断增加、完善和调整,同时随着数据的不断加载,数据仓库会越来越庞大。如果仅仅基于单一层次建立数据仓库,将使系统的性能低下,因此,在实际应用中应建立分层的数据仓库体系化结构。根据管理层次的需求,数据仓库体系化结构环境可分为三个层级:基础层级、部门层级和高级管理层级的数据仓库。 基础层级数据仓库中存放的是一些细节性的操作型数据,服务于高性能的偏向事务类的分析和全行统计类的分析。部门层级数据仓库中一般仅包括某类业务的全部导出数据,用于部门决策类分析。而高级管理层级的数据仓库的数据都是综合粒度的,用于银行高管人员启发式分析。数据仓库的体系化结构环境能较好地与银行的“高-中-低”形式的组织结构相对应。如普通OLAP分析人员主要应用基础层级数据仓库,进行日常业务分析处理和统计;中层管理主要应用部门层级数据仓库,它既包括一般业务处理,又可进行定量分析,做出一般决策和控制;高层管理应用高级管理层级数据仓库,主要任务是进行战略决策,需要进行复杂的分析加工。 由于当前各个厂商提供的数据仓库解决方案从系统架构到具体硬件软件功能划分都或多或少的存在差异,所以相对应的在数据仓库项目的分析、开发和实施过程中遵从的方法论也不尽相同。建立银行数据仓库是一项系统工程,需要组织各方面的资源,协调各方面的关系。可扩展数据仓库建设方法论的三个阶段主要包括:统一规划,设计和实施,评估和提高三个阶段,如下图所示。

认识论原理与方法论总结

认识论原理与方法论总结 一、实践和认识的辩证关系 (1)〖原理内容〗1、实践是认识的基础(实践决定意识):实践是认识的唯一来源,实践是认识发展的动力,实践是检验认识的真理性的唯一标准,实践是认识的目的和归宿。 2、认识对实践具有反作用。真理是人们对客观事物及其规律的正确反映,真理能指导人们提出实践活动的正确方案,因而对于人们的实践活动有巨大的推动作用。 (2)〖方法论〗:要求我们首先要坚持实践第一的观点,还要坚持理论和实践相结合的原则,做到理论和实践的具体的历史的统一。 二、真理的条件性和具体性 (1)〖原理内容〗:真理是人们对客观事物及其规律的正确反映,但真理是具体的有条件的。任何真理都有自己适用的条件和范围,任何真理都是相对于特定的过程来说的,都是主观与客观、理论与实践的具体的历史的统一。 (2)〖方法论〗:(1)真理的条件性和具体性要求我们,如果不顾过程的推移,不随着历史条件的变化而丰富、发展和完善真理,只是照搬过去的认识,或者超越历史条件,把适用于一定条件下的科学认识不切实际地运用于另一条件之中,真理都会转化为谬误。(2)真理的条件性和具体性表明,真理和谬误往往是相伴而行的。在人们探索真理的过程中,错误是难免的。犯错误并不可怕,可怕的是不能正确对待错误。 三、真理的反复性和无限性 (1)〖原理内容〗:认识具有反复性,由于受主客观条件的限制,人类追求真理的过程不是一帆风顺的,这就决定了人们对一个事物的正确认识往往要经过从实践到认识,再从认识到实践的多次反复才能完成。认识具有无限性,认识的对象是无限变化着的物质世界,作为认识的主体的人类是世代延续的,作为认识基础的社会实践是不断发展的,因此,人类的认识是无限发展的,追求真理是一个永无止境的过程。 (2)〖方法论〗:真理的反复性和无限性要求我们要与时俱进,开拓创新,在实践中认识和发展真理,在实践中检验和发展真理。

哲学认识论知识体系

第六课求索真理的历程 (辩证唯物主义认识论,包括实践观、认识观和真理观) 1.实践含义:实践是人们改造客观世界的一切物质性活动。它有两层基本含义:第一,实践是以人为主体(人类所特有)、以客观事物为对象的物质性活动.第二,实践是一种直接现实性活动,它可以把人们头脑中的观念的存在变为现实的存在。 2.实践的特点: 客观物质性①构成实践的基本要素(实践的主体、手段和对象)是客观的; ②实践活动的过程及其结果也受到客观事物及其运动规律的制约,因而也具有客观性。 能动性①实践是一种有目的、有意识的活动; ②实践一种改造世界的活动: A.在改造自然的实践中,创造出自然中原来没有的新的物质生活资料; B.在改造社会过程中,创造出新的社会结构和社会关系。 社会历史性(社会性:处在社会关系中的人的活动,集体协作完成;历史性:历史发展,每个阶段不一样)。 3. 基本实践活动:(1)改造自然界的生产实践 ①生产实践,即物质资料的生产活动,这是人类最基本的实践活动,决定其他一切活动。 ②是人类赖以生存和发展的物质基础。 (2)变革社会的实践 ①表现为革命、改革、国家方针政策的制定、法律制度的建设和实施等; ②阶级社会中,变革社会关系的实践主要表现为阶级斗争。 (3)探索世界规律的科学实验活动 4.实践是认识的基础。 (1)实践是认识的来源。(认识是主体对客体的能动反映,这种反映只有在实践中才能实现。实践是认识唯一的来源。途径分为直接经验和间接经验,但是最终来源只有一个那就是实践。) (2)实践是认识发展的动力。(认识产生于实践的需要,实践不断产生新问题,提出新要求,推动人们进行新的探索。实践的发展为人们提供了日益完备的认识工具。实践锻炼和提高了人的认识能力。) (3)实践是检验认识真理性的唯一标准。(检验了…是正确的;论证了…是正确的道路。) (4)实践是认识的目的。(认识本身不是目的,改造世界才是认识的目的。) 认识的根本任务:从感性认识上升到理性认识,透过现象抓住本质。 认识的目的:指导实践改造世界。 5.真理及属性 (1)真理是标志主观同客观相符合的哲学范畴,是人们对客观事物及其规律的正确反映。 (2)最基本的属性是客观性。真理面前人人平等(认识的主体差异性。由于人们的立场、观点和方法不同,每个人的知识结构、认识能力和水平不同),对同一个确定的对象会产生不同的认识,但是,其中只能有一种正确的认识,真理只有一个。 (3)真理是有条件的,任何真理都有自己适用的条件和范围。真理是具体的,任何真理都是相对于特定的过程来说的,都是主观与客观、理论与实践的具体的历史的统一。(不可以说反了)。 真理和谬误往往是相伴而行的.真理与谬误有严格的界限。 6. 追求真理是一个过程(1)认识具有反复性。人们对一个事物的正确认识往往要经过从实践到认识,再从认识到实践的多次反复才能完成。(认识的反复性:主体角度,人们对客观事物的认识总要受到具体的实践水平的限制,总要受到不同的立场、观点、方法、知识水平、思维能力、生理素质等条件的限制;客体角度,客观事物是复杂的、变化着的,本质的暴露和展现也有一个过程) (2)认识具有无限性,人类认识是无限发展的。认识对象客观世界无限变化;认识主体人类时代延续;认识基础社会实践不断发展。)追求真理的过程是一种波浪式的前进或螺旋式的上升 方法论:坚持在实践中不断追求真理。与时俱进,开拓创新,在实践中认识和发展真理,在实践中检验和发展真理,是我们不懈的追求和永恒的使命。 (注意:已经确定的真理并没有被推翻,而是不断被超越、向前发展。不可以说追求真理永无定论、或圆圈

相关文档
最新文档