南宫28中国人民大学数据同享中心演进之路日期:2021-07-30 06:10:54 浏览次数:46 分类:负载均衡 来源:南宫28登录入口 作者:ng28南宫娱乐官网 |
||
跟着信息化建造的深化,数据越来越成为校园的重要资源,为了完成对数据资源的有用办理和同享,不同校园采取了不同的架构和办法。
本文结合实践情况,剖析和研讨各种数据库架构和数据同享办法的优缺点,给出一种可在同享便利性、体系耦合度、数据实时性、运维作业量、单点毛病方面都一起统筹的数据同享中心体系的建造思路。
如下图所示,高校事务体系进行数据同享时,首要的三种办法,ETL办法、数据视图办法及WebService接口办法。
ETL的完成一般需求凭借一些ETL东西,比方Kettle、OracleODI等。选用ETL办法的高校,体系一般由各个事务部门自己建造,体系建造比较涣散,各个体系有自己独立的数据库服务器。
通过编写视图查询逻辑,能够自界说数据的呈现字段和格局,也能够对拜访视图的数据库用户进行权限办理。
选用数据视图办法的高校,一般在建造体系时进行了一致规划,建造了一个包括各个事务的一致归纳体系,数据库一般在一台服务器上。数据视图同享办法一般存在于选用一致数据架构的高校。
用户能够通过任何支撑网络接口的编程言语,编写程序调用服务端的WebService接口,获取数据。现在,首要有两种WebService技能,别离是依据SOAP协议的和依据Restful风格的。
选用WebService同享的高校,一般体系建造也相对涣散,数据库涣散在独立的服务器上,进行数据同享支撑的技能部门或公司技能实力相对较强。
ETL、数据视图和WebService是高校信息体系间进行数据同享的首要方法。三种办法各有特色。比方:
数据视图和WebService都能够做到数据的实时查询,源端事务体系数据产生改变,运用端体系立刻能查询到改变。
WebService耦合度中等,由于运用端需求调用源端的接口,假如源端体系服务不正常,可能会构成接口调用失利,从而影响运用端体系。
数据视图办法耦合度较高,由于运用端体系读取的数据,直接来自于源端体系的表,假如源端体系的表结构或许视图结构产生改变,可能会构成视图过错,从而导致运用端体系读取数据过错。
美国办理信息体系专家诺兰通过研讨提出了信息体系进化的诺兰阶段模型。诺兰模型分为初始阶段、扩展阶段、操控阶段、数据办理阶段和成熟阶段,高校信息化的建造也大致遵从诺兰模型。
如上图所示,在高校信息化建造的不同阶段,由于不同的建造需求、问题和特色,使得数据同享架构也随之演化,同享架构的演化进程依照数据同享架构的特色分成了涣散结构阶段、网状同享架构阶段、星状同享架构阶段。
计算机刚刚进入高校,只作为办公设备运用,这个阶段各个事务部门都还没有自己的信息体系,数据同享也就无从谈起。
运用信息体系进步办理和服务功率,成为咱们的一致,高校信息化的首要需求是建造信息体系,完成事务的体系化。
可是这个阶段缺少一致的规划和规划,各个事务部门都是从本部门的视点动身,建造各自的事务体系,事务体系间的数据库都是独立的,架构上是涣散的,没有完成技能上的数据同享,呈现出一个个信息孤岛。这个阶段的数据同享架构呈现涣散结构。
高校各个事务部门根本都完成了体系化,运用体系的手法替代了曩昔手艺的办理和服务方法,信息化的需求也逐步演变为怎么进步不同体系间的数据同享程度,完成跨体系的事务协同。
一种计划是在现有的涣散结构上,运用几种根本的数据同享办法,打通体系数据,完成技能上的数据同享;
别的一种计划是把事务体系数据库都会集到一个一致的数据库里,或许推翻曾经涣散树立的体系,一致建造一个包括绝大多数事务的大渠道,然后把大渠道的数据放到一致的数据库里。
这个阶段高校数据同享建造的特色是体系间完成了数据同享,能完成跨部门体系的事务协同,办理和服务功率得到进步。
首要问题是由于对数据同享自身的建造缺少规划和规划,构成了数据同享呈现网状结构,构成体系间的耦合度十分高,假如某个事务体系进行修正或许重建,会对其他体系构成影响。这个阶段的数据同享架构呈现网状架构特色。
数据成为校园的重要财物,体系的事务功用重构和晋级改构成为常态,这个阶段信息化建造在数据同享层面的需求变成了怎么有用办理和同享数据,怎么下降体系间的耦合度。
各个高校数据同享的建造遍及选用星状化架构进行体系间的解耦,建造数据办理和同享渠道,进行数据的办理和同享。星状化的架构使得事务体系只和同享数据库产生耦合,体系间的耦合联系被打散。
数据库涣散的高校,通过建造一个独自的同享数据库,一切同享数据通过同享数据库进行同享,化网状结构为星状结构。数据在一致库里的高校,也在一致库里,通过建造同享的数据拜访区完成星状结构。这个阶段数据同享呈现星状同享特色。
涣散架构没有单点毛病,可是运维压力比较大,需求保护多个体系数据库;一致架构只需求保护一个数据库,运维压力小,可是容易产生单点毛病。
当时阶段,作为信息体系底座的数据库的安稳作业已经是高校作业正常作业的必要条件,一起高校信息技能部门承当的使命也越来越重,怎么在保证数据库安稳性的一起,下降信息技能人员的运维作业量也是需求考虑的问题。
本文依据实践经验,提出了主备架构+一致数据库+星状同享的方法,能够一起处理运维压力和单点毛病问题。运用数据库的主备架构消除了单一数据库的单点毛病问题,进步数据库的可用性,一致数据库的方法又保留了运维压力小的长处。
上图列出了几种同享架构各自的特色,从图中咱们能够看出,主备+一致数据库+星状的数据同享架构在各方面的长处都比较突出。
跟着数据同享建造的深化,体系间都通过各种办法(WebService、视图等)树立了同享,可是由于缺少办理机制和东西,这些数据同享如同在一个灰箱里,跟着时间推移,没有人知道谁创立了它们,没有人知道它们可不能够删去。
由于体系间的数据同享越来越多,各个体系间存在许多的耦合联系,千丝万缕,校园的各种信息体系就像被一张暗网缠住,牵一发而动全身。
曩昔数据同享流程,没有规范化、流程化的办理,一般便是口头沟通,纸本信件的大略描绘,整个数据同享的进程就像笼罩在一层白雾之中,含糊而不明晰。
数据同享的这四方面问题能够形象地归结为接口灰箱、人力黑洞、体系暗网和进程白雾。处理这些问题是数据同享中心渠道体系建造需求完成的首要方针。
为了保证数据安全,咱们将整个校园的网络区分为了校园网、服务器子网和数据库子网,三个网络之间是彼此阻隔的。
校园网用户拜访事务体系需求通过F5负载均衡设备,事务体系服务器需求拜访数据库,需求装备有数据库子网的网卡才干进行拜访,数据库子网不直接面向校园网环境。
数据库的布置上面选用两台Oracle公司的ODA数据库一体机,别离作为主库和备库。主库和备库别离布置在不同的机房里,完成异地灾备,二者之间选用ADG技能完成数据的实时同步。当主库产生毛病时,能够把对数据库的拜访切换到备库,完成毛病搬运,保证校园事务不间断。
规范数据子集参阅教育部高等校园办理信息规范,分为学生、教职工、教育、科研、财物等13个子集,每个子集包括若干张和本子集事务相关的信息表;
通过建造数据同享中心渠道体系,以可视化的办法供给各种数据同享办理功用,处理了高校数据同享办理上的灰箱问题。
在数据同享流程上,建造一个包括数据请求,数据批阅,同享生成的全进程的体系化办理机制,完成对数据同享进程的流程化办理,处理数据同享作业中的进程白雾问题。
在接口创立上,支撑自动化的生成视图接口或许WebService接口,把高校信息中心教师从重复性的劳作中解放出来,释放了人力资源,处理数据同享作业中的人力黑洞问题。
规范层是提取和保存规范数据的当地,由于事务体系的数据是在同一个数据库实例下,能够运用数据视图,依照数据规范的界说创立规范视图,用视图的方法呈现规范数据。
同享层首要用来创立同享视图,一切的数据同享都要通过同享层,使得数据同享呈现星状化特色,数据运用端体系只依赖于数据同享层,数据源体系的变化不会直接影响数据运用端体系,完成了体系间的解耦,从而处理了数据同享作业的体系暗网问题。
起先优势很明显,在数据同享方面,数据都在一个数据库里,不同的体系通过建造视图的办法,能很快进行数据同享,并且依据视图的数据同享都是实时的;在运维层面,信息中心能够对数据进行一致的保护和办理,各部门只需求专心自己的事务,而不用为体系装备专门的数据库办理人员,节省了人力资源。
可是跟着信息化建造的深化,旧的体系不能满意校园办理和服务事务的需求,各部门从头规划建造自己的体系。
由于缺少办理和规划,前期数据同享作业构成了许多网状化的同享视图,体系重建时,它对外同享了哪些数据,获取了哪些数据,都处于灰箱状况,技能部门在解耦网状化同享视图的作业上,投入了许多的精力,尽管如此,仍是产生了屡次由于体系重建和晋级构成数据同享的犯错事情。
一起前期的一致数据库,没有运用主备架构,数据库每次运维调整或呈现问题需求停机时,都会影响全校的信息体系作业,给各部门和师生构成了许多不方便,信息中心面对很大压力。
为了处理上述的问题,中国人民大学在架构上选用了上文提出的主备+一致数据库+星状的数据同享架构。
在硬件层面,引入了数据库的主备架构,把主库和备库涣散到两个物理上不同的机房,假如主库呈现问题,随时能够切换到备库承载事务,进步了体系的可用性。主备架构上线至今,从未呈现因数据库问题构成全校事务体系停摆的严峻事情。
在软件层面,信息中心规划建造了专门的数据同享中心渠道,完成数据同享的体系化办理、数据同享的自动化生成和数据同享的星状化结构,处理了数据同享中存在的四方面问题。
一起数据同享中心渠道中还规划建造了数据规范办理功用,树立了中国人民大学数据规范,运用体系化的办法对数据规范进行办理,在一致数据库下对规范数据的集成也创新地提出了依据规范视图的数据集成办法。
关于集成的规范数据,数据同享中心渠道还配有专门的数据质量东西,对数据进行数据质量监测,通过把数据质量陈述供给到事务部门,构成数据质量改进闭环,不断进步数据同享中心渠道中规范数据的质量。
本文通过研讨高校数据同享几种根本办法的优缺点,以及高校数据同享架构的演化进程和存在的问题,结合中国人民大学的实践情况,提出了一种数据同享中心渠道的建造思路。通过笔者地点高校的实践证明,本文提出的一致数据库下的高校数据同享中心建造思路具有实践的可行性。
南宫28