|
IBM DB2 数据仓库中的应用方案
IBM DB2 Information Integrator 及其先前的产品 —— IBM DB2 DataJoiner 和 IBM DB2 Relational Connect 支持 IBM 的信息集成观。 DB2 Information Integrator 提供 EII 功能,允许访问和查询多种分布式数据的集成化视图。通常,数据以多种格式驻留在多个数据库中.
以下例子阐明了在通常数据仓库条件下,如何使用 DB2 Information Integrator 合并三种架构模式。
1. 通过数据仓库获取最新帐户信息
试想在银行或其它金融机构的一个呼叫中心。代理人可通过数据仓库基础架构访问关于客户的大量信息。这样的信息可能包括一段时间的交易详细信息, 以及显示动作趋势、市场机遇等的汇总或衍生的信息。在这种情况下,在数据仓库中最新的可用信息是昨天业务结束时的信息。而且,大多数趋势和市场信息每月仅更新一次, 所以,信息可能过时了几个星期。
在这种环境下,很明显代理人将不能轻易地向客户提供当天交易的信息。此外,代理人会发现很难将客户呼叫作为潜在的销售机会,因为缺乏对呼入客户的实时信息, 该客户可能刚刚执行了一桩在线银行交易。如果银行仅使用传统的数据仓库架构,第一个问题的解决将涉及到以几近实时模式运行 ETL 流程, 而第二个问题将导致在数据仓库中存储大量额外数据,其中仅有很小一部分会在特定客户呼入时用到。
DB2 Information Integrator 能够解决这些问题。DB2 Information Integrator 提供联合数据查询功能从而允许对 DB2 和其它关系和非关系数据库中客户最新数据的直接访问。 当客户因为与当天交易相关的问题而打电话求助时,代理人可以运行简单的 SQL 查询(“简单”是从代理人的角度来看),此查询将数据仓库中的汇总客户信息与分支系统、 ATM 和 Internet 银行渠道中的当天相关交易相连接。在这个连接中,DB2 Information Integrator 将数据仓库中汇总的客户号码与底层运作系统中的潜在的不同客户号码进行对应, 向每个系统提交相对简单的查询,并最终对结果集合进行连接,提供给代理人。与将 ETL 系统升级到几近实时相比较,这很可能是更简单、成本更低的一种方案。
当考虑向因其它原因打电话进来的客户进行营销时,DB2 Information Integrator 也可帮助客户作出更明智的选择。在这里,数据仓库中的趋势或机会数据与实时指标相结合, 如来自运作系统的帐户余额或近期主要交易。不必在数据仓库中存储那些也许永远不会用到的数量相当可观的数据,就可以获得商业上的好处了。
2. 供应链优化和商务活动监控
一个经典的业务智能应用程序强度测试,是管理数百个不同位置上、来自数百名供应商的库存水平。要完成这一任务, 许多零售分销公司利用数字控制板监控库存水平,从而防止在客户想要购买商品而货架为空的时候出现恶性“缺货”情况。 这实际是一个实时信息集成问题。控制板必须基于异常警告,因为每天要跟踪 250 个零售店的 5,000 到 30,000 件商品。 当不曾预料的事件发生时,一些库存商品可能一天就被售光。产品系统向控制板发出一条简单警告,“我们超过了阈值-再进货。” 但现在轮到知识工作者行动了。理想情况下,知识工作者会愿意只按几个按钮,就迅速地收集和发送各种信息。决策所需的信息包括:
同一受警告商品的最近三个星期和一年前的库存水平历史对比(来自 DB2 数据仓库)
此间零售店这些商品当前的发票和出货单(来自 ERP 采购系统)
在短运程内可提供多余库存的零售店摘要(来自不基于 DB2 的“货运”数据中心)
迅速检查有问题的零售店中的促销活动,了解导致库存水平下降的原因(来自掌握优惠券和广告的内容管理系统)
最近几天此零售店区域内排在前 10 位的被报道商品(网络服务新闻供给)
为向知识工作者提供所有这些事实,以作为数以百计的“当场”决策的基础,可从两个方法中择其一:建立一个极为复杂的应用程序, 或使用 DB2 Information Integrator 。联合系统可在向不同数据库和非结构化数据提出的单一请求中收集此信息。在几秒钟内, 知识工作者可确定没有货物很快运来,找出缺货的原因,查找最可能的补给源,并将库存从有多余库存的零售店中运出。然后继续看下一个警告。
3. 高级信息系统
当今的高级信息系统很大程度上,如果不是说完全排他的话,侧重于向用户提供结构化数据。然而,相当数量用于执行决策的输入都是非结构化内容的形式, 这一点已被广泛认同。这样的内容被当今的高级信息系统排除在外,因为访问或将其与结构化数据结合都很难,而且如果被存储在数据仓库中它要占用大量空间。 此外,这样的内容常常来自外部源,可能很不稳定。
DB2 Information Integrator 能够解决这些问题。DB2 Information Integrator 与 Lotus Extended Search 一同为种类繁多的内容存储器提供工具和访问。 倘若对非结构化内容作了适当索引,利用这些工具可将关系数据与这些非结构化内容相连接。因此,信息集成提供了通过 Internet 或内部网对各种分布式非结构化内容进行访问的理想方式。 因为联合在后台运作,数据仓库可通过高级信息系统提供持续的相关内容流,而不必本地存储所有的内容。当然,在适当的时候,DB2 Information Integrator 也能在本地高速缓存数据以增强性能。
4. 政府机构数据中心的合理化
当今的许多大公司有多个数据仓库,每个数据仓库支持多个数据中心,这些数据中心提供满足部门或功能报告需要的业务信息数据仓库。这在政府部门中尤为明显,那里机构云集,守卫森严,关于个人、 企业和资源的敏感信息常常不一致。从实践和行政的角度来说,将这样的数据仓库结合为一个包罗万象的大数据仓库都是不可行的。
尽管如此,当今存在对降低管理难度、减少不一致性、尤其是增强安全性的需求,这样的需求使建立所有这种信息的合并视图的期望愈加强烈。信息集成提供了解决这些需要的技术基础, 尽管一定不能低估必需的数据考古学和建模工作。这样的工作成本会使所需的技术投资相形见绌,无论用怎样的方案 - 新的大数据仓库或是联合方案,似乎都一样。
将 DB2 Information Integrator 作为联合查询引擎,机构可以逐渐解决这个问题。与需要理解两个数据仓库中所有数据的关系映射,然后定义并提供结合它们的方法不同, DB2 Information Integrator 从能立即提供价值的小映射开始,随着时间推移再逐渐扩展解决方案。因此,例如,数据中心 A 的用户可使用联合查询将数据中心 B 中的信息子集与他们自己的信息结合。 随着时间的推移,数据中心 B 中更多的信息子集逐渐包含到联合查询中,两个中心间的元数据或映射的基础逐步增长。同样的情况也会发生在反方向上,以及在环境中的其它中心集合之间。 将来,不断增长的元数据存储会成为合理化存储器以及传播此信息的基础。
5. 程序员与数据库管理员的观点
怎样才能实现信息集成的好处?对于程序员来说,DB2 Information Integrator 实际上简化了复杂的环境。"一般"的程序员可用一个 SQL 语句从几个数据库中访问数据,无论是 DB2、Oracle 或 SQL Server 还是其它非关系数据源。利用 DB2 Information Integrator,程序员不需要知道多个 SQL 变种,他可以同时管理多个数据库连接,并管理关联多个数据源的复杂的连接逻辑,从而简化了编程复杂度。 这不仅降低了编程的复杂度,而且减少了程序员所需的处理不同的 IT 环境的技能水平。
对环境进行设置以实现这一点,是数据库管理员(DBA)的责任。通过 DB2 Control Center,DBA 定义了关键数据源 - 数据源的类型、所在的服务器、 用户映射和通称“别名”的源域到关系方案的映射。在许多情况下,DBA 也将定义允许一个数据库中的数据加入其它数据库的合法环境的简单转换。 例如,DBA 可能需要定义男代码为“M”,女代码为“F”来替换数据源之一中的“1”和“2”。一旦 DBA 设置了别名、服务器寻址、简单转换, 程序员就准备好使用 DB2 Information Integrator 了。
结论
随着企业用户需要访问机构中更多的数据资源,集成信息变得愈加重要。数据联合为数据仓库添加了一些有趣的可能性;然而,联合却不能代替数据仓库。 而且联合方案也不能取消彻底的调查和详细建模的需要。此功能允许扩展传统的数据仓库模式。在许多情况下,它允许机构在数据仓库环境外访问数据, 如同数据就在数据仓库中一样。
利用 DB2 Information Integrator 和联合查询,可连结来自不同的多种数据源中的数据。这样,联合可用高成本效益、相对较快的方式, 在访问已驻留在数据仓库中的数据的同时,提供对不在数据仓库中的数据的访问。然而,这只限于小心选定的数据子集,选择标准应考虑网络带宽、 源应用程序性能、数据质量等。此过程也可转换数据格式,进行逻辑的、合理的变换。然而,联合查询不能轻易地清除数据中的错误和不一致性。 要进行数据清理,通常机构必须完成将数据加载到数据仓库中的整个过程。简而言之,联合允许扩展数据仓库架构,以支持对数据和内容在本地源、 以原有形式进行实时访问。它是强大的工具,必须小心、精确地使用。
联合补充了用于填充数据仓库的传统的 ETL 和复制方法。此种集成信息方法为建立、维护、发展数据仓库提供了强大的功能。 它也为集成的企业拥有全面、一致的数据打下了坚实的基础。建立数据仓库是实现集成信息访问的第一步。将数据仓库与 DB2 Information Integrator 相结合, 将有助于机构实现在决策支持中既提供实时数据访问又提供历史信息的目标。
|