当前位置:首页 > 技术与方案 > 数据库技术相关

BI和DW的热潮:第三代BI的挑战

(2012-09-24 19:38:04)

数据仓库 软件的世界就是一个充斥着新产品、新范式和各种产品发布通告的五光十色的世界。其中有一些是新瓶装旧酒,而且还是掺了水的假酒。另外一些则是名副其实的新品,而且其中有一部分确实很有用。问题是,而且一直都是,如何进行足够深入的回顾以看清其中有意义的模式,从而鉴别出那些确实能给你的工作带来焕然一新感觉的商务智能新技术。我聚焦到尽可能远的范围,以确定真正引领商务智能的技术走向。

在这一系列新闻报道的第一部分,我访谈了 数据仓库 供应商,询问了关于市场以及他们产品发生的变动。我还着手针对近期将推出一个升级版商务智能系统的Hudson's Bay公司做了一个案例研究。

在第二部分我会进一步剖析第三代 数据仓库 所面临的技术挑战,并结合分析查询和事务查询技术进行讨论。

正如在本文的第一部分里讨论的一样,第三代 数据仓库 系统看起来就是我们的未来。但是第三代 要求我们的系统能够相当沉着得处理大量的分析查询和类事务处理查询,例如来自直接面向客户的职员的查询。

这是我们以前也遇到过的一个问题。在过去大约十年里,人们通过把分析系统和事务处理系统分离开来以解决这个问题,因为要把它们合并起来实在太困难了。在商务智能发展历史的早期,人们认识到分析查询和事务处理查询对查询引擎的要求截然不同。它们之间的差异如此之大以至于人们为了能让分析查询更加有效地运行,不得不对事务处理数据进行复制,把它转移到 数据仓库 ,并且在数据仓库里将其重新构建。现在,人们期待第三代 系统能够在同一个系统中处理分析查询和类事务处理查询。

在过渡期,商业智能和数据仓库软件已经发生了怎样的改变?

这样的第三代 系统已经从不少 数据仓库 应用软件学到了很多经验,因此它们确实能够进行大规模并行处理(MPP)和内存式查询操作。但是,查询工作负载管理同样很重要。这项技术越过单个查询把可得资源细致地分配到整个系统,例如,保证那些来自诸如直接面对客户的雇员的限时查询能够分配到足够的资源,使他们能够及时完成查询。据 惠普 公司的 团队中著名的技术专家Greg Battas称,像惠普公司这类的供应商坚信其重要性。

Battas 说:“惠普公司绝对把工作负载管理看得至关重要。从某种正面的角度来看,目前大约有25%数据开发人员正在从事与工作负载管理相关的工作。”

整个市场也在密切关注着,综合了传统 数据仓库 数据仓库 应用软件两者特性的新的混合系统会从像I 这类供应商那里脱颖而出。

下面列举了驱使这种变革出现的三种核心技术:

基于商用硬件的大规模并行处理技术内存式查询查询工作负载管理

这些混合系统服务的出现不仅是分析人员的需求,也为企业内部开发了一个全新而卓越的层面的 用户群。 最终将从精英技术转变为平民化技术,而且就像分析家长远预测的那样,可能会普及整个企业。

商业智能软件前端及拥护者的变革

鉴于第三代系统使商务智能的应用范围更加广阔,能够为更大范围的雇员服务,因此必须把它整合到这些雇员日常所使用的软件栈中。在某些情况下,这意味着对客户软件的重写;不过,在大多数情况下,只是把商务智能系统整合到微软的办公应用软件(Office applications)中。

为了达到这个目的,微软已经对商务智能进行了大规模投入,把 与其自产的后端商务智能工具进行整合。分析服务多维数据集可以出现在Excel里,你能够从Excel内部甚至Visio内部(这里的数据挖掘操作显得有点不够熟练)进行数据挖掘。不过,还有很多其他的供应商,微软只是其中之一而已。稍微令人感到惊讶的是,微软竟然和其他的供应商在一起合作,例如Teradata公司。

他们之间的合作不仅使Office组件能够获取Teradata存储的数据,而且还为微软自身的商务智能工具进行同样的操作提供了可能性。鉴于存在各种不同的商务智能供应商,这种互作的现象不会就此消失,而且在这种情况下,这种软件即服务( SaaS )的模式才是关键的可行技术。据Teradata公司的产品营销主管Ed White所言,面向架构服务( SOA )已经成为能为合作提供便利的必要技术。

柱状图、饼状图和分裂图:数据可视化在蜕变

饼状图的历史可以追溯到约1800年,而且由于这些图表确实非常有用,我们的数据可视化研究才能做得更好,正如著名的数据可视化研究员Edward Tufte和William Cleveland所展示的工作成果一样。包括Spotfire(现在是Tibco的分公司)、QlikTech、Thinkmap 和Tableau在内的多家公司已经致力于数据可视化的研究,希望能用全新的方式来诠释复杂的数据。我相信这在接下来的几年里会对商务智能产生深远的影响。还有其他人也同意我的看法,例如总部位于美国加利福尼亚州帕罗奥多城的Tibco软件公司Spotfire分公司产品战略副总裁Roger Oberg。

Oberg认为:“一些技术新动向,如内存式处理技术、‘自由维度’的即席查询(多组合自定义查询)和用户自定义工作流程正使商务智能技术平民化。我们正从一个走向另一个世界,在前一个世界里需要由我们自己来扩展常被忽略的数据,而在后一个世界里互作大大提高了数据的有效性,因此也大大增加了想要利用这些数据的人数。”

正如他所指出的,除非人们能够轻而易举的使数据形象化,否则一切都不会生效。

以上说的都没错,但这一切对于个人的商务智能和数据仓库软件又有什么意义呢?

数据就是数字和文本。我们从 那里学到的重要教训之一就是要持续不断的记录数据的定义真是比我们原先设想的要复杂得多。从某种意义上讲,这并不是一个技术范畴的问题,而是人类自身的问题——因为只有人类自己才能够决定定义本身的问题。然而,一些公司不仅已经积极地尝试解决如何追踪数据定义的问题,而且也积极尝试解决如何随着时间的流逝追踪数据定义的问题。总部位于美国马萨诸塞州伯灵顿城的Kalido公司技术总监Cliff Longman如是说。

“定义的流动性正是Kalido公司致力于解决的问题。我们发现,如果允许用户处理更高一级的抽象概念(高于逻辑模型)时,他们能够得到结果。Kalido使数据能够在定义随时间改变的情况下重复使用。”

总之,尽管技术方法千差万别,我所接触过的每一个人都同意一下两个重要且互相关联的观点:

数据量在一年年地增加。 据数据仓库供应商Kognitio公司产品研发部主管Roger Gaskell称,两年前Kognitio考虑把部分用户的系统容量限制到200GB,而如今几乎Kognitio每次进行概念验证需要的容量都在5TB以上,最高在50-250TB范围内。

商务智能不再是大企业的囊中之物,它已经进驻到中小型企业里。 微软 集团产品部分析服务组经理Amir Netz称,十年前微软的观点是“ 是给大企业用的”,而近几年来,其他专家已经不断在支持商务智带来利益应该给中小型企业分一杯羹。

那一天似乎已经到来了,因为有这么多本文提及的技术,不管是直接还是间接的,都已经促进了商务智能和数据仓库的世界发生了翻天覆地的变化。

不要错过了此系列报道的第一部分,在这那部分了,Whitehorn与商务智能及数据仓库软件供应商共同探讨了他们的产品发生的变革,并对近期将推出一个升级版商务智能系统的Hudson's Bay公司进行一个案例研究。

 

更多
关闭窗口 打印 
网站首页    -    联系我们    -   收藏本站    -    网站地图                                                               客户服务热线:0571-85023000
本网站所有网页信息已申请知识产权和著作权保护,版权归四海光纤公司所有,未经授权禁止任何人复制或镜像,违者必究。
公司主营:杭州光纤光缆视频会议系统,是专业的通信网络工程、视频会议系统建设专家

中华人民共和国备案号:浙ICP备10018243号