« Oracle Database 10g 与 DBA 2.0的时代 | Blog首页 | 新年快乐 - 祝愿前程似锦、花好人团圆 »
急速提升与全方位优化 - Exadata与数据仓库
链接:https://www.eygle.com/archives/2009/01/exadata_extreme.html
在2007年阿里巴巴的侠客行大会上,我曾经做过一个主题为Oracle Database10g-开启全方位性能优化的时代的演讲,现在看来,"全方位优化"这个词正在被Oracle公司不断的深化着。如果说以前Oracle数据库产品的优化还集中在前端对软件的改进,那么现在Oracle已经将优化引入到后端,开始从存储及服务器方向开始优化。这一次,Oracle又走在了其他数据库厂商的前面。
2008年9月在旧金山举行的Oracle Open World大会上,Larry Ellison亲自发布了Oracle的两款硬件产品。这两款产品分别是Exadata Programmable Storage Server 和HP Oracle Database Machine。这两款产品的硬件HP提供,Oracle则为之提供数据库软件支持。新推出的两款硬件产品主要针对大规模数据量的数据仓库环境,根据一些用户的测试显示,新产品能够为客户带来10被到上百倍的性能提升。
新产品的发布已经过去了几个月,而国内据说即将迎来第一个客户应用,现在让我们再来关注一下这个在Open World上让世界震惊不已的Oracle硬件产品。
首先简化一下概念,虽说是两款硬件产品,但是Exadata Programmable Storage Server实际上是构成HP Oracle Database Machine的一部分,HP Oracle Database Machine才是真正为用户提供服务的全新服务器产品。Larry演讲时PPT中公布这两者时的图片如下所示,当时在旧金山的会场里,全场都响起了一阵惊叹和欢呼:
Exadata Programmable Storage Server实际上就是最高可以配置12块硬盘的HP ProLiant DL180 G5服务器,可以装配2颗8核的处理器,最高存储容量可达12TB。当然只有这个HP的硬件还是不够的,在此存储服务器上,还要预装Oracle定制开发的智能存储软件,通过软件在存储端进行运算,进而缩减从存储到服务器端的数据传输,减少数据库服务器的运算需求。
Oracle这样来介绍这款产品:
Oracle Exadata是一个高性能的存储软件和硬件产品系列,它.....克服了传统存储系统的局限性,它通过采用大量的并行架构,显著增加了数据库服务器和存储系统之间的数据带宽。此外,智能存储软件卸载了 Oracle数据库11g服务器的数据密集型查询处理,并使查询处理更贴近数据。其结果是,通过更高的带宽连接加快了并行数据处理并减少了数据迁移量。
值得一提的还有关于Exadata这个新名字,我们知道 1024 Terabytes = 1 Petabyte,而1024 Petabytes = 1 Exabyte,Oracle新的解决方案当然要超过其主要竞争对手之一Teradata,所以就有了Exadata这个名字。
那么在此之上的HP Oracle Database Machine又是什么架构呢?
以下是一个示意图:
发件人 Oracle Open world 2008 San Francisco |
实际上这个HP Oracle Database Machine上一个42U的标准机柜,其中满配可以装配14台Exadata存储服务器,再加上8台配备了OEL系统与Oracle Database 11g RAC数据库的Database Server,就构成了这个HP Oracle Database Machine。这其中的数据库服务器采用的是HP的中端PC服务器-HP DL360 G5,配置2颗4核主频为2.66G Hz的Intel至强E5430 CPU,32GB内存(注意硬件的CPU及内存配置可能根据不同出厂设计而不同)。
整个架构的内部网络采用Infiniband技术,通过更高的带宽使得系统的数据流动更加顺畅。
总体来说HP Oracle数据存储设备(HP Oracle Database Machine)是一款为多TB的大型数据仓库而设计的,集一套完整的软件、服务器和存储器产品包。
那么我们再来看看,这两款产品主要解决了什么问题呢?
首先在这个架构中,Oracle采用了Infiniband的网络技术,通过提供更多、更快速的通路,解决之前海量数据环境中,数据传输中的瓶颈:
然后,Oracle通过在存储端进行的智能运算,缩减传输的数据量,并且同时减少了数据库服务器的负荷,在被称为Smart Scan的新技术中,Oracle实现了如下改进与性能提升:
在传统查询中,用户请求的数据必须被读取到数据库服务器端Cache中进行运算,如果用户请求数据是1TB,那么如此大量的数据传输会造成网络的瓶颈,同时服务器端也会在Cache和预算上消耗较高的资源;而新的架构中,Smart SCAN会在存储端完成运算,然后将结果返回给服务器端,在回馈用户。
(当然具体的技术实现还要复杂得多,也许很快就可以在国内找到测试的机会)
这些改进获得的性能提升是以10倍~100倍来计算的,在数据仓库领域影响尤其深远!
从前端到后端,所以我说全方位数据库性能优化的时代已经真正到来!
历史上的今天...
>> 2012-01-19文章:
>> 2008-01-19文章:
>> 2007-01-19文章:
>> 2006-01-19文章:
>> 2005-01-19文章:
By eygle on 2009-01-19 23:33 | Comments (2) | OraNews | 2161 |
的确是好东西,有机会一定考虑用一下!
以前看过介绍,但仍然认为很神奇.
10倍~100倍!!
怎么实现的,他适用的环境是什么?
更多的感觉是类似并行操作,
不过是小pc充当了slave的职责.
但如何保证数据跨多个pc时一致,而且操作的协调控制呢?