berkeleydb(db)是一个高性能的,嵌入数据库编程库,和c语言,c++,java,perl,python,php,tcl以及其他很多语言都有绑定。berkeleydb可以保存任意类型的键/值对,而且可以为一个键保存多个数据。berkeleydb可以支持数千的并发线程同时操作数据库,支持最大256tb的数据,广泛用于各种操作系统包括大多数unix类操作系统和windows操作系统以及实时操作系统。
2.0版本或以上的berkeleydb由sleepycatsoftware公司开发,并使用基于自由软件许可协议/私有许可协议的双重授权方式提供[1],附有源代码。开发者如果想把berkeleydb嵌入在私有软件内需要得到sleepycat公司的许可,若将软件同样遵循gpl发布,则不需许可即可使用。而2.0版本以下的则使用bsd授权,可自由作商业用途。
berkeleydb最初开发的目的是以新的hash访问算法来代替旧的hsearch函数和大量的dbm实现(如at&t的dbm,berkeley的ndbm,gnu项目的gdbm),berkeleydb的第一个发行版在1991年出现,当时还包含了b+树数据访问算法。在1992年,bsdunix第4.4发行版中包含了berkeleydb1.85版。基本上认为这是berkeleydb的第一个正式版。在1996年中期,sleepycat软件公司成立,提供对berkeleydb的商业支持。在这以后,berkeleydb得到了广泛的应用,当前最新版本是4.3.27。
值得注意的是db是嵌入式数据库系统,而不是常见的关系/对象型数据库,对sql语言不支持,也不提供数据库常见的高级功能,如存储过程,触发器等。
berkeleydb的体系结构
berkeleydb以拥有比microsoftsqlserver和oracle等数据库系统而言更简单的体系结构而著称。例如,它不支持网络访问—程序通过进程内的api访问数据库。他不支持sql或者其他的数据库查询语言,不支持表结构和数据列。访问数据库的程序自主决定数据如何储存在记录里,berkeleydb不对记录里的数据进行任何包装。记录和它的键都可以达到4g字节的长度。
尽管架构很简单,berkeleydb却支持很多高级的数据库特性,比如acid数据库事务处理,细粒度锁,xa接口,热备份以及同步复制。
berkeleydb包含有与某些经典unix数据库编程库兼容的接口,包括:dbm,ndbm和hsearch。
berkeleydb的核心数据结构
数据库句柄结构db:包含了若干描述数据库属性的参数,如数据库访问方法类型、逻辑页面大小、数据库名称等;同时,db结构中包含了大量的数据库处理函数指针,大多数形式为(*dosomething)(db*,arg1,arg2,…)。其中最重要的有open,close,put,get等函数。
数据库记录结构dbt:db中的记录由关键字和数据构成,关键字和数据都用结构dbt表示。实际上完全可以把关键字看成特殊的数据。结构中最重要的两个字段是void*data和u_int32_tsize,分别对应数据本身和数据的长度。
数据库游标结构dbc:游标(cursor)是数据库应用中常见概念,其本质上就是一个关于特定记录的遍历器。注意到db支持多重记录(duplicaterecords),即多条记录有相同关键字,在对多重记录的处理中,使用游标是最容易的方式。
数据库环境句柄结构db_env:环境在db中属于高级特性,本质上看,环境是多个数据库的包装器。当一个或多个数据库在环境中打开后,环境可以为这些数据库提供多种子系统服务,例如多线/进程处理支持、事务处理支持、高性能支持、日志恢复支持等。
db中核心数据结构在使用前都要初始化,随后可以调用结构中的函数(指针)完成各种操作,最后必须关闭数据结构。从设计思想的层面上看,这种设计方法是利用面向过程语言实现面对对象编程的一个典范。
berkeleydb数据访问算法
在数据库领域中,数据访问算法对应了数据在硬盘上的存储格式和操作方法。在编写应用程序时,选择合适的算法可能会在运算速度上提高1个甚至多个数量级。大多数数据库都选用b+树算法,db也不例外,同时还支持hash算法、recno算法和queue算法。接下来,我们将讨论这些算法的特点以及如何根据需要存储数据的特点进行选择。
b+树算法
b+树是一个平衡树,关键字有序存储,并且其结构能随数据的插入和删除进行动态调整。为了代码的简单,db没有实现对关键字的前缀码压缩。b+树支持对数据查询、插入、删除的常数级速度。关键字可以为任意的数据结构.
hash算法
db中实际使用的是扩展线性hash算法(extendedlinearhashing),可以根据hash表的增长进行适当的调整。关键字可以为任意的数据结构。
要求每一个记录都有一个逻辑纪录号,逻辑纪录号由算法本身生成。实际上,这和关系型数据库中逻辑主键通常定义为intauto型是同一个概念。recho建立在b+树算法之上,提供了一个存储有序数据的接口。记录的长度可以为定长或不定长。和recno方式接近,只不过记录的长度为定长。数据以定长记录方式存储在队列中,插入操作把记录插入到队列的尾部,相比之下插入速度是最快的。
对算法的选择首先要看关键字的类型,如果为复杂类型,则只能选择b+树或hash算法,如果关键字为逻辑记录号,则应该选择recno或queue算法。当工作集关键字有序时,b+树算法比较合适;如果工作集比较大且基本上关键字为随机分布时,选择hash算法。queue算法只能存储定长的记录,在高的并发处理情况下,queue算法效率较高;如果是其它情况,则选择recno算法,recno算法把数据存储为平面文件格式。
从db的官方站点http://www.sleepycat.com/下载最新的软件包db-4.3.27.tar.gz,解压到工作目录,进入该目录,依次执行下列三条命令即可。