No-Sql数据库现在有多流行

我们编写好了网络爬虫,从互联网上爬取了年夜量数据,当数据量可以称之为海量的时候,传统的关系型数据库将会面对下面的问题：

1 关系数据库依照事务关系组织存储模型,要求事务的一致性

2 海量数据在并发时呈现读写性能的下降

3 可扩展性能差,容错性能弱

面对海量数据,传统的关系型数据库已经不能满足需求,尤其是并行计算,我们必要把海量数据分布到不同的网络节点上,利用多机的计算资源来加速计算速度.

MongoDB

作为NoSql数据库的代表,下面是MongoDB津津乐道并能够得到大范围推广的长处

1 结构灵活,采用表结构,扩展性强,可以动态的增删,因为不必要预先定义表结构,是面向文档的.

2 MongoDB自带集群,可扩展性能高,当数据量跨越MongoDB的存储上限时,可以直接增加相应的分片即可,

3 MongoDB的副本集机制的存在保障了容错性以及避免单点故障

4 以BSON存储,模式要求比拟弱.

Redis

Redis数据库是一种轻量级的键值对数据存储,Redis 可以在磁盘上存储数据以及跨节点复制数据,也就是可以像使用传统的关系型数据库一样使用Redis来建立数据仓库.但是它之所以比拟出名是因为它的快速,也就是说Redis数据库的读写性能非常高.操作时会将整个数据库系统加载到内存中,查找速度快,但是Redis一般只适合小数量的数据.

Memcached

Memcached也是内存对象缓存系统,通过将目标的键值对加载到内存上进行操作,Memcached也是通过减少IO交换来增强读写性能,但是它也存在缺陷,虽然和Redis数据库同样是内存对象缓存系统,但是Memcached中存储的值只能是简单的字符串,而Redis它支持丰富的值集,包含字符串、列表、集以及散列.

Graph DataBase

图数据库的存储非常复杂但是组织结构是合理高效的.图数据库的存储方式很像知识图谱,有实体,还有实体之间的关系,一般在表现社会关系、科学论文引用等关系结构比拟复杂的时候应用.

虽然非关系数据库的发展日益庞年夜,但是从历史角度上,关系型数据库仍然在很多年夜型企业上占据霸主地位,但是从发展趋势上来看,随着对海量数据、高效查询的需求的增加,No-Sql仍然是技术发展的重要一环.