nosql数据库使用更加,最简单的NoSQL数据库

为什么海量数据场景中NoSQL越来越重要

本质是因为：随着互联网的进一步发展与各行业信息化建设进程加快、参与者的增多，人们对软件有了更多更新的要求，需要软件不仅能实现功能，而且要求保证许多人可以共同参与使用，因而软件所需承载的数据量和吞吐量必须达到相应的需求。而目前的关系型数据库在某些方面有一些缺点，导致不能满足需要。

成都创新互联公司不只是一家网站建设的网络公司；我们对营销、技术、服务都有自己独特见解，公司采取“创意+综合+营销”一体化的方式为您提供更专业的服务！我们经历的每一步也许不一定是最完美的，但每一步都有值得深思的意义。我们珍视每一份信任，关注我们的成都做网站、成都网站设计质量和服务品质，在得到用户满意的同时，也能得到同行业的专业认可，能够为行业创新发展助力。未来将继续专注于技术创新，服务升级，满足企业一站式全网营销推广需求，让再小的品牌网站建设也能产生价值！

具体则需要对比关系型数据库与Nosql之间的区别可以得出

关系型数据库

关系型数据库把所有的数据都通过行和列的二元表现形式表示出来。

关系型数据库的优势：

1. 保持数据的一致性（事务处理）

2.由于以标准化为前提，数据更新的开销很小（相同的字段基本上都只有一处）

3. 可以进行Join等复杂查询

其中能够保持数据的一致性是关系型数据库的最大优势。

关系型数据库的不足：

不擅长的处理

1. 大量数据的写入处理（这点尤为重要）

2. 为有数据更新的表做索引或表结构（schema）变更

3. 字段不固定时应用

4. 对简单查询需要快速返回结果的处理

--大量数据的写入处理

读写集中在一个数据库上让数据库不堪重负，大部分网站已使用主从复制技术实现读写分离，以提高读写性能和读库的可扩展性。

所以在进行大量数据操作时，会使用数据库主从模式。数据的写入由主数据库负责，数据的读入由从数据库负责，可以比较简单地通过增加从数据库来实现规模化，但是数据的写入却完全没有简单的方法来解决规模化问题。

第一，要想将数据的写入规模化，可以考虑把主数据库从一台增加到两台，作为互相关联复制的二元主数据库使用，确实这样可以把每台主数据库的负荷减少一半，但是更新处理会发生冲突，可能会造成数据的不一致，为了避免这样的问题，需要把对每个表的请求分别分配给合适的主数据库来处理。

第二，可以考虑把数据库分割开来，分别放在不同的数据库服务器上，比如将不同的表放在不同的数据库服务器上，数据库分割可以减少每台数据库服务器上的数据量，以便减少硬盘IO的输入、输出处理，实现内存上的高速处理。但是由于分别存储字不同服务器上的表之间无法进行Join处理，数据库分割的时候就需要预先考虑这些问题，数据库分割之后，如果一定要进行Join处理，就必须要在程序中进行关联，这是非常困难的。

--为有数据更新的表做索引或表结构变更

在使用关系型数据库时，为了加快查询速度需要创建索引，为了增加必要的字段就一定要改变表结构，为了进行这些处理，需要对表进行共享锁定，这期间数据变更、更新、插入、删除等都是无法进行的。如果需要进行一些耗时操作，例如为数据量比较大的表创建索引或是变更其表结构，就需要特别注意，长时间内数据可能无法进行更新。

--字段不固定时的应用

如果字段不固定，利用关系型数据库也是比较困难的，有人会说，需要的时候加个字段就可以了，这样的方法也不是不可以，但在实际运用中每次都进行反复的表结构变更是非常痛苦的。你也可以预先设定大量的预备字段，但这样的话，时间一长很容易弄不清除字段和数据的对应状态，即哪个字段保存有哪些数据。

--对简单查询需要快速返回结果的处理  （这里的“简单”指的是没有复杂的查询条件）

这一点称不上是缺点，但不管怎样，关系型数据库并不擅长对简单的查询快速返回结果，因为关系型数据库是使用专门的sql语言进行数据读取的，它需要对sql与越南进行解析，同时还有对表的锁定和解锁等这样的额外开销，这里并不是说关系型数据库的速度太慢，而只是想告诉大家若希望对简单查询进行高速处理，则没有必要非使用关系型数据库不可。

NoSQL数据库

关系型数据库应用广泛，能进行事务处理和表连接等复杂查询。相对地，NoSQL数据库只应用在特定领域，基本上不进行复杂的处理，但它恰恰弥补了之前所列举的关系型数据库的不足之处。

优点：

易于数据的分散

各个数据之间存在关联是关系型数据库得名的主要原因，为了进行join处理，关系型数据库不得不把数据存储在同一个服务器内，这不利于数据的分散，这也是关系型数据库并不擅长大数据量的写入处理的原因。相反NoSQL数据库原本就不支持Join处理，各个数据都是独立设计的，很容易把数据分散在多个服务器上，故减少了每个服务器上的数据量，即使要处理大量数据的写入，也变得更加容易，数据的读入操作当然也同样容易。

典型的NoSQL数据库

临时性键值存储（memcached、Redis）、永久性键值存储（ROMA、Redis）、面向文档的数据库（MongoDB、CouchDB）、面向列的数据库（Cassandra、HBase）

一、 键值存储

它的数据是以键值的形式存储的，虽然它的速度非常快，但基本上只能通过键的完全一致查询获取数据，根据数据的保存方式可以分为临时性、永久性和两者兼具 三种。

（1）临时性

所谓临时性就是数据有可能丢失，memcached把所有数据都保存在内存中，这样保存和读取的速度非常快，但是当memcached停止时，数据就不存在了。由于数据保存在内存中，所以无法操作超出内存容量的数据，旧数据会丢失。总结来说：

。在内存中保存数据

。可以进行非常快速的保存和读取处理

。数据有可能丢失

（2）永久性

所谓永久性就是数据不会丢失，这里的键值存储是把数据保存在硬盘上，与临时性比起来，由于必然要发生对硬盘的IO操作，所以性能上还是有差距的，但数据不会丢失是它最大的优势。总结来说：

。在硬盘上保存数据

。可以进行非常快速的保存和读取处理（但无法与memcached相比）

。数据不会丢失

（3） 两者兼备

Redis属于这种类型。Redis有些特殊，临时性和永久性兼具。Redis首先把数据保存在内存中，在满足特定条件（默认是 15分钟一次以上，5分钟内10个以上，1分钟内10000个以上的键发生变更）的时候将数据写入到硬盘中，这样既确保了内存中数据的处理速度，又可以通过写入硬盘来保证数据的永久性，这种类型的数据库特别适合处理数组类型的数据。总结来说：

。同时在内存和硬盘上保存数据

。可以进行非常快速的保存和读取处理

。保存在硬盘上的数据不会消失（可以恢复）

。适合于处理数组类型的数据

二、面向文档的数据库

MongoDB、CouchDB属于这种类型，它们属于NoSQL数据库，但与键值存储相异。

（1）不定义表结构

即使不定义表结构，也可以像定义了表结构一样使用，还省去了变更表结构的麻烦。

（2）可以使用复杂的查询条件

跟键值存储不同的是，面向文档的数据库可以通过复杂的查询条件来获取数据，虽然不具备事务处理和Join这些关系型数据库所具有的处理能力，但初次以外的其他处理基本上都能实现。

三、 面向列的数据库

Cassandra、HBae、HyperTable属于这种类型，由于近年来数据量出现爆发性增长，这种类型的NoSQL数据库尤其引入注目。

普通的关系型数据库都是以行为单位来存储数据的，擅长以行为单位的读入处理，比如特定条件数据的获取。因此，关系型数据库也被成为面向行的数据库。相反，面向列的数据库是以列为单位来存储数据的，擅长以列为单位读入数据。

面向列的数据库具有搞扩展性，即使数据增加也不会降低相应的处理速度（特别是写入速度），所以它主要应用于需要处理大量数据的情况。另外，把它作为批处理程序的存储器来对大量数据进行更新也是非常有用的。但由于面向列的数据库跟现行数据库存储的思维方式有很大不同，故应用起来十分困难。

总结：关系型数据库与NoSQL数据库并非对立而是互补的关系，即通常情况下使用关系型数据库，在适合使用NoSQL的时候使用NoSQL数据库，让NoSQL数据库对关系型数据库的不足进行弥补。

什么是New SQL?分析NewSQL是如何融合NoSQL和RDBMS两者的优势

NewSQL是对一类现代关系型数据库的统称，这类数据库对于一般的OLTP读写请求提供可横向扩展的性能，同时支持事务的ACID保证。这些系统既拥有NoSQL数据库的扩展性，又保持传统数据库的事务特性。NewSQL重新将“应用程序逻辑与数据操作逻辑应该分离”的理念带回到现代数据库的世界，这也验证了历史的发展总是呈现出螺旋上升的形式。

在21世纪00年代中，出现了许多数据仓库系统 (如 Vertica，Greeplum 和AsterData)，这些以处理OLAP 请求为设计目标的系统并不在本文定义的NewSQL范围内。OLAP 数据库更关注针对海量数据的大型、复杂、只读的查询，查询时间可能持续秒级、分钟级甚至更长。

NoSQL的拥趸普遍认为阻碍传统数据库横向扩容、提高可用性的原因在于ACID保证和关系模型，因此NoSQL运动的核心就是放弃事务强一致性以及关系模型，拥抱最终一致性和其它数据模型 (如 key/value，graphs 和Documents)。

两个最著名的NoSQL数据库就是Google的BigTable和Amazon的Dynamo，由于二者都未开源，其它组织就开始推出类似的开源替代项目，包括Facebook的 Cassandra (基于BigTable和Dynamo)、PowerSet的 Hbase(基于BigTable)。有一些创业公司也加入到这场NoSQL运动中，它们不一定是受BigTable和Dynamo的启发，但都响应了NoSQL的哲学，其中最出名的就是MongoDB。

在21世纪00年代末，市面上已经有许多供用户选择的分布式数据库产品。使用NoSQL的优势在于应用开发者可以更关注应用逻辑本身，而非数据库的扩展性问题；但与此同时许多应用，如金融系统、订单处理系统，由于无法放弃事务的一致性要求被拒之门外。

一些组织，如Google，已经发现他们的许多工程师将过多的精力放在处理数据一致性上，这既暴露了数据库的抽象、又提高了代码的复杂度，这时候要么选择回到传统DBMS时代，用更高的机器配置纵向扩容，要么选择回到中间件时代，开发支持分布式事务的中间件。这两种方案成本都很高，于是NewSQL运动开始酝酿。

NewSQL数据库设计针对的读写事务有以下特点：

1、耗时短。

2、使用索引查询，涉及少量数据。

3、重复度高，通常使用相同的查询语句和不同的查询参考。

也有一些学者认为NewSQL系统是特指实现上使用Lock-free并发控制技术和share-nothing架构的数据库。所有我们认为是NewSQL的数据库系统确实都有这样的特点。

NoSQL 数据库：何时使用 NoSQL 与 SQL？

NoSQL 数据库因其功能性、易于开发性和可扩展性而广受认可，它们越来越多地用于大数据和实时 Web 应用程序，在本文中，我们通过示例讨论 NoSQL、何时使用 NoSQL 与 SQL 及其用例。

NoSQL是一种下一代数据库管理系统 (DBMS)。NoSQL 数据库具有灵活的模式，可用于构建具有大量数据和高负载的现代应用程序。

“NoSQL”一词最初是由 Carlo Strozzi 在 1998 年创造的，尽管自 1960 年代后期以来就已经存在类似的数据库。然而，NoSQL 的发展始于 2009 年初，并且发展迅速。

在处理大量数据时，任何关系数据库管理系统 (RDBMS) 的响应时间都会变慢。为了解决这个问题，我们可以通过升级现有硬件来“扩大”信息系统，这非常昂贵。但是，NoSQL 可以更好地横向扩展并且更具成本效益。

NoSQL 对于非结构化或非常大的数据对象（例如聊天日志数据、视频或图像）非常有用，这就是为什么 NoSQL 在微软、谷歌、亚马逊、Meta (Facebook) 等互联网巨头中特别受欢迎的原因。

一些流行的 NoSQL 数据库包括：

随着企业更快地积累更大的数据集，结构化数据和关系模式并不总是适合。有必要使用非结构化数据和大型对象来更好地捕获这些信息。

传统的 RDBMS 使用 SQL（结构化查询语言）语法来存储和检索结构化数据，相反，NoSQL 数据库包含广泛的功能，可以存储和检索结构化、半结构化、非结构化和多态数据。

有时，NoSQL 也被称为“ 不仅仅是 SQL ”，强调它可能支持类似 SQL 的语言或与 SQL 数据库并列。SQL 和 NoSQL DBMS 之间的一个区别是 JOIN 功能。SQL 数据库使用 JOIN 子句来组合来自两个或多个表的行，因为 NoSQL 数据库本质上不是表格的，所以这个功能并不总是可行或相关的。

但是，一些 NoSQL DBMS 可以执行类似于 JOIN的操作——就像 MongoDB 一样。这并不意味着不再需要 SQL DBMS，相反，NoSQL 和 SQL 数据库倾向于以不同的方式解决类似的问题。

一般来说，在以下情况下，NoSQL 比 SQL 更可取：

许多行业都在采用 NoSQL，取代关系数据库，从而为某些业务应用程序提供更高的灵活性和可扩展性，下面给出了 NoSQL 数据库的一些企业用例。

内容管理是一组用于收集、管理、传递、检索和发布任何格式的信息的过程，包括文本、图像、音频和视频。NoSQL 数据库可以通过其灵活和开放的数据模型为存储多媒体内容提供更好的选择。

例如，福布斯在短短几个月内就构建了一个基于 MongoDB 的定制内容管理系统，以更低的成本为他们提供了更大的敏捷性。

大数据是指太大而无法通过传统处理系统处理的数据集，实时存储和检索大数据的系统在分析 历史 数据的同时使用流处理来摄取新数据，这是一系列非常适合 NoSQL 数据库的功能。

Zoom使用 DynamoDB（按需模式）使其数据能够在没有性能问题的情况下进行扩展，即使该服务在 COVID-19 大流行的早期使用量激增。

物联网设备具有连接到互联网或通信网络的嵌入式软件和传感器，能够在无需人工干预的情况下收集和共享数据。随着数十亿台设备生成数不清的数据，IoT NoSQL 数据库为 IoT 服务提供商提供了可扩展性和更灵活的架构。

Freshub就是这样的一项服务，它从 MySQL 切换到 MongoDB，以更好地处理其大型、动态、非统一的数据集。

拥有数十亿智能手机用户，可扩展性正成为在移动设备上提供服务的企业面临的最大挑战。具有更灵活数据模型的 NoSQL DBMS 通常是完美的解决方案。

例如，The Weather Channel使用 MongoDB 数据库每分钟处理数百万个请求，同时还处理用户数据并提供天气更新。

目前哪些NoSQL数据库应用广泛，各有什么特点

特点：

它们可以处理超大量的数据。

它们运行在便宜的PC服务器集群上。

PC集群扩充起来非常方便并且成本很低，避免了“sharding”操作的复杂性和成本。

它们击碎了性能瓶颈。

NoSQL的支持者称，通过NoSQL架构可以省去将Web或Java应用和数据转换成SQL友好格式的时间，执行速度变得更快。

“SQL并非适用于所有的程序代码，” 对于那些繁重的重复操作的数据，SQL值得花钱。但是当数据库结构非常简单时，SQL可能没有太大用处。

没有过多的操作。

虽然NoSQL的支持者也承认关系数据库提供了无可比拟的功能集合，而且在数据完整性上也发挥绝对稳定，他们同时也表示，企业的具体需求可能没有那么多。

Bootstrap支持

因为NoSQL项目都是开源的，因此它们缺乏供应商提供的正式支持。这一点它们与大多数开源项目一样，不得不从社区中寻求支持。

优点：

易扩展

NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。

大数据量，高性能

NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。一般MySQL使用 Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。而NoSQL的 Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。

灵活的数据模型

NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。而在关系数据库里，增删字段是一件非常麻烦的事情。如果是非常大数据量的表，增加字段简直就是一个噩梦。这点在大数据量的web2.0时代尤其明显。

高可用

NoSQL在不太影响性能的情况，就可以方便的实现高可用的架构。比如Cassandra，HBase模型，通过复制模型也能实现高可用。

主要应用：

Apache HBase

这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Java编码、分布式多个优势的数据库，Hbase最初被设计应用于Hadoop平台，而这一强大的数据管理工具，也被Facebook采用，用于管理消息平台的庞大数据。

Apache Storm

用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能，同时还增加了低延迟的仪表板、安全警报，改进了原有的操作方式，帮助企业更有效率地捕获商业机会、发展新业务。

Apache Spark

该技术采用内存计算，从多迭代批量处理出发，允许将数据载入内存做反复查询，此外还融合数据仓库、流处理和图计算等多种计算范式，Spark用Scala语言实现，构建在HDFS上，能与Hadoop很好的结合，而且运行速度比MapReduce快100倍。

Apache Hadoop

该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时，对于复杂的分布式应用，Hadoop体现出了非常好的性能，平台的灵活性使它可以运行在商用硬件系统，它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。

Apache Drill

你有多大的数据集？其实无论你有多大的数据集，Drill都能轻松应对。通过支持HBase、Cassandra和MongoDB，Drill建立了交互式分析平台，允许大规模数据吞吐，而且能很快得出结果。

Apache Sqoop

也许你的数据现在还被锁定于旧系统中，Sqoop可以帮你解决这个问题。这一平台采用并发连接，可以将数据从关系数据库系统方便地转移到Hadoop中，可以自定义数据类型以及元数据传播的映射。事实上，你还可以将数据（如新的数据）导入到HDFS、Hive和Hbase中。

Apache Giraph

这是功能强大的图形处理平台，具有很好可扩展性和可用性。该技术已经被Facebook采用，Giraph可以运行在Hadoop环境中，可以将它直接部署到现有的Hadoop系统中。通过这种方式，你可以得到强大的分布式作图能力，同时还能利用上现有的大数据处理引擎。

Cloudera Impala

Impala模型也可以部署在你现有的Hadoop群集上，监视所有的查询。该技术和MapReduce一样，具有强大的批处理能力，而且Impala对于实时的SQL查询也有很好的效果，通过高效的SQL查询，你可以很快的了解到大数据平台上的数据。

Gephi

它可以用来对信息进行关联和量化处理，通过为数据创建功能强大的可视化效果，你可以从数据中得到不一样的洞察力。Gephi已经支持多个图表类型，而且可以在具有上百万个节点的大型网络上运行。Gephi具有活跃的用户社区，Gephi还提供了大量的插件，可以和现有系统完美的集成到一起，它还可以对复杂的IT连接、分布式系统中各个节点、数据流等信息进行可视化分析。

MongoDB

这个坚实的平台一直被很多组织推崇，它在大数据管理上有极好的性能。MongoDB最初是由DoubleClick公司的员工创建，现在该技术已经被广泛的应用于大数据管理。MongoDB是一个应用开源技术开发的NoSQL数据库，可以用于在JSON这样的平台上存储和处理数据。目前，纽约时报、Craigslist以及众多企业都采用了MongoDB，帮助他们管理大型数据集。（Couchbase服务器也作为一个参考）。

十大顶尖公司：

Amazon Web Services

Forrester将AWS称为“云霸主”，谈到云计算领域的大数据，那就不得不提到亚马逊。该公司的Hadoop产品被称为EMR（Elastic Map Reduce），AWS解释这款产品采用了Hadoop技术来提供大数据管理服务，但它不是纯开源Hadoop，经过修改后现在被专门用在AWS云上。

Forrester称EMR有很好的市场前景。很多公司基于EMR为客户提供服务，有一些公司将EMR应用于数据查询、建模、集成和管理。而且AWS还在创新，Forrester称未来EMR可以基于工作量的需要自动缩放调整大小。亚马逊计划为其产品和服务提供更强大的EMR支持，包括它的RedShift数据仓库、新公布的Kenesis实时处理引擎以及计划中的NoSQL数据库和商业智能工具。不过AWS还没有自己的Hadoop发行版。

Cloudera

Cloudera有开源Hadoop的发行版，这个发行版采用了Apache Hadoop开源项目的很多技术，不过基于这些技术的发行版也有很大的进步。Cloudera为它的Hadoop发行版开发了很多功能，包括Cloudera管理器，用于管理和监控，以及名为Impala的SQL引擎等。Cloudera的Hadoop发行版基于开源Hadoop，但也不是纯开源的产品。当Cloudera的客户需要Hadoop不具备的某些功能时，Cloudera的工程师们就会实现这些功能，或者找一个拥有这项技术的合作伙伴。Forrester表示：“Cloudera的创新方法忠于核心Hadoop，但因为其可实现快速创新并积极满足客户需求，这一点使它不同于其他那些供应商。”目前，Cloudera的平台已经拥有200多个付费客户，一些客户在Cloudera的技术支持下已经可以跨1000多个节点实现对PB级数据的有效管理。

Hortonworks

和Cloudera一样，Hortonworks是一个纯粹的Hadoop技术公司。与Cloudera不同的是，Hortonworks坚信开源Hadoop比任何其他供应商的Hadoop发行版都要强大。Hortonworks的目标是建立Hadoop生态圈和Hadoop用户社区，推进开源项目的发展。Hortonworks平台和开源Hadoop联系紧密，公司管理人员表示这会给用户带来好处，因为它可以防止被供应商套牢（如果Hortonworks的客户想要离开这个平台，他们可以轻松转向其他开源平台）。这并不是说Hortonworks完全依赖开源Hadoop技术，而是因为该公司将其所有开发的成果回报给了开源社区，比如Ambari，这个工具就是由Hortonworks开发而成，用来填充集群管理项目漏洞。Hortonworks的方案已经得到了Teradata、Microsoft、Red Hat和SAP这些供应商的支持。

IBM

当企业考虑一些大的IT项目时，很多人首先会想到IBM。IBM是Hadoop项目的主要参与者之一，Forrester称IBM已有100多个Hadoop部署，它的很多客户都有PB级的数据。IBM在网格计算、全球数据中心和企业大数据项目实施等众多领域有着丰富的经验。“IBM计划继续整合SPSS分析、高性能计算、BI工具、数据管理和建模、应对高性能计算的工作负载管理等众多技术。”

Intel

和AWS类似，英特尔不断改进和优化Hadoop使其运行在自己的硬件上，具体来说，就是让Hadoop运行在其至强芯片上，帮助用户打破Hadoop系统的一些限制，使软件和硬件结合的更好，英特尔的Hadoop发行版在上述方面做得比较好。Forrester指出英特尔在最近才推出这个产品，所以公司在未来还有很多改进的可能，英特尔和微软都被认为是Hadoop市场上的潜力股。

MapR Technologies

MapR的Hadoop发行版目前为止也许是最好的了，不过很多人可能都没有听说过。Forrester对Hadoop用户的调查显示，MapR的评级最高，其发行版在架构和数据处理能力上都获得了最高分。MapR已将一套特殊功能融入其Hadoop发行版中。例如网络文件系统（NFS）、灾难恢复以及高可用性功能。Forrester说MapR在Hadoop市场上没有Cloudera和Hortonworks那样的知名度，MapR要成为一个真正的大企业，还需要加强伙伴关系和市场营销。

Microsoft

微软在开源软件问题上一直很低调，但在大数据形势下，它不得不考虑让Windows也兼容Hadoop，它还积极投入到开源项目中，以更广泛地推动Hadoop生态圈的发展。我们可以在微软的公共云Windows Azure HDInsight产品中看到其成果。微软的Hadoop服务基于Hortonworks的发行版，而且是为Azure量身定制的。

微软也有一些其他的项目，包括名为Polybase的项目，让Hadoop查询实现了SQLServer查询的一些功能。Forrester说：“微软在数据库、数据仓库、云、OLAP、BI、电子表格（包括PowerPivot）、协作和开发工具市场上有很大优势，而且微软拥有庞大的用户群，但要在Hadoop这个领域成为行业领导者还有很远的路要走。”

Pivotal Software

EMC和Vmware部分大数据业务分拆组合产生了Pivotal。Pivotal一直努力构建一个性能优越的Hadoop发行版，为此，Pivotal在开源Hadoop的基础上又添加了一些新的工具，包括一个名为HAWQ的SQL引擎以及一个专门解决大数据问题的Hadoop应用。Forrester称Pivotal Hadoop平台的优势在于它整合了Pivotal、EMC、Vmware的众多技术，Pivotal的真正优势实际上等于EMC和Vmware两大公司为其撑腰。到目前为止，Pivotal的用户还不到100个，而且大多是中小型客户。

Teradata

对于Teradata来说，Hadoop既是一种威胁也是一种机遇。数据管理，特别是关于SQL和关系数据库这一领域是Teradata的专长。所以像Hadoop这样的NoSQL平台崛起可能会威胁到Teradata。相反，Teradata接受了Hadoop，通过与Hortonworks合作，Teradata在Hadoop平台集成了SQL技术，这使Teradata的客户可以在Hadoop平台上方便地使用存储在Teradata数据仓库中的数据。

AMPLab

通过将数据转变为信息，我们才可以理解世界，而这也正是AMPLab所做的。AMPLab致力于机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域，努力改进对信息包括不透明数据集内信息的甄别技术。除了Spark，开源分布式SQL查询引擎Shark也源于AMPLab，Shark具有极高的查询效率，具有良好的兼容性和可扩展性。近几年的发展使计算机科学进入到全新的时代，而AMPLab为我们设想一个运用大数据、云计算、通信等各种资源和技术灵活解决难题的方案，以应对越来越复杂的各种难题。

nosql数据库库和sql数据库的区别

一、概念

SQL (Structured Query Language) 数据库，指关系型数据库。主要代表：SQL Server，Oracle，MySQL(开源)，PostgreSQL(开源)。

NoSQL（Not Only SQL）泛指非关系型数据库。主要代表：MongoDB，Redis，CouchDB。

二、区别

1、存储方式

SQL数据存在特定结构的表中；而NoSQL则更加灵活和可扩展，存储方式可以省是JSON文档、哈希表或者其他方式。SQL通常以数据库表形式存储数据。举个栗子，存个学生借书数据：

而NoSQL存储方式比较灵活，比如使用类JSON文件存储上表中熊大的借阅数据：

2、表/数据集合的数据的关系

在SQL中，必须定义好表和字段结构后才能添加数据，例如定义表的主键(primary key)，索引(index),触发器(trigger),存储过程(stored procedure)等。表结构可以在被定义之后更新，但是如果有比较大的结构变更的话就会变得比较复杂。在NoSQL中，数据可以在任何时候任何地方添加，不需要先定义表。例如下面这段代码会自动创建一个新的"借阅表"数据集合：

NoSQL也可以在数据集中建立索引。以MongoDB为例，会自动在数据集合创建后创建唯一值_id字段，这样的话就可以在数据集创建后增加索引。

从这点来看，NoSQL可能更加适合初始化数据还不明确或者未定的项目中。

3、外部数据存储

SQL中如何需要增加外部关联数据的话，规范化做法是在原表中增加一个外键，关联外部数据表。例如需要在借阅表中增加审核人信息，先建立一个审核人表：

再在原来的借阅人表中增加审核人外键：

这样如果我们需要更新审核人个人信息的时候只需要更新审核人表而不需要对借阅人表做更新。而在NoSQL中除了这种规范化的外部数据表做法以外，我们还能用如下的非规范化方式把外部数据直接放到原数据集中，以提高查询效率。缺点也比较明显，更新审核人数据的时候将会比较麻烦。

4、SQL中的JOIN查询

SQL中可以使用JOIN表链接方式将多个关系数据表中的数据用一条简单的查询语句查询出来。NoSQL暂未提供类似JOIN的查询方式对多个数据集中的数据做查询。所以大部分NoSQL使用非规范化的数据存储方式存储数据。

5、数据耦合性

SQL中不允许删除已经被使用的外部数据，例如审核人表中的"熊三"已经被分配给了借阅人熊大，那么在审核人表中将不允许删除熊三这条数据，以保证数据完整性。而NoSQL中则没有这种强耦合的概念，可以随时删除任何数据。

6、事务

SQL中如果多张表数据需要同批次被更新，即如果其中一张表更新失败的话其他表也不能更新成功。这种场景可以通过事务来控制，可以在所有命令完成后再统一提交事务。而NoSQL中没有事务这个概念，每一个数据集的操作都是原子级的。

7、增删改查语法

8、查询性能

在相同水平的系统设计的前提下，因为NoSQL中省略了JOIN查询的消耗，故理论上性能上是优于SQL的。

如何玩转NoSQL数据库

如何玩转 NoSQL数据库？作者：IT专家网

Weather公司CIO Bryson Koehler整理出了MongoDB，Riak和Cassandra等NoSQL数据库的特性。他指出这其中最重要的特性是“NoSQL不会限制住你”。

Weather公司，致力于天气报告和天气预报业务，其并不缺乏数据，当然也不缺乏数据管理工具。但它为什么需要三种不同的NoSQL数据库？

最近，我向Weather 公司的CIO Bryson Koehler提出了这个疑问，除了公司的CIO,Bryson Koehler还是其他很多业务单元的孵化者,包括Weather Channel，WeatherFX，Weather Underground，和Intellicast等。Weather公司每天获取和处理着约20万亿字节数据，对外提供当前全球天气状况，并为航空公司，紧急服务，货运商，公用事业，保险，以及在线天气网站和天气应用程序的用户提供天气预报服务。每天需求增加了数十亿的天气数据请求，并且预期响应时间要在10毫秒左右。

Riak是Weather 公司的后台NoSQL数据库，服务于公司的事务性存储公用网络(SUN)数据获取平台，它运行在多个亚马逊网络服务(AWS)的可用区域上，并以每小时15次的频率捕获超过20亿气象数据信息，。所以，Riak具有明确的处理规模，但该公司也使用Cassandra以及新近添加的MongoDB数据库，为Weather.com 上IOS和Android移动应用程序服务。

Weather 公司使用了不同的产品，Koehler解释说，因为“不同的工具有不同的优势。

Cassandra，它服务于Weather 公司以及全球消费者使用的第三方天气应用的API数据：“我们的数据分发平台每秒处理数十万的事务，我们发现Cassandra在用于全球分发数据上是一个很棒的解决方案，并且在[数据库]读取方面体现出很高的可用性 “。它本质上为全球各地消费者所使用的数据服务，包括Weather 公司和第三方的天气应用程序。

MongoDB，它提供了Weather.com网站和移动应用程序的中间层缓存功能：“离开我们的核心API，我们还没有全部Weather.com内容，所以MongoDB是容器和分发站，为Weather.com以及Android和iOS上的移动应用程序服务。Mongo有很多好处，这些好处基于其内建的JSON格式以及灵活性上。“

Riak，用于消费气象数据和观测，包括来自世界各地的图片和视频等：“我们喜爱Riak因其优秀的数据摄取能力，而且是以一种全球分布式的方式来实现。这对于从全球分布式平台上获取数据的入站式数据库是一个真正可靠的选择。

我曾听说Datastax，Basho和Couchbase的高管贬低MongoDB的可扩展性，但MongoDB指向大规模部署，在Facebook对超过200万台移动设备上应用程序提供支持，在eHarmony公司，MongDB每天处理着数十亿的潜在比赛预约。据Koehle所述，MongoDB为Weather.com和Weather.com移动应用程序处理着“每天十亿交易”，“毫无疑问，你可以通过配置和部署Mongo来处理大批量的交易数据。”

尽管如此，Koehler承认，他将“很乐于看到MongoDB继续使全球集群和多位置[功能]更加无缝化且易于使用。” 这些属于全球性的分布式集群，复制和负载平衡是Cassandra和Riak众所周知的功能。

从规模讨论的角度来看，很少有公司达到Weather公司的经营规模。易于开发，架构灵活性和JSON数据处理使得MongoDB的成为世界上最流行的NoSQL数据库。这就是为什么微软和IBM都进行了MongoDB的模仿，如微软的Azure DocumentDB和IBM的 Cloudant，而不是Cassandra和Riak。

Weather公司可以从三个NoSQL标准降低至两个的过程中得到巩固，Koehler说，但公司没有准备好这么做。

“由于我们构造了由许多不同的数据解决方案组成的网状结构，我们目前的环境已过于复杂，”他说。“我们希望给团队一些自由的空间，让我们可以了解所有选择的利弊，但你将会看到一些整合。”

到了那个时候，迁移将不在是一件难事，因为“关于NoSQL数据库最重要的事情是，你不会被困在其中，” Koehler说。“如果你的架构和编码正确，从一个数据库迁移到另一个并不难。随着模式的自由以及数据转存技术的发展，无论前者是一个key-value存储或其他什么形式，转储数据都将十分容易。“

对特定产品进程自定义编码的复杂的存储过程已经一去不复返了，Koehler说，但关于“结构化和编码正确”还有很多需要考虑的地方?这样做是为了避免特殊供应商提供的工具和功能可能让你身陷其中。他举了亚马逊网络服务“(AWS)的消息服务为例。

“你不必让服务在云中运行，”他解释说。“你可以只部署自己的RabbitMQ的环境，而不是陷于其中，所以你可以将一个原先部署在AWS 上的应用程序转而部署在谷歌计算云服务上。无论它是数据平台，存储环境，或云计算环境，都要小心别让自己局限在一个仅由一个供应商提供的小范围空间内“。

转载