nosqlqps的简单介绍

如何通过扩展为mysql带来2亿qps

　MySQL Cluster提供多种方式对存储数据进行访问; 最常见的方法当然是SQL，不过正如下图所示，我们还可以利用多种原生API帮助应用程序直接从数据库当中读取及写入数据，同时又能通过转换为SQL以绕过MySQL Server的方式防止效率低下或者拉高开发复杂程度。现有API面向C++、Java、JPA、JavaScript/Node.js、HTTP以及Memcached协议。

创新互联公司专注于柯城企业网站建设,响应式网站开发,成都商城网站开发。柯城网站建设公司,为柯城等地区提供建站服务。全流程定制网站建设，专业设计，全程项目跟踪，创新互联公司专业和态度为您提供的服务

基准目标：每秒2亿次查询

MySQL Cluster在设计当中主要面向两种工作负载类型：

-OLTP(即联机事务处理)：内存优化型表提供次毫秒级低延迟与堪称极端水平的OLTP工作负载并发能力，同时仍然保证良好的耐久性表现; 此外，其也能够被用于处理基于磁盘的表数据。

-临时性搜索：MySQL Cluster增加了并行数量上限，从而在对表内非索引数据列进行扫描时带来显著的速度提升。

值得一提的是，MySQL Cluster在处理OLTP工作负载方面的表现最为突出，特别是在以并发方式发出海量查询/事务请求的情况下。为此，我们一般会使用flexAsynch基准测试来衡量将更多数据节点添加到集群当中后，NoSQL所获得的实际性能扩展效果。

elasticsearch可以代替NoSQL吗

ES完全胜任MongoDB能干的事情，而且还加上了检索功能，你可以选择分词检索或者把你存的整个文档当作一个词，前者类似于搜索引擎，后者类似于数据库，而且ES最擅长的就是用Facet和Agg做数据统计，当不分词时，可以结合Redis等把词条映射为整形数，查询效率会非常高。而且数据分区更灵活，可以随时以编码的方式打开或关闭某部分数据节点。一般来说，把ES以数据库的模式存储，合理使用查询语法，都可以秒级返回，不管多大的数据量，当然做统计肯定会慢一些。对有些特殊查询注意一下就行了：比如用wildcard的 *keyword 模式就比 keyword*模式要慢很多，需要合理规划自己的业务场景和数据的mapping映射方式。

一直在说的高并发，多少QPS才算高并发？

首先是无状态前端机器不足以承载请求流量，需要进行水平扩展，一般QPS是千级。 然后是关系型数据库无法承载读取或写入峰值，需要数据库横向扩展或引入nosql，一般是千到万级。 之后是单机nosql无法承载，需要nosql横向扩展，一般是十万到百万QPS。

最后是难以单纯横向扩展nosql，比如微博就引入多级缓存架构，这种架构一般可以应对百万到千万对nosql的访问QPS。 当然面向用户的接口请求一般到不了这个量级，QPS递增大多是由于读放大造成的压力，单也属于高并发架构考虑的范畴。

QPS（TPS）：每秒钟 request/事务 数量，在互联网领域，指每秒响应请求数吞吐量：单位时间内处理的请求数量（通常由QPS与并发数决定）；响应时间：系统对一个请求做出响应的平均时间。例如系统处理一个HTTP请求需要200ms，这个200ms就是系统的响应时间（我认为这里应该仅包含处理时间，网络传输时间忽略），这里一定要注意，QPS ≠ 并发数。

高并发通常是指我们提供的系统服务能够同时并行处理很多请求。并发是指，某个时刻有多少个访问同时到来。QPS是指秒钟响应的请求数量。那么这里就肯容易推算出一个公式：QPS = 并发数 / 平均响应时间

如果你发现自己高并发，一定要及时就医，寻求正规医生的帮助。

关于NewSQL数据库对于CAP的再解释

作者 石默研

关于CAP的讨论已经很多，包括作者的另一篇文章“对CAP的初步解释”，基本已经即定思维的理解就是：分布式系统必须遵循CAP，一个分布式系统的设计只能同时满足其中两个，不可能同时满足；传统关系数据库选择A与C，代表了互联网新兴技术的NoSQL数据库则选择A与P（或者C与P，虽然这种情况其实需要详细讨论）。

但是，近年来，新兴的NewSQL数据库（TiDB或者OceanBase），则是一种在分布式环境下，保证的ACID强事务特征的强一致性数据库，并且很显然，它同时也满足了高可用性与优秀的分区可容忍性（很好的可扩展特性便是其一个层面的证明），似乎看起来，C、A、P都同时保证了，这不是违反了已经经过严格证明的CAP理论吗？

这个问题初看起来，似乎是比较神奇，但仔细分析，其实答案是很明显的。

首先，需要读者区分“分布式”与CAP中所提到的分区可容忍性Paritition Tolerance并不是一回事。分区可容忍性P是指以下两种分布式的情况：

. 同一份数据的多个副本的可分布性

. 有相互关联的数据的可分布性（操作中表现为保证ACID的强分布式事务）

即使是分库分表，如果不存在以上两种情况，只是独立数据在同一个节点上的情况，虽然也是分布式，但跟CAP中的P没有半毛钱关系。

那么，还是回到上面的问题，NewSQL数据库，确实也是在保证了同一份数据多副本的强读写一致性、以及强分布式事务特性这样的C的情况下，同时保证了A与P呀！事实确实如此，但这还是要仔细分析：

无论是TiDB，还是OceanBase，其在保证数据多副本的强一致性时，都采用了Paxos协议或者Raft，它们简单来讲就是多数选举的原则，即写不需要全部副本都完成，就能保证读的强一致性，反过来也是一样。因此，其在分布式情况下，保证数据读写强一致性的效率还是很高的，就是说，在同一个数据中心的网络环境下，虽然这种分布可容忍性的满足理论上讲也会比单节点多一点点效率损失，但实际上是可以忽略不计的。但需要指出的是，在跨数据中心、跨城市的分布式情况下，如果要保证数据多副本的强一致性，即保证分区可容忍性，对效率（实际上是可用性A）的影响那还是不可忽略的。因此，在这种情况下，CAP理论依然成立。

再来看相互关联数据的可分布性，这就涉及到了分布式事务。现有的NewSQL数据库，即使在同一数据中心，为了保证强的分布式事务，对效率的折衷都是不可忽略的，所谓的乐观事务，只是因为客观问题本身冲突就少，并不改变冲突很多时效率明显受影响的现实。因此，NewSQL数据库虽然提供强分布式事务的能力，但在现实应用中，都是提倡尽量避免大量的分布式事务出现。如果你所遇到的应用场景是确实需要大量的分布式事务执行，又不做应用优化全交给数据库执行，那么，现有的NewSQL分布式数据库，依然会遇到明显的性能问题，其实就是可用性A降低了。同学仔细去研究应用中的实际情况就会发现，很多互联网应用，当其所需要的QPS很高很高，而对读写一致性与强分布式事务的要求又不那很高时候，其实，NewSQL数据库还是不能满足他们的需求的，他们仍然需要根据自己的情况改造或者选用NoSQL数据库，这也是CAP理论并没有被NewSQL打破的现实证明。

因此，总结来讲，NewSQL数据库，也是遵循CAP理论的，只不过，在同中心数据多副本情况下，保证P的同时对A的影响微乎其微；而在分布式事务的情况下，又采用了与应用特性相关的策略（其实乐观、悲观事务本质上就有根本应用特性区分的意思）来保证性能而已。当然，随着网络与计算机性能的提高，CAP三个特征中，保证其中两个，折衷另外一个，所带来的影响也会逐渐变小，但其理论依然是正确的。