muzirigel 2020-06-07
首先在SQL下当今最流行的Mysql也会有出现瓶颈的时候。一个网站的访问量一般都不大,而且更多的是静态页面,动态交互类型的网站不多,用单个数据库完全可以轻松应对。但是数据量的总大小一个机器放不下时,数据的索引(B+Tree)一个机器的内存放不下时,访问量(读写混合)一个实例不能承时,这时候咱们的Mysql就开始显得乏力了。
随着访问量的上升,几乎发部分使用MySQL架构的网站在数据库上都开始出现性能问题,web程序不再仅仅专注在功能上,同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力,优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力,但是访问量继续增大的时候,多台web机器通过文件缓存不能共享,大量的小文件缓存也带来了比较高的IO压力。因此,Memcached就成为了一个非常时尚的技术产品。由于数据库的写入压力增加,Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负,大部分网站开始使用主从复制技术来达到读写分离,以提高读写性能和读库的可扩展性。Mysql的master-slave模式成为这个时候的网站标配。
在Memcached的高速缓存,MySQL的主从复制,读写分离的基础之上,这是MySQL的主库的写压力开始出现瓶颈,而数据量的持续猛增,由于MyISAM使用表锁,在高并发下会出现严重的锁问题,大量的高并发MySQL应用开始使用InnoDB引擎代替MyISQM。同时开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候,分表分库成了一个热门技术,是面试的热门问题也是业界讨论的热门技术问题。也就是在这个时候,MySQL推出了还不太稳定的表分区,虽然MySQL推出了MySQL Cluster集群,但性能也不能很好满足互联网的要求,只能在高可靠性上提供了非常大的保证。
MySQL数据库也经常存储一些大文本字段,导致数据库表非常的大,在做数据库恢复的时候就导致非常的慢,不容易快速回复数据库。比如1000万4KB大小的文本就接近40GB的大小,如果能把这些数据从MySQL省去,MySQL将变得非常的小。关系数据库很强大,但是它并不能很好的应付所有的应用场景。MySQL的扩展性差(需要复杂的技术来实现),大数据下IO压力大,表结构更改困难,正式当前使用MySQL的开发人员面临的问题。
今天我们可以通过第三方平台(如Google,Facebook等)可以很容易的访问和抓取数据。用户个人信息,社交网络,地理位置,用户产生的数据和用户操作日志已经成倍的增加。我们如果要对这些用户数据进行挖掘,那SQL数据库已经不适合这些应用了,NoSQL数据库的发展却能很好的处理这些大的数据。
NoSQL(NoSQL = Not Only SQL),意思是不仅仅是SQL,泛指非关系型的数据库。
随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题,包含超大规模数据的存储。
(例如古河或Facebook每天为他们的用户手机万亿比特的数据)。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。
当前主流的几类Nosql:
redis安装官网:https://redis.io/
基本上照着官网说得来没什么问题,我这里说下我自己安装过程中遇到的几个问题(Liunx下,一般建议在Liunx下学习使用Redis):
1.自己之前购买的一台Vultr服务器,Debian9x+。有些厂商不会给你安装好很好的开发环境,我这台就是。在MAKE链接库的时候没有GCC命令导致编译库失败,这里手动安装了一下GCC apt-get install GCC.重新编译的时候注意,将刚才MAKE的文件重新删除再重新MAKE。
2.防火墙问题,有些机器厂商是有设置防火墙规则的,这里可能需要手动去开启下6379端口,具体操作自行百度:
记几个命令:Select命令切换数据库,Dbsize查看当前数据库的key的数量,Flushdb:清空当前库,Flushall:通杀全部库。
Redis的单进程模式:
单进程模型来处理客户端的请求。对读写等时间的响应是通过对epoll函数的包装来做到的。Redis的实际处理速度完全依靠主进程的执行效率。Epoll是Linux内核为处理大批量文件描述符而作了改进的epoll,是Linux下多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少量活跃情况下的系统CPU利用率。
一般这块都是些记忆内容,简单记录一下,相关使用文档可去官网查看:http://redisdoc.com/
1.Redis键(key):
2. Redis字符串(String):
3. Redis列表(List):
4. Redis集合(Set):
5. Redis哈希(Hash):
6. Redis有序集合Zset(sorted set):