大数据系统架构之降龙八式

YzhilongY 2015-08-28

大数据系统架构之降龙八式：

第一式之linux加固：包括安装,防火墙，网络,ssh,ddos,syn攻击等

第二式之linux调优：包括内核优化，cpu,内存，虚拟内存，tcp等

第三式之存储策略：磁盘阵列，nfs,大并发下的散列存储等

第四式之DB优化：rac,mysql安装，参数优化，读写分离，集群，DB中间件，高性能SQL,nosql,缓存等

第五式之负载均衡：网络负载均衡，WEB负载均衡，磁盘负载均衡，分布式缓存负载均衡等

第六式之HA策略：网络HA，硬件HA,linuxHA，nginx,apache,keepalived,squid,lighttpd，redis,memcached等

第七式之WEB优化：jvm优化，java代码优化，WEB前置优化，tomcat优化等，安全策略,hadoop,lucene等

第八式之IO优化：包含网络IＯ，磁盘ＩＯ，数据读写ＩＯ等

: YzhilongY

RedHat Enterprise Linux AS 4 双网卡负载均衡

配置及说明如下：实验的操作系统是 RedHat Enterprise Linux AS 4绑定的前提条件：芯片组型号相同，而且网卡应该具备自己独立的BIOS芯片。将上述信息指定到虚拟适配器中即可。如果只是交换机对外的链路down掉了，而交换机本身并没有故障

Linuxest 0喜欢 / 0评论 2010-06-23

Nginx负载均衡和LVS负载均衡的比较分析

lvs和nginx都可以用作多机负载的方案，它们各有优缺，在生产环境中需要好好分析实际情况并加以利用。首先提醒，做技术切不可人云亦云，我云即你云；同时也不可太趋向保守，过于相信旧有方式而等别人来帮你做垫被测试。把所有即时听说到的好东西加以钻研，从而提高自己

yyanglinyu 0喜欢 / 0评论 2011-05-12

Nginx反向代理提高网站性能（整理）负载均衡

现在大部分出名的网站都采用的是nginx服务器。nginx服务器性能得到了全球的认可。本文将通过普通的现实例子来给大家讲明白nginx性能好的原因。反向代理的主要作用是分发请求。首先我们要了解系统的性能瓶颈在哪里，一般来说网络io速度和内存io接近，都远高

crazyjingling 0喜欢 / 0评论 2019-03-14

LVS 集群中实现的三种 IP 负载均衡技术

因请求报文较短而响应报文往往包含大量的数据，可以大大降低负载均衡器的压力。所有的服务器必须支持“IPTunneling”或者“IPEncapsulation”协议。IP隧道是将一个IP报文封装在另一个IP报文的技术，这可以使得目标为一个IP地址的数据报文能

enchen 0喜欢 / 0评论 2014-11-30

【转】Ubuntu Server 10.04, resin 3.1.10, nginx 0.7.65 架设负载均衡网站

Ubuntu Server 10.04, resin 3.1.10, nginx-0.7.65 架设负载均衡网站。internet -> fire wall -> f5 load balancer -> router -> web

tinydu 0喜欢 / 0评论 2012-01-04

Nginx和LVS集群负载均衡的比较

nginx可作为lvs节点机器使用，一是可以利用nginx的功能，二是可以利用nginx的性能。

snowman 0喜欢 / 0评论 2015-05-19

Nginx负载均衡和LVS负载均衡的比较分析

Limitless 0喜欢 / 0评论 2011-06-22

负载均衡交换机能否识别socket连接

端点系统利用这种信息来区分包中的数据，尤其是端口号使一个接收端计算机系统能够确定它所收到的IP包类型，并把它交给合适的高层软件。端口号和设备IP地址的组合通常称作“插口”。　　TCP/UDP端口号提供的附加信息可以为网络交换机所利用，这是第四层交换的基础。

snowman 0喜欢 / 0评论 2013-06-06

Windows 2008网络负载均衡之入门篇

上使用的应用程序的可用性和可伸缩性。Server 2008 的其中一个产品的两台或多台计算机的资源组合到单个虚拟群集中，NLB 便可以提供 Web 服务器和其他执行关键任务服务器所需的可靠性和性能。第一个群集由两个主机组成，第二个群集由四个主机组成。这是如

yungame 0喜欢 / 0评论 2010-10-10

haproxy负载均衡

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。根据官方数据，其最高极限支持10G的并发。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。

IT一刻钟 0喜欢 / 0评论 2011-07-13

Windows 2003系统网络负载均衡的实现

在现行的许多网络应用中，有时一台服务器往往不能满足客户端的要求，此时只能通过增加服务器来解决问题。　　那么，有没有一个办法或者技术来解决此类问题呢?使用Windows 2000或Windows Server 2003中的网络负载平衡群集就可以。网络负载平衡

快乐de馒头 0喜欢 / 0评论 2008-09-07

Windows Server 2003网络负载均衡如何实现

网络负载平衡技术保证即使是在负载很重的情况下它们也能作出快速响应。　　2.网络负载平衡对外只须提供一个IP地址(或域名)。网络负载平衡自动检测到服务器不可用时，能够迅速在剩余的服务器中重新指派客户机通讯。可以根据网络访问量的增多来增加网络负载平衡服务器的数

hackerdotcn 0喜欢 / 0评论 2008-09-07

服务器技术——网络负载均衡配置十步完成

随着互联网的日渐扩大，网络技术的快速提高，现在越来越多的互联网项目中会用到多台服务器以保证系统的运行状况，网络负载均衡的需求也就随之而来，本文和大家一起探讨网络负载均衡，希望对大家会有所帮助。我们以虚拟机做实验来说明这个配置过程.

wbsnail 0喜欢 / 0评论 2010-12-22

Nginx反向代理提高网站性能（整理）负载均衡

火烧云 0喜欢 / 0评论 2019-03-14

lvs、haproxy、nginx 负载均衡的比较分析

对软件实现负载均衡的几个软件，小D详细看了一下，从性能和稳定上还是LVS最牛，基本达到了F5硬件设备的60%性能，其他几个10%都有点困难。lvs和nginx都可以用作多机负载的方案，它们各有优缺，在生产环境中需要好好分析实际情况并加以利用。目前这个问题还

swtIrene 0喜欢 / 0评论 2016-12-02

lvs、haproxy、nginx 负载均衡的比较分析

swtIrene 0喜欢 / 0评论 2016-04-05

LVS负载均衡中arp_ignore和arp_annonuce参数配置的含义

swtIrene 0喜欢 / 0评论 2014-03-03

Apache+Tomcat使用Apache的反向代理功能实现的负载均衡设置

客户端必须要进行一些特别的设置才能使用正向代理。正向代理的典型用途是为在防火墙内的局域网客户端提供访问Internet的途径。正向代理还可以使用缓冲特性减少网络使用率。使用ProxyRequests 指令即可激活正向代理。因为正向代理允许客户端通过它访问

TS0 0喜欢 / 0评论 2013-12-27

LVS中的负载均衡技术浅析

NAT的工作原理是报文头被正确改写后，客户相信它们连接一个IP地址，而不同IP地址的服务器组也认为它们是与客户直接相连的。由此，可以用NAT方法将不同IP地址的并行网络服务变成在一个IP地址上的一个虚拟服务。在一组服务器前有一个调度器，它们是通过Switc

kjfcpua 0喜欢 / 0评论 2012-10-08

Hadoop实战-中高级部分之 HDFS原理 HDFS负载均衡机架感知健壮性文件删除恢复机制

尽量将数据块的不同副本分布在不同的机架上，这样集群可在完全失去某一机架的情况下还能存活。尽量均匀地将HDFS数据分布在集群的DataNode中。另外，NameNode设法将数据块副本保存在不同的机架上以提高容错性。而HDFS不能够自动判断集群中各个data

TS0 0喜欢 / 0评论 2012-09-04

nginx反向代理、动静分离、负载均衡

要说反向代理，我们就先要理解正向代理 ,下面我们就谈谈正向代理和反向代理吧。一个位于客户端和原始服务器之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个请求并指定目标，然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端才能使用正向代理

thefutureIwant 0喜欢 / 0评论 2019-06-26

apache tomcat mysql负载均衡和集群

公司开发了一个网站，估计最高在线人数是3万，并发人数最多100人。开发的网站是否能否承受这个压力，如何确保网站的负荷没有问题，经过研究决定如下：。采用负载平衡和集群技术，初步机构采用Apache+Tomcat的机群技术。为了能够进行压力测试，需要搭建一个环

gaobudong 0喜欢 / 0评论 2010-09-14

在虚拟机中配置NLB网络负载均衡

平时我都是做APO的，很少接触Core IO方面的东西，最近由于一个项目的需要，要我配置AD、DNS、MOSS+NLB，SQL Server+Cluster。这可是我的弱项，任务既然来了，还是只有硬着头皮上了。在客户那边配置测试环境之前，我先要在虚拟机中做

kjfcpua 0喜欢 / 0评论 2009-06-04

lvs、haproxy、nginx 负载均衡的比较分析

对软件实现负载均衡的几个软件，小D详细看了一下，从性能和稳定上还是LVS最牛，基本达到了F5硬件设备的60%性能，其他几个10%都有点困难。不过就因为LVS忒牛了，配置也最麻烦了，而且健康检测需要另外配置Ldirector，其他HAPROXY和NGINX自

lylzsu 0喜欢 / 0评论 2018-11-05

Nginx实现负载均衡与Nginx缓存功能

Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点开发的，第一个公开版本0.1.0发布于2004年10月4日。　　其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月

gamezouni 0喜欢 / 0评论 2017-11-12

【博文推荐】关于负载均衡技术使用的一些误区

本博文出自51CTO博客李云兴博主，有任何问题请进入博主页面互动讨论！如今，负载均衡已经不是一个新鲜的词，也不是什么新技术，主要用于解决单机负载能力的局限性，但问题是你的应用真的到了单机的负载上限了吗，未必，很多不知道如何推断瓶颈，如何解决问题的人就开始盲

bluet00 0喜欢 / 0评论 2015-04-15

路由器负载均衡几个方面分类

数据流服务也就是我们常说的NetFlow，它是是一个网络协议，它收集IP流量信息作为记录，然后将它们发送到收集器进行流量分析，是一种正在逐步完善的新技术。NetFlow的主要功能在于它能够为服务供应商和企业提供网络的容量规划、趋势分析以及数据的优先级方面的

hjyzjustudy 0喜欢 / 0评论 2013-03-12

nginx负载均衡和lvs负载均衡的比较分析

lvs仅仅分发请求，而流量并不从它本身出去，所以可以利用它这点来做一些线路分流之用。目前这个问题还在进一步测试中。所以，用lvs也得多多当心为妙。目前lvs中 ldirectd也能支持针对服务器内部的情况来监控，但lvs的原理使其不能重发请求。lvs没有这

Studynutlee 0喜欢 / 0评论 2011-12-02

CentOS 双网卡绑定实现负载均衡和故障转移

Linux上双网卡绑定实现就是使用两块网卡虚拟成为一块网卡，这个结合起来的设备看起来是一个单独的以太网接口设备，通俗点讲就是两块网卡具有相同的IP地址而并行链接聚合成一个逻辑链路工作。其实这项技术在Sun和Cisco中早已存在，被称为Trunking和Et

keepon 0喜欢 / 0评论 2013-04-22

负载均衡集群解决方案（二）Nginx

Nginx与传统的服务器不同，不依赖线程来处理请求。即使你不希望处理成千上万的请求，你仍然可以受益于Nginx的高性能和小的内存占用，以及其丰富的功能。因此Nginx还具有缓存功能。并且它无需记录当前所有连接的状态，所以它是一种无状态调度。

smallwhale 0喜欢 / 0评论 2012-09-09

LVS双机热备和负载均衡一体化安装方法

heartbeat 以心跳机制监控实体主机是否存活，实现ipvsadm和ldirectord服务的故障转移。ldirectord 可用来監控实体主機的服務进程是否正常，以决定在ipvsadm配置中删除或加入。如果您使用硬件设备作网关，如有需要，则请相应调整

yuchencnmao 0喜欢 / 0评论 2012-09-08

Linux下高可用性群集和负载均衡群集的实现

heartbeat 的工作原理：heartbeat最核心的包括两个部分，心跳监测部分和资源接管部分，心跳监测可以通过网络链路和串口进行，而且支持冗余链路，它们之间相互发送报文来告诉对方自己当前的状态，如果在指定的时间内未受到对方发送的报文，那么就认为对方

yuchencnmao 0喜欢 / 0评论 2012-10-18

Linux服务器负载均衡LB Cluster的（LVS）技术实现方案

【1】 LVS简介 LVS(linux virtual server)在linux内核中实现的基于IP层和基于内容请求分发的负载平衡调度解决方法，工作在传输层【2】 LVS的三种路由方式 1】 VS-NAT 数据包流向: CIP

cuiyadll 0喜欢 / 0评论 2012-04-28

LVS+Tomcat负载均衡集群搭建(dr模型)

开发团队要测试云存储，要求搭建一个tomcat的负载均衡集群，首先考虑使用lvs实现负载，技术实现成本低，做云存储就是为了节约存储硬件设备的成本。因为考虑是测试环境暂时没有对lvs的director做高可用配置，我会考虑在空闲时间做一个。集群设备：3台测试

shadema 0喜欢 / 0评论 2012-04-17

LVS(Linux Virtual Server)Linux 虚拟服务器介绍及配置(负载均衡系统)

LVS在Unix-like系统中是作为一个前端存在的,又称为调度器，它本身不提供任何的服务，只是将通过互联网进来的请求接受后再转发给后台运行的真正的服务器进行处理，然后响应给客户端。ipvsadm 是用来定义LVS的转发规则的，工作于用户空间中。

极地雪狼 0喜欢 / 0评论 2012-05-31

大数据系统架构之降龙八式

相关推荐