微模块化数据中心机房技术方案分享
明天就流量监控 2019-10-31
未来可期，微模块！有技术探讨大家可以共同分享。易事特模块化机房是目前国
易事特集团股份有限公司
全球能源互联系统集成解决方案供应商
目 录
一、概述 1
二、设计依据 2
三、设计说明 3
四、微模块结构组成 4
4.1 微模块总体布局 4
4.2微模块底框及连接 5
4.3通道封闭组件 6
4.4服务器机柜 7
五、配电系统 8
5.1总配电部分包括 9
5.2 UPS输出列头柜配电部分 10
5.3 PDU 11
5.4、UPS电源系统 11
六、防浪涌保护设计接地系统
6.1等电位安装
6.2等电位要求
七、照明系统
7.1照明布置
7.1照明要求
八、空调系统 14
8.1空调配置制冷量计算 14
8.2行间空调配置 14
九、智能动力环境监控系统 16
9.1智能动环监控系统架构 16
9.2微模块动环监控配置说明 16
9.3监控内容 18
9.4微模块设备监控控制说明表格 18
9.5智能动环监控系统优势 19
一、概述
一直以来数据中心都是属于能耗大户，特别是数据中心的布局，气流组织、设备选型等如果设计不合理，建成的数据中心不但单机柜密度较低，PUE值高，而且运行成本更是居高不下，给社会资源造成极大浪费。易事特公司以现代绿色数据中心为理念，从解决传统数据中心建设周期长、投资巨大、单机柜密度低、PUE值高、运行成本高等一些弊病出发，研发打造微模块化节能数据中心，更好的服务于社会。
微模块(Micro Module)是指由若干个机架为单元，包括配电模块、制冷模块、高压直流或UPS模块，监控、网络、布线等若干个功能在内的独立运行模块，该模块均为工厂预制，可灵活拆装、快速组装、快速部署。
易事特微模块数据中心具有以下特点：
1）采用精准行级制冷技术，使冷空气集中与服务器进行热交换，避免将大部分冷空气与环境进行热交换，从而达到节能的目的。
2）功率密度高，每机柜IT设备电功率为5-10KW。
3）工业化，微模块各部件的制造符合通用的工业标准，大部分组件可在工厂预制。规避含有特殊制造工艺的部件设计。
4）标准化。可简单复制，可靠性高。微模块内部的设计在不同的数据中心条件下可100%复制，当数据中心建筑条件不理想时（比如层高不足），微模块内部的设计无需改变，仅在物理尺寸上进行调整。
5）快速部署，周期缩短到3-4个月内。在工厂预制的部件应尽可能多，减少部署时间。
6）模块化便于扩展。只要机房有空间就能实现扩展。
7）低成本。总投资不高于传统数据中心。
8）低PUE值，降低数据中心的运营成本，节能环保。能耗指标PUE2.0以下。
二、设计依据
根据政府有关项目建设的法律、法规、指导性文件以及有关设计的规范、规定、标准：
《电子信息系统机房设计规范》
《建筑设计防火规范》
《建筑内部装修设计防火规范》（2001年修订版）
《建筑结构荷载规范》(2006 年版)
《砌体结构设计规范》
《声环境质量标准》
《采暖通风与空气调节设计规范》
《建筑给水排水设计规范》
《自动喷水灭火系统设计规范》
《建筑灭火器配置设计规范》
《供配电系统设计规范》
《10kV 及以下变电所设计规范》
《并联电容器装置设计规范》
《低压配电设计规范》
《电力工程电缆设计规范》
《建筑照明设计标准》
《建筑物防雷设计规范》(2000 年版)
《建筑物电子信息系统防雷技术规范》
《民用建筑电气设计规范》
美国通信行业协会标准 TIA-942 《数据中心通信设施标准》
美国电气和电子工程师协会标准：IEEE-1100《电子设备供电和接地操作规》
美国采暖制冷与空调工程师协会标准：《数据设备环境指南》（2008）
三、设计说明
数据中心机房面积有XXX平方，长为XXXmm，宽为XXXmm，总层高XXXmm，机房IT设备负载实际功率50KW，空调和其它实际功率为20KW。根据现代绿色数据中心的建设理念,本项目方案采用易事特绿色节能的微模块方案做为本次项目方案设计,年平均PUE控制在2.0以内。
1) 本设计方案共建设一个微模块，共计含机柜数量：10*1=10个；
2) 每个微模块基本配置包含1个列头柜（含配电柜）、1个管控柜、。
3) 每个机柜负载功率按照4kW设计。总配电量按照60%的同时使用系数考虑。
4) UPS采用模块化160KVA主机系统，内置3块25KVA的模块，蓄电池采用12V120AH40只。
5) R10每个微模块配置2台12kW精密列间空调；
6) 微模块采用高架地板，下部走空调水管设计方案。
7) 机架高度标准为2000mm，保证可用空间为42U；
8) 最节能气流组织及运行工况设计：冷热通道密闭
9) 集成动环监控系统
10) 集成消防系统等。
11) 平面设计如下图
四、微模块结构组成
4.1 微模块总体布局
- 每微模块包含 1个列头柜（含配电柜、）、１个管控柜、1 套监控组件、1 套冷通道封闭组件、1 套底座及微模块布线桥架等。模块均为整体封闭设计，颜色选用黑色细沙纹，总体布局如图2.1-1-图2.1-5所示。
图2.1-1 模块示意图(此图为示意)
图2.1-2 模块底框布局图(此图为示意) 图2.1-3 IT 微模块封闭通道组件及走线架布局图
- 功能单元的尺寸如下：
功能单元 宽 mm 深 mm 高 mm
配电柜 600 1200 2000
IT机柜 600 1200 2000
行间空调 300 1200 2000
4.2微模块底框及连接
- 微模块底部框架分为设备底框及冷通道底部组件两类，均采用单元式框架在现场进行拼装；设备底框与机架、空调、配电电源等设备一一对应，冷通道底部组件采用全钢抗静电地板，承重达1000Kg/ m2，能负担设备及人员的全部重量。
- 为不影响机柜安装及维护，标准冷通道250mm，底部组件实际高度215mm，采用35mm厚全钢抗静电地板，，确保安装后与设备支架齐平，。
- 设备底框框架材质为不低于2.5mm厚冷轧钢板，框架焊接结构，确保设备承重。
- 设备底框及冷通道底部组件现场可实现快速组装，具有快速拼接装置，确保底部框架作为整体的稳定性。
- 设备底框均采用防腐喷涂处理，颜色与微模块机柜颜色一致。
- 底框现场组装完毕后需与机柜、UPS柜、电池柜及配电柜之间进行快速连接，采用螺纹连接方式，底框内部安装空调室内机，螺钉位置便于维护及后期拆装；连接牢固、稳定，且满足微模块顶部平齐的要求。
- 底框安装完毕后侧面需安装围板，确保微模块整体美观，围板颜色与机柜、底框颜色一致，采用2.0mm厚冷轧钢板，安装方式简便，便于后期拆卸、维护。
4.3通道封闭组件 - 微模块为封闭冷通道结构，冷通道宽度为1200mm，高度2000mm，顶板距离冷通道地板高度2200mm。
- 封闭通道组件包含前后推拉门、顶板框架、固定天窗、翻转天窗、照明等几个部分，如图2.3-1所示。
图2.3-1 冷通道整体示意图 - 前门为前后推拉门，可设置门禁系统，控制使用人的权限和进出时间；后门为消防门，当发生火灾等紧急情况时，便于逃生。
- 封闭通道顶板采用金属框架带透光玻璃。透光玻璃固定在封闭通道金属框架上，采用跌落式设计，即通过转动轴固定，一边通过自动开关固定，在接到烟感、温感等消防告警信号后开关动作，同时具有手动开启功能，天窗靠重力绕转动轴翻转，将冷通道打开。天窗整体满足消防要求，即保证消防气体或者水雾可进入通道内。顶板的连接方式要便于现场拆卸、维护。翻转天窗布局原则为：固定式天窗和活动天窗间隔布置，用于安装烟感、温感、监控、照明等。
- 封闭通道框架材质1.5mm厚冷轧板，表面防腐喷涂处理，颜色与机柜颜色协调。框架与机柜顶部采用螺栓固定，框架整体架构美观、牢固，长期使用不得出现变形、弯曲等现象。
- 框架顶板内侧需安装烟感、温感、摄像头、照明等辅助设备，安装牢固且要便于拆卸、更换，通道内 摄像头在通道两端对方，能覆盖全部冷通道，烟感、温感等同类型的多个传感器在通道内平均布放，不得集中于一个区域内，便于完整信号采集；相关照明、信号等电缆需埋入框架内，保持美观及必要的可维护性。
- 前门管控柜的面板上安装显示屏，显示微模块运行情况。
4.4服务器机柜
服务器机柜特点
? 尺寸为宽600mm×深1200mm×高2000mm （不含地脚高度滚轮）；机柜整体采用黑色细沙纹。
? 机柜具有高刚性、轻量化，机柜自身重量不大于130kg。
? 机柜具高承载力，静载能力1200kg。
? 机柜具有高抗震性能，9烈度抗震载荷1000kg。
? 机柜提供了系列热解决方案，前后门采用网孔门开孔率70%以上，
? 机柜具有灵活的供电解决方案，侧装PDU，接线盒多种配置可供选择。
? 机柜系统有完善的抗震、减震对策，可选配减振部件、抗震部件实现内部对机柜内部设备的保护。
服务器机柜
机柜由框架、顶板、底板、立柱、横梁等组成，其中框架是机柜系统的主要模块，也是整个机柜系统的骨架和连接各子系统及模块的核心。框架采用九折型材机柜结构，保证定位精度和方便焊接操作。
机柜的前后框是由立柱、门楣、横梁、固定组成。立柱是前后框中主要零件，立柱的截面形状设计对整机的刚强度起到关键作用，立柱设计为厚度为2mm冷轧钢板折弯结构，门楣和横梁为钣金冲孔折弯而成。固定块为精密铸钢件。
服务器机柜顶部
服务器顶盖板提供机柜顶部防护及提供出线通道。顶盖板采用两段式设计，1.2 mm厚钣金折弯制成。顶盖板为密封顶板，顶盖前后开有4个圆形孔，用于出线。框架顶部横梁上设2个M6螺栓孔，可用于微模块顶部接地。整机框架，侧门、门和框架用接地导线连接；机柜有接地要求任意两点之间的电阻小于50毫欧。在框架上设置有侧门和前后门的接地点。保证前后门和侧门的可靠接地。
五、配电系统
本项目微模块数据中心配电系统采用一套模块化UPS+市电供电的双母线组成2N系统供电。UPS设备和市电各带载50%，两路电源相互备用，后备电池延时3小时，实现高可靠的供电系统。
- 微模块正门左右两侧分别布置管控柜和列头柜系统，进门右侧配置配电系统柜。左右两侧管控柜和列头柜柜体尺寸300mm(宽)1200mm(深)2000mm(高)进门侧的配电柜柜体尺寸与服务器机柜相同，即600mm(宽)1200mm(深)2000mm(高)。
- 微模块设置列头柜的作用有两点：一是由于UPS配电柜的输出分路有限，而列头柜可以按设备的电力需求进行优化配置，解决电源柜分路不足的问题；二是方便电路的检修，单一分支电路出现故障不必总配电柜断电检修，只需要断开该路电源检修，大大提高机房整体电路的容错性。
- 配电柜分为两部分，一部分为R12模块的总配电，另一部分为UPS输入输出分配。
图3.1-1 配电柜示意图
5.1总配电部分包括
1）ATS320A/4P1 路
1）总输入空开320A/4P1 路
2）UPS输入空开250A/3P2路
2）UPS输入空开200A/3P1路
2）列头柜输入空开200A/3P1路
3）空调空开63A/3P6 路
3）其它开32A/1P4 路，备用32A/3P1路
4）智能仪表
5）防雷器
详见图3.1-2。
图3.1-2 总配电系统图
5.2 UPS输出列头柜配电部分
1）总输入空开200A/3P2路
2）监控触摸屏1套（42回路检测）
3）A路机柜交流开关32A/1P12路，管控柜开关32A/1P1路，照明16A/1P1路，预留32A/1P2路
4）B 路机柜交流开关32A/1P12路，管控柜开关32A/1P1路，照明16A/1P1路，预留32A/1P2路
5）防雷器20K/2路
列头柜配备智能电量仪以及报警装置，并通过电量仪将采集的运行数据（包括但不限于电压、总电流、总功率、用电量、功率因数、谐波等）纳入到弱电监控系统中，实现724不间断监控。 通过智能电量仪采集的数据可对微模块的PUE实时值进行测算。详见图3.1-3。
5.3 PDU
每台机柜内预装2台总电流为25A 12位的交流PDU，每台PDU最大电力支持5kW的IT设备工作，每个PDU由独立的供电回路供电；两个PDU独立安装在机柜右后方，方便单个拆卸更换
根据模块组合的机柜数量设计PDU支路输出，选用ABB 微型断路器，通过ZR-4mm2*3阻燃电线五等线接入机柜与PDU通过工业插头连接；
5.4、UPS电源系统
1、 UPS采用模块化EA66160主机系统（最大可扩容到160KVA），配备25KVA的功率模块3块（2主1备），各模块可以在线进行热插拔操作，为微模块配电提供N+1冗余设计。
2、 UPS电源系统由显示模块、旁路模块（STS）、最大8个25K功率模块、开关（整流、旁路、电池、输出、维修）组成，工作原理详见图3.1-5。
图3.1-4 UPS电源主机柜图 
图3.1-5 UPS电源系统
- 该UPS电源系统配置3组电池（2主1备），分三个电池柜，主柜配置独立空开，每组12V/200AH 120只，对应接入熔芯为200A，系统备电时间为180分钟（基于环境温度25℃时）。
- 电池选择用具备短延时大电流特性的铅酸蓄电池，并配置电池健康管理系统。
- 电池接线端子上应配置绝缘保护帽，分两列摆放，每列接线端子分别面向机柜正门、背门，便于后期维护。
- 电池柜尺寸为1200mm（深）*600mm（宽），放置于微模块内部，如图3.1-6所示。
图3.1-6 电池柜示意图
7． 机柜PDU电缆与列头柜开关连接直接取电，每台机柜配置2个16口25A/220V PDU（插座可选C13、C19制式）。 模块配电与模块消防报警、灭火系统设计简述
当火灾发生时，探测器报警后，火灾控制器发出火警预警声、光报警信号，但此时不启动灭火程序，切断模块配电柜供电电源，即切断非消防电源供电的用电设备。如：UPS、空调机、照明、计算机等设备供电电源。上述设备供电与消防系统的联动过程，是采用电源配电柜主断路器的分励脱扣作远距离分端，配电柜主开关均装有分励脱扣器和辅助接点，脱扣原理如图3.1-8所示。图3.1-7 脱扣原理图 六、防浪涌保护设计接地系统
本项目微模块的防浪涌设计，分别在主输入配电柜和列头柜的开关下端接入新宏博系列浪涌保护器，配电柜输入端采用通流量最大为40KA的B级浪涌保护，列头柜端采用通流量为20KA的C级浪涌保护。具体符合现行国家标准《建筑物 防雷设计规范》 和《建筑物电子信息系统防雷技术规范》的有关规定。
6.1等电位安装
在微模块内，安装环状的303mm的等电位铜排，在机房及配电间墙上安装8010的接地铜排，采用M接地方法，整个建筑物首层的接地通过汇流排接到地网上。
6.2等电位要求
将微模块上配电柜金属外壳、UPS电源金属外壳、电源地、避雷器地、机柜外壳、金属线槽等金属部件和系统(设备的外壳)进行多点等电位接地就近至汇流排，并采用6mm2铜芯线螺栓紧固的线夹作为连接材料。微模块每个机架位留有不少于两处接地接入点，对外接地采用2根不同长度的,不小于6mm2的铜导线与基础接地极连接。
接地电阻要求如下：（1）工作接地电阻≤2Ω；（2）保护接地电阻≤4Ω；
（3）防雷接地电阻≤10Ω。
七、照明系统
7.1照明布置
照明设备采用T8白色LED节能灯管及灯罩，配置5盏LED照明灯安装于冷通道固定天窗顶部，每个灯管总功率40W，总照度500lx。
7.1照明要求
为保持美观及必要的可维护性，照明开关位于通道两侧门外，采用双联双控开关，两侧均可实现对照明的控制。
照明灯具接线由列头柜出线后通过通道密闭钢结构件绕线后接入，通道密闭结构件有相应走线位置。
八、空调系统
微模块数据中心采用列间安装式机房精密空调，采用前送风后回风的水平送风方式，是专门为行间制冷数据中心进行研发设计的，由于数据中心所使用的服务器设备本身的散热量愈来愈大，用传统的空调制冷方式已经不能满足设备对温、湿度的要求，为了达到设备高效率冷却、不产生局部过热现象，冷空气必须由组织的进入设备的内部进行排热，此时采用封闭冷通道的方式，可以有效地控制因冷风气流和热风气流短路，而减低了冷却的效果。行间机房空调和微模块设计配合，完全解决了冷热气流短路问题，并保证空调送风以最短的路径工作，保障了服务器机柜温度的均匀，消除了局部热点，进而增加了服务器的运行可靠性同时有效的降低了不必要的能耗。
本方案由于规模原因，配置以自然风冷为主的行间精密空调，做为微模块数据中心的主要制冷设备。
8.1空调配置制冷量计算
该项目的数据中心机房，负载50KW面积约80平方米.（根据微模块的大小描述）以及其它因素选择如下：
? 功率及面积法： Qt=Q1+Q2
Qt 总制冷量（KW）
Q1 室内设备负荷（=设备功率×0.8）
Q2 环境热负荷（=(0.12--0.18kW) / m2×机房面积,视地域情况取值不同，一般南方取0.18----0.15，北方取0.12----0.14，或取中间值0.15）
公式如下：
Qt=Q1+Q2
Qt=总制冷量（KW）
Q1=室内设备负荷（=设备功率50）
Q2=环境热负荷（=0.15KW/m2×80）
Qt=50KW+(0.15KW/ m2×80m2)=80KW
8.2行间空调配置
1．配备25KW的精密列间空调2台，列间空调主要包括室内机和室外机两部分，室内机包括EC风机、表冷器、冷凝水盘、电源、控制器、压缩机等。 安装方式：与机柜并排安装。
2． 空调气流组织：冷通道送风，热通道回风。
3．制冷量为25kW；风量4800m3/h。控制方式为控送（回）风温度，控制精度±1℃，可以现场设定温度值。
6． 空调配置为N+1。
7．空调配置冷凝水盘，采用重力排水方式，排水管高100mm，预留DN15丝口连接，接入机房冷凝水排水管网。
8．空调制冷量输出，通过EC风机转速控制自行调节。
9．具备断电记忆功能，断电后来电可自启动。
10． 空调支持Modbusrtu通讯，可提供设备运行状态和故障报警。
11． 具备断电记忆功能。
九、智能动力环境监控系统
9.1智能动环监控系统架构
系统采用B/S分布模式的模块化结构，软硬件的安装与维护集中于监控主机端，易于实施和维护。同时采用B/S结构，客户端只负责用户界面显示，数据处理放在监控主机端，当监控需求增加时，只需对监控主机进行升级或扩展成多个监控主机即可，大大地加强系统的伸缩性。
监控主机：WEB管理，可脱网工作并具有独立数据处理及数据存储能力，用于将现场设备采集层传输来的的各种信息进行存储、实时处理、分析和输出，处理所有的报警信息，记录报警事件，并负责将控制命令发往前端设备，实现对现场设备的远程控制。
IE浏览终端：用于进行远程的WEB浏览，便于管理人员随时随地了解机房的工作状况，可直接观看到与监控主机一致的监控画面，在具有相应权限下还可对设备实现远程控制，如空调的开关机等。
9.2微模块动环监控配置说明
根据模化机房具体需求如下：从功能结构上，本次R12微模块环境监控系统主要涉及环境监控设备、各种动力设备、机电设备和安防系统，各子系统主要监控包括（下面子系统根据实际情况删减）：
动力监控部分
? 市电输入：监测市电的实时供电参数，如三相电压、电流等。
? 配电开关：监测配电开关的通断电状态。
? 精密配电柜：监测配电柜内的供电输入参数，各支路配电开关状态及负载电流等。
? 直流/交流配电屏：监测配电屏的输出电压、输出电流、各分路电流、电压等参数。
? UPS：监测UPS的工作状态和运行参数。
? 蓄电池组：每组蓄电池，监测单体蓄电池的电压、组电压、充放电电流参数。
? 发电机：监测发电机的输出电压、电流，油温、油位等参数。
环境监控部分
? 精密空调：监测精密空调的运行参数及状态，并可实现远程开关机启停控制和参数设置。
? 普通空调：监测普通空调的运行状态，并可实现远程开关机启停控制。
? 新风机：监测新风机的开关机运行状态及过滤网堵塞状态，并可实现远程开关机启停控制、定时启停功能。
? 温湿度：监测机房内重要区域的温度、湿度数值及变化情况。
? 漏水：定位式漏水（区域式漏水），漏水感应绳，监测机房内空调四周有无漏水发生。
? 防雷监测：监测防雷器提供的干接点状态。
安保监控部分
? 门禁管理：采用进门刷卡（或指纹）+出门按按钮（或刷卡、指纹）的验证方式，实现对人员出入情况的管理。
? 视频图像：监视机房区域的实时图像，并进行视频录像。
? 消防：监测消防控制箱提供的干接点火警信号。（在机房内安装烟感探测器，监测机房内的火警情况。）
? 防盗：点红外探测器，监测机房内的人员活动情况。
平台告警方式：实现短信报警、电话拨号报警、声光报警、E-Mail报警等报警方式。
接口类型
序号 监控对象 接口类型 监控参数 备注
1 低压配电柜 RS485 三相及各相电压、电流、有功功率、无功功率、频率、功率因数、视在功率、有功电度、无功电度等
2 HVDC（UPS） RS485 按照HVDC（UPS）提供的协议参数显示
3 蓄电池 RS485 单体电池电压、每节电池内阻、电池电流、电池表面温度；电池总电压、总充放电流等
4 空调 RS485 空调制冷方式、外机运转状态、电子三通阀工作状态、冷风机运行状态、水泵运行状态、机组供/回水温度、水箱液位等
5 温湿度 RS485/AI 微模块/外温度、湿度
6 漏水 DI 定位/不定位漏液检测
7 消防 DI 消防故障/消防报警
8 视频 TCP/IP 高清红外摄像头视频监控
9 门禁 TCP/IP /RS485 刷卡/密码/指纹门禁及权限监控
10 风机控制 RS485/AO 0~10VDC电压信号输出
9.3监控内容
项目R12微模块的智能动力监控配置如图所示，具体说明如表格：
9.4微模块设备监控控制说明表格
序号 监控对象 接口类型 监控参数 备注
1 低压配电柜 RS485 三相及各相电压、电流、有功功率、无功功率、频率、功率因数、视在功率、有功电度、无功电度等
2 UPS RS232/SNMP/ RS485 UPS工作状态、告警状态；输入、输出电压/电流/频率；电池充放电状态等
3 蓄电池 RS485 单体电池电压、每节电池内阻、电池电流、电池表面温度；电池总电压、总充放电流等
4 空调 RS485 空调制冷方式、外机运转状态、电子三通阀工作状态、冷风机运行状态、水泵运行状态、机组供/回水温度、水箱液位等
5 温湿度 RS485/AI 微模块/外温度、湿度
6 漏水 DI 定位/不定位漏液检测
7 消防 DI 消防故障/消防报警
8 视频 TCP/IP 高清红外摄像头视频监控
9 门禁 TCP/IP /RS485 刷卡/密码/指纹门禁及权限监控
9.5智能动环监控系统优势
1) 系统主要采用TCP/IP，具体传输方式传输路由进行组网。
2) 方案具有平滑的扩容和升级能力，以适应建设方业务发展和管理的需要。
3) 开放的数据接口，监控系统未来考虑与其他监控系统的互联，或者可接入其它监控系统。
4) 良好的可维护性：一是从组网结构上考虑运维体制可能的变化对监控业务的影响，适应建设方运维体系的可能的变动；二是选型的设备采用维护工作量较少和易于维护的设备，最大限度的减少日常运维工作量。
5) 系统结构具有很好的稳定性：一是系统某一接点或某一设备的故障不影响其它设备和系统的正常运行；二是选型设备本身具有较好的稳定性和良好的故障保护功能。
6) 系统先进性：设计的系统和设备能满足现行发布的关于动力设备、环境及视频监控系统的全部技术规范和要求，软硬件能方便和可预见的进行扩容，对本监控系统预留扩容接口。能够满足系统长期建设和发展的需要，以最大限度的保护用户投资。
