Mesos安装篇(一)

yinduntaian 2017-04-26

Mesos诞生于UCBerkeley的一个研究项目,现已成为ApacheIncubator中的项目。Mesos计算框架一个集群管理器,提供了有效的、跨分布式应用或框架的资源隔离和共享,可以运行Hadoop、MPI、Hypertable、Spark。使ZooKeeper实现容错复制,使用LinuxContainers来隔离任务,支持多种资源计划分配。

总体架构

ApacheMesos由四个组件组成,分别是Mesos-master,mesos-slave,framework和executor。

mesos中的基本术语解释

1

Mesos-master:是整个系统的核心,负责管理接入mesos的各个framework(由frameworks_manager管理)和slave(由slaves_manager管理),并将slave上的资源按照某种策略分配给framework(由独立插拔模块Allocator管理)。

2

Mesos-slave:负责接收并执行来自mesos-master的命令、管理节点上的mesos-task,并为各个task分配资源。mesos-slave将自己的资源量发送给mesos-master,由mesos-master中的Allocator模块决定将资源分配给哪个framework,当前考虑的资源有CPU和内存两种,也就是说,mesos-slave会将CPU个数和内存量发送给mesos-master,而用户提交作业时,需要指定每个任务需要的CPU个数和内存量,这样,当任务运行时,mesos-slave会将任务放到包含固定资源的linuxcontainer中运行,以达到资源隔离的效果。

3

Framework:是指外部的计算框架,如Hadoop,Mesos等,这些计算框架可通过注册的方式接入mesos,以便mesos进行统一管理和资源分配。Mesos要求可接入的框架必须有一个调度器模块,该调度器负责框架内部的任务调度。当一个framework想要接入mesos时,需要修改自己的调度器,以便向mesos注册,并获取mesos分配给自己的资源,这样再由自己的调度器将这些资源分配给框架中的任务,也就是说,整个mesos系统采用了双层调度框架

4

Executor:执行器,安装到mesos-slave上,用于启动计算框架中的task。

安装部署

1

部署环境介绍

内核版本:

[root@ctn-7-11~]#uname-a

Linuxctn-7-11.ptmind.com3.10.0-327.4.4.el7.x86_64#1SMPTueJan516:07:00UTC2016x86_64x86_64x86_64GNU/Linux

系统版本:

[root@ctn-7-11~]#more/etc/redhat-release

CentOSLinuxrelease7.2.1511(Core)

docker版本:

[root@ctn-7-13~]#docker--version

Dockerversion1.10.3,build20f81dd

集群所有主机添加主机名

[root@ctn-7-12~]#more/etc/hosts

---略---

172.16.7.12ctn-7-12.ptmind.comctn-7-12

172.16.7.13ctn-7-13.ptmind.comctn-7-13

172.16.7.14ctn-7-14.ptmind.comctn-7-14

为配置方便讲服务器ssh免密码登陆打通

[root@ctn-7-11workspace]#foripin$(cat/workspace/mesoslist);doecho------$ip-----;sshroot@$iphostname;done

------172.16.7.11-----

ctn-7-11.ptmind.com

------172.16.7.12-----

ctn-7-12.ptmind.com

------172.16.7.13-----

ctn-7-13.ptmind.com

------172.16.7.14-----

ctn-7-14.ptmind.com

1

安装前准备

关闭防火墙

sudosystemctlstopfirewalld

sudosystemctldisablefirewalld

安装docker

sudoyumupdate

curl-sSLhttps://get.docker.com/|sh

安装常用软件包

yuminstallgitlrzszwgetelinksnc-y

添加yum源(所有主机,安装其中一个即可)

rpm-Uvhhttp://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm

rpm-Uvhhttp://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere-el-repo-7-2.noarch.rpm

rpm-Uvhhttp://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere-el-repo-7-3.noarch.rpm

3

集群服务部署规划

服务器IP地址主机名安装服务

172.16.7.12ctn-7-12.ptmind.commesos-master、zookeeper、mesos-slave、chronos

172.16.7.13ctn-7-13.ptmind.commesos-master、zookeeper、mesos-slave、

172.16.7.14ctn-7-14.ptmind.commesos-master、zookeeper、mesos-slave、marathon

更多内容正在更新中,银盾泰安将持续为您发布最新最有用的资讯,敬请期待!

相关推荐