Mesos基本理与架构
首先,Mesos 是一个资源调度框架,并非一整套完整的应用管理平台,本身是不能干活的。但是它可以比较容易的跟各种应用管理或者中间件平台整合,一起工作,提高资源使用效率。
架构master-slave 架构,master 使用 zookeeper 来做 HA。
master 单独运行在管理节点上,slave 运行在各个计算任务节点上。
各种具体任务的管理平台,即 framework 跟 master 交互,来申请资源。
基本单元 master负责整体的资源调度和逻辑控制。
slave负责汇报本节点上的资源给 master,并负责隔离资源来执行具体的任务。
隔离机制当然就是各种容器机制了。
frameworkframework 是实际干活的,包括两个主要组件:
scheduler:注册到主节点,等待分配资源;
executor:在 slave 节点上执行本framework 的任务。
framework 分两种:一种是对资源需求可以 scale up 或者 down 的(Hadoop、Spark);一种是对资源需求大小是固定的(MPI)。
调度对于一个资源调度框架来说,最核心的就是调度机制,怎么能快速高效的完成对某个 framework 资源的分配(最好是能猜到它的实际需求)。
两层调度算法:master 先调度一大块资源给某个 framework,framework 自己再实现内部的细粒度调度。
调度机制支持插件。默认是 DRF。
基本调度过程调度通过 offer 方式交互:
master 提供一个 offer(一组资源) 给 framework;
framework 可以决定要不要,如果接受的话,返回一个描述,说明自己希望如何使用和分配这些资源(可以说明只希望使用部分资源,则多出来的会被 master 收回);
master 则根据 framework 的分配情况发送给 slave,以使用 framework 的 executor 来按照分配的资源策略执行任务。 过滤器
framework 可以通过过滤器机制告诉 master 它的资源偏好,比如希望分配过来的 offer 有哪个资源,或者至少有多少资源。
主要是为了加速资源分配的交互过程。
回头机制master 可以通过回收计算节点上的任务来动态调整长期任务和短期任务的分布。
HA mastermaster 节点存在单点失效问题,所以肯定要上 HA,目前主要是使用 zookpeer 来热备份。
同时 master 节点可以通过 slave 和 framework 发来的消息重建内部状态(具体能有多快呢?这里不使用数据库可能是避免引入复杂度。)。
相关热词:
本站内容来源于网络,如有侵权请与我们联系,我们会及时删除,我们深感抱歉!
注:本站所有信息仅供用于网络技术学习参考,学习中请遵循相关法律法规!
本文地址: https://www.juheyunku.com/jiaob/zh/9871.shtml
相关文章
热门TAG
命令 权重 外链 企业网站 白帽 php 织梦教程 dedecms修改内容 javascript 织梦 功能 标签 调用 详解 服务器 网站流量 实例解析 Dedecms 织梦cms HTML tags标签 python jquery教程 jquery windows SEO优化 蜘蛛 搜索引擎 网站收录 JSP最新文章
-
Servlet使用预设参数
时间:2020-12-27
-
niubijob一个开源的分布式任
时间:2020-12-27
-
前端学HTTP之安全HTTP
时间:2020-12-27
-
技术培训|资源编排 人人都
时间:2020-12-27
-
AR增强现实开发介绍(续)
时间:2020-12-27
-
一个操作系统的实现(11)让
时间:2020-12-27
热门文章
-
Servlet使用预设参数
时间:2020-12-27
-
一个操作系统的实现(11)让操作系统进入保
时间:2020-12-27
-
前端学HTTP之安全HTTP
时间:2020-12-27
-
技术培训|资源编排 人人都可以成为架构
时间:2020-12-27
-
AR增强现实开发介绍(续)
时间:2020-12-27
-
niubijob一个开源的分布式任务调度框架 安
时间:2020-12-27
