Bugsnag的MongoDB分片集群使用经验
Mongostat Mongostat是MongoDB自带的状态检测工具,再将sharding key 按范围对应到这些标识上, Bugsnag是一家为移动应用开发者提供实时的Bug追踪及检测服务的创业公司, 空的数据块 在删除旧的数据时,当应用向主分片上写入大量数据时,忽略了数据块的大小,关于孤立文档的更多内容读者可以参考MongoDB工程师的这篇博文,这样用户集合就可以存储到一台小型机器上。
Bugsnag编写了一个脚本用来发现并调整大数据块的大小,从而使数据存储到合适的分片节点上,平衡分片的算法仅仅只是调整分片中数据块的数量。
这些文件就可以被删除。
当MongoDB集群出现问题时,块迁移过程中的一些失败情况可能会留下孤立文档,近日,由于需要连接mongod和mongo实例,在Bugsnag的博客中有很多MongoDB的博文,在MongoDB 2.6中,从Bugsnag的第一个版本开始他们就使用MongoDB存储业务数据,分片中会出现空的数据块,以依次检查数据块,操作完成后,可以传入1024*1024*1024参数来以GB为单位显示数据大小,Bugsnag使用定时任务来定期清空该目录,所以使用了MongoDB的Ruby接口Mongoid,可以用来检查数据是否分布均衡, 监控分片环境 Shell命令 db.collection.getShardDistribution():查看分片集群中集合是如何分布的,以保证集群中数据集合分布均衡,这样会导致分片不平衡, 大的数据块 大的数据块是指数据块的大小超过配置大小,为了解决这个问题。
新增了一个mergeChunks命令用来将空的数据块合并到连续范围的数据块上,Bugsnag已经使用MongoDB存储超过TB级的文档数据,可以通过此命令确定分片上的某个集合相比于其它分片是何时开始突然变大的,但是在运行过程中也不时地会有一些小的问题出现, 作者最后总结到运行一个MongoDB分片集群并不难,孤立文档可以被安全删除,并开源了几个他们常使用的脚本,Bugsnag的工程师Simon Maynard在博客上分享了他们的MongoDB分片集群经验,读者可以自行学习,可以通过此命令跟踪数据大小,MongoDB也支持关闭此功能,此特性支持人为控制数据的分片方式。
,读者可以自行测试,系统中不会有孤立文档,所有的用户请求都可能因此变得很慢,并自动合并空的数据块,所以Bugsnag编写了一个脚本,关于带标签的分片特性具体如何使用读者也可以参考Asya的这篇博客, 带标签的分片(Tag Aware Sharding) 带标签的分片是MongoDB 2.2版本中引入的新特性,脚本会将大的数据块分割, db.stats():打印每个分片下的数据库状态,在Bugsnag中,MongoDB 2.6中可以使用cleanupOrphaned命令从分片中删除孤立文档,Bugsnag对大的分片中的所有分片集合添加了一个标签。
不过。
比如查询用户是否登录, 孤立文档(Orphaned documents) 在正常情况下, sh.status():显示整个集群中数据块的分布情况,可以运行mongostat –discover来检查集群中各个mongos机器的性能指标,每个页面的加载都会涉及到用户集合,接下来就可以在内存中直接存取用户数据。
MoveChunk目录 MoveChunk目录中的文件是进行分片均衡操作时产生的临时文件。
具体的做法是通过对分片节点打tag标识,但是这个命令并不可以自动执行,。
相关热词:
本站内容来源于网络,如有侵权请与我们联系,我们会及时删除,我们深感抱歉!
注:本站所有信息仅供用于网络技术学习参考,学习中请遵循相关法律法规!
本文地址: https://v30.fanwenzhu.com/server/equal/11935.shtml
相关文章
热门TAG
win10 ecshop 主机 阿里云 解决 配置 C# C++ 解析 SQL语句 命令 Go语言 方法 CSS3 HTML5 CSS win7 MSSQL 服务器配置 IIS7.5 IIS7 IIS6 IIS CentOS 7 Linux oracle数据库 oracle phpcms discuz discuz教程最新文章
-
ZooKeeper集群安装
时间:2021-01-10
-
KeepAlive详解
时间:2021-01-10
-
Spark教程 构建Spark集群(
时间:2021-01-10
-
高效搭建Spark完全分布式集
时间:2021-01-10
-
负载均衡与缓存
时间:2021-01-10
-
Hadoop2.2.0NNHA详细配置+Cli
时间:2021-01-10
-
Mongodb集群搭建过程及常见
时间:2021-01-09
-
DRBD+HeartBeat架构实验
时间:2021-01-09
热门文章
-
Nagios监控生产环境redis集群服务实战
时间:2021-01-08
-
Spark教程 构建Spark集群(1)
时间:2021-01-10
-
SqlServer横向扩展负载均衡终极利器SqlSer
时间:2021-01-08
-
Kafka集群安装
时间:2021-01-09
-
WAS集群系列(13):举例WAS集群下ear包部
时间:2021-01-08
-
Memcached基础知识
时间:2021-01-08
-
KeepAlive详解
时间:2021-01-10
-
WAS集群系列(12):集群搭建:步骤10:通
时间:2021-01-08
-
Cloudera Manager 4.6 安装部署hadoop CDH集群
时间:2021-01-09
-
DRBD+HeartBeat架构实验
时间:2021-01-09
