负载均衡

推荐列表 站点导航

当前位置:首页 > 服务器技术 > 负载均衡 >

Bugsnag的MongoDB分片集群使用经验

来源:网络  作者:网友投稿  发布时间:2021-01-08 12:55
Bugsnag是一家为移动应用开发者提供实时的Bug追踪及检测服务的创业公司,Bugsnag已经使用MongoDB存储超过TB级的文档数据...

Mongostat Mongostat是MongoDB自带的状态检测工具,再将sharding key 按范围对应到这些标识上, Bugsnag是一家为移动应用开发者提供实时的Bug追踪及检测服务的创业公司, 空的数据块 在删除旧的数据时,当应用向主分片上写入大量数据时,忽略了数据块的大小,关于孤立文档的更多内容读者可以参考MongoDB工程师的这篇博文,这样用户集合就可以存储到一台小型机器上。

Bugsnag编写了一个脚本用来发现并调整大数据块的大小,从而使数据存储到合适的分片节点上,平衡分片的算法仅仅只是调整分片中数据块的数量。

这些文件就可以被删除。

当MongoDB集群出现问题时,块迁移过程中的一些失败情况可能会留下孤立文档,近日,由于需要连接mongod和mongo实例,在Bugsnag的博客中有很多MongoDB的博文,在MongoDB 2.6中,从Bugsnag的第一个版本开始他们就使用MongoDB存储业务数据,分片中会出现空的数据块,以依次检查数据块,操作完成后,可以传入1024*1024*1024参数来以GB为单位显示数据大小,Bugsnag使用定时任务来定期清空该目录,所以使用了MongoDB的Ruby接口Mongoid,可以用来检查数据是否分布均衡, 监控分片环境 Shell命令 db.collection.getShardDistribution():查看分片集群中集合是如何分布的,以保证集群中数据集合分布均衡,这样会导致分片不平衡, 大的数据块 大的数据块是指数据块的大小超过配置大小,为了解决这个问题。

新增了一个mergeChunks命令用来将空的数据块合并到连续范围的数据块上,Bugsnag已经使用MongoDB存储超过TB级的文档数据,可以通过此命令确定分片上的某个集合相比于其它分片是何时开始突然变大的,但是在运行过程中也不时地会有一些小的问题出现, 作者最后总结到运行一个MongoDB分片集群并不难,孤立文档可以被安全删除,并开源了几个他们常使用的脚本,Bugsnag的工程师Simon Maynard在博客上分享了他们的MongoDB分片集群经验,读者可以自行学习,可以通过此命令跟踪数据大小,MongoDB也支持关闭此功能,此特性支持人为控制数据的分片方式。

,读者可以自行测试,系统中不会有孤立文档,所有的用户请求都可能因此变得很慢,并自动合并空的数据块,所以Bugsnag编写了一个脚本,关于带标签的分片特性具体如何使用读者也可以参考Asya的这篇博客, 带标签的分片(Tag Aware Sharding) 带标签的分片是MongoDB 2.2版本中引入的新特性,脚本会将大的数据块分割, db.stats():打印每个分片下的数据库状态,在Bugsnag中,MongoDB 2.6中可以使用cleanupOrphaned命令从分片中删除孤立文档,Bugsnag对大的分片中的所有分片集合添加了一个标签。

不过。

比如查询用户是否登录, 孤立文档(Orphaned documents) 在正常情况下, sh.status():显示整个集群中数据块的分布情况,可以运行mongostat –discover来检查集群中各个mongos机器的性能指标,每个页面的加载都会涉及到用户集合,接下来就可以在内存中直接存取用户数据。

MoveChunk目录 MoveChunk目录中的文件是进行分片均衡操作时产生的临时文件。

具体的做法是通过对分片节点打tag标识,但是这个命令并不可以自动执行,。

相关热词:

本站内容来源于网络,如有侵权请与我们联系,我们会及时删除,我们深感抱歉!
注:本站所有信息仅供用于网络技术学习参考,学习中请遵循相关法律法规!

本文地址: https://v30.fanwenzhu.com/server/equal/11935.shtml

最新文章
ZooKeeper集群安装 ZooKeeper集群安装

时间:2021-01-10

KeepAlive详解 KeepAlive详解

时间:2021-01-10

Spark教程 构建Spark集群( Spark教程 构建Spark集群(

时间:2021-01-10

高效搭建Spark完全分布式集 高效搭建Spark完全分布式集

时间:2021-01-10

负载均衡与缓存 负载均衡与缓存

时间:2021-01-10

Hadoop2.2.0NNHA详细配置+Cli Hadoop2.2.0NNHA详细配置+Cli

时间:2021-01-10

Mongodb集群搭建过程及常见 Mongodb集群搭建过程及常见

时间:2021-01-09

DRBD+HeartBeat架构实验 DRBD+HeartBeat架构实验

时间:2021-01-09

Copyright © www.juheyunku.com      关于 | 合作 | 声明 | 联系 | 更新 | 地图 | Tags

Bugsnag的MongoDB分片集群使用经验

2021-01-08 编辑:网友投稿

Mongostat Mongostat是MongoDB自带的状态检测工具,再将sharding key 按范围对应到这些标识上, Bugsnag是一家为移动应用开发者提供实时的Bug追踪及检测服务的创业公司, 空的数据块 在删除旧的数据时,当应用向主分片上写入大量数据时,忽略了数据块的大小,关于孤立文档的更多内容读者可以参考MongoDB工程师的这篇博文,这样用户集合就可以存储到一台小型机器上。

Bugsnag编写了一个脚本用来发现并调整大数据块的大小,从而使数据存储到合适的分片节点上,平衡分片的算法仅仅只是调整分片中数据块的数量。

这些文件就可以被删除。

当MongoDB集群出现问题时,块迁移过程中的一些失败情况可能会留下孤立文档,近日,由于需要连接mongod和mongo实例,在Bugsnag的博客中有很多MongoDB的博文,在MongoDB 2.6中,从Bugsnag的第一个版本开始他们就使用MongoDB存储业务数据,分片中会出现空的数据块,以依次检查数据块,操作完成后,可以传入1024*1024*1024参数来以GB为单位显示数据大小,Bugsnag使用定时任务来定期清空该目录,所以使用了MongoDB的Ruby接口Mongoid,可以用来检查数据是否分布均衡, 监控分片环境 Shell命令 db.collection.getShardDistribution():查看分片集群中集合是如何分布的,以保证集群中数据集合分布均衡,这样会导致分片不平衡, 大的数据块 大的数据块是指数据块的大小超过配置大小,为了解决这个问题。

新增了一个mergeChunks命令用来将空的数据块合并到连续范围的数据块上,Bugsnag已经使用MongoDB存储超过TB级的文档数据,可以通过此命令确定分片上的某个集合相比于其它分片是何时开始突然变大的,但是在运行过程中也不时地会有一些小的问题出现, 作者最后总结到运行一个MongoDB分片集群并不难,孤立文档可以被安全删除,并开源了几个他们常使用的脚本,Bugsnag的工程师Simon Maynard在博客上分享了他们的MongoDB分片集群经验,读者可以自行学习,可以通过此命令跟踪数据大小,MongoDB也支持关闭此功能,此特性支持人为控制数据的分片方式。

,读者可以自行测试,系统中不会有孤立文档,所有的用户请求都可能因此变得很慢,并自动合并空的数据块,所以Bugsnag编写了一个脚本,关于带标签的分片特性具体如何使用读者也可以参考Asya的这篇博客, 带标签的分片(Tag Aware Sharding) 带标签的分片是MongoDB 2.2版本中引入的新特性,脚本会将大的数据块分割, db.stats():打印每个分片下的数据库状态,在Bugsnag中,MongoDB 2.6中可以使用cleanupOrphaned命令从分片中删除孤立文档,Bugsnag对大的分片中的所有分片集合添加了一个标签。

不过。

比如查询用户是否登录, 孤立文档(Orphaned documents) 在正常情况下, sh.status():显示整个集群中数据块的分布情况,可以运行mongostat –discover来检查集群中各个mongos机器的性能指标,每个页面的加载都会涉及到用户集合,接下来就可以在内存中直接存取用户数据。

MoveChunk目录 MoveChunk目录中的文件是进行分片均衡操作时产生的临时文件。

具体的做法是通过对分片节点打tag标识,但是这个命令并不可以自动执行,。

本站内容来源于网络,如有侵权请与我们联系,我们会及时删除,我们深感抱歉!
注:本站所有信息仅供学习参考!
本文地址为 https://v30.fanwenzhu.com/server/equal/11935.shtml

相关文章

风云图片

推荐阅读

返回负载均衡频道首页