摘要:摘要 在上一篇中我们介绍了 "数据迁移的套路" ,但是没有介绍具体的方案,这篇着重介绍下具体的数据迁移方案 一. 设计目标 设计一个数据迁移的方案,需要实现以下目标 1. 迁移速度 qps 需要达到1k,这样能保证1亿的数据能够在1~2天内跑完 2. 迁移qps可控 迁移有可能对线上服务有影响,需要 阅读全文
posted @ 2020-05-17 21:41 stoneFang 阅读(10) 评论(0) 推荐(0) 编辑
摘要:数据迁移的类型 随着业务的发展,存储也会经常性的需要迁移。以下场景是我们开发过程中经常遇到的 1. 业务、团队在快速扩张,需要适当时机进行微服务的拆分,需要独立的数据库,将数据从源数据库迁移到新的数据库 2. 单表的记录数比较大,需要进行分库分表。需要将老表的数据迁移到新的分表中。 3. 存储选型不 阅读全文
posted @ 2020-05-04 12:01 stoneFang 阅读(176) 评论(0) 推荐(0) 编辑
摘要:摘要 排序引起的慢查询,通常不是那么容易发现,经常和数据分布有关系。往往在业务刚开始时并没有什么问题,但是随着业务的发展,数据分布呈现一种特定的规律,导致了慢查询,或者并不是什么慢查询,但是随着并发请求数增加,数据库的IOPS使用率变高,进一步导致cpu/内存使用率飙高。造成线上故障。 问题 因为排 阅读全文
posted @ 2020-03-16 21:27 stoneFang 阅读(65) 评论(0) 推荐(0) 编辑
摘要:摘要 最近遇到一个慢sql,在排查过程中发现和分库分表后的索引设置有关系,总结了下问题。 问题 在进行应用健康度盘点时,发现有个慢sql 如下 表结构, 按照userid进行的分表 。 CREATE TABLE ( char(30) NOT NULL COMMENT , int(10) unsign 阅读全文
posted @ 2020-03-15 19:32 stoneFang 阅读(146) 评论(0) 推荐(0) 编辑
摘要:摘要 坊间传闻java web开发人员写了那么多代码,但是其实一半代码都在处理NPE。总是在加班,却大部分时间都在处理包冲突,类加载不了的bug。这些问题总是让新老程序员都很抓狂,有很多的工具可以辅助我们解决这些问题(maven helper插件,arthas等)但是有没有一些原则可以遵循,在源头上 阅读全文
posted @ 2020-02-15 13:40 stoneFang 阅读(107) 评论(0) 推荐(0) 编辑
摘要:摘要 在之前的文章 "DDD CQRS能解什么问题" 中,阐述了什么是CQRS。但是并没有业务需求可以应用CQRS。最近需要处理一个文本增量更新的业务,经过需求分析后,尝试使用CQRS来解这个问题 问题分析 一个文本页面编辑,对象很大,之前是全量保存。涉及到的网络传输对象比较大,经常超时OOM,所以 阅读全文
posted @ 2020-02-11 20:21 stoneFang 阅读(314) 评论(0) 推荐(0) 编辑
摘要:摘要 上一次年终总结是 "2016 12 31" 。一晃3年过去了。我也从一个初出茅庐的新人变成了一个职场老鸟。年末了,总结一下过去,展望一下未来。 关键词 瓶颈、底层思考能力、坚持的力量 瓶颈 年纪越大,越发觉得人生的艰难,每个年龄段都有各自的焦虑与忧伤,只是程度不同,所以人生总是很难。 工作久了 阅读全文
posted @ 2020-01-18 10:39 stoneFang 阅读(963) 评论(2) 推荐(4) 编辑
摘要:简介 | 数据模型 |相关数据库 | 典型应用 | 优势 | 劣势 | | | | | | | | key value | Redis | 缓存| 快速查询| 存储数据缺乏结构化| |列族|Cassandra,Hbase|分布式的文件系统,大规模的数据存储|易于分布式扩展|功能受限| |docume 阅读全文
posted @ 2019-12-04 20:39 stoneFang 阅读(181) 评论(3) 推荐(0) 编辑
摘要:摘要 最近读完的书有《这里是中国》、《自卑与超越》、《商业的本质》、《打破自我的标签》。 鉴于我目前的认知水平,对自然景观的欣赏还停留在 ,`666`的水平,《这里是中国》的地理美景介绍引起的思考比较少。对美的鉴赏能力我还是有自知之明,距离大众水平都很有一段距离,得慢慢来。其他几本有商业的,有心理, 阅读全文
posted @ 2019-11-09 11:35 stoneFang 阅读(59) 评论(0) 推荐(0) 编辑
摘要:摘要 万万没想到,最近的一个任务居然在一周没有解决,弄得周六在家忙了一天,还没完成,直到周日早上灵光一闪,才完成了。坦白讲,我已经好久没有过这种体验了,被一个技术问题困扰了好几天,如此这般茫然失措,不过好在最后问题解决了。虽然这个任务可能你不会遇到特别相似的,但是我还是想把问题的解决过程分享给大家, 阅读全文
posted @ 2019-10-30 22:16 stoneFang 阅读(1054) 评论(1) 推荐(4) 编辑