3、针对核心服务的异常有专门的一个监控表格 , 会列出最近发生的核心链路服务上的异常 , 点击这上面的任何一个异常 , 也可以进入对应的调用链 。
【微服务架构体系的深度治理 什么是架构体系?】以上就是基于动态调用链进行线上故障定界定位的常用模式 。
【容量规划】线上的流量今天涨一点 , 明天涨一点 , 如果麻痹大意的话 , 说不定哪天服务就被冲垮了 , 所以要对线上的流量时时进行规划 , 以做到心里有数 。
容量规划有两种形式 , 一种是容量预估 , 另一种是性能压测 。
系统或者服务上线之前 , 首先要进行容量的预估 , 一般做法是基于经验 , 同时结合对业务的前景预期 , 先估算出一个总的调用量 , 比如1亿的PV , 可能会有10%的流量落在购物车服务上 , 购物车服务就是1000万的PV , 一次购物车访问会产生2次数据库调用 , 那么它的关联数据库就会有2000万的一个调用量 , 这样 , 基于图上从左至右 , 层层分解之后 , 就可以获取到每个服务节点上摊到的访问量 , 再结合运维部门的单机容量指标 , 就可以估算出整个集群需要多少的软硬件资源 。
系统或者服务一旦上线之后 , 它的性能就开始处于不断“劣化”的状态 , 上线前预估的指标会越来越不准 , 这时候就需要通过线上性能压测来对实时容量进行监控 。 做线上性能压测也要遵循一定的规律 , 不是说一上来就做全链路压测 。 同样是基于上图中的调用关系 , 线上性能压测首先需要在调用链的末梢 , 也就是对数据库或者缓存先进行压测 , 以保证它们不是瓶颈 , 再对调用数据库或者缓存的上一级节点进行压测 , 再一级一级往上压测 , 最终覆盖整个链路 , 实现全链路压测 。
可见 , 全链路压测的前提是单点压测 , 需要先把单点压测能力做好 , 才能做全链路压测 。
在压测的时候 , 由于流量是模拟的 , 数据也是“伪造”的 , 所以一定要做好隔离 , 各种各样的隔离 , 尤其是数据的隔离 , 我个人不建议将“染色”的压测数据和真实的线上业务数据共表存储 , 最好将“染色”数据单独表进行存储 , 并通过分表策略进行区隔 。
以上就是性能规划 , 包含了容量预估与性能压测两大能力 。
【微服务关联资源的治理】对于线上任何资源 , 如果只有服务对它进行调用 , 那么完全可以基于服务对资源的调用日志来分析资源的使用状况、性能状况 。
比如 , 对于数据库 , 可以汇总对某个数据库访问的所有服务的调用日志 , 多维统计之后 , 就能知道数据库整体被调用状况 , 及数据库中表的调用的分布状况 , 每个表的被调用状况 , 包括被写入了多少数据、被删除了多少数据、被修改了多少数据 , 每次查询的调用延时统一汇总之后 , 推算出每个表的查询操作的整体表现及相关的慢查询等等 。
对分布式缓存 , 也可以汇总所有的读、写操作 , 并计算出读写比例 , 也可以基于每次的调用结果(是否为null、是否异常)汇总出命中率 , 正常的缓存表现应该是读多写少 , 如果推算出的读写比例是读少写多 , 或者命中率偏低 , 说明缓存的使用策略有问题 , 需要进行改进 。
对消息队列也类似 , 可以通过调用日志 , 计算出单位时间内写入的消息量 , 以及被消费的消息量 , 据此推算出消息队列当前的堆积情况 。
通过调用日志获取的资源的使用及性能状况 , 比通过资源自身的监控所获取到的相关指标会更客观一些 , 毕竟它代表了应用/服务的真实感受 。 比如对于数据库的访问 , 请求需要先通过服务的数据库连接池 , 再穿越网络 , 最后才到达数据库 , 这中间任何一个环节出现问题 , 都会影响到最终的调用效果 。
除此之外 , 还可以通过服务的调用日志对资源的使用状况进行优化 。 对线上运维而言 , 比较头疼的问题是资源分出去之后就收不回来了 , 因为你也不知道资源是否还在使用 , 如果结合服务侧的调用日志监控来做资源使用判定的话 , 则能有效的解决这个问题 , 比如说 , 如果通过调用日志发现对某个namespace下的缓存已经没有调用了 , 那完全可以考虑将这个namespace的缓存资源释放掉 。
【微服务线上生命周期管理】我们目前针对微服务的线上生命周期管控的能力是基于蚂蚁金融云的能力来构建的 , 蚂蚁金融业在它的云上弹性计算资源的基础上 , 通过整合资源编排及资源调度的能力 , 构建了微服务的综合管控平台 , 通过这个平台 , 可以比较方便的进行服务的上线、下线、扩容、缩容等操作 。
推荐阅读
- 好记又有个性的微信名字500个
- 跟女生聊天没话说怎么找话题 微信没话说的女生还有必要追吗
- 分享微信朋友圈投放的6大结论 微信朋友圈如何投放?
- 微信的文件保存在哪里使用指南推荐阅读
- 电脑微信多开怎么弄的解答法子您要知道知识
- 单身必看!如何在微信上撩到喜欢的女生
- 在微信上和女生聊什么能成功邀约约会
- 比邻,探探,遇见,陌陌,微信和女生聊天经验分享
- 看我撩妹秘籍,在微信上我如何撩妹的
- 搭讪女生加微信后如何开场聊天我是这样做的!