RuleLinKClient - 再也不担心表达引擎宕机了
原来有这么多时间
六月的那么一天,天气比以往时候都更凉爽,媳妇边收拾桌子,边漫不经心的对我说:你最近好像都没怎么阅读了。 正刷着新闻我,如同被一记响亮的晴空霹雳击中一般,不知所措。是了,最近几月诸事凑一起,加之两大项目接踵而至,确实有些许糟心,于是总是在空闲的时间泡在新闻里聊以解忧,再回首,隐隐有些恍如隔世之感。于是收拾好心情,翻开了躺在书架良久的整洁三步曲。也许是太久没有阅读了, 一口气,Bob大叔 Clean 系列三本都读完了,重点推荐Clear Architecture,部分章节建议重复读,比如第5部分-软件架构,可以让你有真正的提升,对代码,对编程,对软件都会有不一样的认识。
Clean Code 次之,基本写了一些常见的规约,大部分也是大家熟知,数据结构与面向对象的看法,是少有的让我 哇喔的点,如果真是在码路上摸跋滚打过的,快速翻阅即可。
The Clean Coder 对个人而言可能作用最小。 确实写人最难,无法聚焦。讲了很多,但是感觉都不深入,或者作者是在写自己,很难映射到自己身上。 当然,第二章说不,与第14章辅导,学徒与技艺,还是值得一看的。
阅读技术书之余,又战战兢兢的翻开了敬畏已久的朱生豪先生翻译的《莎士比亚》, 不看则已,因为看了根本停不来。其华丽的辞职,幽默的比喻,真的会让人情不自禁的开怀朗读起来。
。。。
再看从6月到现在,电子书阅读时间超过120小时,平均每天原来有1个多小时的空余时间,简直超乎想像。
看了整洁架构一书,就想写代码,于是有了这篇文章。
灵魂拷问 - 宕机怎么办
为了解决系统中大量规则配置的问题,与同事一起构建了一个可视化表达式引擎 RuleLink
《非全自研可视化表达引擎-RuleLinK》
,解决了公司内部几乎所有配置问题。尤为重要的一点,所有配置业务同学即可自助完成。随着业务深入又增加了一些自定义函数,增加了公式及计算功能,增加组件无缝嵌入其他业务...我一度以为现在的功能已经可以满足绝大部分场景了。真到Wsin强同学说了一句:业财项目是
深度依赖
RuleLink的,流水打标,关联科目。。。我知道他看了数据,10分RuleLink执行了5万+次。这也就意味着,如果RuleLink宕机了,业财服务也就宕机了,也就意味着巨大的事故。这却是是一个问题,公司业务确实属于非常低频,架不住财务数据这么多。如果才能让RuleLink更稳定成了当前的首要问题。
高可用VS少依赖
要提升服务的可用性,增加服务的实例是最快的方式。 但是考虑到我们自己的业务属性,以及业财只是在每天固定的几个时间点短时高频调用。 增加节点似乎不是最经济的方式。看 Bob大叔的《Clear Architecture》书中,对架构的稳定性有这样一个公式:不稳定性,I=Fan-out/(Fan-in+Fan-out)
Fan-in:入向依赖,这个指标指代了组件外部类依赖于组件内部类的数量。
Fan-out:出向依赖,这个指标指代了组件内部类依赖于组件外部类的数量。
这个想法,对于各个微服务的稳定性同时适用,少一个外部依赖,稳定性就增加一些。站在业财系统来说,如果我能减少调用次数,其稳定性就在提升,批量接口可以一定程度上减少依赖,但并未解决根本问题。那么调用次数减少到极限会是什么样的呢?答案是:
一次。
如果规则不变的话,我只需要启动时加载远程规则,并在本地容器执行规则的解析。如果有变动,我们只需要监听变化即可。这样极大减少了业财对RuleLink的依赖,也不用增RuleLink的节点。实际上大部分配置中心都是这样的设计的,比如apollo,nacos。 当然,本文的实现方式也有非常多借鉴(copy)了apollo的思想与实现。
服务端设计
模型比较比较简单,应用订阅场景,场景及其规则变化时,或者订阅关系变化时,生成应用与场景变更记录。类似于生成者-消费都模型,使用DB做存储。
”推送”原理
整体逻辑参考apollo实现方式。 服务端启动后 创建Bean ReleaseMessageScanner 注入变更监听器 NotificationController。
ReleaseMessageScanner 一个线程定时扫码变更,如果有变化 通知到所有监听器。
NotificationController在得知有配置发布后是如何通知到客户端的呢?
实现方式如下:
1,客户端会发起一个Http请求到RuleLink的接口,NotificationController
2,NotificationController不会立即返回结果,而是通过Spring DeferredResult把请求挂起
3,如果在60秒内没有该客户端关心的配置发布,那么会返回Http状态码304给客户端
4,如果有该客户端关心的配置发布,NotificationController会调用DeferredResult的setResult方法,传入有变化的场景列表,同时该请求会立即返回。客户端从返回的结果中获取到有变化的场景后,会直接更新缓存中场景,并更新刷新时间
ReleaseMessageScanner 比较简单,如下。NotificationController 代码也简单,就是收到更新消息,setResult返回(如果有请求正在等待的话)
public class ReleaseMessageScanner implementsInitializingBean {private static final Logger logger = LoggerFactory.getLogger(ReleaseMessageScanner.class);private finalAppSceneChangeLogRepository changeLogRepository;private intdatabaseScanInterval;private final List<ReleaseMessageListener>listeners;private finalScheduledExecutorService executorService;public ReleaseMessageScanner(finalAppSceneChangeLogRepository changeLogRepository) {this.changeLogRepository =changeLogRepository;
databaseScanInterval= 5000;
listeners=Lists.newCopyOnWriteArrayList();
executorService= Executors.newScheduledThreadPool(1, RuleThreadFactory
.create("ReleaseMessageScanner", true));
}
@Overridepublic void afterPropertiesSet() throwsException {
executorService.scheduleWithFixedDelay(()->{try{
scanMessages();
}catch(Throwable ex) {
logger.error("Scan and send message failed", ex);
}finally{
}
}, databaseScanInterval, databaseScanInterval, TimeUnit.MILLISECONDS);
}/*** add message listeners for release message
*@paramlistener*/ public voidaddMessageListener(ReleaseMessageListener listener) {if (!listeners.contains(listener)) {
listeners.add(listener);
}
}/*** Scan messages, continue scanning until there is no more messages*/ private voidscanMessages() {boolean hasMoreMessages = true;while (hasMoreMessages && !Thread.currentThread().isInterrupted()) {
hasMoreMessages=scanAndSendMessages();
}
}/*** scan messages and send
*
*@returnwhether there are more messages*/ private booleanscanAndSendMessages() {//current batch is 500 List<AppSceneChangeLogEntity> releaseMessages =changeLogRepository.findUnSyncAppList();if(CollectionUtils.isEmpty(releaseMessages)) {return false;
}
fireMessageScanned(releaseMessages);return false;
}/*** Notify listeners with messages loaded
*@parammessages*/ private void fireMessageScanned(Iterable<AppSceneChangeLogEntity>messages) {for(AppSceneChangeLogEntity message : messages) {for(ReleaseMessageListener listener : listeners) {try{
listener.handleMessage(message.getAppId(),"");
}catch(Throwable ex) {
logger.error("Failed to invoke message listener {}", listener.getClass(), ex);
}
}
}
}
}
客户端设计
上图简要描述了客户端的实现原理:
- 客户端和服务端保持了一个长连接,从而能第一时间获得配置更新的推送。(通过Http Long Polling实现)
- 客户端还会定时从RuleLink配置中心服务端拉取应用的最新配置。
- 这是一个fallback机制,为了防止推送机制失效导致配置不更新
- 客户端定时拉取会上报本地版本,所以一般情况下,对于定时拉取的操作,服务端都会返回304 - Not Modified
- 定时频率默认为每5分钟拉取一次,客户端也可以通过在运行时指定配置项: rule.refreshInterval来覆盖,单位为分钟。
- 客户端从RuleLink配置中心服务端获取到应用的最新配置后,会写入内存保存到SceneHolder中,
- 可以通过RuleLinkMonitor 查看client 配置刷新时间,以及内存中的规则是否远端相同
客户端工程
客户端以starter的形式,通过注解EnableRuleLinkClient 开始初始化。
1 /** 2 *@authorJJ3 */ 4 @Retention(RetentionPolicy.RUNTIME)5 @Target(ElementType.TYPE)6 @Documented7 @Import({EnableRuleLinkClientImportSelector.class})8 public @interfaceEnableRuleLinkClient {9 10 /** 11 * The order of the client config, default is {@linkOrdered#LOWEST_PRECEDENCE}, which is Integer.MAX_VALUE.12 *@return 13 */ 14 int order() defaultOrdered.LOWEST_PRECEDENCE;15 }
在最需求的地方应用起来
花了大概3个周的业余时间,搭建了client工程,经过一番斗争后,决定直接用到了最迫切的项目 - 业财。当然,也做了完全准备,可以随时切换到RPC版本。 得益于DeferredResult的应用,变更总会在60s内同步,也有兜底方案:每300s主动查询变更,即便是启动后RuleLink宕机了,也不影响其运行。这样的准备之下,上线后几乎没有任何波澜。当然,也就没有人会担心宕机了。这真可以算得上一次愉快的编程之旅。
成为一名优秀的程序员!