wenmo8 发布的文章

前言

推荐一款基于.NET 8、WPF、Prism.DryIoc、MVVM设计模式、Blazor以及MySQL数据库构建的企业级工作流系统的WPF客户端框架-AIStudio.Wpf.AClient 6.0。

项目介绍

框架采用了 Prism 框架来实现 MVVM 模式,不仅简化了 MVVM 的典型应用场景,还充分利用了依赖注入(DI)、消息传递以及容器管理的优势。

网上有很多标准的MVVM的使用方法,但是没有形成一个系统级的框架。本框架从登录到具体业务的使用,还有自动升级都搭建完成。

后端使用ASP.NET Core,采用的是AIStudio.Blazor.App的框架(与BS使用相同后台)。

另外框架还引入了面向切面编程(AOP)和模型关联映射(MAP)等高级特性,进一步增强了系统的扩展性和灵活性。

功能模块

1、自动更新软件。

2、使用 Prism.DryIoc 而非 Prism.Unity。

3、用 Prism 实现 AvalonDock 步骤。

4、通过 AOP 记录日志。

5、代码生成器的设计思路。

6、工作流实现策略(含编辑器和后端)。

7、创建自定义安装界面的安装包方法。

8、本地服务启动方法。

9、通用 CRUD 配置,无需定义类,直接在数据库中添加数据。

10、实现拖拽编程。

11、与BS(blazor)使用相同的结构模式,如果BS与CS进行代码统一。

12、Prism 区域窗口多开与区域注册隔离实现。

快速预览

WPF客户端下载可以直接运行,默认配置文件 AIStudio.Wpf.Client.exe.Config

<appSettings>
    <addkey="Title"value="AIStudio" />
    <addkey="Language"value="中文" />
    <addkey="FontSize"value="16" />
    <addkey="FontFamily"value="宋体" />
    <addkey="Accent"value="BlueGray" />
    <addkey="Theme"value="BaseGray11" />
    <addkey="NavigationLocation"value="Left" />
    <addkey="NavigationAccent"value="Dark" />
    <addkey="TitleAccent"value="Normal" />
    <addkey="ToolBarLocation"value="Top" />
    <addkey="Version"value="1.0.20201115-rc3" />
    <addkey="ServerIP"value="http://localhost:5000/" />
    <addkey="UpdateAddress"value="http://localhost:5000//update" />
 </appSettings>

1、快速预览方式1

其中ServerIP就是后台接口地址。

账号密码:Admin,Admin。

2、快速预览方式2

不需要服务器,客户端直接使用SQLite本地数据,客户端独立运行。

账号密码Admin, Admin

<addkey="ServerIP"value=""/> 
<addkey="UpdateAddress"value="http://localhost:5000/Update/AutoUpdater.xml"/>
<addkey="ConString"value="Data Source=Admin.db"/>
<addkey="DatabaseType"value="SQLite"/>
<addkey="DeleteMode"value="Logic"/>

注释掉ServerIP,那么是使用efcore获取数据,改变ConString和DatabaseType即可。另外,默认数据库删除模式为软删除。

3、快速预览方式3

启动ServiceMonitor,点击启动服务,待本地服务启动后,可运行客户端进行连接。

<addkey="ServerIP"value="http://localhost:5000" />

快速预览方式可直接在登录界面进行切换。

项目框架

6.0的框架如下

系统扩展 :如果需要扩展自己的页面,只需要按照这个工程的目录进行扩展即可。

项目功能

1、快速代码生成

在数据库添加新表。

选择代码生成菜单,选中查询回来的新表,区域为你所加界面的工程,比如默认值Base_Manage,将把页面加到AIStudio.Wpf.Base_Manage工程下。

点击生成即可,重新启动客户端即可快速预览(前提是服务端也用代码生成器生成(在web端的代码生成器)了相应的控制器与接口)

2、大屏界面(可拖拽,可全屏)

3、Form 表单

表单-代码生成,是代码生成器的一种补充。

4、通用crud方法

读取数据库配置,生成DataGrid,完全不需要类,后台完成相关接口,前台不需要更改任何代码,只需要在数据库插入脚本即可。

根据类直接生成DataGrid

5、大文件上传与下载

6、多窗口、多屏模式

项目地址

Github:
https://github.com/akwkevin/aistudio.-wpf.-aclient

Gitee:
https://gitee.com/akwkevin/aistudio.-wpf.-aclient

控件库:
https://gitee.com/akwkevin/AI-wpf-controls

最后

如果你觉得这篇文章对你有帮助,不妨点个赞支持一下!你的支持是我继续分享知识的动力。如果有任何疑问或需要进一步的帮助,欢迎随时留言。

也可以加入微信公众号
[DotNet技术匠]
社区,与其他热爱技术的同行一起交流心得,共同成长!
优秀是一种习惯,欢迎大家留言学习!

作者:来自 vivo 互联网服务器团队- Wang Fei

单点登录作为公共组件,在各个公司内部被各个系统所广泛使用,但是在使用过程中我们会遇到各种各样的问题,其中循环登录问题就是一个比较经典的问题。本文主要分析单点登录和权限系统设计的基本原理,然后结合实际案例来分析循环登录的原因,并给出具体的解决办法。

一、单点登录简单介绍

1.1 基本概念

一个公司内部可能存在多个系统,如果每一个人在使用不同系统的时候都需要重新登录,那么会做大量系统登录切换、耗费比较多的精力去管理账号和密码,那么有没有办法在一个公司内部的所有系统只需要一次登录验证,后续使用其他系统的时候不用重复登录就可以直接使用呢,这就是单点登录要解决的问题。

单点登录英文全称 Single Sign On(SSO),允许用户一次登录即可访问多个应用程序或系统,无需为每个应用程序或系统分别输入认证凭据,便可在其他所有系统中得到授权,无需再次登录。

1.2 基本实现原理

  • 用户登录:用户在任何一个应用程序或系统中进行身份验证,并提供他们的凭据。
  • 认证系统验证:该凭据被发送到认证系统进行验证。如果凭据有效,则认证系统会为用户生成数字签名的令牌(如 Token 或 Ticket)。
  • 令牌分发:认证系统将令牌返回给应用程序或子系统。
  • 应用程序或系统授权:应用程序或系统使用令牌验证用户的身份,并授权其访问相应资源或服务。
  • 跨域系统访问:用户可以通过同一令牌访问多个跨域应用程序或系统,而无需重复进行身份验证。

二、循环登录问题

在某一天我们登录一个内部系统时,突然出现了循环登录问题,前端页面不断刷新,提示“重定向次数过多问题”。

打开前端调试功能, 我们会发现确实存在大量重定向请求的问题:

那么平时登录没问题的系统为什么突然间就循环登录呢?并在页面上提示的解决方法“尝试删除您的 Cookie 操作”,按照这个操作以后,确实系统又可以跳转到登录页面正常进行登录了,这又是什么原因?下面我们将逐一分析。

三、从一次正常登录流程说起

上述是一个通用的系统权限管控和单点系统认证的标准流程:

  • 用户第一次访问时,在浏览器输入 https://aaa.x.y  回车
  • 权限系统进行拦截,判断用户是否登录,这里主要是通过是否有登录信息判断,如果没有登录,权限系统会帮我们跳转到单点登录系统,弹出用户登录页。
  • 用户填写用户名、密码,单点登录系统进行认证后,将登录状态写入 SSO 的 session。
  • SSO 系统登录完成后会给我们的系统生成一个 Token ,然后跳转到我们的系统,同时将 Token 作为参数传递给我们的系统。
  • 我们系统拿到 Token 后,从后台向 SSO 发送请求,验证 Token 是否有效。
  • 验证通过后,我们系统将记录顶级域下的 Cookie 信息。
Connection: keep-alive
Content-Length: 0
Date: Wed, 25 Oct 2023 08:29:43 GMT
Location: http://aaa.x.y/console/login/auth?redirectUrl=http://aaa.x.y/
optrace: xx.xx.xx.xx:80/302 <- -
Server: nginx
Set-Cookie: token=fakdfajdfdjfdjkfaldfjk'afafjasfasfa; Max-Age=86400; Expires=Thu, 26-Oct-2023 08:29:43 GMT; Domain=x.y; Path=/; HttpOnly

一个公司内部一般情况下只有一个域名,通过二级域名区分不同的系统。比如我们有个域名叫做:x.y ,同时有两个业务系统分别为:app1.x.y 和 app2.x.y。SSO 登录以后,可以将 Cookie 的域设置为顶域,即 x.y ,这样所有子域的系统都可以访问到顶域的 Cookie ,实现单点登录功能。

四、循环登录产生的根本原因

那么为什么会不断循环登录呢?

(1)从跳转记录来看,我们发现重新刷新页面以后,重定向到了权限系统,并且 Request Headers 中的 Cookie 信息没有传对应的 Token 信息。

(2)跳转到权限系统过后,再跳转到本系统的时候,已经获取到了对应的 Token 信息,但是在 Set-Cookie 信息的时候,出现了一个警告。

警告的具体内容为:

大致意思是:这次执行 Set-Cookie 操作被阻止了,原因是这个 Cookie 不是通过安全的连接进行传输的,我们这次访问确实使用了 HTTP 进行,本应该通过设置   Secure 属性来覆盖对应的 Cookie。

这里的 Secure 属性是 Cookie 的一个属性,Secure 属性是说如果一个 Cookie 被设置了 Secure = true,那么这个 Cookie 只能用 HTTPS 协议发送给服务器,用 HTTP 协议是不发送的,而我们查看上面标注位置的下一个 Login 请求确实没有传 Cookie 信息,从而继续进行用户是否登录校验,进入死循环过程, 可以看下面的示意图:

五、清除浏览器缓存的底层原理及解决方法

5.1 清除浏览器缓存的底层原理

我们可以看到循环登录以后,会在浏览器页面上提示 xxx.x.y 重定向次数过多,尝试清除 Cookie 信息,那清除 Cookie 信息以后,是不是真的就可以解决这个问题呢,我们尝试着清除浏览器缓存,确实可以解决这个问题,那清除浏览器缓存来解决循环登录问题的底层原理是什么呢,其实质就是将 Cookie 删除,其他域名设置 Cookie 上的 Secure 属性也就一并删除了,从而使用 HTTP 域名进入重新登录流程,可以正常设置 Cookie 信息。

5.2 其他解决办法

方法一:使用 HTTPS 的方式进行访问
现实使用中,我们无法控制其他 HTTPS 访问的具有相同顶级域名的服务不去设置 Cookie 的 Secure 属性,因而我们在后面使用的过程中还是会遇到这个问题,那么有没有一种彻底的解决办法能够避免这个问题再次出现,我们前面已经分析,之所以我们在开始使用 HTTP 能够进行正常访问,然后突然间不能正常访问了,就是因为已经被 HTTPS 设置了的 Cookie 信息是无法被 HTTP 重新设置的,从而拿不到 Cookie 信息。那么就出现了第一种解决办法,使用 HTTPS 的方式进行访问,即使其他服务设置了 Cookie 的 Secure 属性,用 HTTPS 仍然能够成功设置 Cookie 和获取 Cookie。

方法二:在 Cookie 信息中新设置一个 newToken
以上从 HTTP 转为 HTTPS 访问的方法在用户主动找我们反馈时是能够告诉它切换为 HTTPS 访问的,但是如果对于一些没有主动找我们反馈的用户,其实是无法解决,可能丧失这个用户造成用户流失的情况,那么我们在用户不进行切换的情况下是否能够解决这个问题。

同一个公司内部接入的权限系统是一种底层公共能力,为了保证单点登录,其实用户信息的读取都是通过同一个 Cookie 参数(比如叫 Token )读取的,那么在其他域名设置了公共 Cookie 参数的 Secure 属性而影响到 HTTP 登录的时候,我们可以给服务新增加一个 Cookie 参数 newToken 去解决。

六、扩展: Cookie 的端口不隔离性

本文所阐述的问题,出现的背景是有两个基本前提的:一是为了保证单点登录,两个域名属于同一个顶级域名,权限系统中关于用户信息的校验都是通过同一个 Cookie 属性去读取的;第二个是 HTTPS 设置了顶级域名的 Cookie 信息的 Secure 属性,然后使用 HTTP 访问会导致循环登录。有些开发者可能会有这样一个疑问,那就是 HTTPS 我们一般开通的端口是 443 , HTTP 我们一般开通的端口是 8080 ,为啥不从端口上进行区分同一个 Cookie 属性从而避免干扰呢?

这个在 Cookie 规范(
RFC 6265
)中有所描述,那就是 Cookie 不提供通过端口进行隔离的,也就是说如果一个 Cookie 可以被一台服务器上的运行在某一个端口上的一个服务所读取,那么也可以被这台服务器上运行在另外一个端口上的服务所读取;如果一个 Cookie 可以被一台服务器上的运行在某一个端口上的一个服务所写入,那么也可以被这台服务器上运行在另外一个端口上的服务所写入。

七、总结

本文从实际开发过程中遇到的循环登录问题入手,分析了由于设置 Secure 属性导致使用 HTTP 访问网页无法保存 Cookie 信息从而导致循环登录的根本原因,也给出了其他两个解决此种问题的方案,对于其他开发人员解决权限系统循环登录问题具有一定的借鉴意义。

参考资料:

单点登录实现思路及方案
Sessions don't work in Chrome but do in IE
8.5. Weak Confidentiality

80后用菜刀,90后用蚁剑,95后用冰蝎和哥斯拉,以phpshell连接为例,本文主要是对这四款经典的webshell管理工具进行流量分析和检测。

什么是一句话木马?

1、定义
顾名思义就是执行恶意指令的木马,通过技术手段上传到指定服务器并可以正常访问,将我们需要服务器执行的命令上传并执行
2、特点
短小精悍,功能强大,隐蔽性非常好
3、
举例
php一句话木马用php语言编写的,运行在php环境中的php文件,例:
<?php @eval($_POST['pass']);?>
4、原理
以最为常见的php一句话木马为例,"
<?php ?>
"为php固定规范写法,"
@
"在php中含义为后面如果执行错误不会报错,"
eval()
"函数表示括号里的语句全做代码执行,"
$_POST['pass']
"表示从页面中以
post方式
获取变量pass的值

四、哥斯拉(Godzilla v3.0)

①全部类型的shell能绕过市面大部分的静态查杀

②流量加密能绕过过市面绝大部分的流量Waf

③Godzilla自带的插件是冰蝎、蚁剑不能比拟的

1、主要功能

它能实现的功能除了传统的命令执行、文件管理、数据库管理之外,根据shell类型的不同还包括了:

(1)MSF联动

(2)绕过OpenBasedir

(3)ZIP压缩 ZIP解压

(4)代码执行

(5)绕过 DisableFunctions

(6)Mimikatz

(7)读取服务器 FileZilla Navicat Sqlyog Winscp XMangager 的配置信息以及密码

(8)虚拟终端 可以用netcat连接

(9)Windows权限提升 (2012-2019烂土豆)

(10)读取服务器 谷歌 IE 火狐 浏览器保存的账号密码

(11)Windows权限提升烂土豆的C#版本 甜土豆

(12)支持 哥斯拉 冰蝎 菜刀 ReGeorg 的内存shell 并且支持卸载

(13)屏幕截图

(14)Servlet管理 Servlet卸载

(15)内存加载Jar 将Jar加载到 SystemClassLoader

2、基础配置

首先从使用最多的PHP_XOR_BASE64类型的加密shell说起,所用的shell主要配置如下:

①URL:
http://172.16.159.129/godzilla_shell.php

②密码:pass

③密钥:key

④有效载荷:PhpDynamicPayload

⑤加密器:PHP_XOR_BASE64

⑥哥斯拉的Shell配置包括基本配置和请求配置,其中基本配置主要设置shell地址、密码、密钥、加密器等信息

这里要注意密码和密钥的不同:

①密码:和蚁剑、菜刀一样,密码就是POST请求中的参数名称,本例中哥斯拉提交的每个请求都是pass=xxxxxxxx这种形式

②密钥:用于对请求数据进行加密,不过加密过程中并非直接使用密钥明文,而是计算密钥的md5值,然后取其

16位
用于加密过程

③哥斯拉shell的请求配置主要用于自定义HTTP请求头,以及在最终的请求数据左右再追加一些扰乱数据,进一步降低流量的特征

3、PHP_XOR_BASE64加密器

哥斯拉内置了3种Payload以及6种加密器,6种支持脚本后缀,20个内置插件,以下主要以
PHP_XOR_BASE64为例进行分析。

(1)加密原理

XOR运算

在逻辑运算之中,除了
AND

OR
,还有一种
XOR
运算,中文称为"异或运算"。
它的定义是:两个值相同时,返回false,否则返回true。也就是说,XOR可以用来判断两个值是否不同。

JavaScript
语言的二进制运算,有一个专门的 XOR 运算符,写作^。

上面代码中,如果两个二进制位相同,就返回0,表示false;否则返回1,表示true。

XOR加密

XOR运算有一个很奇妙的特点:如果对一个值连续做两次 XOR,会返回这个值本身。


上面代码中,原始信息是
message
,密钥是
key
,第一次 XOR会得到加密文本
cipherText
。对方拿到以后,再用
key
做一次XOR 运算,就会还原得到
message

如果每次的
key
都是
随机的
,那么产生的
CipherText
具有所有可能的值,而且是均匀分布,无法从
CipherText
看出
message
的任何特征。它具有最大的"信息熵",这被称为XOR 的
"
完美保密性
"
(perfect secrecy)。

XOR 的这个特点,使得它可以被用于信息的加密。

(2)客户端加密模块分析

哥斯拉的源码是通过反编译
Godzilla.jar
得到的,作者并未做代码混淆。

从代码中可以分析出,发送的payload内容先经过XOR加密后,再将密文进行base64编码,最后进行URL编码。

XOR加密的密钥来自用户提供的密钥经过MD5的32位摘要后,取前16位的值。

(3)Shell服务器端代码分析

PHP_XOR_BASE64
类型的加密shell的服务器端代码如下,其中定义了
encode
函数,用于加密或解密请求数据。由于是通过按位异或实现的加密,所以
encode
函数即可用于加密,同时也可用于解密。

整个shell的基本执行流程是:服务器接收到哥斯拉发送的第一个请求后,由于此时尚未建立session,所以将POST请求数据解密后(得到的内容为shell操作中所需要用到的相关php函数定义代码)存入session中,后续哥斯拉只会提交相关操作对应的
函数名称(如获取目录中的文件列表对应的函数为getFile)和相关参数,这样哥斯拉的相关操作就不需要发送大量的请求数据。

(4)数据包分析

这里从Shell Setting
对话框中的
测试连接
操作开始分析,在Shell Setting对话框中,一共会产生3个
POST
数据包,POST请求报文中参数名都是
pass
(即shell的连接密码),参数值都是加密数据。


第一个Request请求数据包

简单分析了一下payload的内容,包含run、bypass_open_basedir、formatParameter、evalFunc等二十多个功能函数,具备代码执行、文件操作、数据库操作等诸多功能。

②第一个Response响应数据包

该请求不含有任何Cookie
信息,服务器响应报文不含任何数据,但是会设置PHPSESSID
,后续请求都会自动带上该Cookie。

③第二个Request请求数据包

第二个请求报文发送很少数据(实际内容为测试连接命令
test
),返回少量数据(即
ok


第二个Response响应数据包

服务器响应数据解密过程并不复杂,先调用
findStr
函数删除服务器响应数据左右附加的混淆字符串(对于
PHP_XOR_BASE64
加密方式来说,前后各附加了16位的混淆字符),然后将得到的数据进行
base64
解码,最后再和shell连接密钥md5值的前16位按位异或,即完成响应数据的解密。

⑤第三个Request请求数据包

运行哥斯拉命令执行代码中的getBasicsInfo函数得到的系统基本信息。


第三个Response响应数据包

4、PHP_EVAL_XOR_BASE64加密器

哥斯拉不同的加密器发送请求的过程都是一样的,不同之处在于加密/解密的实现方式不同。
PHP_EVAL_XOR_BASE64加密shell的特点如下:
Ø请求数据加密得到的密文形式:pass=evalContent&key=XXXXXXXX,其中
pass是shell密码,
key是shell密钥
Ø每个请求中的pass=evalContent都是
相同的,evalContent是将shells/cryptions/phpXor/template/base64.bin文件内容
经过编码得到的(先删除第1行的<?php,再将其中的{pass}替换为shell密码,将{secretKey}替换为shell密钥)
Ø每个请求中的key=XXXXXXXX才是
实际执行的shell操作,加密方法和PHP_XOR_BASE64加密shell的方式
相同
evalContent的加密过程如下:
①提取src/shells/cryptions/phpXor/template/base64.bin文件内容
②将base64.bin文件内容进行
base64编码
③将第2步中编码得到的字符串
逆序排列
④将第3步中得到的字符串进行
URL编码
⑤将第4步中得到的字符串拼接到
eval(base64_decode(strrev(urldecode('第4步中得到的字符串'))));中,即为最终的evalContent

5、
PHP_XOR_RAW
加密器

PHP_XOR_RAW加密shell的加解过程只是将原始数据与shell密钥(本例中为key)md5值的前16位
按位异或,然后将得到的
二进制字节码直接发送给服务器;服务器返回的响应数据也是
二进制字节码,左右不再追加任何数据。

6、规则落地

alert http any any -> any any (msg:"哥斯拉/Godzilla PHP Base64 连接成功";
flow:established,from_server;
flowbits:txisset,Godzilla_webshell_request_match;
http.server;
content:
"Rising", negate;
http.response_body;
bsize:
36;
pcre:
"/^([0-9A-F]{16}|[0-9a-f]{16})/";
pcre:
"/([0-9A-F]{16}|[0-9a-f]{16})$/";
pcre:
"/^[\s\S]{16}(.*)[\s\S]{16}$/";
pcrexform:
"^[\s\S]{16}(.*)[\s\S]{16}$";
pcre:
"/[\s\S]/";
base64;
flowbits:unset,Godzilla_webshell_request_match;
)
  • alert http any any -> any any 表示对任何源IP和目的IP之间的HTTP流量生成告警。
  • msg:"哥斯拉/Godzilla PHP Base64 连接成功" 是告警的描述信息。
  • flow:from server,established 表示只对来自服务器端的已建立连接的流量进行检测。
  • flowbits:isset,Godzilla webshell request match 检查名为"Godzilla webshell request match"的流状态位是否已被设置。(注意这里使用了isset而不是txisset)
  • http.server 表示只对HTTP服务器响应进行检测。
  • content:!"Rising" 表示检测HTTP响应正文中不包含字符串"Rising"。
  • http.response body 表示对HTTP响应的正文部分进行检测。
  • bsize:36 指定只检测响应正文的前36个字节。
  • pcre:"/^([0-9A-F]{16}|[0-9a-f]{16})/"和pcre:"/([0-9A-F]{16}|[0-9a-f]{16})$/" 使用Perl兼容正则表达式(PCRE)检测响应正文是否以16个十六进制字符开头和结尾。
  • pcre:"/^[\s\S]{16}(.*)[\s\S]{16}$/"和pcrexform:"^[\s\S]{16}(.*)[\s\S]{16}$" 使用PCRE检测响应正文是否符合特定的模式,即以16个任意字符开头,任意字符串为中间部分,再以16个任意字符结尾。
  • pcre:"/[\s\S]/" 匹配响应正文中的单个被方括号包围的任意字符。
  • isbase64:3 表示对匹配到的内容进行Base64解码,并检查解码后的字节数是否是3的倍数。
  • flowbits: unset,Godzilla webshell request match 清除名为"Godzilla webshell request match"的流状态位。

原来有这么多时间

六月的那么一天,天气比以往时候都更凉爽,媳妇边收拾桌子,边漫不经心的对我说:你最近好像都没怎么阅读了。 正刷着新闻我,如同被一记响亮的晴空霹雳击中一般,不知所措。是了,最近几月诸事凑一起,加之两大项目接踵而至,确实有些许糟心,于是总是在空闲的时间泡在新闻里聊以解忧,再回首,隐隐有些恍如隔世之感。于是收拾好心情,翻开了躺在书架良久的整洁三步曲。也许是太久没有阅读了, 一口气,Bob大叔 Clean 系列三本都读完了,重点推荐Clear Architecture,部分章节建议重复读,比如第5部分-软件架构,可以让你有真正的提升,对代码,对编程,对软件都会有不一样的认识。

Clean Code 次之,基本写了一些常见的规约,大部分也是大家熟知,数据结构与面向对象的看法,是少有的让我 哇喔的点,如果真是在码路上摸跋滚打过的,快速翻阅即可。
The Clean Coder 对个人而言可能作用最小。 确实写人最难,无法聚焦。讲了很多,但是感觉都不深入,或者作者是在写自己,很难映射到自己身上。 当然,第二章说不,与第14章辅导,学徒与技艺,还是值得一看的。

阅读技术书之余,又战战兢兢的翻开了敬畏已久的朱生豪先生翻译的《莎士比亚》, 不看则已,因为看了根本停不来。其华丽的辞职,幽默的比喻,真的会让人情不自禁的开怀朗读起来。

。。。

再看从6月到现在,电子书阅读时间超过120小时,平均每天原来有1个多小时的空余时间,简直超乎想像。



看了整洁架构一书,就想写代码,于是有了这篇文章。

灵魂拷问 - 宕机怎么办

为了解决系统中大量规则配置的问题,与同事一起构建了一个可视化表达式引擎 RuleLink
《非全自研可视化表达引擎-RuleLinK》
,解决了公司内部几乎所有配置问题。尤为重要的一点,所有配置业务同学即可自助完成。随着业务深入又增加了一些自定义函数,增加了公式及计算功能,增加组件无缝嵌入其他业务...我一度以为现在的功能已经可以满足绝大部分场景了。真到Wsin强同学说了一句:业财项目是
深度依赖
RuleLink的,流水打标,关联科目。。。我知道他看了数据,10分RuleLink执行了5万+次。这也就意味着,如果RuleLink宕机了,业财服务也就宕机了,也就意味着巨大的事故。这却是是一个问题,公司业务确实属于非常低频,架不住财务数据这么多。如果才能让RuleLink更稳定成了当前的首要问题。


高可用VS少依赖

要提升服务的可用性,增加服务的实例是最快的方式。 但是考虑到我们自己的业务属性,以及业财只是在每天固定的几个时间点短时高频调用。 增加节点似乎不是最经济的方式。看 Bob大叔的《Clear Architecture》书中,对架构的稳定性有这样一个公式:不稳定性,I=Fan-out/(Fan-in+Fan-out)

Fan-in:入向依赖,这个指标指代了组件外部类依赖于组件内部类的数量。

Fan-out:出向依赖,这个指标指代了组件内部类依赖于组件外部类的数量。

这个想法,对于各个微服务的稳定性同时适用,少一个外部依赖,稳定性就增加一些。站在业财系统来说,如果我能减少调用次数,其稳定性就在提升,批量接口可以一定程度上减少依赖,但并未解决根本问题。那么调用次数减少到极限会是什么样的呢?答案是:
一次。
如果规则不变的话,我只需要启动时加载远程规则,并在本地容器执行规则的解析。如果有变动,我们只需要监听变化即可。这样极大减少了业财对RuleLink的依赖,也不用增RuleLink的节点。实际上大部分配置中心都是这样的设计的,比如apollo,nacos。 当然,本文的实现方式也有非常多借鉴(copy)了apollo的思想与实现。

服务端设计

模型比较比较简单,应用订阅场景,场景及其规则变化时,或者订阅关系变化时,生成应用与场景变更记录。类似于生成者-消费都模型,使用DB做存储。

”推送”原理

整体逻辑参考apollo实现方式。 服务端启动后 创建Bean ReleaseMessageScanner 注入变更监听器 NotificationController。
ReleaseMessageScanner 一个线程定时扫码变更,如果有变化 通知到所有监听器。

NotificationController在得知有配置发布后是如何通知到客户端的呢?
实现方式如下:
1,客户端会发起一个Http请求到RuleLink的接口,NotificationController
2,NotificationController不会立即返回结果,而是通过Spring DeferredResult把请求挂起
3,如果在60秒内没有该客户端关心的配置发布,那么会返回Http状态码304给客户端
4,如果有该客户端关心的配置发布,NotificationController会调用DeferredResult的setResult方法,传入有变化的场景列表,同时该请求会立即返回。客户端从返回的结果中获取到有变化的场景后,会直接更新缓存中场景,并更新刷新时间

ReleaseMessageScanner 比较简单,如下。NotificationController 代码也简单,就是收到更新消息,setResult返回(如果有请求正在等待的话)

public class ReleaseMessageScanner implementsInitializingBean {private static final Logger logger = LoggerFactory.getLogger(ReleaseMessageScanner.class);private finalAppSceneChangeLogRepository changeLogRepository;private intdatabaseScanInterval;private final List<ReleaseMessageListener>listeners;private finalScheduledExecutorService executorService;public ReleaseMessageScanner(finalAppSceneChangeLogRepository changeLogRepository) {this.changeLogRepository =changeLogRepository;
databaseScanInterval
= 5000;
listeners
=Lists.newCopyOnWriteArrayList();
executorService
= Executors.newScheduledThreadPool(1, RuleThreadFactory
.create(
"ReleaseMessageScanner", true));
}

@Override
public void afterPropertiesSet() throwsException {
executorService.scheduleWithFixedDelay(()
->{try{
scanMessages();
}
catch(Throwable ex) {
logger.error(
"Scan and send message failed", ex);
}
finally{

}
}, databaseScanInterval, databaseScanInterval, TimeUnit.MILLISECONDS);

}
/*** add message listeners for release message
*
@paramlistener*/ public voidaddMessageListener(ReleaseMessageListener listener) {if (!listeners.contains(listener)) {
listeners.add(listener);
}
}
/*** Scan messages, continue scanning until there is no more messages*/ private voidscanMessages() {boolean hasMoreMessages = true;while (hasMoreMessages && !Thread.currentThread().isInterrupted()) {
hasMoreMessages
=scanAndSendMessages();
}
}
/*** scan messages and send
*
*
@returnwhether there are more messages*/ private booleanscanAndSendMessages() {//current batch is 500 List<AppSceneChangeLogEntity> releaseMessages =changeLogRepository.findUnSyncAppList();if(CollectionUtils.isEmpty(releaseMessages)) {return false;
}
fireMessageScanned(releaseMessages);
return false;
}
/*** Notify listeners with messages loaded
*
@parammessages*/ private void fireMessageScanned(Iterable<AppSceneChangeLogEntity>messages) {for(AppSceneChangeLogEntity message : messages) {for(ReleaseMessageListener listener : listeners) {try{
listener.handleMessage(message.getAppId(),
"");
}
catch(Throwable ex) {
logger.error(
"Failed to invoke message listener {}", listener.getClass(), ex);
}
}
}
}
}

客户端设计

上图简要描述了客户端的实现原理:

  • 客户端和服务端保持了一个长连接,从而能第一时间获得配置更新的推送。(通过Http Long Polling实现)
  • 客户端还会定时从RuleLink配置中心服务端拉取应用的最新配置。
    • 这是一个fallback机制,为了防止推送机制失效导致配置不更新
    • 客户端定时拉取会上报本地版本,所以一般情况下,对于定时拉取的操作,服务端都会返回304 - Not Modified
    • 定时频率默认为每5分钟拉取一次,客户端也可以通过在运行时指定配置项: rule.refreshInterval来覆盖,单位为分钟。
  • 客户端从RuleLink配置中心服务端获取到应用的最新配置后,会写入内存保存到SceneHolder中,
  • 可以通过RuleLinkMonitor 查看client 配置刷新时间,以及内存中的规则是否远端相同

客户端工程

客户端以starter的形式,通过注解EnableRuleLinkClient 开始初始化。

1 /**
2 *@authorJJ3  */
4 @Retention(RetentionPolicy.RUNTIME)5 @Target(ElementType.TYPE)6 @Documented7 @Import({EnableRuleLinkClientImportSelector.class})8 public @interfaceEnableRuleLinkClient {9 
10   /**
11 * The order of the client config, default is {@linkOrdered#LOWEST_PRECEDENCE}, which is Integer.MAX_VALUE.12 *@return
13    */
14   int order() defaultOrdered.LOWEST_PRECEDENCE;15 }

在最需求的地方应用起来

花了大概3个周的业余时间,搭建了client工程,经过一番斗争后,决定直接用到了最迫切的项目 - 业财。当然,也做了完全准备,可以随时切换到RPC版本。 得益于DeferredResult的应用,变更总会在60s内同步,也有兜底方案:每300s主动查询变更,即便是启动后RuleLink宕机了,也不影响其运行。这样的准备之下,上线后几乎没有任何波澜。当然,也就没有人会担心宕机了。这真可以算得上一次愉快的编程之旅。

成为一名优秀的程序员!

在摄影中,光线起着至关重要的作用,它对图像的整体质量和氛围有着显著的影响。您可以使用光线来增强主题,创造深度和维度,传达情感,以及突出重要细节。

在这篇文章中,我会告诉你如何在stable diffussion中控制生成图片的光线。

软件

我们将使用 AUTOMATIC1111 Stable Diffusion GUI 来创建图像。

使用光线关键词

最简单的控制光线的方法就是在提示中添加
光线关键词

我将使用以下基础提示和负面提示来说明效果。

正向提示词:

masterpiece,best quality,masterpiece,best quality,official art,extremely detailed CG unity 8k wallpaper,a beautiful woman,

负向提示词:

lowers,monochrome,grayscales,skin spots,acnes,skin blemishes,age spot,6 more fingers on one hand,deformity,bad legs,error legs,bad feet,malformed limbs,extra limbs,

模型:majicmixRealistic_v7

宽度:512

高度:768

CFG 刻度:7

下面是使用基础提示词生成的图片,他们看起来还不错,但是光线就不怎么样了。

image-20240703143858781

Volumetric lighting
是在图像上明显的光束。它在摄影中用于增加体积感。

在提示中添加关键词
Volumetric lighting

image-20240703144120928

rim lighting
为主题添加了明亮的轮廓。它可能会使主题变暗。您可以与其他光线术语结合使用以照亮主题。

在提示中添加关键词
rim lighting

image-20240703144310934

Sunlight
为图像添加了阳光。它倾向于呈现自然背景。

在提示中添加关键词
Sunlight

image-20240703144429961

Backlight
将光源置于主题之后。通过添加这个关键词,您可以产生一些时尚的效果。

在提示中添加
Backlight

image-20240703144516763

众所周知,Stable Diffusion 在没有引导的情况下不会产生黑暗的图像。

解决这个问题的方法有很多,包括使用模型和 LoRA。但更简单的方法是添加一些昏暗的光线关键词。

在提示中添加
dimly lit

image-20240703144626131

Crepuscular rays
在云层中添加了光线穿透的光线。它可以创造出令人惊叹的视觉效果。

这个提示和肖像宽高比通常呈现全身图像,添加
Crepuscular rays
会放大。

image-20240703144742215

技巧:

  • 如果您没有看到效果,请增加关键词的权重。

  • 这些光线关键词并不总是有效。一次生成几张图像进行测试。

  • 在提示生成器中找到更多的光线关键词。

控制特定区域的光线

提示中的光线关键词适用于整个图像。这里我会告诉你如何控制特定区域的光线。

这里你需要安装一个插件叫做regional Prompter。

下载地址如下:
https://github.com/hako-mikan/sd-webui-regional-prompter.git

安装好之后,可以在工作区的下方发现这个Regional Prompter的区域。

在这个例子中,我们将对图像的上部和下部应用不同的光线。


txt2img
页面上,展开
regional Prompter
部分。

image-20240703150427848

按我上面的选择进行设置。

基本上含义就是把图片按2:3的比例分割成两部分,来分别进行promot设置。

regional Prompter是一个非常强大的工具,可以产出非常惊艳的效果。我会在后续的文章中详细介绍regional Prompter。

这里只是作为一个使用场景。

我们改下输入提示:

正向提示词:

masterpiece,best quality,masterpiece,best quality,official art,extremely detailed CG unity 8k wallpaper,a beautiful woman,
BREAK
( hard light:1.2),(volumetric:1.2),well-lit,
BREAK
(dimly lit:1.4),

负面提示词保持不变。

这样我们的到了一个上面光亮,下面昏暗的图片。

image-20240703150710842

现在尝试交换光线分配。

masterpiece,best quality,masterpiece,best quality,official art,extremely detailed CG unity 8k wallpaper,a beautiful woman,
BREAK
(dimly lit:1.4),
BREAK
( hard light:1.2),(volumetric:1.2),well-lit,

image-20240703150837199

光线相应地交换。

技巧:

  • 如果您没有看到效果,请调整关键词的权重。

  • 区域提示并不总是100%有效。可以多尝试一些图片看看效果。

使用 ControlNet 控制光线

除了上面的提示词和regional Prompter来控制光线之外。我们还可以使用controlNet来对图片的光线进行更加精确的控制。

controlNet是一个单独的插件,所以你需要先安装它。

Txt2img 设置

安装好controlNet之后,在
txt2img
页面上,像平常一样生成图像。

image-20240703151405473

点击发送到
img2img

这个操作会把所有的提示,负面提示,图像大小和种子值拷贝到 img2img 页面。

Img2img 设置


img2img
页面上,导航到 ControlNet 部分。

将您刚刚保存的图像上传到
ControlNet 单元 0

image-20240703173952451

大家可以使用我的配置选项。

这里我们需要选择Depth模型,在preprocessor中选择depth_zoe,model选择control_xxxx_depth。

向上滚动到
img2img 画布
。删除图像。

然后使用画图工具绘制一个黑白的模板图。

白色代表光线。

如下所示:

image-20240703174500514

把这个图像上传到
img2img 画布


调整大小模式
设置为仅调整大小。


去噪强度
设置为 0.9。

点击
生成

您应该得到带有横向光源的图像。

image-20240703174546141

如果你不想创建自己的光源,那么可以baidu一下黑白光源图片:

image-20240703174814660

比如第一张光源图片,我们可以得到下面的图片:

image-20240703174921267

备注

不一定必须使用深度控制模型。其他模型,如 canny 和lineart模型,也可以工作。你可以尝试使用预处理器,看看哪一个适合你。

如果您看到不自然的颜色,请减少
Controlnet 权重

调整去噪强度并观察效果。
点我查看更多精彩内容:www.flydean.com