2024年7月

对象存储服务的完整性检查

作者: wenmo8
时间: 2024-07-06
分类: 其它
评论

使用场景有：

上传对象后，如何确定对象存储收到的数据和客户端本地的数据是否一致。
下载对象后，如何确定本地收到的数据和对象存储保存的数据是否一致。

AWS S3

Checking object integrity
实现完整性校验时，AWS S3提供的算法包括CRC32、CRC32C、SHA-1、SHA-256、MD5。
Amazon S3 data consistency model

应用场景

依据文档
Checking object integrity
，基于
MD5
算法，介绍完整性实现方案。

上传对象时的服务端校验方案

客户端计算对象的数据的MD5值，
x1
。
客户端使用
PutObject
上传对象时，在请求的头部中增加
Content-MD5
，取值为
x1
。
服务端接收对象的数据，同步计算数据的MD5值。
服务端接收对象结束，最终得到数据的MD5值，
x2
。
服务端对比
x1
和
x2
。
- 如果两者相同，则判定本次上传过程中数据一致，上传成功。
- 如果两者不相同，则判定本次上传过程中数据不一致，上传失败。
服务端在
PutObject
的响应消息中，使用
ETag
字段在头部中返回MD5值，填充
x2
。

上传对象时的客户端校验方案

客户端使用
PutObject
上传对象。
- 客户端在上传过程中，同步计算数据的MD5值。
服务端接收对象的数据，同步计算数据的MD5值。
服务端接收对象结束，最终得到数据的MD5值，
x2
。
- 客户端完成数据的MD5值的计算，
  x1
  。
服务端在
PutObject
的响应消息中，使用
ETag
字段在头部中返回MD5值。
客户端对比
x1
和响应中的
ETag
字段的值。
- 如果两者相同，则判定本次上传过程中数据一致，上传成功。
- 如果两者不相同，则判定本次上传过程中数据不一致，上传失败。

客户端下载对象时的校验方案

客户端使用
GetObject
完整读取对象的数据。
- 从头部中提取
  ETag
  ，作为
  x1
  。
客户端从HTTP流中读取数据，同步计算MD5值。
客户端下载对象完毕，最终得到数据的MD5值，
x2
。
客户端对比
x1
和
x2
。
- 如果两者相同，则判定本次下载过程中数据一致，下载成功。
- 如果两者不相同，则判定本次下载过程中数据不一致，下载失败。

实现方案

依据文档
Working with object metadata
的如下描述：

An entity tag (ETag) that represents a specific version of an object. For objects that are not uploaded as a multipart upload and are either unencrypted or encrypted by server-side encryption with Amazon S3 managed keys (SSE-S3), the ETag is an MD5 digest of the data.

对象的
ETag
值是对象的元数据。

基于文件系统来实现对象存储服务，对于相同的对象，同时提供文件和对象的访问能力，就
ETag
的实现方案，有如下场景：

使用文件的API创建、修改的文件，使用对象的API访问。
使用对象的API创建的对象。
使用对象的API创建的对象，使用文件的API修改过，比如修改写、截断、追加写等。
使用对象的多段API上传的对象。

ETag
的实现策略，如下：

使用文件的API创建、修改过的文件，
ETag
的取值为全0。
使用对象的API创建的对象，上传时没有填充
Content-MD5
，则可选策略如下：
- 服务端不使用对象的数据计算MD5值，
  ETag
  的取值为全0。
- 服务端使用对象的数据计算MD5值，
  ETag
  按照实际填填充。
使用对象的API创建的对象，上传时填充了
Content-MD5
，则可选策略如下：
- 服务端不使用对象的数据计算MD5值，以
  Content-MD5
  的值作为
  ETag
  ，返回给客户端，不执行服务端校验。
- 服务端使用对象的数据计算MD5值，作为
  ETag
  ，返回给客户端，不执行服务端校验。
- 服务端使用对象的数据计算MD5值，作为
  ETag
  ，返回给客户端，执行服务端校验。
使用对象的API创建的对象，使用文件的API修改过，比如修改写、截断、追加写等，对象的
ETag
的取值为全0。
使用对象的多段API上传的对象，则可选策略如下：
- 合并多段接口的响应中，对象的
  ETag
  的取值为全0。
- 参照
  Checking object integrity
  的方案，计算对象的
  ETag
  的取值。
使用对象的
HeadObject
和
GetObject
访问对象的元数据时，更新对象的
ETag
值。
后台增加周期性任务，比如可基于快照，定时扫描
ETag
值不正确的对象，重新计算对象的
ETag
值。

FFmpeg开发笔记（三十五）Windows环境给FFmpeg集成libsrt

作者: wenmo8
时间: 2024-07-06
分类: 其它
评论

《FFmpeg开发实战：从零基础到短视频上线》一书的“10.2 FFmpeg推流和拉流”提到直播行业存在RTSP和RTMP两种常见的流媒体协议。除此以外，还有比较两种比较新的流媒体协议，分别是SRT和RIST。

其中SRT全称为Secure Reliable Transport，中文叫做安全可靠传输协议。RIST全称为Reliable Internet Stream Transport，中文叫做可靠的互联网流传输协议。SRT和RIST两个协议均在2017年发布，腾讯视频云已将SRT作为传输层之上的协议。根据腾讯视频云的实践，相比传统的RTMP直播协议，SRT对推流卡顿问题有明显改善。下面就介绍如何在Windows环境给FFmpeg集成SRT协议的支持库libsrt。

一、安装Perl

libsrt依赖于openssl库，而openssl库又要通过perl编译，所以得先安装perl。Perl的官网地址是https://strawberryperl.com/，最新版本安装包的下载链接为https://github.com/StrawberryPerl/Perl-Dist-Strawberry/releases/download/SP_53822_64bit/strawberry-perl-5.38.2.2-64bit.msi。
安装包下载完毕，双击即可启动安装程序，注意perl的安装目录不能带空格，因此不能安装到“Program Files”这样的目录，只能安装在没有空格的目录，比如E:\Apache\Strawberry\。
Perl安装完毕，会自动在Path变量中添加Perl的安装路径。注意修改Windows环境变量的Path值，把msys64的几个bin路径都挪到perl路径后面，确保编译openssl时调用新安装的perl程序，而非调用msys64的perl程序。

二、安装Nasm

如果之前已经在msys64中安装了nasm，此时就不必再安装nasm，可以直接使用msys64里面安装的nasm程序。详细的nasm安装说明参见《FFmpeg开发实战：从零基础到短视频上线》一书的“1.3.3 安装已编译的FFmpeg及其dll库”。

三、编译安装OpenSSL

因为libsrt依赖于openssl库，所以编译libsrt前要先编译openssl库。openssl的源码下载页面是https://www.openssl.org/source/，比如openssl-3.3.0的下载链接为https://www.openssl.org/source/openssl-3.3.0.tar.gz。
openssl的编译和安装步骤说明如下。
1、打开VisualStudio的控制台，也就是开始菜单依次选择“Visual Studio 2022”——“x86_x64 Cross Tools Command Prompt for VS 2022”。然后解压openssl的源码包，并进入解压后的目录，也就是执行下面命令：

tar zxvf openssl-3.3.0.tar.gz
cd openssl-3.3.0

2、执行下面命令通过perl配置openssl库：

perl Configure VC-WIN64A --prefix=E:\Apache\openssl

3、运行下面命令编译openssl。

nmake

4、编译完成后，运行下面命令安装openssl。（该步骤编译比较久，请耐心等待）

nmake install

5、给Windows环境变量新增OPENSSL_ROOT_DIR，变量值为OpenSSL的安装路径“E:\Apache\openssl”。

四、配置libsrt

libsrt是一款SRT协议的支持库。它的源码托管页面是https://github.com/Haivision/srt，最新版本是2023年8月发布的libsrt-1.5.3，该版本的源码包下载地址是https://github.com/Haivision/srt/archive/refs/tags/v1.5.3.tar.gz。
先解压下载完的源码包，再打开cmake-gui，在Source栏填入libsrt的源码路径比如E:/VisualProject/srt-1.5.3，在Build栏填入libsrt的编译路径比如E:/VisualProject/srt-1.5.3/build。如下图所示。

接着单击cmake-gui窗口中部左侧的Configure按钮，开始配置srt源码。等待配置完毕，单击Configure按钮右边的Generate按钮，开始生成srt源码的vs工程。等待生成完毕，单击Generate按钮右边的Open Project按钮，启动VisualStudio自动加载srt的vs工程。

五、编译libsrt

等待VisualStudio启动完毕，依次选择顶部菜单“生成”→“配置管理器”，在打开的配置管理器界面上，找到左上角的“活动解决方案配置”下拉框，把Debug模式改为Release模式，再单击右下角的关闭按钮。
接着单击界面右侧解决方案列表中的srt_shared，再依次选择顶部菜单“生成”→“生成srt_shared”（或“Build srt_shared”）。等待生成完毕，即可在srt源码路径的build/Release目录下找到libsrt的库文件（包括srt.dll和srt.lib）。

六、安装libsrt

虽然VisualStudio把libsrt的dll库文件编译了出来，但是若想让FFmpeg识别libsrt，还得依照相应的目录结构放入libsrt的库文件和头文件，从而模拟Linux环境的安装结果。详细的安装步骤参考《FFmpeg开发实战：从零基础到短视频上线》一书的第8章的“8.1.4 给FFmpeg集成freetype”。
1、在msys64的/usr/local目录下新建libsrt目录，并在该目录下创建lib子目录；
2、把srt源码路径的build/Release目录下的srt.lib和srt.dll两个文件复制到上面第一步创建的lib目录；
3、在lib目录下创建pkgconfig子目录，把srt源码路径下的build/srt.pc复制到pkgconfig目录，并将该pc文件的下面这行配置。

prefix=C:/Program Files (x86)/SRT

改为下面这行配置

prefix=/usr/local/libsrt

4、在libsrt目录下创建include目录，并在include目录创建srt子目录，把srt源码路径的build/version.h以及srtcore目录下的access_control.h、logging_api.h、platform_sys.h、srt.h、udt.h等头文件都复制到srt目录下。还要把srt源码路径的common下面的win目录整个复制到include目录下。
经过以上步骤操作后的libsrt目录结构如下所示：

/usr/local/libsrt
 |--------------- lib
 |                 |-- srt.lib
 |                 |-- srt.dll
 |                 |-- pkgconfig
 |                        |----- srt.pc
 |--------------- include
 |                 |-- srt
 |                        |----- access_control.h
 |                        |----- logging_api.h
 |                        |----- platform_sys.h
 |                        |----- srt.h
 |                        |----- udt.h
 |                        |----- version.h
 |                 |-- win
 |                        |----- syslog_defs.h
 |                        |----- unistd.h
 |                        |----- wintime.h

5、接着给环境变量PKG_CONFIG_PATH添加libsrt的pkgconfig路径，也就是在/etc/profile文件末尾添加如下一行内容。

export PKG_CONFIG_PATH=/usr/local/libsrt/lib/pkgconfig:$PKG_CONFIG_PATH

6、保存并退出profile文件后，在MSYS窗口中执行下面命令重新加载环境变量。

source /etc/profile

7、执行下面命令查看当前的环境变量，发现PKG_CONFIG_PATH的修改已经奏效。

env | grep PKG_CONFIG_PATH

七、让FFmpeg启用libsrt

由于FFmpeg默认未启用libsrt，因此需要重新配置FFmpeg，标明启用libsrt，然后重新编译安装FFmpeg。FFmpeg的Windows环境完整编译过程参见《FFmpeg开发实战：从零基础到短视频上线》一书的“8.1 Windows环境编译FFmpeg”，详细的启用步骤说明如下。
1、回到FFmpeg源码的目录，执行以下命令重新配置FFmpeg，主要增加启用libsrt。（增加了选项--enable-libsrt）

./configure  --prefix=/usr/local/ffmpeg --arch=x86_64 --enable-shared --disable-static --disable-doc --enable-libx264 --enable-libx265 --enable-libxavs2 --enable-libdavs2 --enable-libmp3lame --enable-gpl --enable-nonfree --enable-libfreetype --enable-sdl2 --enable-libvorbis --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-version3 --enable-libopus --enable-libvpx --enable-libass --enable-libfribidi --enable-libxml2 --enable-fontconfig --enable-openssl --enable-libuavs3d --enable-libxvid --enable-libsrt --enable-iconv --enable-zlib --extra-cflags='-I/usr/local/lame/include -I/usr/local/libogg/include -I/usr/local/amr/include -I/usr/local/libxvid/include' --extra-ldflags='-L/usr/local/lame/lib -L/usr/local/libogg/lib -L/usr/local/amr/lib -L/usr/local/libxvid/lib' --cross-prefix=x86_64-w64-mingw32- --target-os=mingw32

2、运行下面命令编译FFmpeg。

make clean
make -j4

3、执行下面命令安装FFmpeg。

make install
cp /usr/local/libsrt/lib/*.dll /usr/local/ffmpeg/bin

4、运行以下命令查看FFmpeg的版本信息。

ffmpeg -version

查看控制台回显的FFmpeg版本信息，找到“--enable-libsrt”，说明FFmpeg正确启用了SRT协议的支持库libsrt。
更多详细的FFmpeg开发知识参见
《FFmpeg开发实战：从零基础到短视频上线》
一书。

spring cloud 上云的情况下，Ribbon 客户端负载均衡与 ALB 服务端负载均衡的选择

作者: wenmo8
时间: 2024-07-06
分类: 其它
评论

在云环境（例如AWS）中，由于云提供商通常提供强大的负载均衡服务（如AWS的ALB），一般不再需要使用Ribbon这种客户端负载均衡方案。云环境中的负载均衡器通常能够提供更高的可靠性、可扩展性和简化的配置，因此在上云的情况下，使用云提供的负载均衡器是更优的选择。

理由分析

云提供的负载均衡服务（如ALB）的优势
：
- 自动伸缩和高可用性
  ：ALB等负载均衡服务能够自动调整处理能力以应对流量波动，并提供跨多个可用区的高可用性。
- 简化配置和管理
  ：使用云提供的负载均衡服务可以避免在应用层配置和管理客户端负载均衡的复杂性。
- 集成云原生功能
  ：这些负载均衡器通常与云服务（如Auto Scaling、CloudWatch等）深度集成，提供更多的功能和更好的性能监控。
Ribbon的角色和局限
：
- 客户端负载均衡
  ：Ribbon在客户端实现负载均衡，适用于传统的微服务架构。
- 额外的复杂性
  ：在云环境中，客户端负载均衡可能引入不必要的复杂性，因为它需要维护服务实例列表和负载均衡策略。
- Spring Cloud LoadBalancer的替代
  ：Spring Cloud已经引入了Spring Cloud LoadBalancer来替代Ribbon作为新的客户端负载均衡解决方案，Ribbon本身也被标记为弃用。

云环境中推荐的做法

使用云提供的负载均衡器（如ALB）
：
- 通过配置ALB来处理所有的入站流量，并将流量分发到后端的服务实例。
- 客户端应用只需要知道ALB的DNS名称，而不需要关心具体的后端实例。
Feign与ALB的集成
：
- 配置Feign客户端直接指向ALB的DNS名称。
- 避免使用Ribbon或其他客户端负载均衡解决方案。

示例代码

配置Feign客户端指向ALB

假设你的AWS ALB的DNS名称为
my-alb-1234567890.us-west-2.elb.amazonaws.com
，Feign客户端可以这样配置：

# application.yml
feign:
  client:
    config:
      default:
        connectTimeout: 5000
        readTimeout: 5000

my-service:
  url: http://my-alb-1234567890.us-west-2.elb.amazonaws.com

@FeignClient(name = "myServiceClient", url = "${my-service.url}")
public interface MyServiceClient {
    @GetMapping("/endpoint")
    String getEndpoint();
}

在AWS等云环境中，由于云提供商提供了强大的负载均衡器（如ALB），通常不再需要使用Ribbon进行客户端负载均衡。使用ALB等云负载均衡器可以简化配置和管理，提高系统的可靠性和可扩展性。因此，在上云的情况下，推荐使用云负载均衡器而非Ribbon来处理负载均衡。

spring-关于组件的注入及获取流程

作者: wenmo8
时间: 2024-07-06
分类: 其它
评论

一、组件注入的基本流程：

容器初始化：

Spring应用启动时，会读取配置（如XML配置、注解配置等），并根据这些配置创建Bean定义（BeanDefinition）。
根据Bean定义，Spring容器实例化Bean，并管理它们之间的依赖关系。

依赖解析与注入：

当一个Bean依赖于另一个Bean时，Spring容器负责查找并注入这个依赖。
这个过程可以是构造器注入、setter方法注入或者字段注入（基于注解如@Autowired）。

MethodParameter的作用：

在更复杂的场景，如Spring MVC处理HTTP请求时，MethodParameter类扮演了关键角色。它封装了一个方法的参数信息或返回类型信息，包括参数类型、泛型信息、注解等。
对于返回值的处理，如你提供的代码片段中的returnType，Spring会利用它来解析控制器方法的返回类型，决定如何处理返回值，比如是否需要将结果转换为JSON、View等。

二、从IOC获取组件的简化流程示例（结合MethodParameter）

假设有一个控制器方法：

@Controller
public class MyController {
    @RequestMapping("/example")
    public MyResponse handleRequest() {
        // 方法逻辑...
        return new MyResponse("Hello, World!");
    }
}

1、请求到达：

用户发起HTTP请求到/example。

2、HandlerMapping：

Spring MVC通过HandlerMapping找到对应的控制器方法handleRequest。

3、参数解析：

对于方法的入参，如果有的话，Spring会使用相应的HandlerMethodArgumentResolver解析参数。

4、执行方法：

调用handleRequest方法。

5、处理返回值：

使用MethodParameter（如returnType）表示MyResponse的返回类型信息。
Spring根据returnType选择合适的HandlerMethodReturnValueHandler（如ModelAttributeMethodProcessor、RequestResponseBodyMethodProcessor）来处理返回值。
如果配置为JSON响应，RequestResponseBodyMethodProcessor会将MyResponse对象序列化为JSON字符串并通过HttpMessageConverter输出。

6、响应客户端：最终将处理好的响应发送给客户端。

在这个过程中，MethodParameter帮助Spring理解方法的元数据，从而做出正确的依赖解析和处理决策。

博客园商业化之路：全园求偶遇，懂园子懂商业的创业合伙人

作者: wenmo8
时间: 2024-07-06
分类: 其它
评论

各方面的因素将园子的商业化强推到一个关口，2024年7月-9月是决定园子命运的一个季度，我们将拼尽所有力气找各种可能的突破口，不会有任何保留。

这个关口是最后关头，也是三年多来最好的时间窗口，天时地利最需要人和，找到对的人，最有可能在这个时间窗口，一将解园子二十年的商业化之愁。

园中（指博客园团队）无大将，程序员当先锋，商着商着就商业到技术上去了，这可能是园子多年商业化困局的根源。

曾经尝试过引入商业大将，但由于突然来袭的危机，加上不懂园子，尝试失败了，然后跌入三年最困难时期，无力再继续尝试。

这样的将才可遇而不可求，但现在到了最后关头，偶遇无时候，只能强求——

如果您是一位多年的园友，如果您想帮助园子完成这个决定命运的商业化过程，如果您在为园子的商业化干着急，如果您在为园子的商业化恨铁不成钢，如果您有多年IT行业工作经验，如果您有多年的经过检验的商业运营经验，如果您有意向全职加入博客园团队负责园子的商业运营，我们真诚地向您发出请求——求偶遇，微信扫码加园子企业微信并备注【合伙人】就可以。

条件与合作方式都可以谈，我们只求让园子能独立自主地更好地活着。

2024年7月

对象存储服务的完整性检查

AWS S3

相关API

应用场景

实现方案

FFmpeg开发笔记（三十五）Windows环境给FFmpeg集成libsrt

一、安装Perl

二、安装Nasm

三、编译安装OpenSSL

四、配置libsrt

五、编译libsrt

六、安装libsrt

七、让FFmpeg启用libsrt

spring cloud 上云的情况下，Ribbon 客户端负载均衡与 ALB 服务端负载均衡的选择

理由分析

云环境中推荐的做法

示例代码

配置Feign客户端指向ALB

spring-关于组件的注入及获取流程

一、组件注入的基本流程：

容器初始化：

依赖解析与注入：

MethodParameter的作用：

二、从IOC获取组件的简化流程示例（结合MethodParameter）

1、请求到达：

2、HandlerMapping：

3、参数解析：

4、执行方法：

5、处理返回值：

6、响应客户端：最终将处理好的响应发送给客户端。

博客园商业化之路：全园求偶遇，懂园子懂商业的创业合伙人

最新文章

最近回复

分类

归档

其它

2024年7月

对象存储服务的完整性检查

AWS S3

相关API

应用场景

实现方案

FFmpeg开发笔记（三十五）Windows环境给FFmpeg集成libsrt

一、安装Perl

二、安装Nasm

三、编译安装OpenSSL

四、配置libsrt

五、编译libsrt

六、安装libsrt

七、让FFmpeg启用libsrt

spring cloud 上云的情况下，Ribbon 客户端负载均衡 与 ALB 服务端负载均衡的选择

理由分析

云环境中推荐的做法

示例代码

配置Feign客户端指向ALB

spring-关于组件的注入及获取流程

一、组件注入的基本流程：

容器初始化：

依赖解析与注入：

MethodParameter的作用：

二、从IOC获取组件的简化流程示例（结合MethodParameter）

1、请求到达：

2、HandlerMapping：

3、参数解析：

4、执行方法：

5、处理返回值：

6、响应客户端：最终将处理好的响应发送给客户端。

博客园商业化之路：全园求偶遇，懂园子懂商业的创业合伙人

最新文章

最近回复

分类

归档

其它

spring cloud 上云的情况下，Ribbon 客户端负载均衡与 ALB 服务端负载均衡的选择