2024年2月

针对“缓冲区”编程是一个非常注重“性能”的地方,我们应该尽可能地避免武断地创建字节数组来存储读取的内容,这样不但会导致大量的字节拷贝,临时创建的字节数组还会带来GC压力。要正确、高效地读写缓冲内容,我们应该对几个我们可能熟悉的类型具有更深的认识。

一、Array、ArraySegment、Span<T>、Memory<T>与String
二、MemoryManager<T>
三、ReadOnlySequence<T>
四、创建“多段式”ReadOnlySequence<T>
五、高效读取ReadOnlySequence<T>

一、Array、ArraySegment、Span<T>、Memory<T>与String

Array、ArraySegment、Span<T>、Memory<T>,以及ReadOnlySpan<T>与ReadOnlyMemory<T>本质上都映射一段连续的内存,但是它们又有些差异,导致它们具有各自不同的应用场景。Array是一个类(引用类型),所以一个Array对象是一个托管对象,其映射的是一段托管堆内存。正因为Array是一个托管对象,所以它在托管堆中严格遵循“三段式(Object Header + TypeHandle + Payload)”内存布局,Payload部分包含前置的长度和所有的数组元素(数组的内存布局可以参阅我的文章《
.NET中的数组在内存中如何布局?
》),其生命周期受GC管理。

顾名思义,ArraySegment代表一个Array的“切片”,它利用如下所示的三个字段(_array、_offset和count)引用数组的一段连续的元素。由于Array是托管对象,所以ArraySegment映射的自然也只能是一段连续的托管内存。由于它是只读结构体(值类型),对GC无压力,在作为方法参数时按照“拷贝”传递。

public readonly struct ArraySegment<T>
{
    private readonly T[] _array;
    private readonly int _offset;
    private readonly int _count;
    public T[]? Array => _array;
    public int Offset => _offset;
    public int Count => _count;

}

不同于ArraySegment,一个Span<T>不仅仅可以映射一段连续的托管内存,还可以映射一段连续的非托管内存;不仅可以映射一段栈内存(比如Span<byte> buffer = stackalloc byte[8]),这一点可以从它定义的构造函数看出来。

public readonly ref struct Span<T>
{
    public Span(T[]? array);
    public Span(T[]? array, int start, int length);
    public unsafe Span(void* pointer, int length);
    public Span(ref T reference);
    internal Span(ref T reference, int length);
}

由于Span<T>是一个只读引用结构体,意味着它总是以引用的方式被使用,换言之当我们使用它作为参数传递时,传递的总是这个变量自身的栈地址。正因为如此,在某个方法中创建的Span<T>只能在当前方法执行范围中被消费,如果“逃逸”出这个范围,方法对应的栈内存会被回收。所以和其他引用结构体一样,具有很多的使用上限制(可以参阅我的文章《
除了参数,ref关键字还可以用在什么地方?
》),所以我们才有了Memory<T>。

由于Memory<T>就是一个普通的只读结构体,所以在使用上没有任何限制。但是也正因为如此,它只能映射一段连续的托管堆内存和非托管内存,不能映射栈内存。从如下所示的构造函数可以看出,我们可以根据一个数组对象的切片创建一个Memory<T>,此时它相当于一个ArraySegment<T>,针对非托管内存的映射需要是借助一个MemoryManager<T>对象来实现的。

public readonly struct Memory<T>
{
    public Memory(T[]? array);
internal Memory(T[] array, int start); public Memory(T[]? array, int start, int length); internal Memory(MemoryManager<T> manager, int length); internal Memory(MemoryManager<T> manager, int start, int length); }

Span<T>和Memory<T>虽然自身是自读结构体,但是它Cover的“片段”并不是只读的,我们可以在对应的位置写入相应的内容。在只读的场景中,我们一般会使用它们的只读版本ReadOnlySpan<T>和ReadOnlySpanMemory<T>。除了这些,我们还会经常使用另一种类型的“连续内存片段”,那就是字符串,其内存布局可以参阅《
你知道.NET的字符串在内存中是如何存储的吗?

二、MemoryManager<T>

从上面给出的Memory<T>构造函数可以看出,一个Memory<T>可以根据一个MemoryManager<T>来创建的。MemoryManager<T>是一个抽象类,从其命名可以看出,它用来“管理一段内存”。具体它可以实施怎样的内存管理功能呢?我们先从它实现的两个接口开始说起。

MemoryManager<T>实现的第一个接口为如下这个IMemoryOwner<T> ,顾名思义,它代表某个Memory<T>对象(对应Memory属性)的持有者,我们用它来管理Memory<T>对象的生命周期。比如表示内存池的MemoryPool<T>返回的就是一个IMemoryOwner<T>对象,我们利用该对象得到从内存池中“借出”的Memory<T>对象,如果不再需要,直接调用IMemoryOwner<T>对象的Dispose方法将其“归还”到池中。

public interface IMemoryOwner<T> : IDisposable
{
    Memory<T> Memory { get; }
}

托管对象可以以内存地址的形式进行操作,但前提是托管对象在内存中的地址不会改变,但是我们知道GC在进行压缩的时候是会对托管对象进行移动,所以我们需要固定托管内存的地址。MemoryManager<T>实现了第二个接口IPinnable提供了两个方法,指定元素对象内存地址的固定通过Pin方法来完成,该方法返回一个MemoryHandle对象,后者利用封装的GCHandle句柄来持有执行指针指向的内存。另一个方法Unpin用来解除内存固定。

public interface IPinnable
{
    MemoryHandle Pin(int elementIndex);
    void Unpin();
}

public struct MemoryHandle : IDisposable
{
    private unsafe void* _pointer;
    private GCHandle _handle;
    private IPinnable _pinnable;

    [CLSCompliant(false)]
    public unsafe void* Pointer => _pointer;

    [CLSCompliant(false)]
    public unsafe MemoryHandle(void* pointer, GCHandle handle = default(GCHandle), IPinnable? pinnable = null)
    {
        _pointer = pointer;
        _handle = handle;
        _pinnable = pinnable;
    }

    public unsafe void Dispose()
    {
        if (_handle.IsAllocated)
        {
            _handle.Free();
        }
        if (_pinnable != null)
        {
            _pinnable.Unpin();
            _pinnable = null;
        }
        _pointer = null;
    }
}

抽象类MemoryManager<T>定义如下。它提供了一个抽象方法GetSpan,并利用它返回的Span<T>来创建Memory属性返回的Memory<T>。针对IPinnable接口的两个方法Pin和Unpin体现为两个抽象方法。

public abstract class MemoryManager<T> : IMemoryOwner<T>, IPinnable
{
    public virtual Memory<T> Memory => new(this, GetSpan().Length);
    public abstract Span<T> GetSpan();
    public abstract MemoryHandle Pin(int elementIndex = 0);
    public abstract void Unpin();

    protected Memory<T> CreateMemory(int length) => new(this, length);
    protected Memory<T> CreateMemory(int start, int length)=> new(this, start, length);

    protected internal virtual bool TryGetArray(out ArraySegment<T> segment)
    {
        segment = default;
        return false;
    }

    void IDisposable.Dispose()
    {
        Dispose(disposing: true);
        GC.SuppressFinalize(this);
    }

    protected abstract void Dispose(bool disposing);
}

如果我们需要创建了针对非托管内存的Memory<T>,可以按照如下的形式自定义一个MemoryManager<T>派生类UnmanagedMemoryManager<T>,然后根据这样一个对象创建Memory<T>对象即可。

public sealed unsafe class UnmanagedMemoryManager<T> : MemoryManager<T> where T : unmanaged
{
    private readonly T* _pointer;
    private readonly int _length;
    private MemoryHandle? _handle;

    public UnmanagedMemoryManager(T* pointer, int length)
    {
        _pointer = pointer;
        _length = length;
    }

    public override Span<T> GetSpan() => new(_pointer, _length);
    public override MemoryHandle Pin(int elementIndex = 0)=> _handle ??= new (_pointer + elementIndex);
    public override void Unpin() => _handle?.Dispose();
    protected override void Dispose(bool disposing) { }
}

三、ReadOnlySequence<T>

ReadOnlySequence<T>代表由一个或者多个连续内存“拼接”而成的只读序列,下图演示了一个典型的”三段式序列。“单段式”序列本质上就是一个ReadOnlyMemory<T>对象,“多段式”序列则由多个ReadOnlyMemory<T>多个借助ReadOnlySequenceSegment<T>连接而成。

image

ReadOnlySequenceSegment<T>是一个抽象类,它表示组成序列的一个片段。ReadOnlySequenceSegment<T>是对一个ReadOnlyMemory<T>对象(对应Memory属性)的封装,同时利用Next属性连接下一个片段,另一个RunningIndex属性表示序列从头到此的元素总量。

public abstract class ReadOnlySequenceSegment<T>
{
    public ReadOnlyMemory<T> Memory { get; protected set; }
    public ReadOnlySequenceSegment<T>? Next { get; protected set; }
    public long RunningIndex { get; protected set; }
}

结构体SequencePosition定义如下,它表示ReadOnlySequence<T>序列的某个“位置”。具体来说,GetObject方法返回的对象代表具有连续内存布局的某个对象,可能是托管数组、非托管指针,还可能是一个字符串对象(如果泛型参数类型为char)。GetInteger返回针对该对象的“偏移量”。

public readonly struct SequencePosition
{
    public object? GetObject();
    public int GetInteger();
    public SequencePosition(object? @object, int integer);
}

ReadOnlySequence<T>结构体的成员定义如下,我们可以通过Length属性得到序列总长度,通过First和FirstSpan属性以ReadOnlyMemory<T>和ReadOnlySpan<T>的形式得到第一个连续的内存片段,通过Start和End属性得到以SequencePosition结构表示起止位置,还可以通过IsSingleSegment确定它是否是一个“单段”序列。通过四个构造函数重载,我们可以利用Array、ReadOnlyMemory<T>和ReadOnlySequenceSegment<T>来创建ReadOnlySequence<T>结构。

public readonly struct ReadOnlySequence<T>
{
public long Length { get; }
public bool IsEmpty { get; }
public bool IsSingleSegment { get; }
public ReadOnlyMemory<T> First { get; }
public ReadOnlySpan<T> FirstSpan { get; }
public SequencePosition Start { get; }
public SequencePosition End { get; }

public ReadOnlySequence(T[] array);
public ReadOnlySequence(T[] array, int start, int length);
public ReadOnlySequence(ReadOnlyMemory<T> memory);
public ReadOnlySequence(ReadOnlySequenceSegment<T> startSegment, int startIndex, ReadOnlySequenceSegment<T> endSegment, int endIndex);

public ReadOnlySequence<T> Slice(long start, long length);
public ReadOnlySequence<T> Slice(long start, SequencePosition end);
public ReadOnlySequence<T> Slice(SequencePosition start, long length);
public ReadOnlySequence<T> Slice(int start, int length);
public ReadOnlySequence<T> Slice(int start, SequencePosition end);
public ReadOnlySequence<T> Slice(SequencePosition start, int length);
public ReadOnlySequence<T> Slice(SequencePosition start, SequencePosition end);
public ReadOnlySequence<T> Slice(SequencePosition start);
public ReadOnlySequence<T> Slice(long start);

public Enumerator GetEnumerator();
public SequencePosition GetPosition(long offset);
public long GetOffset(SequencePosition position);
public SequencePosition GetPosition(long offset, SequencePosition origin);
public bool TryGet(ref SequencePosition position, out ReadOnlyMemory<T> memory, bool advance = true);
}

利用定义的若干Slice方法重载,我们可以对一个ReadOnlySequence<T>对象进行“切片”。GetPosition方法根据指定的偏移量得到所在的位置,而GetOffset则根据指定的位置得到对应的偏移量。TryGet方法根据指定的位置得到所在的ReadOnlyMemory<T> 。我们还可以利用foreach对ReadOnlySequence<T>实施遍历,迭代器通过GetEnumerator方法返回。

四、创建“多段式”ReadOnlySequence<T>

“单段式”ReadOnlySequence<T>本质上就相当于一个ReadOnlyMemory<T>对象,“多段式”ReadOnlySequence则需要利用ReadOnlySequenceSegment<T>将多个ReadOnlyMemory<T>按照指定的顺序“串联”起来。如下这个BufferSegment<T>类型提供了简单的实现。

var segment1 = new BufferSegment<int>([7, 8, 9]);
var segment2 = new BufferSegment<int>([4, 5, 6], segment1);
var segment3 = new BufferSegment<int>([1, 2, 3], segment2);

var index = 0;
foreach (var memory in new ReadOnlySequence<int>(segment3, 0, segment1, 4))
{
    var span = memory.Span;
    for (var i = 0; i < span.Length; i++)
    {
        Debug.Assert(span[i] == index++);
    }
}


public sealed class BufferSegment<T> : ReadOnlySequenceSegment<T>
{
    public BufferSegment(T[] array,  BufferSegment<T>? next = null) : this(new ReadOnlyMemory<T>(array), next)
    { }
    public BufferSegment(T[] array, int start, int length, BufferSegment<T>? next = null):this(new ReadOnlyMemory<T>(array,start,length), next)
    { }
    public BufferSegment(ReadOnlyMemory<T> memory, BufferSegment<T>? next = null)
    {
        Memory = memory;
        Next = next;
        var current = next;
        while (current is not null)
        {
            current.RunningIndex += memory.Length;
        }
    }
}

五、高效读取ReadOnlySequence<T>

由于ReadOnlySequence<T>具有“单段”和“多段”之分,在读取的时候应该区分这两种情况以实现最高的性能。比如我们在处理缓冲内容的时候,经常会读取前4个字节内容来确定后续内容的长度,就应该按照如下所示的这个TryReadInt32方法来实现。如代码所示,我们先判断ReadOnlySequence<
byte
>的长度大于4个字节,然后再切取前四个字节。如果切片是一个“单段式”ReadOnlySequence<
byte
>(大概率是),我们直接读取FirstSpan属性返回的ReadOnlySpan<byte>就可以了。如果是多段式,为了避免创建一个字节数组,而是采用stackalloc关键字在线程堆栈中创建一个4字节的Span<byte>,并将切片内容拷贝其中,然后读取其中内容即可。由于长度已经读取出来了,我们最后还应该重置ReadOnlySequence<
byte
>将前4个字节剔除。

static bool TryReadInt32(ref ReadOnlySequence<byte> buffer, out int? value)
{
    if (buffer.Length < 4)
    {
        value = null;
        return false;
    }

    var slice = buffer.Slice(buffer.Start, 4);
    if (slice.IsSingleSegment)
    {
        value = BinaryPrimitives.ReadInt32BigEndian(slice.FirstSpan);
    }
    else
    {
        Span<byte> bytes = stackalloc byte[4];
        slice.CopyTo(bytes);
        value = BinaryPrimitives.ReadInt32BigEndian(bytes);
    }

    buffer = buffer.Slice(slice.End);
    return true;
},

其实针对ReadOnlySequence<T>的读取还有更简单的方式,那就是直接使用SequenceReader,比如上面这个TryReadInt32方法也可以写成如下的形式。

static bool TryReadInt32(ref ReadOnlySequence<byte> buffer, out int? value)
{
    var reader = new SequenceReader<byte>(buffer);
    if (reader.TryReadBigEndian(out int v))
    {
        value = v;
        buffer = buffer.Slice(4);
        return true;
    }
    value = null;
    return false;
}

wmproxy

wmproxy
已用
Rust
实现
http/https
代理,
socks5
代理, 反向代理, 负载均衡, 静态文件服务器,
websocket
代理,四层TCP/UDP转发,内网穿透等,会将实现过程分享出来,感兴趣的可以一起造个轮子

项目地址

国内: https://gitee.com/tickbh/wmproxy

github: https://github.com/tickbh/wmproxy

设计目标

快速的设置多IP绑定,及IP端口段的支持,方便快速的自定义能力。

IP解析示例

以下是常见的IP解析示例情况,本地ip为
192.168.0.100
示例:

  • 正常IP解析


    • 127.0.0.1:8869
      解析成 ipv4 127.0.0.1 端口 8869,只接受本地来的连接信息
    • 0.0.0.0:8869
      解析成 ipv4 0.0.0.0 端口 8869,可接受所有来自ipv4的连接信息

  • :
    开头的地址,且不包含
    -


    • :8869
      解析成 ipv4 127.0.0.1 端口 8869 及 ipv4 192.168.0.100 端口 8869
  • 包含
    -
    的地址


    • :8869-:8871
      解析成 ipv4 127.0.0.1 端口 8869 - 8871 三个端口地址 及 ipv4 192.168.0.100 端口 8869 - 8871 三个端口地址,总共6个端口地址
    • 127.0.0.1:8869-:8871
      解析成 ipv4 127.0.0.1 端口 8869 - 8871 三个端口地址 总共3个端口地址
    • 127.0.0.1:8869-192.168.0.100:8871
      解析成 ipv4 127.0.0.1 端口 8869 - 8871 三个端口地址 总共3个端口地址,忽略后面的地址,只接受端口号
  • 手动多个地址,可以空格或者
    ,
    做间隔


    • 127.0.0.1:8869 127.0.0.1:8899 192.168.0.100:8899
      就相应的解析成三个端口地址

定义类

由于解析出来的地址可能是多个或者个单个,这里用数组来进行表示

#[derive(Debug, Clone)]
pub struct WrapVecAddr(pub Vec<SocketAddr>);

通常序列化会用到
FromStr
将字符串转化成类
反序列化都会用到
Display
将类转化成字符串
所以在这里,我们将实现
FromStr

Display


impl FromStr for WrapVecAddr {
    type Err = AddrParseError;
    fn from_str(s: &str) -> Result<Self, Self::Err> {
        // 范围的如:8080-:8090, 表示11端口
        if s.contains("-") {
            let vals = s
                .split(&['-'])
                .filter(|s| !s.is_empty())
                .collect::<Vec<&str>>();
            let start = parse_socker_addr(vals[0])?;
            if vals.len() != 2 {
                return Ok(WrapVecAddr(start));
            } else {
                let end = parse_socker_addr(vals[1])?;
                let mut results = vec![];
                for port in start[0].port()..=end[1].port() {
                    for idx in &start {
                        let mut addr = idx.clone();
                        addr.set_port(port);
                        results.push(addr);
                    }
                }
                return Ok(WrapVecAddr(results));
            }
        } else {
            let vals = s
                .split(&[',', ' '])
                .filter(|s| !s.is_empty())
                .collect::<Vec<&str>>();
            let mut results = vec![];
            for s in vals {
                results.extend(parse_socker_addr(s)?);
            }
            Ok(WrapVecAddr(results))
        }
    }
}

impl Display for WrapVecAddr {
    fn fmt(&self, f: &mut std::fmt::Formatter<'_>) -> std::fmt::Result {
        let mut values = vec![];
        for a in &self.0 {
            values.push(format!("{}", a));
        }
        f.write_str(&values.join(","))
    }
}

这样子后我们将配置加上就可以自动实现序列化及反序列化了

#[serde_as]
#[derive(Debug, Clone, Serialize, Deserialize)]
pub struct ServerConfig {
    #[serde_as(as = "DisplayFromStr")]
    pub bind_addr: WrapVecAddr,
    // ...   
}

获取本机地址

通过库
local-ip-address
获取本地IP地址,再根据缺省IP时添加本地IP地址访问,因为缺省时有可能是需要本地内网进行访问。所以需要补上本地网卡地址。所以我们在解析以
:
时做了特殊处理:


fn parse_socker_addr(s: &str) -> Result<Vec<SocketAddr>, AddrParseError> {
    if s.starts_with(":") {
        let port = s.trim_start_matches(':');
        let mut results = vec![];
        if let Ok(port) = port.parse::<u16>() {
            if let Ok(v) = local_ip() {
                results.push(SocketAddr::new(v, port));
            }
            if let Ok(v) = local_ipv6() {
                results.push(SocketAddr::new(v, port));
            }
            results.push(SocketAddr::new(IpAddr::V4(Ipv4Addr::new(127, 0, 0, 1)), port));
        } else {
            results.push(format!("127.0.0.1{s}").parse::<SocketAddr>()?);
        }
        Ok(results)
    } else {
        let addr = s.parse::<SocketAddr>()?;
        Ok(vec![addr])
    }
}

参数获取

以下举例
file-server
的参数

#[derive(Debug, Clone, Bpaf)]
#[allow(dead_code)]
struct FileServerConfig {
    /// 静态文件根目录路径
    #[bpaf(short, long, fallback(String::new()))]
    pub(crate) root: String,
    #[bpaf(
        short,
        long,
        fallback(WrapVecAddr(vec![SocketAddr::new(IpAddr::V4(Ipv4Addr::new(127, 0, 0, 1)), 8869)])),
        display_fallback
    )]
    /// 监听地址
    pub(crate) listen: WrapVecAddr,
    #[bpaf(long)]
    /// 监听地址
    pub(crate) listen_ssl: Option<WrapVecAddr>,
    /// ...   
}

如此我们就可以轻松的用SSL监听及普通的监听添加多个端口的支持。

wmproxy file-server --listen :8869-8871

此时我们可以同时监听3个端口均支持文件服务器。此时我们就可以轻松控制多个端口地址。

绑定多个地址

以下是负载均衡中的绑定示例

for v in &value.bind_addr.0 {
    if bind_addr_set.contains(&v) {
        continue;
    }
    bind_addr_set.insert(v);
    let url = format!("http://{}", v);
    log::info!("HTTP服务:{},提供http处理及转发功能。", Style::new().blink().green().apply_to(url));
    let listener = Helper::bind(v).await?;
    listeners.push(listener);
    tlss.push(false);
}

for v in &value.bind_ssl.0 {
    if bind_addr_set.contains(&v) {
        continue;
    }
    bind_addr_set.insert(v);
    if !is_ssl {
        return Err(crate::ProxyError::Extension("配置SSL端口但未配置证书"));
    }
    let url = format!("https://{}", v);
    log::info!("HTTPs服务:{},提供https处理及转发功能。", Style::new().blink().green().apply_to(url));
    let listener = Helper::bind(v).await?;
    listeners.push(listener);
    tlss.push(is_ssl);
}

支持ssl绑定及非ssl绑定同一个location。

其中链接信息使用了
console
,输出了绿色的,可以点击的url链接。可以方便在启动的时候进行点击。

图中圈圈位置是可以点击跳转成url,方便本地开发环境的时候测试使用。

总结

通过
FromStr

Display
的重定义,我们可以支持更强大的自定义的序列化操作,系统绑定端口既认端口号也认绑定IP,所以我们可以对同个端口进行多次绑定。

点击
[关注]

[在看]

[点赞]
是对作者最大的支持

正月初九,开工大吉!
2024年,更上一层楼!

写在开头

其实在List的继承关系中,除了ArrayList和LinkedList之外,还有另外一个集合类stack(栈),它继承自vector,线程安全,先进后出,随着Java并发编程的发展,它在很多应用场景下被逐渐替代,成为了Java的遗落之类。不过,stack在数据结构中仍有一席之地,因此,我们有必要也应该好好的学一下!

Collection和Collections的区别?

在开始学习栈之前,先来解决一下之前一个网友在评论区问的问题:

Collection和Collections有什么区别?

虽然这两个类都在java.util包下,虽然只有一字之差,但它们的差别还是挺大的!
Collection 是JDK中集合层次结构中的最根本的接口。定义了集合类的基本方法。源码中的解释:

 * The root interface in the <i>collection hierarchy</i>.  A collection
 * represents a group of objects, known as its <i>elements</i>.  Some
 * collections allow duplicate elements and others do not.  Some are ordered
 * and others unordered.  The JDK does not provide any <i>direct</i>
 * implementations of this interface: it provides implementations of more
 * specific subinterfaces like <tt>Set</tt> and <tt>List</tt>.  This interface
 * is typically used to pass collections around and manipulate them where
 * maximum generality is desired.

Collections 是一个包装类。它包含有各种有关集合操作的静态多态方法,不能实例化,Collection 集合框架的工具类。源码中的解释:

* This class consists exclusively of static methods that operate on or return
* collections.  It contains polymorphic algorithms that operate on
* collections, "wrappers", which return a new collection backed by a
* specified collection, and a few other odds and ends.

stack(栈)

栈(stack)是一种先进后出(Last In First Out,LIFO)的数据结构,类比于现实生活中的子弹上膛、泡泡圈。栈具有两个基本操作:入栈(push)和出栈(pop)。入栈表示将元素放入栈顶,而出栈表示从栈顶取出元素。

动图图解-入栈(push)

动图图解-出栈(pop)

在Java的工具包中其实帮我们封装好了一个类,java.util.Stack,它所提供的方法并不多,我们通过一个小示例感受一下。

【代码示例1】

Stack<String> stacks = new Stack<>();
//push方法入栈
 stacks.push("开");
 stacks.push("工");
 stacks.push("大");
 stacks.push("吉");
 stacks.push("!");
 System.out.println(stacks);
 //pop栈顶元素出栈
 String pop = stacks.pop();
 System.out.println(pop);
 //查看栈顶元素
 String peek = stacks.peek();
 System.out.println(peek);
 //判断堆栈是否为空
 boolean empty = stacks.empty();
 System.out.println(empty);
 //查看元素在堆栈中的位置
 int index = stacks.search("开");
 System.out.println(index);

输出:

[开, 工, 大, 吉, !]
!
吉
false
4

手写一个stack(堆栈)

通过上面的代码示例我们了解了一个栈所具备的功能特点,根据它的特点,我们尝试一下手写一个栈!
首先,准备一个数组用来存储元素,可以定义为Object,这样支持多数据类型,我们这里直接选用int类型的好嘞。
自定义栈-源码:

/**
 * @ClassName Stack
 * @Description 手写一个int类型的堆栈
 * @Author hzm
 * @Date 2024/2/18 14:21
 * @Version 1.0
 */
public class Stack {
    private int arr[];
    private int top;
    private int capacity;

    /**
     * 提供一个有参构造,初始化栈
     * @param size
     */
    public Stack(int size) {
        this.arr = new int[size];
        this.top = -1;
        this.capacity = size;
    }

    /**
     * 入栈
     * @param p
     */
    public void push(int p) {
        if (isFull()) {
            System.out.println("堆栈空间溢出\n程序终止\n");
            System.exit(1);
        }

        System.out.println("入栈:" + p);
        arr[++top] = p;
    }

    /**
     * 出栈
     * @return
     */
    public int pop() {
        if (isEmpty()) {
            System.out.println("空栈,不可POP");
            System.exit(1);
        }
        return arr[top--];
    }

    /**
     * 判断栈是否已满
     * @return
     */
    public Boolean isFull() {
        return top == capacity - 1;
    }

    /**
     * 判断栈是否为空
     * @return
     */
    public Boolean isEmpty() {
        return top == -1;
    }

    /**
     * 遍历栈内元素
     */
    public void printStack() {
        for (int i = 0; i <= top; i++) {
            System.out.println(arr[i]);
        }
    }

    /**
     * 返回栈的大小
     * @return
     */
    public int size() {
        return top + 1;
    }

    /**
     * 查看栈顶元素
     * @return
     */
    public void peek(){
        System.out.println("栈顶元素:" + arr[top]);
    }
}

测试类中调用手写的这个stack:

public class Test {
    public static void main(String[] args) {
        Stack stack = new Stack(5);
        //入栈
        stack.push(1);
        stack.push(2);
        stack.push(3);
        stack.push(4);
        stack.push(5);
        //出栈
        int pop = stack.pop();
        System.out.println("出栈:"+ pop);
        //查看栈的大小
        int size = stack.size();
        System.out.println("栈容量:" + size);
        //查看栈顶元素
        stack.peek();
        //打印栈内元素
        stack.printStack();
    }
}

输出:

入栈:1
入栈:2
入栈:3
入栈:4
入栈:5
出栈:5
栈容量:4
栈顶元素:4
1
2
3
4

好了,今天的栈内容就写到这里吧,大家私下里可以找找leetcode上关于栈的算法题做做,深刻感受一下哈!

结尾彩蛋

如果本篇博客对您有一定的帮助,大家记得
留言+点赞+收藏
呀。原创不易,转载请联系Build哥!

在之前的讲解中,我乐意将源码拿出来并粘贴在文章中,让大家看一下。然而,我最近意识到这样做不仅会占用很多篇幅,而且实际作用很小,因为大部分人不会花太多时间去阅读源码。

因此,从今天开始,我将采取以下几个步骤:首先,我会提前画出一张图来展示本章节要讲解的内容的调用链路,供大家参考。其次,在文章中,我只会展示最核心的代码或关键的类。剩下的内容将主要用来讲解原理。如果你真的在学习Spring源码,我希望你能打开你的项目,并跟着我一起深入阅读源码。现在,让我们开始吧。今天的重点是Spring的依赖注入。

基本使用

首先,值得注意的是,在Spring框架中,依赖注入是在bean生成后进行属性赋值的。由于我们的bean通常都是单例模式,所以每个类的属性都必须进行注入。在这个过程中,会涉及到代理、反射等技术的应用。如果你对这些概念不太熟悉的话,建议你提前补充一下相关的前提知识。了解这些基本概念将有助于你更好地理解和掌握Spring框架的依赖注入机制。

首先需要注意的是,尽管图示可能只展示了类之间的简单调用关系,但这并不代表实际的依赖注入过程就是如此简单。实际上,Spring框架的版本和配置方式可能会导致不同的链路调用。然而,无论具体的版本差异如何,Spring框架的依赖注入机制的基本逻辑大致是一样的。

本节课的链路调用图例地址:
https://viewer.diagrams.net/index.html?tags={}&highlight=0000ff&edit=_blank&layers=1&nav=1&title=未命名绘图.drawio#Uhttps%3A%2F%2Fraw.githubusercontent.com%2FStudiousXiaoYu%2Fdraw%2Fmain%2F未命名绘图.drawio

Spring的依赖注入有两种方式:手动注入、自动注入。下面我们详细讲解一下这两种方式。

手动注入

在手动注入中,离不开XML配置。有两种常见的方式可以实现手动注入:通过属性和通过构造器。手动就是我们人为控制注入的值,下面是两种配置方式:

<bean id="user" class="com.xiaoyu.service.UserService" >
		<property name="orderService" ref="orderService"/>
</bean>

上面是通过使用set方法进行依赖注入的方式来实现。

<bean id="user" class="com.xiaoyu.service.UserService">
		<constructor-arg index="0" ref="orderService"/>
</bean>

上面是通过使用构造方法进行依赖注入的方式来实现。

自动注入

XML配置

XML也有自动分配的机制,只要不是我们手动指定注入类,那就是自动注入,让我们一起了解如何进行设置。

在XML中,我们可以通过在定义一个Bean时指定自动注入模式来进行优化。这些模式包括byType、byName、constructor、default和no。通过使用这些模式,我们可以更灵活地控制Bean的注入方式。

<bean id="user" class="com.xiaoyu.service.UserService" autowire="byType"/>
<bean id="user" class="com.xiaoyu.service.UserService" autowire="byName"/>

剩下的不举例了,这两种类型,都需要我们的UserService对象有相应的set方法。因为注入的点就是先找到set方法,然后在填充属性之前,Spring会去解析当前类,把当前类的所有方法都解析出来。Spring会解析每个方法,得到对应的PropertyDescriptor对象。PropertyDescriptor对象中包含了几个属性:

name:获取截取后的方法名称:截取规则如下:

  • get开头,则去除get,比如“getXXX”,那么name=XXX(首字母小写),需无参或者第一个参数为int类型
  • is开头不并且返回值为boolean类型,比如“isXXX”,那么name=XXX(首字母小写),需无参
  • set开头并且有无返回值,比如“setXXX”,那么name=XXX(首字母小写),前提是得有入参,如果无入参是解析不到set开头的方法的

readMethodRef:如果是get开头或者is开头的方法,都是readMethodRef,并且存储的引用。

readMethodName:是get开头或者is开头的方法名。包含get/is

writeMethodRef:set开头的方法引用。

writeMethodName:set开头的方法名,包含set。

propertyTypeRef:如果是读方法,则获取的是返回值类型,如果是set写方法,则获取的是入参类型。

具体实现可自行查看源码:
java.beans.Introspector#getTargetPropertyInfo()

@Autowired注解

这个注解大家都很熟悉,我简单介绍一下它的基础用法。最后,通过查看源码,我们将依赖注入的过程完整地连起来。

属性注入

基本用法示例:

@Component
public class UserService {
  @Autowired
	public OrderService orderService;
}

setter方法注入

基本用法示例:

@Component
public class UserService {

	public OrderService orderService;
	
	@Autowired
	public void setOrderService(OrderService orderService){
		System.out.println(0);
		this.orderService = orderService;
	}
}

构造器注入

基本用法示例:

@Component
public class UserService {

	public OrderService orderService;
	
	@Autowired
	public UserService(OrderService orderService){
		this.orderService = orderService;
	}
	
}

依赖注入关键源码解析

寻找注入点

在创建一个Bean的过程中,Spring会利用AutowiredAnnotationBeanPostProcessor的postProcessMergedBeanDefinition()方法来找出注入点并进行缓存。具体的找注入点的流程如下:

  1. 如果一个Bean的类型是String,那么则根本不需要进行依赖注入
  2. 遍历目标类中的所有Field字段,field上是否存在@Autowired、@Value、@Inject中的其中一个
  3. static 字段不是注入点,不会进行自动注入
  4. 构造注入点,获取@Autowired中的required属性的值,将字段封装到AutowiredFieldElement对象。
  5. 遍历目标类中的所有Method方法。
  6. method上是否存在@Autowired、@Value、@Inject中的其中一个
  7. static method不是注入点,不会进行自动注入
  8. set方法最好有入参,没有入参或提示日志。
  9. 构造注入点,获取@Autowired中的required属性的值,将方法封装到AutowiredMethodElement对象。
  10. 查看是否还有父类,如果有再次循环直到没有父类。
  11. 将刚才构造好的注入点全都封装到InjectionMetadata,作为当前Bean对于的注入点集合对象,并缓存。


static字段或方法为什么不支持注入

在源码中,Spring会判断字段或方法是否是static来决定是否进行注入。如果字段或方法是static的,Spring不会进行注入操作。这是因为静态字段或方法是属于类的,而不是属于具体的实例。因此,在进行依赖注入时,Spring会注入给具体的实例,而不是整个类。

我们知道Spring是支持创建原型bean的,也就是多例模式。

@Component
@Scope("prototype")
public class UserService {
  @Autowired
  private static OrderService orderService;
  public void test() {
  System.out.println("test123");
  }
}

确实,如果OrderService是prototype类型的,并且Spring支持注入static字段,那么每次注入OrderService到UserService时都会创建一个新的实例。这样做确实违背了static字段的本意,因为static字段是属于类的,而不是实例的。

注入点注入

在依赖注入的过程中,注入点的注入肯定会在populateBean方法中进行属性注入。在这个过程中,会调用AutowiredAnnotationBeanPostProcessor的postProcessProperties()方法,该方法会直接给对象中的属性赋值。这个方法会遍历每个注入点(InjectedElement),并进行依赖注入操作。

image

属性字段注入

  1. 遍历所有AutowiredFieldElement对象。
  2. 将对应的字段封装到DependencyDescriptor。
  3. 调用beanFactory.resolveDependency来获取真正需要注入的bean。
  4. 最后将此次封装的DependencyDescriptor和beanname缓存起来,主要考虑到了原型bean的创建
  5. 利用反射给filed赋值


setter方法注入

  1. 遍历所有AutowiredMethodElement对象。
  2. 调用resolveMethodArguments方法
  3. 遍历每个方法参数,找到匹配的bean对象,将方法对象封装到DependencyDescriptor中。
  4. 调用beanFactory.resolveDependency来获取真正需要注入的bean。
  5. 最后将此次封装的DependencyDescriptor和beanname缓存起来,主要考虑到了原型bean的创建
  6. 利用反射给filed赋值

我们只需要关注findAutowiringMetadata方法的实现,因为大家普遍了解注入的概念。我们主要关注的是它是如何找到注入点的。

	private InjectionMetadata findAutowiringMetadata(String beanName, Class<?> clazz, @Nullable PropertyValues pvs) {
		// Fall back to class name as cache key, for backwards compatibility with custom callers.
		String cacheKey = (StringUtils.hasLength(beanName) ? beanName : clazz.getName());
		// Quick check on the concurrent map first, with minimal locking.
		InjectionMetadata metadata = this.injectionMetadataCache.get(cacheKey);
		if (InjectionMetadata.needsRefresh(metadata, clazz)) {
			synchronized (this.injectionMetadataCache) {
				metadata = this.injectionMetadataCache.get(cacheKey);
				if (InjectionMetadata.needsRefresh(metadata, clazz)) {
					if (metadata != null) {
						metadata.clear(pvs);
					}
					// 解析注入点并缓存
					metadata = buildAutowiringMetadata(clazz);
					this.injectionMetadataCache.put(cacheKey, metadata);
				}
			}
		}
		return metadata;
	}
	private InjectionMetadata buildAutowiringMetadata(final Class<?> clazz) {
		// 如果一个Bean的类型是String...,那么则根本不需要进行依赖注入
		if (!AnnotationUtils.isCandidateClass(clazz, this.autowiredAnnotationTypes)) {
			return InjectionMetadata.EMPTY;
		}

		List<InjectionMetadata.InjectedElement> elements = new ArrayList<>();
		Class<?> targetClass = clazz;

		do {
			final List<InjectionMetadata.InjectedElement> currElements = new ArrayList<>();

			// 遍历targetClass中的所有Field
			ReflectionUtils.doWithLocalFields(targetClass, field -> {
				// field上是否存在@Autowired、@Value、@Inject中的其中一个
				MergedAnnotation<?> ann = findAutowiredAnnotation(field);
				if (ann != null) {
					// static filed不是注入点,不会进行自动注入
					if (Modifier.isStatic(field.getModifiers())) {
						if (logger.isInfoEnabled()) {
							logger.info("Autowired annotation is not supported on static fields: " + field);
						}
						return;
					}

					// 构造注入点
					boolean required = determineRequiredStatus(ann);
					currElements.add(new AutowiredFieldElement(field, required));
				}
			});

			// 遍历targetClass中的所有Method
			ReflectionUtils.doWithLocalMethods(targetClass, method -> {

				Method bridgedMethod = BridgeMethodResolver.findBridgedMethod(method);
				if (!BridgeMethodResolver.isVisibilityBridgeMethodPair(method, bridgedMethod)) {
					return;
				}
				// method上是否存在@Autowired、@Value、@Inject中的其中一个
				MergedAnnotation<?> ann = findAutowiredAnnotation(bridgedMethod);
				if (ann != null && method.equals(ClassUtils.getMostSpecificMethod(method, clazz))) {
					// static method不是注入点,不会进行自动注入
					if (Modifier.isStatic(method.getModifiers())) {
						if (logger.isInfoEnabled()) {
							logger.info("Autowired annotation is not supported on static methods: " + method);
						}
						return;
					}
					// set方法最好有入参
					if (method.getParameterCount() == 0) {
						if (logger.isInfoEnabled()) {
							logger.info("Autowired annotation should only be used on methods with parameters: " +
									method);
						}
					}
					boolean required = determineRequiredStatus(ann);
					PropertyDescriptor pd = BeanUtils.findPropertyForMethod(bridgedMethod, clazz);
					currElements.add(new AutowiredMethodElement(method, required, pd));
				}
			});

			elements.addAll(0, currElements);
			targetClass = targetClass.getSuperclass();
		}
		while (targetClass != null && targetClass != Object.class);

		return InjectionMetadata.forElements(elements, clazz);
	}

@Resource

说到这里,可能有些小伙伴还会使用@Resource注解来进行依赖注入。其实,这和@Autowired注解的逻辑是一样的,只是调用的是其他类的相关方法。具体来说,通过org.springframework.context.annotation.CommonAnnotationBeanPostProcessor#postProcessMergedBeanDefinition方法来查找注入点,然后在org.springframework.context.annotation.CommonAnnotationBeanPostProcessor#postProcessProperties方法中进行属性填充。关于这些细节我们就不详细讨论了,如果感兴趣的话,可以查看一下源码。

@Qualifier

对于使用过@Autowired注解的同学来说,他们肯定也了解@Qualifier注解的作用。@Qualifier主要用于解决一个接口有多个实现类的情况。为了更好地理解,我们来举一个简单的例子:

public interface User {
}
@Component
@Qualifier("userF")
public class UserF implements User{
}
@Component
@Qualifier("userM")
public class UserM implements User{
}

在上述内容中,简要定义了两个实现。现在我们需要使用它们。

@Component
public class UserService {

	@Autowired
	@Qualifier("userM")
	public User user;
}

在这种情况下,会去匹配userM的实体类,而不会出现多个匹配类导致异常。那么它是如何解决这个问题的呢?它是在什么时候找到@Qualifier注解的呢?具体的源码如下所示:

	protected boolean checkQualifier(
			BeanDefinitionHolder bdHolder, Annotation annotation, TypeConverter typeConverter) {
		// 检查某个Qualifier注解和某个BeanDefinition是否匹配

		// annotation是某个属性或某个方法参数前上所使用的Qualifier
		Class<? extends Annotation> type = annotation.annotationType();
		RootBeanDefinition bd = (RootBeanDefinition) bdHolder.getBeanDefinition();

		// 首先判断BeanDefinition有没有指定类型的限定符
		AutowireCandidateQualifier qualifier = bd.getQualifier(type.getName());
		if (qualifier == null) {
			qualifier = bd.getQualifier(ClassUtils.getShortName(type));
		}
		if (qualifier == null) {
			// First, check annotation on qualified element, if any
			Annotation targetAnnotation = getQualifiedElementAnnotation(bd, type);
			// Then, check annotation on factory method, if applicable
			if (targetAnnotation == null) {
				targetAnnotation = getFactoryMethodAnnotation(bd, type);
			}
			if (targetAnnotation == null) {
				RootBeanDefinition dbd = getResolvedDecoratedDefinition(bd);
				if (dbd != null) {
					targetAnnotation = getFactoryMethodAnnotation(dbd, type);
				}
			}
			if (targetAnnotation == null) {
				// Look for matching annotation on the target class
				if (getBeanFactory() != null) {
					try {
						// 拿到某个BeanDefinition对应的类上的@Qualifier
						Class<?> beanType = getBeanFactory().getType(bdHolder.getBeanName());
						if (beanType != null) {
							targetAnnotation = AnnotationUtils.getAnnotation(ClassUtils.getUserClass(beanType), type);
						}
					}
					catch (NoSuchBeanDefinitionException ex) {
						// Not the usual case - simply forget about the type check...
					}
				}
				if (targetAnnotation == null && bd.hasBeanClass()) {
					targetAnnotation = AnnotationUtils.getAnnotation(ClassUtils.getUserClass(bd.getBeanClass()), type);
				}
			}
			// 注解对象的equals比较特殊,JDK层面用到了动态代理,会比较value
			if (targetAnnotation != null && targetAnnotation.equals(annotation)) {
				return true;
			}
		}
		......
		return true;
	}

他其实是在我们上面所说的属性注入的时候去匹配查找的。具体来说,他会调用beanFactory.resolveDependency方法来获取真正需要注入的bean时进行查找。如果想要查看相关的源码,可以去查看
org.springframework.beans.factory.annotation.QualifierAnnotationAutowireCandidateResolver#isAutowireCandidate
方法。在这个方法中会有更详细的解释。

总结

今天我们主要讲解的是Spring依赖注入。在本文中,我们主要围绕bean填充属性的字段和setter方法展开讨论。要记住的是,在进行属性注入时,我们首先需要找到注入点并进行缓存,然后才会真正进行属性注入。需要注意的是,静态字段或方法是不会进行依赖注入的。最后,我们简单地介绍了一下关键源码,以及对@Resource和@Qualifier进行了简单的分析。如果想要学习Spring源码,一定要结合图例去理解,否则很容易晕头转向。