随着人工智能技术的飞速发展,.Net技术与AI的结合已经成为了一个新的技术热点。今天,我要和大家分享一个令人兴奋的开源项目——
AntSK
,这是一个基于.net平台构建的
开源离线
AI知识库项目。在这个项目中,我们最近加入了一项强大的
Rerank
(重排)模型,进一步增强了我们的AI知识库的查询能力。如果你关心.NET和AI的融合应用,那么请继续阅读,我保证这会是一次充满技术洞见的探索旅程。

引言

在现代搜索引擎技术中,如何从庞大的数据中快速、准确地找到用户需要的信息,这一点至关重要。虽然向量匹配技术已经可以实现语义相关度的匹配,它是根据向量之间的距离来判断文档与查询之间的相关性,但这往往不能满足我们日益增长的精准匹配需求。文档质量的参差不齐,以及用户查询意图的多样性,让向量匹配技术看起来有些力不从心。

AntSK知识库项目正是针对这些挑战而诞生,目标是构建一个强大、灵活且易于扩展的AI知识库框架。引入
Rerank
技术后,AntSK可以对向量匹配后的初步结果进行进一步的重排序,从而显著提升搜索结果的相关性和质量。

AntSK项目简介

AntSK是一个开源且强大的AI知识库框架,它集成了先进的语义理解技术。通过结合

semantic kernel和kernel memory,它提供了一个扩展的AI功能平台,还支持Python混合编程,让.NET开发者也可以轻松利用Python丰富的AI生态库进行开发。

项目地址参见:

https://github.com/AIDotNet/AntSK

Rerank模型的介绍及应用

要在AntSK中加入Rerank模型,我们可以使用一个名为FlagEmbedding的开源项目作为参考。FlagEmbedding提供了一个用于文档重排序的优秀实践,它可以通过更复杂的模型和更多因素,例如文档的语义深度、用户查询意图等,来筛选出更加配准的结果。

FlagEmbedding项目地址:

https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/llm_reranker#model-list

在AntSK中,我们需要通过
pythonnet
来运行Rerank模型,这样可确保.NET和Python之间的无缝集成。由于网络原因,一些国内用户在下载模型时可能会遇到困难,因此我们对下载部分进行了修改,使其支持从modelscope进行下载。

接下来,我们来看看如何在AntSK中实现ReRank模型的集成。首先建立一个pythonnet类,以下是一个简化版的代码实现:

public static class BegRerankConfig
{
    public static dynamic model { get; set; }

    static object lockobj = new object();



    /// <summary>
    /// 模型写死
    /// </summary>
    public static dynamic LoadModel(string pythondllPath, string modelName)
    {
        lock (lockobj)
        {
            if (model == null)
            {
                if (string.IsNullOrEmpty(Runtime.PythonDLL))
                {
                    Runtime.PythonDLL = pythondllPath;
                }
                PythonEngine.Initialize();
                try
                {
                    using (GIL())// 初始化Python环境的Global Interpreter Lock)
                    {
                        dynamic modelscope = Py.Import("modelscope");
                        dynamic flagEmbedding = Py.Import("FlagEmbedding");

                        dynamic model_dir = modelscope.snapshot_download(modelName, revision: "master");
                        dynamic flagReranker = flagEmbedding.FlagReranker(model_dir, use_fp16: true);
                        model = flagReranker;
                        return model;
                    }
                }
                catch (Exception ex)
                {
                    throw ex;
                }
            }
            else
            {
                return model;
            }
        }
    }


    public static double Rerank(List<string> list)
    {
        using (GIL())
        {
            try
            {
                PyList pyList = new PyList();
                foreach (string item in list)
                {
                    pyList.Append(item.ToPython()); // 将C# string转换为Python对象并添加到PyList中
                }
                PyObject result = model.compute_score(pyList, normalize: true);
                return result.As<double>();
            }
            catch (Exception ex)
            {
                throw ex;
            }
        }
    }
}

代码详见AntSK项目。通过简单的集成,我们就能为AntSK赋予ReRank的能力。另外,我们将初步查找的
top 5
结果扩展为
top 20,甚至更多
,然后通过ReRank模型对这些结果进一步筛选和排序,最后只抽取重排后的
top 5
。这样的操作流程大大提升了结果的准确性。

为什么需要向量匹配后再Rerank?

这是因为Rerank依赖的是一对一的精确匹配模型,在处理海量文档时效率较低。因此,将向量匹配作为第一轮粗筛选择,然后让Rerank技术进行第二轮精细的筛选排序,就显得格外高效且合理。

效能测试

经过初步的测试,引入Rerank技术后,AntSK在搜索结果的相关性和准确性上都得到了显著的提升。这不仅加深了我们对混合AI系统的认识,也为.NET平台上的AI应用开发提供了新的可能性和方向。

结语

通过AntSK这一案例,我们可以明显看到.NET和AI领域融合的趋势。随着技术的不断进步,我们预计会有越来越多精彩的.NET结合AI的应用场景出现。现在,你可以通过访问Github上的AntSK项目,深入了解这一先进技术,并将其应用于你自己的工作当中。

本文仅是一个起点,探讨AntSK知识库框架以及Rerank在内的相关深度技术。我将继续关注这一个领域的进展,并与大家分享更多精彩内容。感谢阅读,让我们一起期待.NET/AI的融合未来!

另外也欢迎大家加入我们的社区交流群,关注公众号《许泽宇的技术分享》发送进群!
这是一个非常和谐的社区,大家在里面讨论AI技术,非常融洽。

标签: none

添加新评论