gRPC入门学习之旅（二）

作者: wenmo8
时间: 2024-03-16
分类: 其它
评论

gRPC入门学习之旅（一）

gRPC是一个高性能、通用的开源远程过程调用（RPC）框架，基于
底层HTTP/2协议标准
和
协议层Protobuf序列化协议
开发，支持众多的开发语言，由Google开源。

gRPC也是基于以下理念：定义一个服务，指定其能够被远程调用的方法（包含参数和返回类型）。在服务端实现这个接口，并运行一个 gRPC服务器来处理客户端调用。在客户端拥有一个存根能够像服务端一样的方法。

gRPC 客户端和服务端可以在多种环境中运行和交互。你可以用Java创建一个 gRPC 服务端，用 Go、Python、C# 来创建客户端。

特点：

跨语言；
基于HTTP/2之上的二进制协议；
Protobuf序列化机制，比JSON体积小，网络传输快；
一个连接上可以多路复用，并发处理多个请求和响应；
多种语言的类库实现；
服务定义文件和自动代码生成（.proto 文件和 Protobuf 编译工具）；
适合高性能轻量的微服务，一般对外的接口用Restful API，内部服务的调用用gRPC。gRPC是一个分布式服务框架，和以前的WebService，WCF类似;
gRPC还提供了很多扩展点，用于对框架进行功能定制和扩展，例如，通过开放负载均衡接口可以无缝的与第三方组件进行集成对接（Zookeeper、域名解析服务、SLB 服务等）。

gRPC 使用 HTTP/2 作为传输协议。虽然与 HTTP 1.1 也能兼容，但 HTTP/2 具有许多高级功能：

用于数据传输的二进制组帧协议 - 与 HTTP 1.1 不同，HTTP 1.1 是基于文本的。

对通过同一连接发送多个并行请求的多路复用支持 - HTTP 1.1 将处理限制为一次处理一个请求/响应消息。

双向全双工通信，用于同时发送客户端请求和服务器响应。

内置流式处理，支持对大型数据集进行异步流式处理的请求和响应。

减少网络使用率的标头压缩。

gRPC 是轻量型且高性能的。其处理速度可以比 JSON 序列化快 8 倍，消息小 60% 到 80%。在 Microsoft Windows Communication Foundation (WCF) 中，gRPC 的性能超过经过高度优化的 NetTCP 绑定的速度和效率。与偏向于 Microsoft 堆栈的 NetTCP 不同，gRPC 是跨平台的。

接下来，我们通过一个Demo，来学习一下，如何在Visual Studio 2022中实现gRPC功能。

2、创建gRPC服务端

2.1、创建gRPC服务端项目

1. 打开Visual Studio 2022,在开始界面中选择“创建新项目”。如下图。

2.或者在菜单上点击文件—>新建—>项目—>弹出“创建新项目”的界面。如下图。

3. Visual Studio 2022弹出的“创建新项目”的对话框中做如下选择。如下图。

在最左边的下拉框中，选择 “C# ，如下图中1处
在中间的下拉框中，选择 “所有平台”，如下图2处。
在最右边的下拉框中，选择“Web”，如下图3处。
在下图中4处，选择“ASP.NET Core gRPC服务”gRPC项目模板，点击“下一步”按钮。

4.在弹出的“配置新项目”的对话框中，如下图，在“项目名称”输入框中，输入“Demo.GrpcService”。然后使用鼠标点击“下一步”按钮。

5. 在弹出的“其他信息”的对话框，如下图。在“框架”下拉框中，选择“NET 7.0(标准期限支持)”。其他值选择默认值即可。然后使用鼠标点击“创建”按钮。

6.默认项目文件结构，如下图所示：

2.2、项目文件说明

appsettings.json
我们打开appsettings.json文件，其中有一个
Protocols
属性，代表基于
Http2
进行通信。

Protos
在创建的项目中，我们会看到有一个名称为
Protos
的文件夹，该文件夹用于存放
proto
协议文件
，其中的
greet.proto
是项目默认给我们创建的一个示例文件，它会根据协议自动生成需要的类文件。该协议文件中的具体说明如下图所示：

Services
在创建的项目中，我们会看到有一个名称
Services
的文件夹，该文件夹用于存放
具体的业务实现类（即：服务类）
，其中的
GreeterService.cs
是项目默认给我们创建的一个示例文件，具体说明如下图所示：

上述图中的
Greeter.GreeterBase
来自greet.proto文件生成的类文件，具体位置如下图所示：

注册服务

在Visual Studio 2022的“解决方案资源管理器”中找到Program.cs文件，使用鼠标双击打开
Program.cs
文件，在这个文件中需要添加gRPC服务，同时需要将所有的
业务服务
进行注册，如下图所示：

使用docker-compose管理freeswitch容器

作者: wenmo8
时间: 2024-03-16
分类: 其它
评论

概述

之前的文章我们介绍过如何将freeswitch做成docker镜像，也使用命令行模式正常启动了fs的docker容器。

但是当我们需要同时管理多个docker容器的时候，还是使用docker-compose更简单。

环境

CENTOS 7

docker engine：Version 25.0.3

Docker Compose version v2.24.6

centos docker：7

freeswitch：v1.6.20

docker-compose安装

使用docker-ce的yum源安装。

sudo yum remove docker \

docker-client \

docker-client-latest \

docker-common \

docker-latest \

docker-latest-logrotate \

docker-logrotate \

docker-selinux \

docker-engine-selinux \

docker-engine

sudo yum install -y yum-utils device-mapper-persistent-data lvm2

sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

sudo yum makecache fast

sudo yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin

ll /usr/libexec/docker/cli-plugins/docker-compose

sudo ln -s /usr/libexec/docker/cli-plugins/docker-compose /usr/bin/docker-compose

sudo ln -s /usr/libexec/docker/cli-plugins/docker-compose /usr/local/bin/docker-compose

docker-compose version

Docker Compose version v2.24.6

docker-compose.yml

docker-compose使用yaml配置文件来管理docker容器，配置好yaml文件之后就可以很方便的使用了。

cat docker-compose.yml

version: '2'

services:

freeswitch:

image: 10.55.55.136:5000/zr/centos.7-fs.1.6.19-release:v1.8.1

container_name: centos.7-fs.1.6.19-1.8.1-as

volumes:

- /usr/local/freeswitch/conf-as:/usr/local/freeswitch/conf

- /usr/local/freeswitch/log:/usr/local/freeswitch/log

- /data/RAS/recordings:/data/RAS/recordings

- /usr/local/freeswitch/sounds:/usr/local/freeswitch/sounds

- /usr/local/freeswitch/webapp:/usr/local/freeswitch/webapp

# command:

restart: unless-stopped

# privileged: true

network_mode: "host"

logging:

driver: "none"

ulimits:

nproc: 65535

nofile:

soft: 20000

hard: 40000

cb:

image: 10.55.55.136:5000/zr/centos.7-cb.1.6.19-release:v1.1.3

container_name: centos.7-cb.1.6.19-1.1.3-compose

volumes:

- /usr/local/CB/CB.cfg:/usr/local/CB/CB.cfg

- /usr/local/CB/logs:/usr/local/CB/logs

- /data/RAS/recordings:/data/RAS/recordings

- /usr/local/freeswitch/sounds:/usr/local/freeswitch/sounds

- /usr/local/freeswitch/webapp:/usr/local/freeswitch/webapp

# command:

restart: unless-stopped

# privileged: true

network_mode: "host"

logging:

driver: "none"

depends_on:

- freeswitch

profiles:

- cb

# sudo docker-compose --profile cb up -d

简单介绍一下配置文件。

启动两个docker容器，freeswitch和cb，cb为可选，使用“cb”profile启动。

测试

使用上面的yml文件启动容器。

$ sudo docker-compose --profile cb up -d

[+] Running 2/2

✔ Container centos.7-fs.1.6.19-1.8.1-as Started 0.0s

✔ Container centos.7-cb.1.6.19-1.1.3-compose Started

$ sudo docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

592f8bdfc962 10.55.55.136:5000/zr/centos.7-cb.1.6.19-release:v1.1.3 "/usr/local/CB/CB-do…" 7 days ago Up 49 seconds centos.7-cb.1.6.19-1.1.3-compose

82fdee3f4717 10.55.55.136:5000/zr/centos.7-fs.1.6.19-release:v1.8.1 "/bin/sh -c '/usr/lo…" 7 days ago Up 50 seconds centos.7-fs.1.6.19-1.8.1-as

总结

docker-compose简化了多个docker容器的管理难度。

对于docker集群的部署，使用docker-compose很方便。

空空如常

求真得真

作者: wenmo8
时间: 2024-03-16
分类: 其它
评论

.Net Core 你必须知道的source-generators

作者: wenmo8
时间: 2024-03-16
分类: 其它
评论

源生成器是 C# 9 中引入的一项功能，允许在编译过程中
动态生成代码
。

它们直接与 C# 编译器集成(Roslyn)并在编译时运行，分析源代码并根据分析结果
生成附加代码
。

源生成器提供了一种简化的自动化代码生成方法，无需外部工具或单独的预编译步骤。

通过无缝集成到编译过程中，源生成器可以提高生产力、减少错误并实现更高效的开发工作流程。

如何使用

创建 .NET 控制台应用程序。此示例使用 .NET 6。将 Program 类替换为以下代码。

namespaceConsoleApp;partial classProgram

{static void Main(string[] args)

    {

        HelloFrom("Generated Code");

    }static partial void HelloFrom(stringname);

}

接下来，我们将创建一个源生成器项目来实现 partial void HelloFrom 方法对应项。

创建一个以 netstandard2.0 目标框架名字对象为目标的 .NET 类库。添加以下 NuGet 包

<ItemGroup>
    <PackageReference Include="Microsoft.CodeAnalysis.CSharp" Version="4.8.0" PrivateAssets="all" />
    <PackageReference Include="Microsoft.CodeAnalysis.Analyzers" Version="3.3.4" PrivateAssets="all" />
</ItemGroup>

然后，创建一个名为 HelloSourceGenerator.cs 的新 C# 文件，该文件指定你自己的源生成器，如下所示：

usingMicrosoft.CodeAnalysis;namespaceSourceGeneratorInCSharp

{

    [Generator]public classSourceGenerator : ISourceGenerator

    {public voidExecute(GeneratorExecutionContext context)

        {//Find the main method
            var mainMethod =context.Compilation.GetEntryPoint(context.CancellationToken);//Build up the source code
            string source = $@"// <auto-generated/>

using System;



namespace {mainMethod.ContainingNamespace.ToDisplayString()}

{{

    public static partial class {mainMethod.ContainingType.Name}

    {{

        static partial void HelloFrom(string name) =>

            Console.WriteLine($""Generator says: Hi from '{{name}}'"");

    }}

}}";var typeName =mainMethod.ContainingType.Name;//Add the source code to the compilation
            context.AddSource($"{typeName}.g.cs", source);

        }public voidInitialize(GeneratorInitializationContext context)

        {//No initialization required for this one
}

    }

}

现在，我们有一个正常运行的生成器，但需要将其引用到控制台应用程序。

新引用不是传统的项目引用，必须手动编辑以包含 OutputItemType 和 ReferenceOutputAssembly 属性。

<ItemGroup>
    <ProjectReference Include="..\SourceGeneratorInCSharp\SourceGeneratorInCSharp.csproj"OutputItemType="Analyzer"ReferenceOutputAssembly="false" /> 
</ItemGroup>

现在，运行控制台应用程序时，应会看到生成的代码运行并打印到屏幕。

控制台应用程序本身不实现 HelloFrom 方法，而是在编译过程中从源生成器项目生成的源。

如果使用的是 Visual Studio，则可以看到源生成的文件。

在“解决方案资源管理器”窗口中，展开“依赖项”>“分析器”>“SourceGenerator”>“SourceGenerator.HelloSourceGenerator”，然后双击“Program.g.cs”文件即可看到生成的内容。

https://learn.microsoft.com/zh-cn/dotnet/csharp/roslyn-sdk/source-generators-overview

聊聊ChatGLM-6B医疗数据微调

作者: wenmo8
时间: 2024-03-16
分类: 其它
评论

转载请注明出处:
https://www.cnblogs.com/zhiyong-ITNote/

参考了多个医疗大模型，如
扁鹊
、
灵心
等，重新思考了下微调的方案以及数据集的格式；基于ChatGLM/其它LLM整合多种微调方法的非官方实现的框架，审视其数据集格式，以及调试效果，进行微调。
最终基于
liucongg/ChatGLM-Finetuning
开源框架成功的微调出来我想要的结果。

服务器环境

阿里云PAI平台

开源库下载

在服务器上通过git一键下载即可：

ChatGLM-6B下载

直接在服务器上，通过魔塔社区的sdk下载代码一键下载即可：

我加了一句代码打印出下载地址，然后通过
mv
命令拷贝到指定路径下。

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('ZhipuAI/ChatGLM-6B')
print(model_dir)

指令数据集准备

数据集的格式严格参考开源库的格式，这里的格式直接参考
/data/xxx.json
数据格式即可。

{"instruction": "一名年龄在70岁的女性，出现了晕厥、不自主颤抖、情绪不稳等症状，请详细说明其手术治疗和术前准备。", "input": "", "output": "该病需要进行电极导线、脉冲发生器和永久心脏起搏器置入术，并需要使用镇静药物和局麻对病人进行手术治疗。术前准备包括1-3天的时间进行术前检查和生活方式的调整。"}
{"instruction": "一个患者的卵巢小细胞癌转移至其它部位，是否有必要进行手术治疗？", "input": "", "output": "当卵巢小细胞癌转移至其它部位时，手术治疗的效果可能不理想，因此一般不推荐进行手术治疗。针对转移病灶，可以采用化疗、放疗等治疗手段进行综合治疗。"}
{"instruction": "一位60岁男性患者由于肝动脉瘤出现肝功能异常，具体表现为黄疸，该如何诊治？", "input": "", "output": "该患者可能出现了肝动脉瘤并发症之一的梗阻性黄疸，需要进行腹部平片、彩色多普勒超声、CTA、动脉造影等检查后确定诊断，治疗方面应按照病因治疗，如若为肝动脉炎、动脉粥样硬化等病因，应该采取手术治疗，而若是单纯的肝动脉瘤，可以进行介入治疗或手术治疗。"}
{"instruction": "患者男，28岁，关节部位红肿疼痛，排尿困难，近期有过微生物感染史。请问可能患的是什么疾病？如何治疗？", "input": "", "output": "可能患有反应性关节炎。治疗方案可以采用沙利度胺、泼尼松等药物。同时还要注意休息和饮食。"}
{"instruction": "一名患者因腹胀、纳差等症状就诊，检查发现肝大、腹水及肝功能损害，诊断为肝淀粉样变性，请问该患者应该接受哪些治疗方案？", "input": "", "output": "该患者应该接受弥漫性系膜硬化、苯丙氨酸氮芥等治疗方案。"}
{"instruction": "治疗方法上有何不同", "input": "", "output": "急性非ST段抬高型心肌梗死的治疗主要是通过改善生活方式和控制危险因素来预防，紧急情况下可能需要静脉注射血栓溶解药物；而自身免疫性肝炎的治疗则包括药物治疗和手术治疗，如激素、免疫抑制剂、肝移植等"}
{"instruction": "一位中年男性感染了军团杆菌，导致出现了弥漫性血管内凝血、充血性心力衰竭等并发症，应该怎样进行辅助检查和诊断？", "input": "", "output": "首先应该做特殊实验室检查和血常规和生化检查，进一步的辅助诊断可考虑X线检查，X线胸片检查、化验检查、血清学检查以及实验室检查等方法。"}
{"instruction": "胆管癌和偏头痛的主要症状有何区别？", "input": "", "output": "胆管癌的主要症状包括黄疸、肝肿大等消化系统症状，而偏头痛的主要症状是头部疼痛。"}
{"instruction": "胡女士出现了黄疸、恶心、呕吐等症状，可能患了什么疾病？", "input": "", "output": "胡女士可能患有胆道张力低下综合征。建议尽快到内科进行检查，并进行西医和中医治疗。"}
{"instruction": "一位妊娠31周孕妇在家中自行服用草药，随后出现呕吐、腹痛、恶心、疲劳、皮肤瘙痒、黄疸等症状，血液检查显示血清转氨酶升高，交叉免疫电泳检测显示未见明显异常。 ", "input": "", "output": "可能是由于在未咨询医生的情况下自行服用草药导致的急性妊娠期肝内胆汁淤积症。建议及时就医，如需紧急治疗可在医生指导下使用胆酸螯合剂、皮质激素等药物，并密切监测胎儿状态与身体其他部位不适情况。"}

开始训练，按文档准备好脚本 run.sh；根据自己的服务器卡数选择即可，修改模型路径，数据集参数即可。

脚本内容：

生成的文件：

合并Lora参数文件

需要将Lora微调后的参数文件与原模型参数文件合并，执行脚本即可。

python merge_lora.py

当然要替换下里面的路径参数。最终生成的参数文件：

推理

执行脚本predict.py文件即可，但里面的代码有些问题，用修改后的即可，同样需要修改路径参数

# -*- coding:utf-8 -*-
# @project: ChatGLM-Finetuning
# @filename: predict
# @author: 刘聪NLP
# @zhihu: https://www.zhihu.com/people/LiuCongNLP
# @contact: logcongcong@gmail.com
# @time: 2023/12/6 20:41
"""
    文件说明：
            
"""
import argparse
import torch
from model import MODE
import os
# 启用CUDA
os.environ['CUDA_VISIBLE_DEVICES'] = '0'

def parse_args():
    parser = argparse.ArgumentParser()
    # Model
    parser.add_argument("--device", type=str, default="0", help="")
    parser.add_argument("--mode", type=str, default="glm", help="")
    parser.add_argument("--model_path", type=str, default="/mnt/workspace/demos/ChatGLM-Finetuning/output-glm/epoch-2-step-262", help="")
    parser.add_argument("--max_length", type=int, default=500, help="")
    parser.add_argument("--do_sample", type=bool, default=True, help="")
    parser.add_argument("--top_p", type=float, default=0.8, help="")
    parser.add_argument("--temperature", type=float, default=0.8, help="")
    return parser.parse_args()


def predict_one_sample(instruction, input, model, tokenizer, args):
    result, _ = model.chat(tokenizer, instruction + input, max_length=args.max_length, do_sample=args.do_sample,
                           top_p=args.top_p, temperature=args.temperature)
    return result


if __name__ == '__main__':
    args = parse_args()
    model = MODE[args.mode]["model"].from_pretrained(args.model_path, device_map="auto",
                                                     torch_dtype=torch.float16)
    tokenizer = MODE[args.mode]["tokenizer"].from_pretrained(args.model_path)
    instruction = "一位年轻女性患者出现了风团性斑块、丘疹等症状，请问此病可以由哪些科室进行治疗？"
    input = ""
    r = predict_one_sample(instruction, input, model, tokenizer, args)
    print(r)

返回结果：

总结

liucongg/ChatGLM-Finetuning
开源库提供了Lora指令微调的方式，其逻辑主要还是编写了一套新的train代码，支持指令的微调。