2023年10月

OpenSSL 是一种开源的加密库，提供了一组用于加密和解密数据、验证数字证书以及实现各种安全协议的函数和工具。它可以用于创建和管理公钥和私钥、数字证书和其他安全凭据，还支持
SSL/TLS
、
SSH
、
S/MIME
、
PKCS
等常见的加密协议和标准。

OpenSSL 的功能非常强大，可以用于构建安全的网络通信、加密文件和数据传输，还可以用于创建和验证数字签名、生成随机数等安全应用。它被广泛用于Web服务器、操作系统、网络应用程序和其他需要安全保护的系统中。

如上所示的链接则是该库的官方网站，读者可自行下载对应版本的
OpenSSL
库，并运行安装程序，该库默认会被安装在根目录下，通过点击下一步即可很容易的完成安装配置。

该库安装成功后我们可以打开
OpenSSL-Win32
根目录，在目录中
bin
目录是可执行文件，OpenSSL的运行需要依赖于这些动态链接库，在使用时需要自行将本目录配置到环境变量内，其次
include
头文件
lib
静态库文件，在使用时读者需要自行配置到开发项目中，如下图所示；

OpenSSL库其本身就是一种加密与解密算法库，运用该库我们可以实现各类数据的加解密功能，首先我们以简单的Base64算法为例对该库进行使用。

Base64算法是一种用于将二进制数据编码为
ASCII
字符的算法。该算法将三个字节的二进制数据转换成四个字符的
ASCII
字符串，使得数据在传输时能够避免出现非法字符、特殊字符等问题，同时也可以将二进制数据转换为文本形式，方便在文本协议中传输，但读者需要注意
Base64
编码虽然可以作为一种简单的加密方式，但是它并不是一种真正的加密算法，因为它只是将数据转换为另一种形式，而没有对数据进行加密处理。

在OpenSSL中，使用
Base64
加密可以调用
BIO_f_base64
函数实现，该函数是一种
BIO
过滤器，用于将数据进行
Base64
编码和解码，如下代码中笔者分别封装实现了这两种加解密方法，其中
base64Encode
接收一个字符串并将该字符串压缩为编码字符串保存，与之相反
base64Decode
则用于将压缩后的字符串恢复。

#include <openssl/err.h>
#include <openssl/pem.h>
#include <openssl/crypto.h>

#pragma comment(lib,"libssl.lib")
#pragma comment(lib,"libcrypto.lib")

// base64 编码
char* base64Encode(const char* buffer, int length, bool newLine)
{
    BIO* bmem = NULL;
    BIO* b64 = NULL;
    BUF_MEM* bptr;

    b64 = BIO_new(BIO_f_base64());
    if (!newLine)
    {
        BIO_set_flags(b64, BIO_FLAGS_BASE64_NO_NL);
    }
    bmem = BIO_new(BIO_s_mem());
    b64 = BIO_push(b64, bmem);
    BIO_write(b64, buffer, length);
    BIO_flush(b64);
    BIO_get_mem_ptr(b64, &bptr);
    BIO_set_close(b64, BIO_NOCLOSE);

    char* buff = (char*)malloc(bptr->length + 1);
    memcpy(buff, bptr->data, bptr->length);
    buff[bptr->length] = 0;
    BIO_free_all(b64);
    return buff;
}

// base64 解码
char* base64Decode(char* input, int length, bool newLine)
{
    BIO* b64 = NULL;
    BIO* bmem = NULL;
    char* buffer = (char*)malloc(length);
    memset(buffer, 0, length);
    b64 = BIO_new(BIO_f_base64());
    if (!newLine)
    {
        BIO_set_flags(b64, BIO_FLAGS_BASE64_NO_NL);
    }
    bmem = BIO_new_mem_buf(input, length);
    bmem = BIO_push(b64, bmem);
    BIO_read(bmem, buffer, length);
    BIO_free_all(bmem);

    return buffer;
}

上述代码的使用也非常简单，如下所示我们通过传入一个
input
字符串，并将该字符串压缩后输出，接着再把该字符串解密后输出。

int main(int argc, char* argv[])
{
  // flag == false 将编码数据压缩为一行,否则原格式输出
  bool flag = false;
  std::string input = "Hello lyshark!";

  // 输出编码内容
  char* encode = base64Encode(input.c_str(), input.length(), flag);
  std::cout << "Base64 编码后: " << encode << std::endl;

  // 输出解码内容
  char* decode = base64Decode(encode, strlen(encode), flag);
  std::cout << "Base64 解码后: " << decode << std::endl;
  
  system("pause");
  return 0;
}

运行上述代码，读者可看到如下图所示的输出效果；

重新回来聊Agent，前四章的LLM Agent，不论是和数据库和模型还是和搜索引擎交互，更多还是大模型和人之间的交互。这一章我们来唠唠只有大模型智能体的世界！分别介绍斯坦福小镇和Chatdev两篇论文。它们的共同特点是使用多个大模型智能体协同完成任务。

多智能相比单一智能体可能有以下的应用场景

  • 协同任务完成/创意生成
    ：通过多智能体间的沟通，反思，校验，完成复杂任务，激发创意的小火花
  • 模拟世界
    ：多智能体模拟社会环境，现实应用是游戏NPC，脑洞再大一点是不是可以用于社会学研究，因果推断，平行世界模拟？？

生活番：Generative Agents

斯坦福小镇算是这几个月来看到的最有意思的大模型应用了，作者设计了虚拟的小镇环境，并在其中设计众多不同性格的虚拟智能体，完全基于LLM的生成能力，让众多AI们在小镇中开始了生活，思考和互动。

生活环境和经历塑造了每一个个体，AI也不例外，所以后面的介绍我们会围绕以下三个核心组件相关代码来展开

  • 沙盒环境
    : 描述AI们的生存环境，并让AI感知当前所处环境，并随AI行动更新环境状态
  • 智能体框架
    • 行为规划
      ：智能体每一步行为的生成
    • 记忆流
      : 智能体历史记忆的存储

在以上组件的加持下，小镇中的智能体们会发生以下基础行为

  1. 智能体行为
    ：智能体根据当前状态和历史经历，决定下一步是吃饭睡觉还是打豆豆
  2. 智能体互动
    ：智能体间的互动通过交流或指令进行，当智能体处于同一环境中时可能会触发交流对话
  3. 智能体和环境交互
    ：智能体行为会改变环境状态，例如智能体睡觉时，环境中床的状态就会变成“Occupied”。当然我们也可以直接修改环境状态
  4. 智能体规划
    ：想要触发以上1和2的行为和互动，智能体肯定不能在小镇里随机游走。论文的实现是让智能每天都生成一天的Todo List，根据计划行动，并在行动中不断更新当日计划。
  5. 智能体自我思考
    ：通过对历史经历的不断总结和反思得到更高级层次的自我思考，从而影响日常智能体的行为
  6. 其他衍生能力
    ：信息在智能体之间传播，多智能体合作，etc

沙盒环境

这里我们把沙盒环境放到第一个部分，因为个人感觉如何定义环境，决定了

  • Perceive
    ：智能体能接收到哪些环境信息
  • Action
    ：智能体可以做出哪些行为，包括在当前位置行为，和位置移动
  • Influence
    : 行为可以对环境产生哪些影响
  1. 地图(maze.py)
    环境本身被抽象成一个二维矩阵，这类二维游戏地图也叫瓦片地图(Tiled Map）。地图上每一个瓦片，都是一个字典存储了该瓦片内的所有信息，以下信息中的events字段都是智能体可以感知，并影响的环境信息。
self.tiles[9][58] = {'world': 'double studio', 
'sector': 'double studio', 'arena': 'bedroom 2', 
'game_object': 'bed', 
'spawning_location': 'bedroom-2-a', 
'collision': False,
'events': {('double studio:double studio:bedroom 2:bed', None, None)}}

同时Maze还存储了一份倒排索引，也就是给定当前智能体当前的地址，需要返回在地图中对应的二维坐标，这样就可以规划智能体从当前位置到某个地点的行动路径。

self.address_tiles['<spawn_loc>bedroom-2-a'] == {(58, 9)}
  1. 环境感知(perceive.py)
    有了环境，再说下智能体如何感知环境。给定智能体当前在地图中的位置，智能体可以感知周围设定范围内所有瓦片中最新的事件。如果周围发生的事件太多，会先按照和智能体之间的距离排序，选择最近的N个。同时对于智能体之前未感知的事件，会加入到智能体的记忆流中。

记忆流

记忆流的设计算是论文的一大核心，分成以下两个部分

  • 记忆提取
    ：其一是传统的RAG，也就是智能体的每一步行为都需要依赖智能体的历史记忆，如何抽取相关记忆是核心
  • 记忆存储
    ：其二是智能体的记忆除了感知的环境，还包含哪些信息？

记忆提取(retrieve.py)

话接上面的环境感知部分，智能体感知到了周边的环境是第一步，第二步就是用感知到的信息，去召回智能体相关的历史记忆。这里被召回的记忆，除了之前感知的环境和事件，还有思考记忆，思考后面会讲到。召回除了使用embedding相似度召回之外， 记忆召回加入了另外两个打分维度
时效性
和
重要性
。

其中
时效性打分
是一个指数时间衰减模块，给久远的记忆降权，哈哈时效性打分是个宝，在很多场景下都是相似度的好伴侣，实际应用场景中RAG真的不止是一个Embedding模型就够用的。

重要性
打分是基于大模型对每个记忆的重要程度进行打分。打分指令如下

最后在召回打分时，相似度，时效性，重要性进行等权加和。

记忆存储 (reflect.py)

智能体记忆流中存储的除了感知到的环境之外，论文还增加了一类很有趣的
思考
记忆。哈哈不由让我想起了工作中听到的一个梗"老板说不能只干活，你要多思考！！"

触发机制也很有insight，就是每个智能体会有一个重要性Counter，当近期智能体新观察到的各类事件的重要性打分之和超过某个阈值，就触发思考任务。哈哈今天你思考了么？没有的话来学习下智能是如何思考的，对打工人很有启发哟

  • 第一步定位问题？？论文取了智能体近100条的记忆，通过指令让模型从中提N个问题。指令如下
Given only the information above, what are !<INPUT 1>! most salient high-level questions we can answer about the subjects grounded in the statements?
1)
  • 第二步反思问题？？针对以上N个问题进行相关记忆的抽取，然后基于抽取记忆进行思考。这里允许召回的记忆本身是之前生成的思考，也就是基于思考再思考，基于反思再反思。从这里我真的看好智能体成为天选打工人......
What !<INPUT 1>! high-level insights can you infer from the above statements? (example format: insight (because of 1, 5, 3))
1.

最后生成的思考会存储入记忆流中，用于之后的行为规划或者再进一步的思考。

行为和规划

最后一个模块是行为规划（plan.py），也是最主要的模块，决定了智能体在每一个时间点要做什么，也是之智能体记忆流中的
第三种记忆类型
。

除了基于当前状态去生成下一步行为之外，论文比较有意思的是先
规划了智能体每一天的待办事项，然后在执行事项的过程中，进行随机应变
。从而保证了智能体在更长时间轴上连续行为的连贯性，一致性，和逻辑关联。

长期规划：每日待办

智能体每日待办事项是通过自上而下的多步拆解，使用大模型指令生成的(plan.py)

第一步，冷启动，根据任务特点，生成智能体的作息时间，如下

第二步，生成小时级别的事项规划。这里并非一次生成所有事项，而是每次只基于智能体的所有静态描述，包括以上生成的生活作息，个人特点等等（下图），和上一个生成事项，来规划下一个事项。模型指令是1-shot，输出事项和事项持续的事件

第三步，是把小时级的事项规划进行事项拆解，拆分成5-分钟级别的待办事项。模型指令同样是1-shot，模板给出一个小时级别任务的拆分方式，让模型去依次对每个小时的事项进行拆解，模型指令中1-shot的部分格式如下：

Today is Saturday May 10. From 08:00am ~09:00am, Kelly is planning on having breakfast, from 09:00am ~ 12:00pm, Kelly is planning on working on the next day's kindergarten lesson plan, and from 12:00 ~ 13pm, Kelly is planning on taking a break. 
In 5 min increments, list the subtasks Kelly does when Kelly is working on the next day's kindergarten lesson plan from 09:00am ~ 12:00pm (total duration in minutes: 180):
1) Kelly is reviewing the kindergarten curriculum standards. (duration in minutes: 15, minutes left: 165)
2) Kelly is brainstorming ideas for the lesson. (duration in minutes: 30, minutes left: 135)
3) Kelly is creating the lesson plan. (duration in minutes: 30, minutes left: 105)
4) Kelly is creating materials for the lesson. (duration in minutes: 30, minutes left: 75)
5) Kelly is taking a break. (duration in minutes: 15, minutes left: 60)
6) Kelly is reviewing the lesson plan. (duration in minutes: 30, minutes left: 30)
7) Kelly is making final changes to the lesson plan. (duration in minutes: 15, minutes left: 15)
8) Kelly is printing the lesson plan. (duration in minutes: 10, minutes left: 5)
9) Kelly is putting the lesson plan in her bag. (duration in minutes: 5, minutes left: 0)

最终分钟级别的待办事项会作为智能体当日的主线行为，写入以上的记忆流中，在之后的每一次行为规划中，提醒智能体，当前时间要干点啥。

短期规划：随机应变

以当日长期行为规划为基础，智能体在按计划完成当日事项的过程中，会不时的感知周围环境。当出现新的观测事件时，智能体需要判断是否需要触发临时行为，并调整计划。这里主要分成两种临时行为：交流和行动。这两种行为的触发会基于智能体当前的状态，和大模型基于上文的指令输出，例如对于是否产生对话行为的判断

当智能体A，出现在当前智能体可以感知的环境范围内时，通过以上的环境感知模块，智能体的记忆流中会出现智能体A的当前行为。这时智能体会在记忆流中检索和智能体A相关的记忆，合并当前状态作为上文，使用大模型指令判断是否要发起和A的对话

如果判断需要发起对话，则触发对话模块进行交流，而交流是所有社会性行为产生的根本。

效果

主要模块基本就说这么多，技术评估就不多说了，在智能体行为上论文验证了当前框架会产生一定的社会效应，包括信息会在智能体之间传播，智能体之间会形成新的关系，以及智能体间会合作完成任务等等。

论文也讨论了当前框架的一些不足，包括如何在更长时间周期上泛化，如何避免智能体犯一些低级错误，例如躺上有人的床哈哈哈哈~

个人感觉还需要讨论的是如何在当前的记忆流中衍生成更高级的，抽象的思考，以及对世界的认知。这些认知是否有更高效，结构化的存储和召回方式。只依赖反思和记忆流的线性存储可能是不够的。

职场番：ChatDev

哈哈如果说斯坦福小镇对标综艺桃花坞，那ChatDev就是对标令人心动的Offer。论文参考了斯坦福小镇的记忆流，CAMEL的
任务导向型对话
方案，通过智能体间对话协同完成特定
软件开发任务
。

论文把软件开发流程，抽象成多个智能体的对话型任务。整个开发流程分成
设计，编程，测试，文档编写
四个大环节，每个环节又可以拆分成多个执行步骤，其中每个步骤都由两个角色的智能体通过对话合作来完成，如下

在进入主要流程前，让我们先完成准备工作。开发流程的准备工作需要定义三类配置文件，源码提供了默认的配置文件，用户可以根据自己的需求，选择覆盖部分配置。配置文件从Top to Bottom分别是

  1. ChatChainConfig：定义了整个任务链的所有步骤和执行顺序(phrase)，以及所有参与的智能体角色。

以默认配置为例，任务链包含以下步骤：DemandAnalysis -> LanguageChoose -> Coding -> CodeCompleteAll -> CodeReview -> Test -> EnvironmentDoc -> Manual

参与智能体角色包括：CEO，CFO， CPO， CCO， CTO， programmer，Reviewer，Tester等

  1. PhaseConfig：下钻到每个步骤，分别定义了每个步骤的prompt指令，以及参与的两个Agent角色。

  2. RoleConfig：下钻到每个角色，分别定义了每个角色的prompt指令

初始化配置文件后我们进入软件开发的四个主要流程~

Design

产品设计环节，负责把用户需求转化成项目方案，包括两个原子步骤：CEO和CPO进行需求分析和产品设计，CEO和CTO选择编程语言。考虑每个phase的实现其实是相似的，只不过参与智能体不同，以及phase对应的指令和多轮对话形式不同，这里我们只说CEO和CPO之间关于需求分析对话实现（role_play.py）～

这里融合了CAMEL的Inception Prompting和斯坦福小镇的记忆流和自我反思来完成任务导向的对话。

  1. Role Assignment

首先初始化参与phase的两个智能体角色，并生成初始prompt(Inception Prompt)。包括用户需求(task_prompt)，本阶段的任务描述（phase_prompt）和两个智能体的角色描述(role_prompt)。

基于初始指令，之后两个智能体会通过对话相互为对方生成指令，而人工参与的部分只有最初的角色描述和任务描述，所以叫初始指令。产品涉及环节的具体指令如下，需求分析阶段的任务指令使用了few-shot，给出不同的产品形态例如图片，文档，应用等实现方式，并明确了对话的两个智能体的讨论主题，以及终止讨论的条件，即
确定产品形态

以下是论文附录给出的一个需求分析阶段的具体对话示例，不过对话终止符似乎变成了<END>

  1. Memory Stream

老实说感觉这里的memoery stream和上面小镇中实现的memory stream关联似乎并不是很大。看代码实现，对话是直接使用上文对话history作为输入，只有当输入上文长度超长的时候，会保留Inception prompt和最近的N轮对话......难道是我漏看了代码，如果是请评论指出 >.<

  1. Self-Reflection

小镇中自我反思是为了产生更抽象，更高级的个人思考。而在这篇论文self-Reflection其实更像是会议总结模块，当多轮对话完成，但是并未出现对话停止<END>符号，这时可以触发总结模块，把前面的多轮对话作为上文，来总结对话得到的结论，用于后续步骤的进行，如下

Coding

编程环节包括两个基本步骤：后端写代码，和前端设计交互界面。编程环节最大的难点就是如何避免模型幻觉，最大正度保证代码的正确性，以及在多轮对话中如何进行复杂长代码的编写和修改。这里同样我们只说下后端编写代码这一个步骤。

代码编写步骤的核心指令如下，CTO智能体给程序员智能体的指令是：以面向对象的编程语言python为基础，先给出核心类和方法。程序员智能体会按照指令以markdown为语法进行代码和注释的编写。之后代码编写环节会循环执行N次多轮对话，不断对代码进行更新优化。

在指令的基础上，为了优化复杂代码的编写效果，论文在代码编写环节引入了version control环节。在每一步代码编写完成后，会使用difflib对两版代码进行比对，并从记忆流中删除旧版本的代码，这样对话会永远基于最新的代码版本进行，对最新代码进行不断更新。

Testing

测试环节包括两个基本步骤：代码评审和测试环节。

评审环节，程序员智能体会给评审智能体指令，让其对代码进行检查，例如是否有未实现的类或方法，以及整个项目是否符合用户需求等等(角色指令如下图），并给出评审建议。其次程序员之智能体会基于以上建议对代码进行调整。

测试环节是基于代码执行后出现的bug进行修复。论文在这里引入了Thought Instruction，有点类似Decomposed Prompt的任务拆分。因为如果直接基于代码执行bug让大模型进行修复，问题可能过于复杂导致模型无法直接修复，或者产生幻觉。因此通过多轮对话引入一步任务拆分，先经过TestErrorSummary步骤对测试bug的位置和产生原因进行总结，再基于以上总结进行代码调整。

Documentation

文档生成环节就比较简单了，包括多个phase步骤，一个phase对应一类文档说明。这里使用了few-shot指令来引导智能体生成requirements.txt, README.MD等用户文档，以下是生成requirements.txt的指令示例

效果

效果上ChatDev从CAMEL编程相关的任务中随机抽了70个任务进行测试，任务平均代码量是131行代码，4个文件，3个上游依赖库，说明ChatDev整体生成的软件还是偏简单，小型，不涉及复杂的设计。具体效果大家可以直接去Chatdev的代码库里给的生成案例感受下。在这样的代码复杂度下，ChatDev最终代码的执行成功率在86% ，平均任务完成时间在7分钟左右，且调用成本相对较低。

除了以上提到了两个比较火爆的多智能体协同应用，还有很多相关应用和开源实现，这里就不一一介绍了，感兴趣的同学可以去自己试试看

  • AgentSims
    ：国内开源的类似斯坦福小镇
  • AgentVerse
    ：多模型交互环境
  • MetaGPT
    :覆盖软件公司全生命流程，例如产品经理等各个职业的AutoGPT
  • CAMEL
    ：任务导向型，沟通式多智能体协同框架，Chatdev的基础

想看更全的大模型相关论文梳理·微调及预训练数据和框架·AIGC应用，移步Github >>
DecryPrompt

哈喽大家好，我是咸鱼

之前咸鱼写过几篇关于知网爬虫的文章，后台反响都很不错。虽然但是，咸鱼还是忍不住想诉苦一下

有些小伙伴文章甚至代码看都没看完，就问我 ”为什么只能爬这么多条文献信息？“（看过代码的会发现我代码里面定义了
papers_need
变量来设置爬取篇数），”为什么爬其他文献不行？我想爬 XXX 文献“（因为代码里面写的是通过【知网高级搜索中的文献来源】来搜索文章），或者是有些小伙伴直接把代码报错贴给我，问我咋回事

我觉得在网上看到别人的代码，不要一昧地拿来主义，复制粘贴就行了，你要结合你自己的本地环境对代码做适当地修改。比如定位 Xpath 元素路径，不通电脑或者说不同浏览器同一元素的 Xpath 路径有可能不是一样的，这个路径在我本地运行没问题，到了你那里就报错

当看别人的代码时，最好先搞清楚：

  1. 别人是怎么想的
  2. 别人为什么要这么写
  3. 这么写的逻辑是什么？

以我这几篇知网爬虫文章举例：

  1. 为什么要用 selenium 来爬取？
  2. 如何分析网页？如何定位元素？（Xpath、CSS 选择器等等）
  3. 如何通过 selenium 来模拟人为操作浏览器（鼠标移动、点击、滑动窗口等等）

言归正传，咸鱼昨天收到一位粉丝私信说能不能根据【关键词】来搜索文献
image
今天这篇文章着重讲
如何分析网页结构然后使用 selenium 根据知网的关键词来搜索文献
。至于对搜索到的文献的爬取，本文不过多介绍，因为以前的文章已经写过了

需求分析

我们先来看下如果要通过关键词搜索文献，该怎么操作？

知网：
中国知网 (cnki.net)

首先我们登录网站，点击【高级搜索】（也可以直接点击搜索框中的【主题】下拉选择）
image
然后我们点击【主题】——>选择【关键词】
image
image
输入要搜索的关键词（例如：数字普惠金融）然后点击【检索】
image

网页分析&元素定位

结合前面的需求分析，我们就可以对网页进行分析并定位出对应的元素

首先是【高级搜索】，高级搜索有一个链接：
高级检索-中国知网 (cnki.net)
，这样就能省掉一个步骤了

然后我们需要点击 【主题】，才会出现下拉框。在分析网页的时候我发现当出现下拉框时，标签
<div class="sort-list" style="display: none;">"
中的
style
属性由
"display: none;"
变成
"display: block;"
image
下拉框出现之后，我们需要定位到 【关键词】 这个标签

# 关键词 Xpath 路径或 CSS 选择器
//*[@id="gradetxt"]/dd[1]/div[2]/div[1]/div[2]/ul/li[3]

li[data-val="KY"]

image
接着找到【搜索框】的 Xpath 路径。这里是一个 input 元素，用于接收来自用户的数据

# 输入框
//*[@id="gradetxt"]/dd[1]/div[2]/input

image

往输入框传入数据之后，我们需要点击下面的【检索】按钮

# 检索
/html/body/div[2]/div/div[2]/div/div[1]/div[1]/div[2]/div[2]/input

image
点击搜索之后我们把【文献条数】爬取下来

# 文献条数
/html/body/div[3]/div[2]/div[2]/div[2]/form/div/div[1]/div[1]/span[1]/em

image

代码实现

selenium 是一个自动化测试工具，可以用来进行 web 自动化测试。其
本质是通过驱动浏览器，完全模拟浏览器的操作（比如跳转、输入、点击、下拉等）来实现网页渲染之后的结果
，可支持多种浏览器

爬虫中用到 selenium 主要是为了解决 requests 无法直接执行 JavaScript 代码等问题

导入相关库

import time
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.common.action_chains import ActionChains

创建浏览器对象

这里我用的是 Edge 浏览器

def webserver():
    # get直接返回，不再等待界面加载完成
    desired_capabilities = DesiredCapabilities.EDGE
    desired_capabilities["pageLoadStrategy"] = "none"

    # 设置微软驱动器的环境
    options = webdriver.EdgeOptions()
    
    # 设置浏览器不加载图片，提高加载速度
    options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

    # 创建一个微软驱动器
    driver = webdriver.Edge(options=options)
    return driver

爬取网页

其实逻辑并不难，就是先定位到各个元素然后用 selenium 来模拟我们人为点击浏览器的操作就行了

首先打开页面，等待个一两秒让网页完全加载

    driver.get("https://kns.cnki.net/kns8/AdvSearch")
    time.sleep(2)

然后然下拉框显示出来，前面我们提到：标签
<div class="sort-list" style="display: none;">"
中的
style
属性由
"display: none;"
变成
"display: block;"
时，就会出现下拉框

这里我们通过执行 js 脚本来修改里面的
style
属性

    # 修改属性，使下拉框显示
    opt = driver.find_element(By.CSS_SELECTOR, 'div.sort-list')  # 定位下拉框
    # 执行 js 脚本进行属性的修改; arguments[0]代表第一个属性
    driver.execute_script("arguments[0].setAttribute('style', 'display: block;')", opt)

下拉框显示出来之后我们需要点击【关键词】，这样才会切换到关键词搜索

这里需要注意的是，当我在测试的时候发现下拉框加载是有问题的，这时候代码会报错说
Element <li data-val="KY">...</li> is not clickable at point (189, 249)

就会使得程序点击不了【关键词】
image
而且我还发现如果加载不完全的话，需要鼠标移动到下拉框那里，让下拉框完全加载。所以这里我使用了 selenium 中的
ActionChains
来模拟鼠标的操作

用 selenium 做自动化，有时候会遇到需要模拟鼠标操作才能进行的情况，比如单击、双击、点击鼠标右键、拖拽等等

selenium 给我们提供了一个类来处理这类事件——ActionChains

还有一点需要注意的是：如果鼠标只是移到【关键词】，下拉框其实还是不能正确加载出来，最好是移动到下拉框的最底部或者关键词后面的元素，这里我移动到【通讯作者】

# 【通讯作者】定位
/html/body/div[2]/div/div[2]/div/div[2]/div[1]/div[1]/div[2]/ul/li[8]

li[data-val="RP"]

image

下拉框加载完成之后，定位到【关键词】再点击

    # 鼠标移动到下拉框
    ActionChains(driver).move_to_element(driver.find_element(By.CSS_SELECTOR, 'li[data-val="RP"]')).perform()

    # 找到[关键词]选项并点击
    WebDriverWait(driver, 100).until(
        EC.visibility_of_element_located((By.CSS_SELECTOR, 'li[data-val="KY"]'))).click()

定位出搜索框，传入我们要搜索的关键词

    # 传入关键字
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, '''//*[@id="gradetxt"]/dd[1]/div[2]/input'''))
    ).send_keys(keyword)

    # 点击搜索
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, "/html/body/div[2]/div/div[2]/div/div[1]/div[1]/div[2]/div[2]/input"))
    ).click()

搜索结果出来之后定位【文献条数】，获取对应的条数（text 标签）

    # 获取总文献数和页数
    res_unm = WebDriverWait(driver, 100).until(EC.presence_of_element_located(
        (By.XPATH, "/html/body/div[3]/div[2]/div[2]/div[2]/form/div/div[1]/div[1]/span[1]/em"))
    ).text

完整代码如下：

import time
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.common.action_chains import ActionChains


def webserver():
    # get直接返回，不再等待界面加载完成
    desired_capabilities = DesiredCapabilities.EDGE
    desired_capabilities["pageLoadStrategy"] = "none"

    # 设置微软驱动器的环境
    options = webdriver.EdgeOptions()
    # 设置浏览器不加载图片，提高速度
    options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

    # 创建一个微软驱动器
    driver = webdriver.Edge(options=options)

    return driver


def open_page(driver, keyword):
    # 打开页面，等待两秒
    driver.get("https://kns.cnki.net/kns8/AdvSearch")
    time.sleep(2)

    # 修改属性，使下拉框显示
    opt = driver.find_element(By.CSS_SELECTOR, 'div.sort-list')  # 定位元素
    driver.execute_script("arguments[0].setAttribute('style', 'display: block;')", opt)  # 执行 js 脚本进行属性的修改；arguments[0]代表第一个属性

    # 鼠标移动到下拉框中的[通讯作者]
    ActionChains(driver).move_to_element(driver.find_element(By.CSS_SELECTOR, 'li[data-val="RP"]')).perform()

    # 找到[关键词]选项并点击
    WebDriverWait(driver, 100).until(
        EC.visibility_of_element_located((By.CSS_SELECTOR, 'li[data-val="KY"]'))).click()

    # 传入关键字
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, '''//*[@id="gradetxt"]/dd[1]/div[2]/input'''))
    ).send_keys(keyword)

    # 点击搜索
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, "/html/body/div[2]/div/div[2]/div/div[1]/div[1]/div[2]/div[2]/input"))
    ).click()

    # 点击切换中文文献
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, "/html/body/div[3]/div[1]/div/div/div/a[1]"))
    ).click()

    # 获取总文献数和页数
    res_unm = WebDriverWait(driver, 100).until(EC.presence_of_element_located(
        (By.XPATH, "/html/body/div[3]/div[2]/div[2]/div[2]/form/div/div[1]/div[1]/span[1]/em"))
    ).text

    # 去除千分位里的逗号
    res_unm = int(res_unm.replace(",", ''))
    page_unm = int(res_unm / 20) + 1
    print(f"共找到 {res_unm} 条结果, {page_unm} 页。")


if __name__ == '__main__':
    keyword = "数字普惠金融"
    driver = webserver()
    open_page(driver, keyword)

结果如下：
image

当你需要展示数据时，图表是一个非常有用的工具。Python 中的 pandas 和 matplotlib 库提供了丰富的功能，可以帮助你轻松地绘制各种类型的图表。本文将介绍如何使用这两个库，绘制一个店铺销售数量的柱状图，并添加各种元素，如数据标签、图例、网格线等。

准备工作

在开始之前，你需要安装 pandas 和 matplotlib 库。如果你还没有安装，可以使用以下命令进行安装

pip install pandas matplotlib

另外，为了在图表中显示中文，你需要下载并安装中文字体文件。这里我们使用宋体，你可以替换为其他中文字体。下载后，将字体文件路径替换到代码中的
font
变量中

# 设置中文字体

font = FontProperties(fname='C:\\Windows\\Fonts\\simhei.ttf', size=12)  # 替换为你的中文字体文件路径和字体大小

数据准备

我们假设有一个 Excel 文件，其中包含多个店铺的销售数据。每个店铺有多个订单，每个订单有一个销售数量。我们需要对每个店铺的销售数量进行求和，并按照销售数量降序排列。以下是数据准备的代码：

import pandas aspd



# 从Excel文件中读取数据

data = pd.read_excel('C:\\Users\Admin\\Desktop\\数据核对\\新建 XLSX 工作表.xlsx')



# 聚合数据

aggregated_data = data.groupby('店铺名称')['销售数量'].sum()



# 按销售数量降序排列

aggregated_data = aggregated_data.sort_values(ascending=False)



print(aggregated_data)

首先，我们使用 pandas 库的
read_excel
函数读取 Excel 文件中的数据。然后，使用
groupby
函数对数据进行聚合，按照店铺名称分组，并对每个组中的销售数量求和。最后，使用
sort_values
函数按照销售数量降序排列。

绘制柱状图

接下来，我们使用 matplotlib 库绘制柱状图。以下是绘制柱状图的代码：

import matplotlib.pyplot asplt



# 绘制柱状图

aggregated_data.plot(kind='bar', color='steelblue', edgecolor='black', width=0.8)



# 设置图表标题和坐标轴标签

plt.title('店铺销售数量')

plt.xlabel('店铺名称')

plt.ylabel('销售数量')



# 显示图表

plt.show()

我们使用
plot
函数绘制柱状图，其中
kind
参数指定图表类型为柱状图，
color
参数指定柱子的颜色，
edgecolor
参数指定柱子边框的颜色，
width
参数指定柱子的宽度。然后，使用
title
、
xlabel
和
ylabel
函数设置图表标题和坐标轴标签。最后，使用
show
函数显示图表。

添加数据标签

为了更清楚地展示每个店铺的销售数量，我们可以在柱子上添加数据标签。以下是添加数据标签的代码：

# 添加数据标签

for i, v inenumerate(aggregated_data):

    plt.text(i, v, str(v), ha='center', va='bottom')



# 显示图表

plt.show()

我们使用
text
函数添加数据标签，其中
i
和
v
分别表示柱子的索引和高度，
ha
参数指定水平对齐方式为居中，
va
参数指定垂直对齐方式为底部。最后，再次使用
show
函数显示图表。

设置刻度标签

由于店铺名称较长，如果全部显示会导致刻度标签重叠，影响美观和可读性。因此，我们可以旋转刻度标签，并设置字体大小和字体样式。以下是设置刻度标签的代码：

# 设置刻度标签的字体大小和旋转角度

plt.xticks(rotation=45, fontsize=10)



# 显示图表

plt.show()

我们使用
xticks
函数设置刻度标签，其中
rotation
参数指定旋转角度为45度，
fontsize
参数指定字体大小为10。

添加图例

我们可以添加图例，以便更好地解释图表中的信息。以下是添加图例的代码：

# 设置图例

plt.legend(['销售数量'], loc='upper right')



# 显示图表

plt.show()

我们使用
legend
函数添加图例，其中
loc
参数指定图例位置为右上角，
['销售数量']
表示图例中的文本。

去除边框和添加网格线

为了让图表更加简洁和美观，我们可以去除上边框和右边框，并添加水平虚线网格线。以下是去除边框和添加网格线的代码

# 去除上边框和右边框

plt.gca().spines['top'].set_visible(False)

plt.gca().spines['right'].set_visible(False)



# 添加网格线

plt.grid(axis='y', linestyle='--', alpha=0.5)



# 显示图表

plt.show()

我们使用
gca
函数获取当前轴对象，然后使用
spines
属性去除上边框和右边框。使用
grid
函数添加水平虚线网格线，其中
axis
参数指定网格线方向为垂直方向，
linestyle
参数指定网格线样式为虚线，
alpha
参数指定网格线透明度为0.5。

设置背景色和调整布局

最后，我们可以设置图表的背景色，并调整图表布局使得图表内容更加紧凑。以下是设置背景色和调整布局的代码：

# 设置背景色

plt.gca().set_facecolor('#F5F5F5')



# 调整图表布局

plt.tight_layout()



# 显示图表

plt.show()

我们使用
set_facecolor
函数设置背景色为浅灰色，使用
tight_layout
函数调整图表布局。

完整代码

将上面的代码整合起来，得到完整的代码如下：

import pandas aspd

import matplotlib.pyplot asplt



# 从Excel文件中读取数据

data = pd.read_excel('C:\\Users\Admin\\Desktop\\数据核对\\新建 XLSX 工作表.xlsx')



# 聚合数据

aggregated_data = data.groupby('店铺名称')['销售数量'].sum()



# 按销售数量降序排列

aggregated_data = aggregated_data.sort_values(ascending=False)



# 绘制柱状图

aggregated_data.plot(kind='bar', color='steelblue', edgecolor='black', width=0.8)



# 添加数据标签

for i, v inenumerate(aggregated_data):

    plt.text(i, v, str(v), ha='center', va='bottom')



# 设置图表标题和坐标轴标签

plt.title('店铺销售数量')

plt.xlabel('店铺名称')

plt.ylabel('销售数量')



# 设置刻度标签的字体大小和旋转角度

plt.xticks(rotation=45, fontsize=10)



# 设置图例

plt.legend(['销售数量'], loc='upper right')



# 去除上边框和右边框

plt.gca().spines['top'].set_visible(False)

plt.gca().spines['right'].set_visible(False)



# 添加网格线

plt.grid(axis='y', linestyle='--', alpha=0.5)



# 设置背景色

plt.gca().set_facecolor('#F5F5F5')



# 调整图表布局

plt.tight_layout()



# 显示图表

plt.show()
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. ...
  10. 29