Wiseflow：和AI大模型集成的爬虫
首席情报官（Wiseflow）是一个敏捷的信息挖掘工具，可以从网站、微信公众号、社交平台等各种信息源中按设定的关注点提炼讯息，自动做标签归类并上传数据库。
SiliconFlow官宣Qwen2-7B-Instruct、glm-4-9b-chat等数款LLM在线推理服务即日起免费，这意味着您可以“零成本”使用首席情报官进行信息挖掘啦！
我们缺的其实不是信息，我们需要的是从海量信息中过滤噪音，从而让有价值的信息显露出来！
功能特色
- 🚀 原生 LLM 应用
我们精心选择了最适合的 7B~9B 开源模型，最大化降低使用成本，且利于数据敏感用户随时完全切换至本地部署。 - 🌱 轻量化设计
不用任何向量模型，系统开销很小，无需 GPU，适合任何硬件环境。 - 🗃️ 智能信息提取和分类
从各种信息源中自动提取信息，并根据用户关注点进行标签化和分类管理。 - 😄 WiseFlow尤其擅长从微信公众号文章中提取信息，为此我们配置了mp article专属解析器！
- 🌍 可以被整合至任意Agent项目
可以作为任意 Agent 项目的动态知识库，无需了解wiseflow的代码，只需要与数据库进行读取操作即可！ - 📦 流行的 Pocketbase 数据库
数据库和界面使用 PocketBase，除了 Web 界面外，目前已有 Go/Javascript/Python 等语言的SDK。
和爬虫、agent的对比
WiseFlow 的作用会让人感觉和网页爬虫有很相似的地方，因此我们也将wiseflow和一般的网页爬虫以及现在比较多的大模型agent做一下对比。
主要解决的问题：
- WiseFlow：数据的处理和挖掘，包括过滤、提取和标签
- 爬虫：主要是原始数据的获取
- 大模型agent：主要是下游的应用
wiseflow可以和爬虫组合，在获取的原始数据基础上做更好的数据处理和挖掘，也可以和大模型Agent连接，将wiseflow作为知识基础，来更好的帮助大模型处理事物。
总结
WiseFlow作为一款强大的信息挖掘工具，能够帮助我们在信息的海洋中迅速找到珍珠。它简单易用，配置灵活，无论是个人还是企业，都能通过它来提升信息处理的效率。个人觉得通过合理的组合大模型，并配合一些定制agent，可以实现强大的信息挖掘能力。
