手把手教你用 AI 搭建个人知识库,我把我的这套知识库底座也免费开源了
1. 手把手教你用 AI 搭建个人知识库,我把我的这套知识库底座也免费开源了
[!abstract] 速览
- 工具不用纠结:WorkBuddy、Codex、Claude Code 都能用;网络和账号不方便时,用前者最省事。
- 知识库的本质是一批 Markdown 文件加一份规则文件,Obsidian 只是用来看这些文件的工具。
- 结构应当从自己的记录、项目和关注点里长出来,直接套用别人的目录分类多半用不上。
- 内容分原始文件、输出、知识编译三类,只是概念上的分层,落地成几个文件夹由自己决定。
- 后半篇给出一个开源底座,里面有可以直接套用的目录结构和 11 个核心 Skill。
前两天我分享了一下我的知识库的目录结构,然后有好多朋友都来私信问我,说这个知识库是怎么搭建的?用的什么工具?然后今天就给大家讲讲。
我这几个月写的文章,基本上都是基于知识库写出来的。
1.1. 用什么工具
AI 工具的选择上,WorkBuddy、Codex、Claude Code 都可以用。如果你人在国内,搞不定网络和账号的话,直接就用 WorkBuddy 就行。它是腾讯的桌面 AI 智能体,你授权一个文件夹,它就能读写里面的文件。
那文件夹里放的是什么东西呢?主要就是你的个人资料。这些资料现在常见的是 Markdown 文档格式,也就是普通的文本文件。
现在好多人说搭知识库用 Obsidian,其实 Obsidian 本身就是一个文档浏览器,它不会自动帮你去搭建知识库。 我们这一套搭建知识库的方法,主要还是依赖 AI 智能体工具。知识库本身跟 Obsidian 关系不大,但你可以很方便地用 Obsidian 来看这些资料。
1.2. 搭知识库最大的弯路
[!warning] 别一上来就设想完美架构
搭知识库最大的弯路,就是一开始先设想一个特别完善的结构,看到别人好的知识库架构就盲目地拿过来用,结果发现很多东西不适合自己。
市面上很多开源的知识库方案,里面有很多作者自己预设的分类,比如会议、人物、公司、项目。但不是每一项你都用得到,比如会议,对吧,可能有些人平时就没那么多会,就用不到。
开源仓库里比较知名的一个就是 GBrain,它是 YC 总裁兼 CEO Garry Tan 开源的知识库。它里面的目录非常多,默认就有 15 种分类,还搭配了数据库、向量库这些东西。内容虽然比较完善,但整个项目也做得比较重,好多普通人其实用不上这么重的架构。所以这种知识库你拿过来想直接用,可能配置环境就要搞半天,也不见得适合你。
但知识库本身这件事情,它没那么复杂。 你自己的知识库,就根据你平时使用的场景和习惯来,用你最舒服的方式。你平时大量关注哪些东西,记了哪些事情,做什么样的项目或者工作,知识库的基本骨架就从这些已有的内容里梳理出来。一开始就让 AI 帮你去梳理、去管理,这样你的知识库慢慢就长出来了。
1.3. 知识库里有三类内容
每个人的结构可以不一样,但里面的内容大致就这三类。
第一类是原始文件,包括收藏的外部内容、自己记的随想笔记和日记等等。
第二类是输出,就是对外分享的成品,无论是朋友圈、社交媒体,还是公众号文章、短视频口播,还有公司里要汇报的文件。
第三类是知识编译,主要借助 AI,把过往的原始材料和输出里的内容拆解开,整理成索引、主题之类的分类。这一层平时自己可以回顾一下,看看自己的知识体系里都有哪些内容。更多的还是给 AI 用,你想搜索、想用某个素材的时候,它能按照索引和主题找到。
[!note] 三类是概念分层,不是三个文件夹
这三类是概念上的三类,不是说一定要在知识库里建三个文件夹,把对应的文件放进去。当然你想这么建也可以,我的知识库就是平铺的。
不管怎么建,在规则里写清楚就行,哪些文件夹属于原始文件,哪些属于知识编译,哪些属于输出。这样,目录大家就可以按自己喜欢的方式去分类,人看的时候一目了然,AI 看的时候也能根据规则去操作。
1.4. 知识库的基本功能
知识库的功能说起来有很多——入库、查询、信息关联,但其实主要就两个动作:一个是怎么放,一个是怎么查。
先说怎么放,这就是前面「知识库里有三类内容」里讲的知识编译。
一份资料进来之后,AI 先要判断它是什么内容,该放到哪个目录。比如你的想法放随记,外部文章放收藏,拿不准的先放收集箱。
然后把里面有用的东西抽出来,变成知识点和观点,归到对应的主题和概念下面,再按索引分好。
最后是信息关联。同一个主题、同一个人、同一个项目,可能在好多文件里都提到过,让 AI 用链接把它们串起来。这样每份资料就不是孤零零的一个文件了。
再说怎么查。查询是一层一层来的。
| 层级 | 怎么查 | 说明 |
|---|---|---|
| 第一层 | 按主题和索引去找 | AI 先看索引和主题,定位到相关的内容,再顺着链接去读具体的文件 |
| 第二层 | 按关键词扩展 | 前面找到的可能不全,再用关键词去搜一下,补充找一些 |
| 第三层 | 上 RAG(检索增强生成) | 如果你的文件特别多,就要适当上 RAG;它一般靠专门的向量数据库,按意思相近去找内容 |
1.5. 怎么搭起来
先做两件事。
-
先跟 AI 定好边界:每类内容是干嘛的,用的时候怎么用,然后让它写进一份规则文件。这份文件就叫
AGENTS.md,是给 AI 看的说明书。 -
目录按「这是什么内容」来平铺,拿不准放哪的就先放进收集箱。假设你手里只有收藏的文章、自己的日记和发过的公众号文章,目录可以是这样:
我的知识库/ ├── 00-收集箱/ ├── 10-收藏/ ├── 20-日记/ ├── 30-文章/ ├── 40-知识/ └── AGENTS.md三类内容的区别写在规则文件里:收藏、日记是原始文件,文章是输出,这些都不能改;知识目录就是知识编译,由 AI 来维护。
文章后面会给一个我开源的底座,里面有建好的完整版本,用不上的可以删。
这是我现在的目录:
这里面的逐字稿、AI 对话、人物关系这些,是因为我有这些内容才长出来的,你有了对应的内容再加就行。
然后看你手里的资料,有三种开始方式:
- 你手里资料不多:直接让 AI 按照新的结构去规整,就是把资料放到对应的目录里。规整的时候只移动位置,不改原文。
- 你手里资料非常多:我建议先把资料归一下档,全部放到一个「过往知识归档」的文件夹里。后续新的资料按新的规则来,老的资料再分批,一点一点迁移到新的结构里。
- 你手里没有资料:先把底座搭起来,养成平时记录的习惯,以后有什么想法,就直接丢给 AI,让它帮你放到对应的位置。
1.6. 搭好以后怎么维护
使用的时候,就可以都丢给 AI,让它去归类、去梳理。它先整理,你再看一眼就可以了。只有一种情况我建议你自己确认,就是提炼成「你的观点」的时候,因为观点代表你的立场。
时间长了,如果你发现哪里有问题,再让 AI 去改、去清理。知识库后面必定要有一个不断清理、整理的过程。
但你要是每次都想让它规规矩矩,也不现实,因为很多内容在后面不断迭代的过程中,也会发生变化。
[!tip] 一条底线:原始文件不动
我们只保证一件事,原始数据坚决不能动。只要原始文件在,上面的知识编译层就可以随意迭代。
所以我建议让 AI 在知识编译层的内容上标明来自哪些文件,改乱了还能回到原始文件。
后面你不断学新东西的时候,就不断加进来,再从里面提取主题、观点、知识点,然后让 AI 做好关联。
下面这张是我的知识库关系图,每个点是一个文件,线是文件之间的链接。它就是这么一点点长出来的。
1.7. 实际怎么用:以这篇文章为例
动笔前,我先跟 AI 说一下大概的选题、内容,以及想用的素材和思路。
然后它就会从知识库里找出我过去写过的类似文章,以及它帮我整理出来的现成观点和素材。我再根据这些内容,补充一些新的信息增量和新的认知,挑选可以用的素材和案例,最后生成一篇新的文章。
这篇文章就是这么写的。AI 找出了我 7 月写的两篇知识库文章和几条现成的观点,我再补上朋友们私信问的问题,还有这次新的想法。
过程中 AI 也有理解错的时候。它一开始把三类内容理解成了三个文件夹,我一看不对,就纠正了它。所以人还是要看一眼的。
1.8. 开源的知识库底座
如果你想直接上手,我免费开源了一个知识库底座:
https://github.com/jinchenma94/jinchenma-knowledge-base
它基于我现在的知识库,里面有基本的知识库目录结构和 11 个核心 Skill。
我把里面比较重点的几个拿出来,简单给大家介绍一下。
| Skill | 作用 |
|---|---|
capture |
记录想法和日记,按原文保存 |
media-ingest |
收藏外部内容:文章、推文、视频、PDF 都可以交给它保存,原始内容和 AI 的分析分开放 |
meeting-ingestion |
处理会议和交流的逐字稿:保存原稿,再整理出纪要、人物关系和待办 |
ai-dialogue-ingest |
保存你和 AI 的完整对话,再把里面能复用的内容整理出来 |
knowledge-analysis |
分析材料、提炼观点:先给你看候选内容,你确认后才存进知识库 |
query |
查资料、找来源、找写文章的素材 |
entity-propagation 和 enrich |
负责信息关联,把记录里人物、组织、项目的新信息更新到对应的页面 |
用的时候,直接把这段话丢给 AI 就行:
请把这个项目下载到我的电脑上:https://github.com/jinchenma94/jinchenma-knowledge-base
然后读取里面的 AGENTS.md,帮我把知识库建在我指定的文件夹。
先跟我确认文件夹位置、时区和日记的日界线。
但是刚才说了,别人的架构不要照搬,我这个也一样。 你可以先让 AI 根据这个底座给你的知识库整理出一个初版,然后让它根据你已有的内容和你的想法,把结构做一些修改。
1.9. 写在最后
AI 时代,个人的数据,对每个人来讲,会变得越来越值钱。
以前我们经常说要多去记录,但大家觉得没有用,因为记下来之后没有人帮你整理,久而久之这些内容放在那儿也没有什么作用。
但现在有了 AI,你只要记得足够多,AI 就会越懂你。 你以后想用的时候,它能帮你找到,甚至还能找到不同主题之间、两件看似没有关系的事之间的联系。
所以要尽可能从当下开始,多去记录自己的所思所想、写过的东西,看到好的东西、想学的东西,全部保存下来。