最强免费开源推文抓取工具 "feedgrab Desktop 桌面版" 安装及使用教程

feedgrab Desktop 封面

1. 最强免费开源推文抓取工具 “feedgrab Desktop 桌面版” 安装及使用教程

本文来自 @iBigQiang

一句话介绍:feedgrab 是融合了几十款 GitHub 上关于各自媒体平台抓取采集的开源脚本,融合迭代而来的 vibe coding 产物,给他一个已支持平台URL(或关键词) → 平台检测 → 抓取内容 → 统一输出 Obsidian 兼容格式带详细元数据的md文档,现已支持 18+ 主流自媒体平台的批量抓取功能,且无需对 API 付费几乎 0 成本。

feedgrab 前后耗费 opus-4.6 和 codex gpt-5.5 三千多刀 token 迭代而来,具体支持哪些平台可以查看官方仓库说明:https://github.com/iBigQiang/feedgrab

温馨提示
1、主分支的 cli 版理论上支持所有(带终端、cmd、powershell)的平台,所以在 mac、linux 上应该也可以使用。
2、“feedgrab Desktop 桌面版客户端” 目前 只支持 Windows10/11系统,后续可能会打包支持 Mac 的版本,暂时想用就 Cli 版也可以,文章后面部分有简要教程。

1.1. 安装包下载

1.1.1. 下载说明

1、从 feedgrab 仓库 feedgrab-desktop 分支 https://github.com/iBigQiang/feedgrab/tree/feedgrab-desktop 右侧的 Releases 进入下载页面,从最上面下载最新版本(截止发文当日最新版本 v0.1.15)的安装包。

2、直接访问 GitHub仓库安装包下载页面:https://github.com/iBigQiang/feedgrab/releases ,从最上面下载最新版本的安装包。

1.2. feedgrab Desktop 安装

1.2.1. 安装后验证

双击下载的安装包 feedgrab-desktop-setup-0.1.15.exe,安装 目标文件夹 路径默认或自定义均可,我习惯安装软件到非系统盘 C,一般都改到 D 或 E 盘这个看自己喜好就行。

图像

温馨提示:v0.1.15 安装包大小 359MB,安装所需磁盘空间约 1.2G。为何有点大是因为安装包打包了必要的运行环境依赖库(如 playwright、chromium、headless、ffmpeg 等),介意大小的慎用。

1.3. 设置及使用教程

1.3.1. 准备工作

安装好默认进入软件首页,如下图所示:

图像

在正式使用之前,建议挨个点击左侧边栏导航菜单每一项进去看看都是什么做大概了解。

1.3.2. 第一步:设置

点击左侧边栏导航菜单 设置 做基本设置,需要手动选择设置的主要是 Obsidian Vault 。

强烈建议安装 Obsidian 配合 feedgrab 一起使用,我们对抓取保存的md文档做了针对 Obsidian 格式的适配,用 ob 做阅读预览和后期编辑最佳。

图像

这里的 Obsidian Vault 可以设置你本机安装的 Obsidian 目录,一般我会设置到 Obsidian 的素材收件箱如 E:\Obsidian\Qiang_Obsidian\inbox 下图:

图像

这里需要说明下,Obsidian Vault 路径优先级高于上面的默认输出目录 D:\feedgrab Desktop\output,如果设置了 Obsidian Vault 保存的md会直接在 ob 这个目录下,如果没设置留空 md 会保存到默认的 输出目录 \output。

还有截图基础设置底部那个登录时优先从 Chrome CDP 提取登录态 选项,在后面的登录设置页面需要关联用到,这里可以提前说下。

如果你用于采集授权的只有一个账号,可以选择这个走 CDP,就是说你现在电脑上的浏览器上保存的有某个平台的账号登录态,软件会直接从浏览器中抽取已经登录账号的cookie信息完成设置,如果有多个账号就不要选择这个选项。

关于平台设置,你要抓取哪个平台的内容,先检查对应平台设置是否正确,用 X/Twitter 推特平台举例,关键词搜索建议按以下截图中推荐设置,搜索语言 选 全部 排序选 全量 可以获得最多数据。

图像

选中 多关键词合并汇总表 在根据关键词批量抓取后会有一个含数据的统计表格 .csv 表格和 .md 文件,如下图效果。

选中 保存单条推文 Markdown 会把表格中每一篇推文都下载单独保存完整的 md 文件到本地。

图像

这个关键词批量抓取结果排序表非常有用,单纯日常推广互动运营,可以不下载md文档只通过这个排序表筛选目标关键词下的热帖,直接点击链接打开推文即可在推文下面 评论 / 互动 / 推广。

如果需要采集素材、提取选题,当素材给 AI 分析蒸馏用就选择下载保存md文档。

还有按账号批量下载推文到本地给 AI 蒸馏 skill 很好玩。

这里有个额外提示:部分同学的 Obsidian 预览表格可能会遇到 预览模式下 表格列多宽度过窄显示不完整的问题,这是ob模板预设样式的限制,可以自己修改下不会就问 AI。

图像

比如我 Obsidian 用的是 Minimal 模板,在 ob 设置 → 外观 → CSS代码片段 → 打开目录创建自定义css文件 .obsidian\snippets\Qiang_diy.css,如 Qiang_diy.css 写入css代码如下:

/* Wide notes: used by frontmatter `cssclasses: wide`.
   Change only --qiang-wide-width to tune the note/table reading width. */
body .wide {
  --qiang-wide-width: 90%;

  /* Obsidian default / common themes */
  --file-line-width: var(--qiang-wide-width);
  --content-width: var(--qiang-wide-width);

  /* Minimal theme and themes that follow its variables */
  --line-width: var(--qiang-wide-width);
  --line-width-wide: var(--qiang-wide-width);
  --max-width: var(--qiang-wide-width);

  /* Minimal table width variables */
  --container-table-width: 100%;
  --container-table-max-width: 100%;
  --container-dataview-table-width: 100%;
  --container-table-margin: 0;
  --table-width: 100%;
  --table-max-width: 100%;
  --table-min-width: 0;
  --table-wrapper-width: 100%;
  --table-margin: 0;
}

/* Reading mode: widen the note body itself. */
body .markdown-preview-view.wide .markdown-preview-sizer,
body .wide .markdown-preview-view .markdown-preview-sizer,
body .wide .markdown-preview-sizer {
  width: var(--qiang-wide-width) !important;
  max-width: var(--qiang-wide-width) !important;
}

/* Reading mode: make Markdown tables fill the widened body. */
body .markdown-preview-view.wide table,
body .wide .markdown-preview-view table,
body .wide .markdown-rendered table,
body .markdown-preview-view.wide .table-wrapper,
body .wide .markdown-preview-view .table-wrapper,
body .wide .markdown-rendered .table-wrapper {
  width: 100% !important;
  max-width: 100% !important;
}

/* Keep long links or Chinese summaries from forcing hidden columns. */
body .markdown-preview-view.wide th,
body .markdown-preview-view.wide td,
body .wide .markdown-preview-view th,
body .wide .markdown-preview-view td,
body .wide .markdown-rendered th,
body .wide .markdown-rendered td {
  white-space: normal !important;
  overflow-wrap: anywhere;
  word-break: break-word;
}

大家 Obsidian 使用的模板不同,可能具体的 css 代码也会不同,可以根据自己使用的模板让 AI 给你写个这个代码即可,主要就是调整 Obsidian 在当前使用的模板下,对表格的宽度解析限制。

其他设置可以参考截图上面,大概就是字面意思,大家可以选择不同设置采集后去对比结果,尝试几次就知道有什么不同了。

还有个设置需要提示下:就是关于 YouTube 平台的抓取和转文字功能,涉及到一个 YouTube Data API Key 申请和填写,API申请路径在 Google Cloud Console → APIs & Services → YouTube Data API v3 → Create Credentials → API Key ,不会的可以 Google 搜索下或问 AI。

图像

第一次使用某个平台内容抓取前,必须先检查下 平台设置 下面对应平台的设置选项是否都设置好了(是否有账号在登录状态)。只需要第一次设置即可后面直接使用,后者要采集不同结果的时候也要先更新这个平台设置后才能去采集。

然后设置对应平台的账号 Cookie 保存,这是为了采集到最全的互动数据,需要 Cookie,部分网站下载文章或文档保存不需要登录 Cookie,具体见软件登录设置页面。

图像

如 X/Twitter 平台,点击平台卡片下面 登录,软件会启动内置浏览器登录窗口,然后手动走一遍登录流程,账号登录成功后软件会自动保存登录态 Cookie 到本地文件如 D:\feedgrab Desktop\sessions\twitter.json,如果有多个账号,继续点击 登录 重复操作几次登录流程即可。

对于 X/Twitter 平台也可以手动创建 Cookie文件,首次安装软件后,在安装目录下有 \sessions\twitter.json 空白文件模板,如下图:

图像

默认 X/Twitter 平台第一个文件命名 twitter.json,后面的用 x2.json、x3.json、…、xn.json,这个手动创建的时候注意下格式即可,可以忽略 twitter.json 直接用 x数字序号.json 格式。

如何手动获取该平台账号登录态 Cookie ?其实非常简单,看模板文件也知道只需要 auth_token 和 ct0 两个有效值。

{
  "auth_token": "",
  "ct0": ""
}

方法:打开 Chrome 浏览器 登录 X/Twitter 账号,按 F12 打开开发者模式,然后选中 应用 选项,左侧选 Cookie 下面 https://x.com 开头的网址,在右侧依次选中 auth_token 和 ct0 两个选项,复制底部看到的值填写到 x_n.json 文件对应值引号内即可。

图像

有多个账号重复以上操作保存多个 x_n.json 文件即可。

经过我个人几个月的使用测试,发现 X 账号对于频繁操作的 429 错误限制最多 15 分钟后就解除了,所以测试发现去买个 五六个 X 小号保存cookie即可流畅无阻使用,我这6个小号用了几个月还是好好的。

别来问我哪里买小号,去 Google 或者 Telegram 搜索下就有很多这类发卡网有卖的。

如果遇到报错,除了检查 登录 设置里是否保存了账号登录态以外,还需要检查下 诊断 下面是否有未安装的环境依赖,如果有就点击安装下(遇到问题可以问AI协助安装)。

图像

如果你是通过本机挂的VPN实现的外网访问(如 X),代理地址 这里还需要开启并设置好你的 VPN对应的 ip 地址和端口 (如果VPN 开全局模式,这里不用设置也行)。

图像

因为我这里是局域网有openwrt软路由,在软路由上通过 openclash 设置了全屋上网分流环境的,所以默认就可以访问外网,因此这里就没开启 启用代理,大家根据各自网络环境选配。

1.3.3. 第二步:抓取采集

如果是 给url链接抓取,顶部默认 URL自动识别 即可,支持一次 多个链接批量抓取 。

图像

如果是要 按关键词批量抓取(还有 按推特账户抓取),顶部必须选择对应平台,如下图,其他平台类似选择对应平台即可;按推特账户批量抓取,抓取目标 填写推特账号主页地址如 https://x.com/elonmusk 。

图像

抓取过程可以在首页右侧 实时日志 和 任务 里面看到记录,最终抓取保存到本地的 MD 文档结果可以在 输出 里面看到记录,可以直接点击右侧 打开 按钮调用本地 md 阅读编辑器打开查看文档。

我习惯用 Obsidian 查看预览和编辑md文档,直接进入 ob 对应目录查看结果。

图像

其他的,大家自行探索测试吧,教程也比较详细的该讲的都讲到了,还有哪里不会的到时候留言或群里反馈。

1.4. Cli 版简要教程

1.4.1. 下载与安装

如果你不是 Windows 系统电脑,Mac / linux 系统的,可以暂时使用 Cli 版本,下面简单讲下下载和使用方法。

仓库地址:https://github.com/iBigQiang/feedgrab,点击 Code → Download ZIP 下载到本地解压后进入目录后,打开终端即可使用。

图像

或通过克隆后本地安装:

git clone https://github.com/iBigQiang/feedgrab.git
cd feedgrab
pip install -e ".[all]"
patchright install chromium   # 推荐(反检测更强)
# 或: playwright install chromium

安装完成后,运行一键部署引导:

feedgrab setup

1.4.2. 环境配置

后续环境依赖安装和配置在 https://github.com/iBigQiang/feedgrab/blob/main/README.md 有详细说明,根据 readme 中 安装、快速开始 说明操作。

需要复制 .env.example 创建一份 .env 配置文件,按 .env.example 内说明对照设置好 .env 对应配置项。

X/Twitter Cookie 配置 举例:

feedgrab login twitter

程序会自动打开浏览器,登录 X 账号后 Cookie 会保存到 sessions/twitter.json,后续自动读取。其他平台登录方式类似,具体命令查看 readme文档说明。

最后抓取也是在终端内通过命令执行,如抓取推文:

图像

其他命令如 X关键词搜索 查看说明文档里面 第一层:Python CLI 都有。

# 搜索 Twitter 推文(按互动量排序的汇总表格)
feedgrab x-so openclaw     # 默认:最近1天 + 中文 + 最新tab
feedgrab x-so "AI Agent" --days 7 --min-faves 50 --sort top   # 自定义参数
feedgrab x-so WorkBuddy --lang zh+zxx --sort all     # 中文普通推文 + Article 长文,合并 Latest/Top
feedgrab x-so '"openclaw" lang:zh since:2026-03-01' --raw     # 原始查询模式
feedgrab x-so openclaw --save     # 同时保存单篇推文 .md
feedgrab x-so "claude code,openclaw" --merge     # 多关键词合并到一个表格
feedgrab x-so "claude code,openclaw"     # 多关键词分别生成表格

推文关键词搜索,只要配置好 .env 配置文件,默认只需要用 feedgrab x-so 关键词,不用带后面繁琐的参数尾巴就能采集,配置走 .env 里面的设置。

1.5. 其他备注说明

1.5.1. 功能说明

1、就是 按关键词抓取 / 按账号批量抓取(微信公众号) 都必须选中对应平台,按 URL 抓取 可以选平台也可以不选默认 URL自动识别。

2、微信公众号 单篇文章抓取无需设置 登录 账号可以直接使用;如果要 按微信公众号账号批量抓取 就必须设置登录账号。

这里需要自己有微信公众号才可以,走的微信公众号后台 Cookie 授权实现的公众号文章批量抓取。

图像

至少需要登录一个微信公众号保存登录态才能按账号名称批量抓取。

3、其他平台的抓取类似,先登录对应平台账号保存 Cookie 就可以操作抓取了。

有登录账号能最大程度抓取到最全的浏览和互动数据(点赞、评论、转发等),公众号是个例外,所有第三方浏览器或协议工具都无法抓到文章的阅读量和评论(目前只有付费 API 可以)。

4、还有什么不明白的,可以按软件 社群 页面说明渠道添加交流群反馈。

本人非编程专业,本 “feedgrab Desktop 桌面版客户端” 是自学 vibe coding 全程由 Codex 辅助开发,使用中难免会遇到各种小bug,欢迎给我反馈。

第一款免费开源工具,希望能尽可能的完善功能,后续有更多更好的功能需求,都可以提需要的人多和调研技术可行的情况下,都会不断迭代和升级。