基于RSS的情报聚合方案

基于RSS的情报聚合方案

网络上公开的新闻、资讯、文章等,是开源情报收集的重要组成。但这些信息源来源不同,并且对订阅的支持方式各不相同(公众号订阅、RSS、邮件订阅),且有不同的反爬策略等限制,导致我们每天在阅读相关安全资讯时需要辗转不同的平台,不太方便。所以在本文中会整理一个简单的思路,提出聚合一些常用的信息源的方式。

订阅方式

本方案选择最常用的RSS订阅方式

平台选择

使用RSS订阅,我们可以选择在线的RSS订阅平台,也可以使用本机软件,两者各有好坏。本方案选择使用在线的RSS订阅平台,主要的好处有:

  • 可实现托管形式的定时爬取、更新
  • 本地无缓存占用
  • 避免了部分订阅源由于GFW而产生的网络问题(使用外网平台)
  • 可以隐藏订阅者的本机信息

劣势是:

  • 订阅源到一定数量需要付费,且有缓存、更新时间等限制
  • 对平台来说,暴露了你自己的情报源(一般来说问题不大)

目前常用的在线RSS订阅平台有FeedlyInoreaderFeedbin等,笔者更偏爱Inoreader一些。以下是Inoreader支持的一些功能(Feedly基本也具有):

  • 支持订阅webpage,不必提供RSS
  • 支持订阅Twitter、Youtube、Facebook、Reddit等
  • 支持邮件简讯订阅
  • 还支持订阅Inoreader用户
  • 多平台客户端支持,Web的体验比较简介专注

情报源聚合

支持RSS的网站

直接在平台添加RSS订阅地址即可。

Tips:可以使用浏览器插件来探测网站的RSS链接,更加方便,这样的插件有:RSS Reader Extension (by Inoreader)RSS Hub

微信公众号

微信公众号本身不支持RSS订阅,但可以使用一些平台服务进行转换。例如使用WeRSS,可搜索微信公众号名字,直接转换为RSS链接,然后在Inoreader中添加即可。

P.S. 该服务的付费套餐价格也比较亲民。

image-20210117152232495

图:WeRSS使用示例

Twitter

Inoreader支持直接订阅。

Email Newsletters

Inoreader支持直接订阅。

使用RSSHub

RSSHub 是一个开源、简单易用、易于扩展的 RSS 生成器,可以给任何奇奇怪怪的内容生成 RSS 订阅源。RSSHub 借助于开源社区的力量快速发展中,目前已适配数百家网站的上千项内容

文档:https://docs.rsshub.app/

项目:https://github.com/DIYgod/RSSHub

// TODO 使用RSSHub转化订阅源,用以聚合情报,后续更新