基于RSS的情报聚合方案
基于RSS的情报聚合方案
网络上公开的新闻、资讯、文章等,是开源情报收集的重要组成。但这些信息源来源不同,并且对订阅的支持方式各不相同(公众号订阅、RSS、邮件订阅),且有不同的反爬策略等限制,导致我们每天在阅读相关安全资讯时需要辗转不同的平台,不太方便。所以在本文中会整理一个简单的思路,提出聚合一些常用的信息源的方式。
订阅方式
本方案选择最常用的RSS订阅方式
平台选择
使用RSS订阅,我们可以选择在线的RSS订阅平台,也可以使用本机软件,两者各有好坏。本方案选择使用在线的RSS订阅平台,主要的好处有:
- 可实现托管形式的定时爬取、更新
- 本地无缓存占用
- 避免了部分订阅源由于GFW而产生的网络问题(使用外网平台)
- 可以隐藏订阅者的本机信息
劣势是:
- 订阅源到一定数量需要付费,且有缓存、更新时间等限制
- 对平台来说,暴露了你自己的情报源(一般来说问题不大)
目前常用的在线RSS订阅平台有Feedly、Inoreader、Feedbin等,笔者更偏爱Inoreader一些。以下是Inoreader支持的一些功能(Feedly基本也具有):
- 支持订阅webpage,不必提供RSS
- 支持订阅Twitter、Youtube、Facebook、Reddit等
- 支持邮件简讯订阅
- 还支持订阅Inoreader用户
- 多平台客户端支持,Web的体验比较简介专注
情报源聚合
支持RSS的网站
直接在平台添加RSS订阅地址即可。
Tips:可以使用浏览器插件来探测网站的RSS链接,更加方便,这样的插件有:RSS Reader Extension (by Inoreader)、RSS Hub
微信公众号
微信公众号本身不支持RSS订阅,但可以使用一些平台服务进行转换。例如使用WeRSS,可搜索微信公众号名字,直接转换为RSS链接,然后在Inoreader中添加即可。
P.S. 该服务的付费套餐价格也比较亲民。
图:WeRSS使用示例
Inoreader支持直接订阅。
Email Newsletters
Inoreader支持直接订阅。
使用RSSHub
RSSHub 是一个开源、简单易用、易于扩展的 RSS 生成器,可以给任何奇奇怪怪的内容生成 RSS 订阅源。RSSHub 借助于开源社区的力量快速发展中,目前已适配数百家网站的上千项内容
// TODO 使用RSSHub转化订阅源,用以聚合情报,后续更新