查看完整视频
小黑屋思过中,禁止观看!
评论并刷新后可见

您需要在视频最下面评论并刷新后,方可查看完整视频

积分观看

您支付积分,方可查看完整视频

{{user.role.value}}
付费视频

您支付费用,方可查看完整视频

¥{{user.role.value}}
专属视频

只允许以下等级用户查看该视频

升级
会员专享

视频选集

打造自己的 RSS 生成服务

  • 视频介绍
  • 视频选集
  • 交流讨论
释放双眼,带上耳机,听听看~!

项目的想法大概在两年前就有了,不过刚开了个头就发现「即刻 APP」可以很方便的自定义 RSS 和微信公众号机器人,比自己搞一套要简单得多,于是把所有的订阅源全部挪到了即刻上,但 19 年即刻全面关闭了自定义机器人的设置,之前的许多订阅源也失效了,急需折腾一套类似的服务出来。

虽然 RSSHub 已经比较完善了,但出于学习和更深度定制的需要,还是把之前的项目善始善终。功能上很简单,定时爬取指定的消息源,存入数据库,然后生成对应的 RSS,最好能把阅读的功能也做在一起,但目前这个需求并不迫切,之后有心情再看,目前就只有几个 API 和一个爬虫在跑,后续会完善一下安装部署的相关文档。

以下是项目简介。

貔貅 Pixiu展开目录

基于 Django 和 Asyncio 的 RSS 阅读器。


Personal RSS reader based on Django and asyncio.

概览 Overview展开目录


背景及意义 Introduction展开目录

RSS 作为上一个资讯阅读领域的热点技术,在 21 世纪的今天已经举步维艰,除了少数技术社区和博客,绝大部分有价值的资讯、文章都散布于各色各样的论坛、微信公众号等小圈子当中,给日常的阅读带来了非常多的不便。

因此,「智能」RSS 技术应运而生,其中具有代表性的服务有 Feed43、RSSHub 等,此类服务能自行抓取不提供 RSS 源的站点文章内容,生成新的 RSS XML 文件供各类 RSS 阅读器使用。

本项目也是「智能」RSS 技术的一种,相较于其他类似服务,本项目的优势在于

  • 没什么优势
  • 文章内容落盘存储
  • 抓取插件高度自定义(因为需要自己写)

在本项目启动之初,Feed43 在国内的访问速度不理想,RSSHub 项目的关注度还较低,但由于种种原因,本项目的开发一度停滞,直到 2019 年初才完成了基础功能的开发,作为一个「智能」RSS 项目,功能上的独创性和先进性已经不足,但仍是一个有独特场景的 Python 后端项目。

技术路线 Technical Roadmap展开目录

本项目基于 Django Web 框架开发,由 Django REST Framework 提供 REST API 服务,由 django-environ 提供配置分离功能。爬虫部分基于 Asyncio 和 aiohttp,在保证爬取效率的同时尽量减少资源消耗。

进程管理推荐使用 Systemd,日志收集使用 Sentry(Sentry 真的神器)。

Web 后端启动后只有 API 功能,爬虫需要启动独立进程,与 API 交互获取任务相关信息,结果存储也通过 API 完成。

安装与使用 Installation and Usage展开目录

等开源了再说。

样例 Example展开目录

也是目前仅有的两个订阅源。

暗网交易市场的 RSS 主要是提供出来做数据泄露监控的,所以暂且只爬了数据版,别的版块翻了翻也没什么太大价值,欢迎接入使用。另外暗网爬起来很简单啊,Tor 帮你自动切换 IP,出于安全考虑暗网网站一般也不会有 JS,只要过了验证码这一关基本畅通无阻,很适合新手学习。。。

顺便开了一个 Telegram 的 RSS 机器人,@fantasy_rss_bot,把暗网交易市场的信息同步到了一个频道里,暗网情报,欢迎使用和订阅。


最后,折腾完了这么些,突然发现每天堆这么多文章,认真看进去的并没有多少,非常容易堕入以前学生时代的一个「眼高手低」的陷阱,看着好像什么都知道,实际做起来却不是那么回事,所以还是要真正过了自己的手才算有收获。而一个人的精力是有限的,不可能面面俱到,接下来可能会认真计划一下以后时间投入的方向,因此这个项目的前端部分很可能要鸽,再次给自己留了一个大坑

声明:本站只作网络安全交流之用。严禁发布低俗、违法、涉及政治的内容。如若本站内容侵犯了原著者的合法权益,可联系我们[181-1319-3168]进行及时处理。

给TA打赏
共{{data.count}}人
人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索