博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
微信公众号文章采集方案
阅读量:5864 次
发布时间:2019-06-19

本文共 1687 字,大约阅读时间需要 5 分钟。

方案一:基于搜狗入口

在网上能搜索到的公众号文章采集相关的信息来看来看,这是最多、最直接、也是最简单的一种方案。

一般流程是:

  • 进行公众号搜索
  • 选取公众号进入公众号历史文章列表
  • 通过文章列表获取文章链接,通过文章链接获取文章内容
  • 对文章内容进行解析入库

采集过于频繁的话,搜狗搜索和公众号历史文章列表访问都会出现验证码。直接采用一般的脚本采集是无法拿到验证码的。这里可以使用无头浏览器来进行访问,通过对接打码平台识别验证码。无头浏览器可采用。

即便采用无头浏览器同样存在问题:

  • 效率低下(实际上就是在跑一个完整的浏览器来模拟人类操作)
  • 网页资源浏览器加载难以控制,脚本对浏览器加载很难控制
  • 验证码识别也无法做到100%,中途很可能会打断抓取流程

如果坚持使用搜狗入口并想进行完美采集的话只有增加代理IP。顺便说一句,公开免费的IP地址就别想了,非常不稳定,而且基本都被微信给封了。

除了面临搜狗/微信的反爬虫机制之外,采用此方案还有其他的缺点:

  • 无法获得阅读数、点赞数等用于评估文章质量的关键信息
  • 无法及时获得已经发布公众号文章,只能作定期的重复爬取
  • 只能获得最近十条群发文章

方案二:对手机微信进行中间人攻击

中间人攻击本是某种黑客手法,用于截取客户端与服务端之间的通信信息。这种方案的思路是在手机微信和微信服务器之间搭建一个“HTTPS代理”,用于截获手机微信获取的公众号文章信息。一般性步骤是:

  • 手机微信搜索一个公众号
  • 点击进入公众号历史文章页面
  • 代理识别已经进入列表页,进行内容截获,同时根据实际情况返回继续下拉或爬取新的公众号的js代码

这种方案能够实现自动化的原因是:

  • 微信公众号使用的是HTTPS协议,且内容未加密
  • 微信公众号文章列表和详情本质上是个Web页面,可以嵌入js代码进行控制

这种方案的优点:

  • 一般情况下不会被屏蔽
  • 能拿到点赞数和阅读数等文章评估信息
  • 能拿到公众号全部的历史文章

当然,也存在很多缺点:

  • 需要一个长期联网的实体手机
  • 前期需要设置代理,工作量比较大
  • 本质上还是个轮查的过程,而不是实时推送
  • 同样有Web加载难以控制的风险,且本地网络环境对其影响非常大
  • 存在着微信接口发生变更代码不再适应的情况

这种方案还存在着一些变种,比如:

  • 通过lua脚本控制公众号搜索而不是靠代理返回嵌入的js代码
  • 通过GUI操作脚本控制PC端微信

但都存在“不能精确稳定控制”的缺点

方案三:网页微信抓包分析

在被微信反爬虫虐了很长时间之后,和同事大脑风暴寻找新的微信公众号文章爬取方案。就分析有哪些能获得数据的入口。模糊记得网页微信是有公众号文章阅读功能的,正好我曾把玩过一段时间个人微信机器人,主要使用的是这个Python包。它实现的原理就是对网页微信进行抓包分析,汇总成个人微信接口,目标就是所有网页微信能实现的功能它都能实现。。所以就有了一个初步的方案——通过ItChat让微信公众号文章自己推送过来。快下班的时候和同事提了一下,他也挺感兴趣,第二天就实现出来了验证代码(ItChat实现相应功能代码非常简短,内容解析部分之前就做了,可以直接用)。

这种方案的主要流程是:

  • 手机微信关注要抓取的目标公众号
  • 服务器端通过ItChat登录网页微信
  • 当公众号发布新文章推送的时候,会被服务端截获进行后续的解析入库

这种方案的优点是:

  • 基本零间隔获取已经发布的公众号文章
  • 能获取点赞数、阅读数
  • 只需手机微信保持登陆,不用其他操作

当然缺点也是有的:

  • 需要一台长期联网的手机
  • 手机微信不能主动退出,或长时间掉线
  • 一个微信一天能够关注的公众号有限
  • 新微信号不能登陆网页微信,也就不能用于此方案
  • 只能获取最新发布的文章,无法获取历史文章

微信公众号文章采集基本上就是和腾讯斗智斗勇,费心费力。直到现在也没能找到一个完美的解决方案,只能根据实际的采集目标,择优选取。要完全服务端,不依赖手机微信,不需要点赞数阅读数,有大量代理IP就采用方案一;本地网络稳定且有富裕的手机就用方案二;需要及时获得公众号发布的最新文章的话就用方案三。

写的比较杂乱,见谅!

祝我早点脱坑!

转载地址:http://bbynx.baihongyu.com/

你可能感兴趣的文章
iOS - UIProgressView
查看>>
jQuery post数据至ashx
查看>>
CSDN-Code平台公钥设置
查看>>
MySQL的左外连接
查看>>
[angularjs] angularjs系列笔记(三)模型
查看>>
Laravel 5.1使用命令行模式(artisan)运行php脚本
查看>>
POST数据时400错误
查看>>
给你一天时间,你会从最懂钱的这些人身上学点啥?
查看>>
福利丨所有AI安全的讲座里,这可能是最实用的一场
查看>>
开发完第一版前端性能监控系统后的总结(无代码)
查看>>
MaterialDesign系列文章(六)CoordinatorLayout的一些联动
查看>>
关于工作中常用到的ES6语法
查看>>
Python多版本情况下四种快速进入交互式命令行的操作技巧
查看>>
Vitalik深度参与,被给予厚望的Plasma究竟怎么样了?
查看>>
python 人工智能资源推荐
查看>>
js技巧:十几行的代码实现vue.watch
查看>>
谈谈 js 深浅拷贝 那点事(二)
查看>>
HTTP协议类
查看>>
安利软件-如何一键装B
查看>>
MySQL查询优化
查看>>