织梦火车头采集文章列表地址列表错误URL没有协议头是//解决方法

织梦教程 强烈建议 2024-02-06 14:13 115 0

  今天打开火车头采集器需要更新下织梦网站,可是点了开始后发现错误了重新修改了列表采集规则。没仔细看等抓完300多个连接导入数据库时发生错了,仔细一看该目标站的文章列表页将文章url地址做了处理。

  表现:

  常规的文章列表文章URL应该是 才对,而该站处理成了,就是把协议头https或者http给取消了,这个 在***程度上是可以防范很多采集程序,软件,爬虫的。采集后的地址列表会多一层网址,就成了这样的话就无法正确采集内容了。

  在网址获取选项里点选“手动填写链接地址规则”,

  右侧脚本规则填写【a class="item" href="[参数]" target="_blank">】这里的参数就是原始目前的不带协议头的网址。

  实际连接:填写【http:[参数1]】如果该网站是https的这里就填写【https:[参数1]】

  结果:

  以上操作后点获取网址测试正确,从采集,入库等都OK了。

  PS:

  这个网址问题以前看到过,用DEDECMS织梦采集就是网址错误,今天在火车头上总算是解决了。



时间:(2024-02-06 14:13:03)
本站资源均来自互联网或会员发布,如果不小心侵犯了您的权益请与我们联系。我们将立即删除!谢谢!