当前位置:首页 > 技术分享

python3 selenium webdriver.Chrome php 爬取汽车之家所有车型详情数据[开源版]

admin6年前 (2021-05-28)技术分享4598

介绍

本接口是车型库api的补充,用于爬取汽车之家所有车型详情数据

开源地址:https://gitee.com/web/CarApi/tree/master/python

软件架构

python3 selenium webdriver.Chrome php

使用python3 的webdriver.Chrome 获取渲染后的css样式信息,再用php替换后保存入数据库

使用说明

  1. 1.确保安装了python3 selenium 没有就安装一下

  2. 2.安装 Chrome 目录中有 一般由于chromedriver.exe版本兼容问题如果出现了直接用我共享的版本即可 其它版本:https://blog.bitefu.net/post/167.html

  3. 3.配置config.php数据库信息

  4. 4.在浏览器执行

http://你自己的网址/python/autohomeinfo.php

这个采集汽车之家所有车型详情原版数据存到json和newhtml目录 其中json为带混淆的数据 newhtml中为混淆的js 样式类

  1. 5.等第4步执行完成之后 到python/ 目录运行

python queryhtml.py
  1. 6.在浏览器执行

http://你自己的网址/python/replaceclass.php

这一步是将json 用混淆的样式类文件替换掉并保存到数据库,数据库结构如下

CREATE TABLE `car_info_detail` (  `id` int(11) NOT NULL AUTO_INCREMENT,  `content` text NOT NULL,  PRIMARY KEY (`id`)) ENGINE=MyISAM DEFAULT CHARSET=utf8 COMMENT='车详情';

参考

https://www.cnblogs.com/kangz/p/10011348.html


扫描二维码推送至手机访问。

版权声明:本文由小刚刚技术博客发布,如需转载请注明出处。

本文链接:https://blog.bitefu.net/post/173.html

分享给朋友:

“python3 selenium webdriver.Chrome php 爬取汽车之家所有车型详情数据[开源版]” 的相关文章

在CentOS 5.x 6.x里使用yum源 换阿里云国内源换vault.centos.org源

阿里云CentOS 5 的系统,无法用yum来安装应用软件。  原因:CentOS 5 在2017-03-31日已经结束支持,不再提供维护更新,所以包括阿里云镜像站的文件可能都是过时或已经有部分文件缺失。 &n…

【不忘初心】19041/19042/19043(20H1,20H2,21H1)告别繁琐 一键替换太阳谷图标 一键恢复原版图标 一键恢复文件夹预览

【不忘初心】19041/19042/19043(20H1,20H2,21H1)告别繁琐 一键替换太阳谷图标 一键恢复原版图标 一键恢复文件夹预览

一键替换太阳谷图标,一键恢复原版图标,注意是一键!!!  太阳谷图标确实很好看,很新颖 !论坛也有相关替换教程,有的需要改权限,有的需要PE下替换,有的还得重启,搞不好很容易翻车,有些小白同学只能望梅止渴,今天以上统统告…

Windows 11 LTSC 数字激活方法/HEU KMS Activator 数字激活/LTSC公key激活

Windows 11 LTSC 数字激活方法/HEU KMS Activator 数字激活/LTSC公key激活

Windows 11 Pro 转换成 Windows 11 Enterprise LTSC(Windows 11 企业版 LTSC) 并获得数字激 活方法1. 在Win11 Pro 中 导入LTSC 数字激 活证书:将 Windows LT…

完美解决微信js-sdk在IOS系统报 wx.config报 realAuthUrl invalid signature的问题

遇到这个问题首先是困惑,安卓可以,苹果不可以,然后查找文档,验证你们一个个尝试的结果,但是没有描述明白;打开小程序我这边实现了原生安卓、苹果和公众号,唯独这个公众号iOS端打开小程序掉坑总结修复问题:App.vue中增加 moun…

[经验分享] 20个短视频素材网站

1、Coverr:(https://coverr.co)很好很强⼤的免费视频素材⽹站,海量库存,每周 持续更新7条精美视频。2、Pexels:(https://www.pexels.com)这是我…

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。