当前位置:首页 > 技术分享 > 正文内容

python3 selenium webdriver.Chrome php 爬取汽车之家所有车型详情数据[开源版]

admin5年前 (2021-05-28)技术分享3326

介绍

本接口是车型库api的补充,用于爬取汽车之家所有车型详情数据

开源地址:https://gitee.com/web/CarApi/tree/master/python

软件架构

python3 selenium webdriver.Chrome php

使用python3 的webdriver.Chrome 获取渲染后的css样式信息,再用php替换后保存入数据库

使用说明

  1. 1.确保安装了python3 selenium 没有就安装一下

  2. 2.安装 Chrome 目录中有 一般由于chromedriver.exe版本兼容问题如果出现了直接用我共享的版本即可 其它版本:http://blog.bitefu.net/post/167.html

  3. 3.配置config.php数据库信息

  4. 4.在浏览器执行

http://你自己的网址/python/autohomeinfo.php

这个采集汽车之家所有车型详情原版数据存到json和newhtml目录 其中json为带混淆的数据 newhtml中为混淆的js 样式类

  1. 5.等第4步执行完成之后 到python/ 目录运行

python queryhtml.py
  1. 6.在浏览器执行

http://你自己的网址/python/replaceclass.php

这一步是将json 用混淆的样式类文件替换掉并保存到数据库,数据库结构如下

CREATE TABLE `car_info_detail` (  `id` int(11) NOT NULL AUTO_INCREMENT,  `content` text NOT NULL,  PRIMARY KEY (`id`)) ENGINE=MyISAM DEFAULT CHARSET=utf8 COMMENT='车详情';

参考

https://www.cnblogs.com/kangz/p/10011348.html


扫描二维码推送至手机访问。

版权声明:本文由小刚刚技术博客发布,如需转载请注明出处。

本文链接:http://blog.bitefu.net/post/173.html

分享给朋友:

相关文章

php高效检测远程图片是否存在

php高效检测远程图片是否存在function img_exits($url){     $ch = curl_init();    &...

[教程] WTG备份新方法——FFU镜像格式

[教程] WTG备份新方法——FFU镜像格式

FFU(Full Flash Update) 格式是一种基于扇区的磁盘镜像文件格式,默认使用快速哈夫曼压缩(Xpress-Huffman)算法压缩,在捕获和部署时会生成哈希表进行校验,并可以使用DISM修改捕获的镜像。FFU格式很适合WTG...

系统小技巧:微软版“Ghost” Windows FFU 系统安装还原

系统小技巧:微软版“Ghost” Windows FFU 系统安装还原

在日常的维护中,系统的备份和还原是大家经常需要操作的事情。虽然Windows 10已经提供很多的工具,如系统还原、WIM备份/还原,VHD备份等。不过这些工具大多是基于文件的备份/还原。我们以前经常的使用的Ghost则是基于扇区的备份/还原...

遭遇国外ip抓取或攻击怎么办一招解决禁止海外IP访问

遭遇国外ip抓取或攻击怎么办一招解决禁止海外IP访问

究发现很多网站被攻击都是来自海外的肉鸡,所以禁掉海外IP访问网站也是不错的防护手段,而且国内网站几乎很少有国外用户访问,称之为大局域网也不为过。今天主机吧来教大家如何利用域名解析禁止掉海外IP访问网站。绝大多数域名解析服务商都是提供电信联通...

安卓模拟器连接端口 及常用命令

下面是我总结和测试通过的:有的是搜集来的模拟器名称                     &nbs...

[教程福利] Python 全网比较全面的资源

阿里 Python 应该算比较全面了,编辑完了差不多用了三个小时左右,如果对你有帮助,给个免费的热心吗,在这里谢谢了各位大佬。092-****实战课-畅销3年的Python分布式爬虫课程-原版提取https://www.aliyundriv...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。