手把手教你爬取天堂网1920*1080大图（批量下载）实用篇

在上一篇文章中，我们将一步一步教你如何从天堂网站爬取1920*1080大图片（批量下载）——理论文章。我们讨论了从Paradise 网站捕获图像的理论。本文将对上一篇文章未完成的事项进行完善和完善。批量捕获图像。

/2 图片URL分析/

1、我们先分析一下这张图片的地址在哪里。我们选中图片，然后右键网页进行查看，就可以看到图片的路径，如下图所示。

2、单独拿出来，如下图所示。

3、可以看到a href是图片的链接，src是图片的地址，所以我们可以找到它的上层标签ul。如果再次找不到，则进入下一级，依此类推（找到的内容越详细，就越准确）。使用选择器xpath获取src（URL后缀）的值，然后在后缀中添加“https前缀”即可获取各个URL，如下图所示：

4.然后尝试运行一下，如下图所示，可以得到具体的URL。

5.然后我们请求这个URL（指请求方法）来分析数据。

6. 我们以这张鱼图片为例。点击它即可进入二级页面。

7. 右键单击并检查。可以看到我们要获取的是src的地址，如下图所示。

8.获取镜像源代码，如下图。

9、Xpath获取路径，是为了方便区分图片的名称，如下图。

/3 下载图片/

1、为了方便存储，新建一个文件名作为保存路径，如下图所示。

2、也就是说，你需要在Python代码的同一目录下提前新建一个文件夹，名为“Paradise Web爬取的图片”。如果没有这个文件夹，就会报如下错误。

3、使用with函数打开和写入文件。下面代码的意思是创建一个文件。代码框中有具体注释。

'wb' # 表示以二进制格式打开文件，仅供写入。如果该文件已存在，则会被覆盖。如果该文件不存在，则创建一个新文件。 'as f' # 表示写入名为f 的文件。 'f.write(html)' # 表示将html的内容写入到文件f中。 4.以下是各个代码的含义，大家可以学习一下。

5、根据上面的代码，基本上可以实现批量下载。接下来我们继续优化。我们导入一个名为fake_useragent 的第三方库fake_useragent 来实现随机请求头设置。

fromfake_useragent import UserAgentua=UserAgent()print(ua.ie) #随机打印任意版本的ie浏览器print(ua.firefox) #随机打印任意版本的firefox浏览器print(ua.chrome) #随机打印任意版本的chrome浏览器print (ua.random) # 随机打印任意厂家的浏览器6.我们可以重新初始化init方法，添加ua.random，让它随机生成； UserAgent代码如图：（这里设置随机生成50个，选择其中一个。请教）

7、最终效果图在终端上显示如下图。

8.图片自动下载到本地后的效果图，高清~

9、至此，批量下载解析图片地址的任务已经完成，可以愉快的浏览图片了。

10、不建议爬取过多的数据，这样会增加服务器的负载，简单尝试一下即可。

/4 总结/