使用 xpath 获取图片

1. 获取根页面图片

# coding=utf-8

# 1.  拿到页面源代码
# 2.  使用 xpath解析数据
import requests
from lxml import etree
import time

root_url = 'http://meirenxuan.cc/meinvtupian'
root_resp = requests.get(root_url)
root_resp.encoding = 'utf-8'

# 获取 父页面的源码
# print(root_resp.text)
root_html = etree.HTML(root_resp.text)

root_divs = root_html.xpath('//*[@id="posts"]')

for parent_div in root_divs:
    child_url = parent_div.xpath('./div/div[1]/a/@href')

    # print(child_url, '子页面的url') # 拿到的是一个 列表

    # 这个 url 就是子页面的链接
    for url in child_url:

        resp = requests.get(url)
        resp.encoding = 'utf-8'

        # print(resp.text)

        # etree.HTML 将html的源码 给一个变量
        html = etree.HTML(resp.text)

        # 获取到Element元素（再提取需要的信息）
        divs = html.xpath('//*[@id="gallery-2"]')

        # 获取到每一项的 图片
        for div in divs:
            href = div.xpath('./div/a/@href')

            # href 是列表（所以需要循环）
            for image_url in href:
                print(image_url, '图片地址')

                # 下载图片
                img_resp = requests.get(image_url)

                # 给文件起名字   split 只能给字符串使用
                img_name = image_url.split("/")[-1]  # 拿到url中的最后一个/以后的内容

                # 将图片写入到文件中(保存到本地)   img_name 这里是图片文件名
                with open("img/" + '美女妹妹写真' + img_name, mode="wb") as f:
                    # img_resp.content  # 这里拿到的是字节 (图片)
                    f.write(img_resp.content)  # 将内容写入到文件中


                print('over!!!', img_name)
                time.sleep(1)

        resp.close()
        f.close()

root_resp.close()

print('all_over!!!', '全部下载完成')

2. 获取子页面图片

# coding=utf-8

# 1.  拿到页面源代码
# 2.  使用 xpath解析数据
import requests
from lxml import etree
import time

# 猪八戒网站
url = 'http://meirenxuan.cc/meinvtupian/2730.html'

resp = requests.get(url)
resp.encoding = 'utf-8'

# print(resp.text)

# etree.HTML 将html的源码 给一个变量
html = etree.HTML(resp.text)

# 获取到Element元素（再提取需要的信息）
divs = html.xpath('//*[@id="gallery-2"]')

# 获取到每一项的 图片
for div in divs:
    href = div.xpath('./div/a/@href')

    # href 是列表（所以需要循环）
    for image_url in href:
        print(image_url, '图片地址')

        # 下载图片
        img_resp = requests.get(image_url)

        # 给文件起名字   split 只能给字符串使用
        img_name = image_url.split("/")[-1]  # 拿到url中的最后一个/以后的内容

        # 将图片写入到文件中(保存到本地)   img_name 这里是图片文件名
        with open("img/" + '美女妹妹' + img_name, mode="wb") as f:
            # img_resp.content  # 这里拿到的是字节 (图片)
            f.write(img_resp.content)  # 将内容写入到文件中


        print('over!!!', img_name)
        time.sleep(1)

resp.close()
f.close()
print('all_over!!!')

原文地址：http://www.cnblogs.com/wuqxblog/p/16879667.html