一、xpath语法
- XPath 使用路径表达式来选取HTML/ XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。
二、选取节点
表达式 |
描述 |
nodename |
选取此节点的所有子节点。 |
/ |
从根节点选取(取子节点)。 |
// |
从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置(取子孙节点)。 |
. |
选取当前节点。 |
.. |
选取当前节点的父节点。 |
@ |
选取属性。 |
三、路径表达式
路径表达式 |
结果 |
bookstore |
选取 bookstore 元素的所有子节点。 |
/bookstore |
选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径! |
bookstore/book |
选取属于 bookstore 的子元素的所有 book 元素。 |
//book |
选取所有 book 子元素,而不管它们在文档中的位置。 |
bookstore//book |
选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。 |
//@lang |
选取名为 lang 的所有属性。 |
四、谓语
- 谓语用来查找某个特定的节点或者包含某个指定的值的节点。
- 谓语被嵌在方括号中。
路径表达式 |
结果 |
/bookstore/book[1] |
选取属于 bookstore 子元素的第一个 book 元素。 |
/bookstore/book[last()] |
选取属于 bookstore 子元素的最后一个 book 元素。 |
/bookstore/book[last()-1] |
选取属于 bookstore 子元素的倒数第二个 book 元素。 |
/bookstore/book[position()<3] |
选取最前面的两个属于 bookstore 元素的子元素的 book 元素。 |
//title[@lang] |
选取所有拥有名为 lang 的属性的 title 元素。 |
//title[@lang=’eng’] |
选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。 |
五、选取未知节点
通配符 |
描述 |
* |
匹配任何元素节点。 |
@* |
匹配任何属性节点。 |
node() |
匹配任何类型的节点。 |
- 在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:
路径表达式 |
结果 |
/bookstore/* |
选取 bookstore 元素的所有子元素。 |
//* |
选取文档中的所有元素。 |
//title[@*] |
选取所有带有属性的 title 元素。 |
六、选取若干节点
- 通过在路径表达式中使用”|”运算符,您可以选取若干个路径。
路径表达式 |
结果 |
//book/title | //book/price |
选取 book 元素的所有 title 和 price 元素。 |
//title | //price |
选取文档中的所有 title 和 price 元素。 |
/bookstore/book/title | //price |
选取属于 bookstore 元素的 book 元素的所有 title 元素,以及文档中所有的 price 元素。 |
七、代码案例
import requests
from lxml import etree
import json
import requests
from lxml import etree
import json
class MouZhan(object):
def __init__(self,num):
self.url = f"https://*/{num}"
self.headers = {
"*":"*"
}
'''发起请求并获取数据'''
def get_data_index(self):
resp = requests.get(self.url,headers=self.headers)
if resp.status_code==200:
return resp.text
else:
return None
"""数据解析"""
def parse_data_index(self,resp):
# first 创建对象
html = etree.HTML(resp)
# 捕获异常
try:
data_list = html.xpath('//ul[@class="cook-list"]//li')
# 单独拿出每一个数据进行解析
for data in data_list:
# 精确提取数据
title = data.xpath("./a/@title")[0] # 获取标题
major = data.xpath("./div/p/text()")[0] # 获取配料
score = data.xpath("./div/div/span[2]/text()")[0] # 获取评分
yield {"标题":title,"配料":major,"评分":score}
except IndexError:
pass
"""保存数据"""
def write_data(self,content):
with open("文本.txt","a",encoding="utf-8") as f:
f.write(json.dumps(content,ensure_ascii=False)+'\n')
"""实现整个代码的业务逻辑"""
def run(self):
resp = self.get_data_index()
for data in self.parse_data_index(resp):
print(data)
self.write_data(data)
if __name__ == '__main__':
for num in range(4):
spider = 某站(num*20)
spider.run()
八、提取至excel表的方法
import requests
from lxml import etree
import openpyxl
import requests
from lxml import etree
import openpyxl
class MouZhan(object):
def __init__(self,num):
self.url = f"*/{num}"
self.headers = {
"*":"*"
}
self.wk = openpyxl.Workbook()
# 创建一个sheet
self.sheet = self.wk.create_sheet("文本名",0)
self.sheet.append(["标题","配料","评分"])
'''发起请求并获取数据'''
def get_data_index(self):
resp = requests.get(self.url,headers=self.headers)
if resp.status_code==200:
return resp.text
else:
return None
"""数据解析"""
def parse_data_index(self,resp):
# first 创建对象
html = etree.HTML(resp)
# 捕获异常
try:
data_list = html.xpath('//ul[@class="cook-list"]//li')
# 单独拿出每一个数据进行解析
for data in data_list:
# 精确提取数据
title = data.xpath("./a/@title")[0] # 获取标题
major = data.xpath("./div/p/text()")[0] # 获取配料
score = data.xpath("./div/div/span[2]/text()")[0] # 获取评分
data = [title,major,score]
print(data)
self.sheet.append(data)
self.wk.save("文本名.xlsx")
except IndexError:
pass
"""实现整个代码的业务逻辑"""
def run(self):
resp = self.get_data_index()
self.parse_data_index(resp)
if __name__ == '__main__':
for num in range(0,2):
spider = MouZhan(num*20)
spider.run()
原文地址:http://www.cnblogs.com/LoLong/p/16846142.html
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,请务用于商业用途!
3. 如果你也有好源码或者教程,可以到用户中心发布,分享有积分奖励和额外收入!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 如遇到加密压缩包,默认解压密码为"gltf",如遇到无法解压的请联系管理员!
8. 因为资源和程序源码均为可复制品,所以不支持任何理由的退款兑现,请斟酌后支付下载
声明:如果标题没有注明"已测试"或者"测试可用"等字样的资源源码均未经过站长测试.特别注意没有标注的源码不保证任何可用性