这篇文章将为大家详细讲解有关爬虫Scrapy框架之css选择器如何使用，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。
成都创新互联是专业的长乐网站建设公司，长乐接单;提供成都网站制作、网站建设、
外贸网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行长乐网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!
css选择器介绍
css选择器的基本语法
类选择器：元素的class属性，比如class="box"表示选取class为box的元素；
ID选择器：元素的id属性，比如id="box"表示选取id为box的元素；
元素选择器：直接选择文档元素，比如p表示选择所有的p元素，div表示选择所有的div元素；
属性选择器：选择具有某个属性的元素，如*[title]表示选择所有包含title属性的元素、a[href]表示选择所有带有href属性的a元素等；
后代选择器：选择包含元素后代的元素，如li a表示选取所有li 下所有a元素；
子元素选择器：选择作为某元素子元素的元素，如h2 > strong表示选择父元素为h2 的所有 strong 元素；
相邻兄弟选择器：选择紧接在另一元素后的元素，且二者有相同父元素，如h2 + p表示选择紧接在 h2 元素之后的所有p元素；
scrapy 中的css使用方法
以a元素来举例说明
response.css('a')：返回的是selector对象；
response.css('a').extract()：返回的是a标签对象；
response.css('a::text').extract_first()：返回的是第一个a标签中文本的值；
response.css('a::attr(href)').extract_first()：返回的是第一个a标签中href属性的值；
response.css('a[href*=image]::attr(href)').extract()：返回所有a标签中href属性包含image的值；
response.css('a[href*=image] img::attr(src)').extract()：返回所有a标签下image标签的src属性；
| 表达式书写方式 | 表达式意义 |
|---|
| #box | 选取id为box的元素 |
| .box | 选取class为box的元素 |
| p | 选择所有 p 元素 |
| div img | 选取div下的img元素 |
| div,img | 选择所有 div 元素和所有 img 元素 |
| div#box | 选取 id为box的div元素 |
| div>p | 选择父元素为 div 元素的所有 p 元素 |
| [title~=flower] | 选择 title 属性包含单词 “flower” 的所有元素 |
| a[href=”/page/2”] | 选取href属性为/page/2的a元素 |
| a[href^=”/page”] | 选取href属性以/page开头的a元素 |
| a[href$=”.png”] | 选取href属性以png结尾的a元素 |
# -*- coding: utf-8 -*-
import scrapy
class CsdnSpider(scrapy.Spider):
name = 'csdn'
allowed_domains = ['www.csdn.net']
start_urls = ['http://www.csdn.net/']
def parse(self, response):
result = response.css('.company_list .company_name a::text').extract()
for i in result:
print(i)
获取元素的跳转链接和图片地址
import scrapy
from urllib import parse
class DribbbleSpider(scrapy.Spider):
name = 'dribbble'
allowed_domains = ['dribbble.com']
start_urls = ['/upload/otherpic39/1.png', 'wb') as f:
for block in ret.iter_content(chunk_size=1024):
f.write(block)
如何快速获取页面中的元素
关于“爬虫Scrapy框架之css选择器如何使用”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。
当前文章：爬虫Scrapy框架之css选择器如何使用-创新互联
网页网址：
http://cdkjz.cn/article/hhese.html
