创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商，新人活动买多久送多久，划算不套路！
创新互联建站网站建设提供从项目策划、软件开发，软件安全维护、网站优化(SEO)、网站分析、效果评估等整套的建站服务，主营业务为
成都网站设计、网站建设，
手机APP定制开发以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。
创新互联建站深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！
这篇文章主要介绍python爬取简书网文章的方法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！
python爬取简书网文章的步骤：
1、准备工作，创建scrapy爬虫，建立数据库和表
# 打开 CMD 或者终端到一个指定目录
# 新建一个项目
scrapy startproject jianshu_spider
cd jianshu_spider
# 创建一个爬虫
scrapy genspider -t crawl jianshu "jianshu.com"
2、爬取思路，检查网页的所有href属性，获取文章链接地址
3、代码实现，解析主页网址获取文章链接，构建item模型保存数据，将获取的数据保存到数据库中
第一步是指定开始爬取的地址和爬取规则。
allowed_domains = ['jianshu.com']
start_urls = ['https://www.jianshu.com/']
rules = ( # 文章id是有12位小写字母或者数字0-9构成
Rule(LinkExtractor(allow=r'.*/p/[0-9a-z]{12}.*'), callback='parse_detail', follow=True), )第二步是拿到下载器下载后的数据 Response，利用 Xpath 语法获取有用的数据。这里可以使用「 Scrapy shell url 」去测试数据是否获取正确。
# 获取需要的数据
title = response.xpath('//h2[@class="title"]/text()').get()
author = response.xpath('//div[@class="info"]/span/a/text()').get()
avatar = self.HTTPS + response.xpath('//div[@class="author"]/a/img/@src').get()
pub_time = response.xpath('//span[@class="publish-time"]/text()').get().replace("*", "")
current_url = response.url real_url = current_url.split(r"?")[0]
article_id = real_url.split(r'/')[-1]
content = response.xpath('//div[@class="show-content"]').get()然后构建 Item 模型用来保存数据。
import scrapy
# 文章详情Itemclass ArticleItem(scrapy.Item):
title = scrapy.Field()
content = scrapy.Field()
# 文章id
article_id = scrapy.Field()
# 原始的url
origin_url = scrapy.Field()
# 作者
author = scrapy.Field()
# 头像
avatar = scrapy.Field()
# 发布时间
pubtime = scrapy.Field()
第三步是将获取的数据通过 Pipline 保存到数据库中。
# 数据库连接属性
db_params = {
'host': '127.0.0.1',
'port': 3306,
'user': 'root',
'password': 'root',
'database': 'jianshu',
'charset': 'utf8'
}
# 数据库【连接对象】
self.conn = pymysql.connect(**db_params)# 执行 sql 语句
self.cursor.execute(self._sql,(item['title'],item['content'],item['author'],item['avatar'],item['pubtime'],item['article_id'],item['origin_url']))
# 插入到数据库中
self.conn.commit()
# 关闭游标资源
self.cursor.close()
执行结果如下：
以上是python爬取简书网文章的方法的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联-成都网站建设公司行业资讯频道！
当前文章：python爬取简书网文章的方法-创新互联
分享链接：
http://cdkjz.cn/article/gsggi.html
