python编译练习，为了将自己学习过的知识用上，自己找了很多资料。所以想做一个简单的爬虫，代码不会超过60行。主要用于爬取的古诗文网站没有什么限制而且网页排布很规律，没有什么特别的东西，适合入门级别的爬虫。
按需策划可以根据自己的需求进行定制，做网站、
成都网站建设构思过程中功能建设理应排到主要部位公司做网站、
成都网站建设的运用实际效果公司网站制作网站建立与制做的实际意义
抓取目标站点的准备工作
Python的版本是：3.4.3.
爬取的目标是： 古诗文网(www.xzslx.net)
随意打开一个古诗文网的古诗页面，查看它的网页地址就能看到，古诗的地址基本是 “www.xzslx.net/shi/+ id + .html” 构成，如下图：
然后对古诗文网的古诗总览页面可以看到分页符 最下方：
总共包括29830篇古诗文可以抓取，确定了”/shi/”后面数字的范围。
html页面解析库：BeautifulSoup
安装方式是: $pip3 install BeautifulSoup4
主要参考文献：《python网络数据采集》第一、二章
代码解析：
#!usr/bin/python3
# -*- coding:utf-8 -*-
import re
from urllib.request import urlopen
from urllib.erroe import HTTPError
from bs4 import BeautifulSoup
def getPage(url) :
try :
html = urlopen(url)
except HTTPError as e :
return None
try :
bsObj = BeautifulSoup(html)
except AttributeError as e :
return None
return bsObj
def getUrl(pg) :
return ''.join(('http://www.xzslx.net/shi/', str(pg),'.html'))
f = open('./result.txt', 'wt')
for pg in range(0, 49149) :
html = getPage(getUrl(pg))
cont = (html.findAll('div', {'class' : 'son2'}))
if cont != None and len(cont) > 1 :
cont = cont[1].get_text()
poem = cont[cont.find('原文：') + 4:]
sentList = re.findall(r'(.*?[。！？])', poem)
for sentc in sentList :
if '月' in sentc :
print (sentc, '\t--- <', html.find('h2').get_text(), '>', file = f)
print ('--- page', pg, ' dealed ---')getPage(url) 函数的主要参考请看《python网络数据采集》第9页里面的代码。采用try...catch...防止采集的页面是发生异常而导致爬虫终止。
getUrl(pg) 函数主要是方便url的组成，了解join()函数是python的基础，很简单不用细说。
open() 函数用于打开文档，这里我打开一个 result.txt 的文档存放爬取的结果。
名为html的变量代表的是一个通过getPage()函数获取的BeautifulSoup对象，观察原页面可发现诗歌内容存放在一个属性“class = ‘son2’”的div内，而且是html文档中第二个这样的标签(第一个这样的标签是搜索框)。
使用get_text()函数获取 的文字内容，整首诗存放在“原文：”的后面，故在所获的内容中找到”原文：”的位置并向后偏移3个位置加一个换行符总共4个字符，便得到了原诗的内容。
诗歌的单句以“。”， “！”， “？”结尾，故将诗句拆分成单句的正则表达式为 '(.*?[。！？])' , “.*?” 表示python正则中的非贪婪模式，[]内的内容表示任选其一，()则是为了找到匹配结果并存放。
得到单句以后只需要判断”月”字是否在诗句中即可，有则输出到result.txt 中，没有则判断下一句。
print ('---page', pg, 'dealed---') 在命令行里输出爬取的状态，方便目测爬取的进度。
最后的结果是：
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
网页标题：Python网络爬虫：爬取古诗文中的某个制定诗句来实现搜索-创新互联
文章起源：
http://cdkjz.cn/article/ispce.html
