资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

Python爬虫:爬取小说并存储到数据库-创新互联

爬取小说网站的小说,并保存到数据库

十余年的左权网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。营销型网站的优势是能够根据用户设备显示端的尺寸不同,自动调整左权建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。成都创新互联从事“左权网站设计”,“左权网站推广”以来,每个客户项目都认真落实执行。

第一步:先获取小说内容

#!/usr/bin/python # -*- coding: UTF-8 -*- import urllib2,re domain = 'http://www.quanshu.net' headers = {     "User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36" } def getTypeList(pn=1): #获取分类列表的函数     req = urllib2.Request('http://www.quanshu.net/map/%s.html' % pn) #实例将要请求的对象     req.headers = headers  #替换所有头信息     #req.add_header() #添加单个头信息     res = urllib2.urlopen(req)   #开始请求     html = res.read().decode('gbk')  #decode解码,解码成Unicode     reg = r'(.*?)'     reg = re.compile(reg) #增加匹配效率  正则匹配返回的类型为List     return re.findall(reg,html) def getNovelList(url):  #获取章节列表函数     req = urllib2.Request(domain + url)     req.headers = headers     res = urllib2.urlopen(req)     html = res.read().decode('gbk')     reg = r'
  • (.*?)
  • '     reg = re.compile(reg)     return re.findall(reg,html) def getNovelContent(url):  #获取章节内容     req = urllib2.Request(domain + url)     req.headers = headers     res = urllib2.urlopen(req)     html = res.read().decode('gbk')     reg = r'style5\(\);(.*?)style6\(\)'     return re.findall(reg,html)[0] if __name__ == '__main__':     for type in range(1,10):         for url,title in getTypeList(type):             for zurl,ztitle in getNovelList(url):                 print u'正则爬取----%s' %ztitle                 content = getNovelContent(url.replace('index.html',zurl))                 print content             break         break

    执行后结果如下:

    Python爬虫:爬取小说并存储到数据库

    第二步:存储到数据库

    1、设计数据库

    1.1 新建库:novel

    Python爬虫:爬取小说并存储到数据库

    1.2 设计表:novel

    Python爬虫:爬取小说并存储到数据库

    1.3 设计表:chapter

    Python爬虫:爬取小说并存储到数据库

    并设置外键

    Python爬虫:爬取小说并存储到数据库

    2、编写脚本

    #!/usr/bin/python # -*- coding: UTF-8 -*- import urllib2,re import MySQLdb class Sql(object):     conn = MySQLdb.connect(host='192.168.19.213',port=3306,user='root',passwd='Admin123',db='novel',charset='utf8')     def addnovels(self,sort,novelname):         cur = self.conn.cursor()         cur.execute("insert into novel(sort,novelname) values(%s , '%s')" %(sort,novelname))         lastrowid = cur.lastrowid         cur.close()         self.conn.commit()         return lastrowid     def addchapters(self,novelid,chaptername,content):         cur = self.conn.cursor()         cur.execute("insert into chapter(novelid,chaptername,content) values(%s , '%s' ,'%s')" %(novelid,chaptername,content))         cur.close()         self.conn.commit() domain = 'http://www.quanshu.net' headers = {     "User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36" } def getTypeList(pn=1): #获取分类列表的函数     req = urllib2.Request('http://www.quanshu.net/map/%s.html' % pn) #实例将要请求的对象     req.headers = headers  #替换所有头信息     #req.add_header() #添加单个头信息     res = urllib2.urlopen(req)   #开始请求     html = res.read().decode('gbk')  #decode解码,解码成Unicode     reg = r'(.*?)'     reg = re.compile(reg) #增加匹配效率  正则匹配返回的类型为List     return re.findall(reg,html) def getNovelList(url):  #获取章节列表函数     req = urllib2.Request(domain + url)     req.headers = headers     res = urllib2.urlopen(req)     html = res.read().decode('gbk')     reg = r'
  • (.*?)
  • '     reg = re.compile(reg)     return re.findall(reg,html) def getNovelContent(url):  #获取章节内容     req = urllib2.Request(domain + url)     req.headers = headers     res = urllib2.urlopen(req)     html = res.read().decode('gbk')     reg = r'style5\(\);(.*?)style6\(\)'     return re.findall(reg,html)[0] mysql = Sql() if __name__ == '__main__':     for sort in range(1,10):         for url,title in getTypeList(sort):             lastrowid = mysql.addnovels(sort, title)             for zurl,ztitle in getNovelList(url):                 print u'正则爬取----%s' %ztitle                 content = getNovelContent(url.replace('index.html',zurl))                 print u'正在存储----%s' %ztitle                 mysql.addchapters(lastrowid,ztitle,content)

    3、执行脚本

    Python爬虫:爬取小说并存储到数据库

    4、查看数据库

    Python爬虫:爬取小说并存储到数据库

    Python爬虫:爬取小说并存储到数据库

    可以看到已经存储成功了。

    报错:

    _mysql_exceptions.OperationalError: (1364, "Field 'novelid' doesn't have a default value")

    解决:执行sql语句

    SELECT @@GLOBAL.sql_mode;

    SET @@GLOBAL.sql_mode="NO_ENGINE_SUBSTITUTION";

    Python爬虫:爬取小说并存储到数据库

    报错参考:http://blog.sina.com.cn/s/blog_6d2b3e4901011j9w.html

    另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


    标题名称:Python爬虫:爬取小说并存储到数据库-创新互联
    文章起源:http://cdkjz.cn/article/dspodp.html
    多年建站经验

    多一份参考,总有益处

    联系快上网,免费获得专属《策划方案》及报价

    咨询相关问题或预约面谈,可以通过以下方式与我们联系

    大客户专线   成都:13518219792   座机:028-86922220