python爬虫爬取球迷评论

python爬虫爬取球迷评论，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。

创新互联建站于2013年创立，先为宁江等服务建站，宁江等地企业，进行企业商务咨询服务。为宁江企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

这次用python爬虫爬点好玩的东西

这两天看恰好有nba决赛，是球迷的你肯定不会错过的，更何况今年的西部决赛是火箭对战勇士，今年的火箭是很强的，因为没到关键时候总会有人站出来。当然，勇士也是挺强的，毕竟不能小看库里杜兰特等四大巨头。

东部的决赛我就不太知道了，一直以为是凯尔特人会苦战骑士，谁知道缺了两大主力的凯尔特人还是很强，而且还打了骑士2：0，看来这次的骑士会是凶多吉少了，不知道凯尔特人会不会成功复仇，让我们拭目以待吧！

有直播就肯定有评论，所以我想爬取下球迷评论，看看他们都在聊什么！

准备工作

需要用到的库：

    requests：用于网络请求

    jieba：用于分词

    wordcloud：制作词云图

    numpy：制作背景图片

词云背景图片：

上面的库都是可以直接用pip进行下载的，但是wordcloud会报错，报错如下：

我们需要去官网下载whl文件进行手动安装

官网：https://www.lfd.uci.edu/~gohlke/pythonlibs/

然后找到对应自己安装的python版本进行下载

最后在命令行下安装即可

pip install “文件路径+whl文件名”

接下来寻找目标网页

文字直播地址：https://www.zhibo8.cc/zhibo/nba/2018/0517123898.htm?redirect=zhibo

在这个网页通过抓包（按下f12）课知道下面这个链接是返回评论信息，而且是个json

链接为：https://cache.zhibo8.cc/json/2018/nba/0517123898_384.htm?key=0.6512348313080727

通过多次分析知道上面加粗的是直播间的信息，后面的下划线之后的是评论的页数，最后的key参数是个随机数，带不带上进行请求都没有关系

用代码来获取评论信息

def __get_json(self, index):
       url = 'https://cache.zhibo8.cc/json/2018/nba/0517123898_%d.htm?key=0.1355540028791382' % index
       response = requests.get(url)
       if response.status_code == 200:
           for item in response.json():
               # 写入文件
               self.__write_file(item['content'])
               self.num += 1
           return 1
       else:
           return 0

评论信息有了，接着弄张词云图

def __get_wordcloud(self):
       with open('comments.txt', 'r', encoding='utf-8') as comments:
           text = comments.read()  # 加载数据
           words = ' '.join(jieba.cut(text, cut_all=True))  # 采用结巴全分词模式
           image = np.array(Image.open('1.jpg'))  # 背景图片
           # 初始化词云
           wc = WordCloud(font_path=r'C:\Windows\Fonts\simkai.ttf',
                          background_color='white', mask=image,
                          max_font_size=100, max_words=2000)
           wc.generate(words)  # 生成词云
           wc.to_file('img.png')  # 生成图片
           image_file = Image.open('img.png')  # 打开图片
           image_file.show()

好了，代码完成，看下效果：

利用词云图一眼就可以看出球迷都在评论什么了，因为我爬取的是火箭主场对战勇士的第二场比赛，肯定讨论最多的就是勇士火箭了，紧接的就是杜兰特了，死亡之神，这场的杜兰特超神拿了38分还是输给了火箭，自然而然就是讨论他最多了。还有就是这场站出来的塔克，三分6中5，还破了个人季后赛的最高得分，讨论他也是很正常的事。还有一个很显眼的就是第三节，很多人都认为勇士是“勇三疯”，以为这场比赛勇士会在第三节爆发吧？其实这赛季的火箭第三节也是很强的，并不比勇士弱。

看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注创新互联行业资讯频道，感谢您对创新互联的支持。