我们可以通过Reddit提交新闻链接并为之投票，因此Reddit是个很好的新闻来源。但接下来的问题是：怎样才能获取每天最流行的新闻?在考虑抓取之前，我们应该先考虑目标网站有没有提供API。因为使用API完全合法，更重要的是它能提供机器可读的数据，这样就无需再分析HTML了。幸运的是Reddit提供了API。我们可以从API列表中找到所需的功能：/top。该功能可以返回Reddit或指定subreddit上最流行的新闻。接下来的问题是：这个API怎么用?仔细阅读了Reddit的文档之后，我找到了最有效的用法。第一步：在Reddit上创建一个应用。登录之后前往“preferences → apps”页面，底部有个名为“create another app...”的按钮。点击后创建一个“script”类型的应用。我们不需要提供“about url”或“redirect url”，因为这个应用不对公众开放，也不会被别人使用。
应用创建之后，可以在应用信息里找到App ID和Secret。
下个问题是如何使用App ID和Secret。由于我们只需获取指定SubReddit上最流行的新闻，而无需访问任何与用户相关的信息，所以理论上来说我们无需提供用户名或密码之类的个人信息。Reddit提供了“Application Only OAuth”的形式，通过这种方式，应用可以匿名访问公开的信息。运行下面这条命令：
>>> import praw >>> import pprint >>> reddit = praw.Reddit(client_id='OUR_CLIENT_ID', ... client_secret='OUR_SECRET', ... grant_type='client_credentials', ... user_agent='mytestscript/1.0') >>> subs = reddit.subreddit('Python').top(limit=5) >>> pprint.pprint([(s.score, s.title) for s in subs]) [(6555, 'Automate the boring stuff with python - tinder'), (4548, 'MS is considering official Python integration with Excel, and is asking for ' 'input'), (4102, 'Python Cheet Sheet for begineers'), (3285, 'We started late, but we managed to leave Python footprint on r/place!'), (2899, "Python Section at Foyle's, London")]
subs = [sub for sub in subs if not sub.domain.startswith('self.')]
我们只需要抓取该URL即可，用Requests很容易就可以做到：
for sub in subs: res = requests.get(sub.url) if (res.status_code == 200 and 'content-type' in res.headers and res.headers.get('content-type').startswith('text/html')): html = res.text
ps = root.find_all(['h3', 'h4', 'h5', 'h6', 'h7', 'p', 'pre']) ps.insert(0, h2) # add the title content = [tag2md(p) for p in ps] def tag2md(tag): if tag.name == 'p': return tag.text elif tag.name == 'h2': return f'{tag.text}\n{"=" * len(tag.text)}' elif tag.name == 'h3': return f'{tag.text}\n{"-" * len(tag.text)}' elif tag.name in ['h4', 'h5', 'h6', 'h7']: return f'{"#" * int(tag.name[1:])} {tag.text}' elif tag.name == 'pre': return f'```\n{tag.text}\n```'
完整的代码
跑一下试试：
Scraping /r/Python... - Retrieving https://imgs.xkcd.com/comics/python_environment.png x fail or not html - Retrieving https://thenextweb.com/dd/2017/04/24/universities-finally-realize-java-bad-introductory-programming-language/#.tnw_PLAz3rbJ => done, title = "Universities finally realize that Java is a bad introductory programming language" - Retrieving https://github.com/numpy/numpy/blob/master/doc/neps/dropping-python2.7-proposal.rst x fail or not html - Retrieving http://www.thedurkweb.com/sms-spoofing-with-python-for-good-and-evil/ => done, title = "SMS Spoofing with Python for Good and Evil" ...
