爬取链家二手房源信息
为企业提供成都网站建设、
成都网站制作、网站优化、
网络营销推广、竞价托管、品牌运营等营销获客服务。
成都创新互联公司拥有网络营销运营团队，以丰富的互联网营销经验助力企业精准获客，真正落地解决中小企业营销获客难题，做到“让获客更简单”。自创立至今，成功用技术实力解决了企业“网站建设、网络品牌塑造、网络营销”三大难题，同时降低了营销成本，提高了有效客户转化率，获得了众多企业客户的高度认可！
import requests
import re
from bs4 import BeautifulSoup
import csv
url = ['https://cq.lianjia.com/ershoufang/']
for i in range(2,101):
url.append('https://cq.lianjia.com/ershoufang/pg%s/'%(str(i)))
# 模拟谷歌浏览器
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
for u in url:
r = requests.get(u,headers=headers)
soup = BeautifulSoup(r.text,'lxml').find_all('li', class_='clear LOGCLICKDATA')
for i in soup:
ns = i.select('div[class="positionInfo"]')[0].get_text()
region = ns.split('-')[1].replace(' ','').encode('gbk')
rem = ns.split('-')[0].replace(' ','').encode('gbk')
ns = i.select('div[class="houseInfo"]')[0].get_text()
xiaoqu_name = ns.split('|')[0].replace(' ','').encode('gbk')
huxing = ns.split('|')[1].replace(' ','').encode('gbk')
pingfang = ns.split('|')[2].replace(' ','').encode('gbk')
chaoxiang = ns.split('|')[3].replace(' ','').encode('gbk')
zhuangxiu = ns.split('|')[4].replace(' ','').encode('gbk')
danjia = re.findall("\d+",i.select('div[class="unitPrice"]')[0].string)[0]
zongjia = i.select('div[class="totalPrice"]')[0].get_text().encode('gbk')
out=open("/data/data.csv",'a')
csv_write=csv.writer(out)
data = [region,xiaoqu_name,rem,huxing,pingfang,chaoxiang,zhuangxiu,danjia,zongjia]
csv_write.writerow(data)
out.close()数据结果
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
分享名称：Python简单爬虫-创新互联
网页链接：
http://cdkjz.cn/article/iijjd.html
