下次就带岳母去这些地方玩——Python 爬虫在 Power BI 中的运用

2020-04-14 23:54:23 ⋅ 2516 ⋅ 1 ⋅ 0

北京这么大，景点这么多，当被媳妇儿问“下周带我妈去哪儿玩？”屏幕前的你是不是也慌得一比？？？

一番冥思苦想之后，作为Power BI深度用户的小编我自然又绕了回来--能不能用Power BI解决这个问题呢？

又一番冥思苦想之后，小编认为：可以！

且看下文如何分解：

Step1：网页分析

分析去某儿网的网点结构，决定爬取哪些信息，景点名称，星级，排名，游客评论数量，攻略数量，经纬度（html里面有）

file

Step2：编写爬虫代码

用requests返回网页信息，再用BeautifulSoup解析网页（考虑尾页很多景点星级数据都为0，只取了前二十页）

import requests

import pandas as pd

from bs4 import BeautifulSoup

import numpy as np

name,lat,lng,star,strategy,comment=[ ],[ ],[ ],[ ],[ ],[ ]

for i in range(1,21): #只取前20页，每页展示10个景点

url='http://travel.qunar.com/p-cs299914-beijing-jingdian-1-%s'%i

r=requests.get(url)

soup=BeautifulSoup(r.text,'lxml')

ul=soup.find('ul',class_='list_itemclrfix')

li=ul.find_all('li')

for i in range(len(li)):

name.append(li[i].find('span',class_="cn_tit").text) #提取景点名称

lat.append(li[i]['data-lat']) #提取纬度

lng.append(li[i]['data-lng']) #提取经度

star.append(li[i].find('span',class_="cur_star")['style']) #提取星级

strategy.append(li[i].find('div',class_="strategy_sum").text) #提取攻略数量

comment.append(li[i].find('div',class_="comment_sum").text) #提取评论数量

Attractions=pd.DataFrame({'景点名称':name,'纬度':lat,'经度':lng,'评级':star,'评论数':comment,'攻略数':strategy})

print(Attractions)

Step3：代码植入PowerBI

获取数据-其他-Python脚本，粘贴脚本

file