当前位置 博文首页 > Python中文社区：3天9亿！我爬取上万条评论解读《西虹市首富》并
作者：徐麟，目前就职于上海唯品会产品技术中心，哥大统计数据狗，从事数据挖掘&分析工作，喜欢用R&Python玩一些不一样的数据。
前言：
纵观近几年的国产电影市场，“开心麻花“似乎已经成为了票房的保证。从《夏洛特烦恼》、《羞羞的铁拳》到最新上映的《西虹市首富》都引爆了票房。本期我们会根据从猫眼电影网爬取到的上万条评论为你解读《西虹市首富》是否值得一看。
数据爬取：
此次数据爬取我们参考了之前其他文章中对于猫眼数据的爬取方法，调用其接口，每次取出部分数据并进行去重，最终得到上万条评论，代码如下：
? ?tomato = pd.DataFrame(columns=['date','score','city','comment','nick'])
? ?for i in range(0, 1000):
? ? ? ?j = random.randint(1,1000)
? ? ? ?print(str(i)+' '+str(j))
? ? ? ?try:
? ? ? ? ? ?time.sleep(2)
? ? ? ? ? ?url= 'http://m.maoyan.com/mmdb/comments/movie/1212592.json?_v_=yes&offset=' + str(j)
? ? ? ? ? ?html = requests.get(url=url).content
? ? ? ? ? ?data = json.loads(html.decode('utf-8'))['cmts']
? ? ? ? ? ?for item in data:
? ? ? ? ? ? ? ?tomato = tomato.append({'date':item['time'].split(' ')[0],'city':item['cityName'],
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?'score':item['score'],'comment':item['content'],
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?'nick':item['nick']},ignore_index=True)
? ? ? ? ? ?tomato.to_csv('西虹市首富4.csv',index=False) ? ? ? ? ? ? ? ? ? ? ? ? ?
? ? ? except:
? ? ? ? ? ?continue
数据分析：
我们看一下所得到的数据：
数据中我们可以得到用户的昵称，方便后面进行去重。后面的部分主要围绕评分、城市、评论展开。
首先看一下，评论分布热力图：
京津翼、江浙沪、珠三角等在各种榜单长期霸榜单的区域，在热力图中，依然占据着重要地位。同时，我们看到东三省和四川、重庆所在区域也有着十分高的热度，这也与沈腾自身东北人&四川女婿的身份不谋而合（以上纯属巧合，切勿较真）。
下面我们要看的是主要城市的评论数量与打分情况：
打出最高分4.77分的正是沈腾家乡的省会城市哈尔滨（沈腾出生于黑龙江齐齐哈尔），看来沈腾在黑龙江还是被广大父老乡亲所认可的。最低分和次低分来自于合肥和郑州，今后的开心麻花可以考虑引入加强在中部地区的宣传。
我们按照打分从高到底对城市进行排序：
在评论数量最多的二十个城市中，评分前七名的城市中东北独占四席，而分数相对较低的城市中武汉、合肥、郑州都属于中部地区，可见不同地区的观众对影评的认可程度有着一定差异。
我们把城市打分情况投射到地图中：（红色表示打分较高，蓝色表示较低）
进一步，我们把城市划分为评分较高和较低两部分
较高区域：
较低区域：
可以看到对于“西红柿”，南北方观众的评价存在一定差异，这与每年春晚各个地区收视率似乎有一些吻合知乎。沈腾本身也是春晚的常客，电影中自然会带一些“春晚小品味”，这似乎可以一定程度上解释我们得到的结果。
看过了评分，我们看一下评论生成的词云图，以下分别是原图和据此绘制的词云图：
不知道大家的想法如何，至少在我看到了这样的词云，搞笑、笑点、值得、开心、不错，甚至是哈哈都会激起我强烈的看片欲望。同时，沈腾也被大家反复提起多次，可以预见其在片中有着非常不错的表演，也会一定程度上激发大家看片的欲望。
部分代码展示：
热力图：
? ?tomato_com = pd.read_excel('西虹市首富.xlsx')
? ?grouped=tomato_com.groupby(['city'])
? ?grouped_pct=grouped['score'] #tip_pct列
? ?city_com = grouped_pct.agg(['mean','count'])
? ?city_com.reset_index(inplace=True)
? ?city_com['mean'] = round(city_com['mean'],2)
? ?data=[(city_com['city'][i],city_com['count'][i]) for i in range(0,
? ? ? ? ? city_com.shape[0])]
? ?geo = Geo('《西虹市首富》全国热力图', title_color="#fff",
? ? ? ? ? ? ?title_pos=
