评论

收藏

[python] Python分析44130条用户观影数据,挖掘用户与电影之间的隐藏信息!

编程语言 编程语言 发布于:2021-06-29 10:45 | 阅读数:558 | 评论:0

01、前言

  很多电影也上映,看电影前很多人都喜欢去  『豆瓣』** 看影评,所以我爬取44130条 **『豆瓣』** 的用户观影数据,分析**用户之间**的关系,**电影之间**的联系,以及**用户和电影之间的隐藏关系。

DSC0000.jpg
02、爬取观影数据

数据来源
https://movie.douban.com/
DSC0001.jpg
  在**『豆瓣』**平台爬取用户观影数据。

爬取用户列表

网页分析

  
DSC0002.jpg

  为了获取用户,我选择了其中一部电影的影评,这样可以根据评论的用户去获取其用户名称(后面爬取用户观影记录只需要****『用户名称』****)。
https://movie.douban.com/subject/24733428/reviews?start=0
  url中start参数是页数(page*20,每一页20条数据),因此start=0、20、40...,也就是20的倍数**,通过改变start参数值就可以获取这**4614条用户的名称。

DSC0003.jpg
  查看网页的标签,可以找到****『用户名称』****值对应的标签属性。

编程实现
i=0
url = "https://movie.douban.com/subject/24733428/reviews?start=" + str(i * 20)
r = requests.get(url, headers=headers)
r.encoding = 'utf8'
s = (r.content)
selector = etree.HTML(s)
 
 
for item in selector.xpath('//*[@class="review-list  "]/div'):
  userid = (item.xpath('.//*[@class="main-hd"]/a[2]/@href'))[0].replace("https://www.douban.com/people/","").replace("/", "")
  username = (item.xpath('.//*[@class="main-hd"]/a[2]/text()'))[0]
  print(userid)
  print(username)
  print("-----")
DSC0004.jpg
爬取用户的观影记录

上一步爬取到**『用户名称』****,接着爬取用户观影记录需要用到****『用户名称』。**
网页分析

  
DSC0005.jpg


DSC0006.jpg
#https://movie.douban.com/people/{用户名称}/collect?start=15&sort=time&rating=all&filter=all&mode=grid
https://movie.douban.com/people/mumudancing/collect?start=15&sort=time&rating=all&filter=all&mode=grid
  通过改变**『用户名称』**,可以获取到不同用户的观影记录。
  url中start参数是页数(page*15,每一页15条数据),因此start=0、15、30...,也就是15的倍数**,通过改变start参数值就可以获取这**1768条观影记录称。

DSC0007.jpg
  查看网页的标签,可以找到**『电影名』**值对应的标签属性。

编程实现
url = "https://movie.douban.com/people/mumudancing/collect?start=15&sort=time&rating=all&filter=all&mode=grid"
r = requests.get(url, headers=headers)
r.encoding = 'utf8'
s = (r.content)
selector = etree.HTML(s)
for item in selector.xpath('//*[@class="grid-view"]/div[@class="item"]'):
  text1 = item.xpath('.//*[@class="title"]/a/em/text()')
  text2 = item.xpath('.//*[@class="title"]/a/text()')
  text1 = (text1[0]).replace(" ", "")
  text2 = (text2[1]).replace(" ", "").replace("\n", "")
  print(text1+text1)
  print("-----")
DSC0008.jpg
保存到excel

定义表头
# 初始化execl表
def initexcel(filename):
  # 创建一个workbook 设置编码
  workbook = xlwt.Workbook(encoding='utf-8')
  # 创建一个worksheet
  worksheet = workbook.add_sheet('sheet1')
  workbook.save(str(filename)+'.xls')
  ##写入表头
  value1 = [["用户", "影评"]]
  book_name_xls = str(filename)+'.xls'
  write_excel_xls_append(book_name_xls, value1)
  excel表有两个标题(用户, 影评)

写入excel
# 写入execl
def write_excel_xls_append(path, value):
  index = len(value)  # 获取需要写入数据的行数
  workbook = xlrd.open_workbook(path)  # 打开工作簿
  sheets = workbook.sheet_names()  # 获取工作簿中的所有表格
  worksheet = workbook.sheet_by_name(sheets[0])  # 获取工作簿中所有表格中的的第一个表格
  rows_old = worksheet.nrows  # 获取表格中已存在的数据的行数
  new_workbook = copy(workbook)  # 将xlrd对象拷贝转化为xlwt对象
  new_worksheet = new_workbook.get_sheet(0)  # 获取转化后工作簿中的第一个表格
  for i in range(0, index):
    for j in range(0, len(value[i])):
      new_worksheet.write(i+rows_old, j, value[i][j])  # 追加写入数据,注意是从i+rows_old行开始写入
  new_workbook.save(path)  # 保存工作簿
  定义了写入excel函数,这样爬起每一页数据时候调用写入函数将数据保存到excel中。

DSC0009.jpg
  最后采集了44130条数据(原本是4614个用户,每个用户大约有500~1000条数据,预计400万条数据**)。但是为了演示分析过程,只爬取每一个用户的前30条观影记录(**因为前30条是最新的)。
  最后这44130条数据会在下面分享给大家

03、数据分析挖掘

读取数据集
def read_excel():
  # 打开workbook
  data = xlrd.open_workbook('豆瓣.xls')
  # 获取sheet页
  table = data.sheet_by_name('sheet1')
  # 已有内容的行数和列数
  nrows = table.nrows
  datalist=[]
  for row in range(nrows):
    temp_list = table.row_values(row)
    if temp_list[0] != "用户" and temp_list[1] != "影评":
      data = []
      data.append([str(temp_list[0]), str(temp_list[1])])
      datalist.append(data)
  return datalist
DSC00010.jpg
  从豆瓣.xls中读取全部数据放到datalist集合中。

分析1:电影观看次数排行
###分析1:电影观看次数排行
def analysis1():
  dict ={}
  ###从excel读取数据
  movie_data = read_excel()
  for i in range(0, len(movie_data)):
    key = str(movie_data[i][0][1])
    try:
      dict[key] = dict[key] +1
    except:
      dict[key]=1
  ###从小到大排序
  dict = sorted(dict.items(), key=lambda kv: (kv[1], kv[0]))
  name=[]
  num=[]
  for i in range(len(dict)-1,len(dict)-16,-1):
    print(dict[i])
    name.append(((dict[i][0]).split("/"))[0])
    num.append(dict[i][1])
  plt.figure(figsize=(16, 9))
  plt.title('电影观看次数排行(高->低)')
  plt.bar(name, num, facecolor='lightskyblue', edgecolor='white')
  plt.savefig('电影观看次数排行.png')
DSC00011.jpg
分析


  • 由于用户信息来源于 『心灵奇旅』 评论,因此其用户观看量最大。
  • 最近的热播电影中,播放量排在第二的是 『送你一朵小红花』,信条和拆弹专家2也紧跟其后。
  
分析2:用户画像(用户观影相同率最高)

###分析2:用户画像(用户观影相同率最高)
def analysis2():
  dict = {}
  ###从excel读取数据
  movie_data = read_excel()
 
 
  userlist=[]
  for i in range(0, len(movie_data)):
    user = str(movie_data[i][0][0])
    moive = (str(movie_data[i][0][1]).split("/"))[0]
    #print(user)
    #print(moive)
 
 
    try:
      dict[user] = dict[user]+","+str(moive)
    except:
      dict[user] =str(moive)
      userlist.append(user)
 
 
  num_dict={}
  # 待画像用户(取第一个)
  flag_user=userlist[0]
  movies = (dict[flag_user]).split(",")
  for i in range(0,len(userlist)):
    #判断是否是待画像用户
    if flag_user != userlist[i]:
      num_dict[userlist[i]]=0
      #待画像用户的所有电影
      for j in range(0,len(movies)):
        #判断当前用户与待画像用户共同电影个数
        if movies[j] in dict[userlist[i]]:
          # 相同加1
          num_dict[userlist[i]] = num_dict[userlist[i]]+1
  ###从小到大排序
  num_dict = sorted(num_dict.items(), key=lambda kv: (kv[1], kv[0]))
  #用户名称
  username = []
  #观看相同电影次数
  num = []
  for i in range(len(num_dict) - 1, len(num_dict) - 9, -1):
    username.append(num_dict[i][0])
    num.append(num_dict[i][1])
 
 
  plt.figure(figsize=(25, 9))
  plt.title('用户画像(用户观影相同率最高)')
  plt.scatter(username, num, color='r')
  plt.plot(username, num)
  plt.savefig('用户画像(用户观影相同率最高).png')
DSC00012.jpg
分析

  以用户 『mumudancing』 为例进行用户画像

  • 从图中可以看出,与用户 『mumudancing』 观影相同率最高的是:“请带我回布拉格”,其次是“李校尉”。

  • 用户:'绝命纸牌', '笨小孩', '私享史', '温衡', '沈唐', '修左',的观影相同率****相同
  
分析3:用户之间进行电影推荐

###分析3:用户之间进行电影推荐(与其他用户同时被观看过)
def analysis3():
  dict = {}
  ###从excel读取数据
  movie_data = read_excel()
 
 
  userlist=[]
  for i in range(0, len(movie_data)):
    user = str(movie_data[i][0][0])
    moive = (str(movie_data[i][0][1]).split("/"))[0]
    #print(user)
    #print(moive)
 
 
    try:
      dict[user] = dict[user]+","+str(moive)
    except:
      dict[user] =str(moive)
      userlist.append(user)
 
 
  num_dict={}
  # 待画像用户(取第2个)
  flag_user=userlist[0]
  print(flag_user)
  movies = (dict[flag_user]).split(",")
  for i in range(0,len(userlist)):
    #判断是否是待画像用户
    if flag_user != userlist[i]:
      num_dict[userlist[i]]=0
      #待画像用户的所有电影
      for j in range(0,len(movies)):
        #判断当前用户与待画像用户共同电影个数
        if movies[j] in dict[userlist[i]]:
          # 相同加1
          num_dict[userlist[i]] = num_dict[userlist[i]]+1
  ###从小到大排序
  num_dict = sorted(num_dict.items(), key=lambda kv: (kv[1], kv[0]))
 
 
  # 去重(用户与观影率最高的用户两者之间重复的电影去掉)
  user_movies = dict[flag_user]
  new_movies = dict[num_dict[len(num_dict)-1][0]].split(",")
  for i in range(0,len(new_movies)):
    if new_movies[i] not in user_movies:
      print("给用户("+str(flag_user)+")推荐电影:"+str(new_movies[i]))
DSC00013.jpg
分析

  以用户 『mumudancing』** 为例,对用户之间进行**电影推荐

  • 根据与用户 『mumudancing』 观影率最高的用户(A)进行进行关联,然后获取用户(A)的全部观影记录

  • 将用户(A)的观影记录推荐给用户 『mumudancing』(去掉两者之间重复的电影)。
  
分析4:电影之间进行电影推荐

###分析4:电影之间进行电影推荐(与其他电影同时被观看过)
def analysis4():
  dict = {}
  ###从excel读取数据
  movie_data = read_excel()
 
 
  userlist=[]
  for i in range(0, len(movie_data)):
    user = str(movie_data[i][0][0])
    moive = (str(movie_data[i][0][1]).split("/"))[0]
    try:
      dict[user] = dict[user]+","+str(moive)
    except:
      dict[user] =str(moive)
      userlist.append(user)
 
 
  movie_list=[]
  # 待获取推荐的电影
  flag_movie = "送你一朵小红花"
  for i in range(0,len(userlist)):
    if flag_movie in dict[userlist[i]]:
       moives = dict[userlist[i]].split(",")
       for j in range(0,len(moives)):
         if moives[j] != flag_movie:
           movie_list.append(moives[j])
 
 
  data_dict = {}
  for key in movie_list:
    data_dict[key] = data_dict.get(key, 0) + 1
 
 
  ###从小到大排序
  data_dict = sorted(data_dict.items(), key=lambda kv: (kv[1], kv[0]))
  for i in range(len(data_dict) - 1, len(data_dict) -16, -1):
      print("根据电影"+str(flag_movie)+"]推荐:"+str(data_dict[i][0]))
DSC00014.jpg
分析

  以电影 『送你一朵小红花』** 为例,对电影之间进行**电影推荐

  • 获取观看过 『送你一朵小红花』 的所有用户,接着获取这些用户各自的观影记录。

  • 将这些观影记录进行统计汇总(去掉“**送你一朵小红花****”),然后进行从高到低进行排序,最后可以获取到与电影 **『送你一朵小红花』** **关联度最高排序的集合。

  • 关联度最高的前15部电影给用户推荐。
  
04、总结



  • 分析爬取豆瓣平台数据思路**,并**编程实现
2.  对爬取的数据进行分析(电影观看次数排行**、**用户画像**、**用户之间进行电影推荐**、**电影之间进行电影推荐
分享到: QQ好友和群QQ好友和群
评论

使用道具 举报

0 经验
1087 文档