利用数据可视化手段，全面解析豆瓣影评的趋势与观众偏好 (利用数据可视化技术可以使数据分析的结果更清晰的展示)

引言

在当今数字化时代，海量的数据包围着我们的生活，如何从中提取有价值的信息成为一项重要的任务。豆瓣，作为一个集影评、评分、讨论于一体的社交平台，吸引了大量电影和电视剧爱好者。在这个平台上，用户通过影评表达对影视作品的看法，而这些数据背后蕴藏着丰富的观众偏好和市场趋势。利用数据可视化手段，我们可以更直观、全面地解析豆瓣影评的趋势与观众偏好。

数据可视化技术概述

数据可视化是将复杂的数据以图表、地图、图形等形式展现出来的一种技术，旨在帮助人们更好地理解、分析和解释数据。在分析豆瓣影评时，可以使用柱状图、饼图、折线图等多种可视化方式，有助于我们识别出影评的数量变化、评分分布、受欢迎的影视类型等关键信息。

豆瓣影评趋势的基本分析

通过对豆瓣影评的时间序列数据进行分析，我们可以观察到影评数量的变化趋势。一部新上映的电影或电视剧通常会在短时间内获得大量的观众反馈，这些反馈不仅包括评分，还包括用户撰写的影评。这些数据可以通过折线图展示，帮助我们了解观众对影视作品的关注度随时间的变化。

例如，某部热门电影在上映初期往往会出现影评数量的激增，随后随着时间的推移，影评数量逐渐趋于平稳。这一趋势可能反映了观众的观影热情和口碑传播的效果。在数据可视化中，我们还可以通过不同时间段的影评数量进行对比分析，从而了解不同类型影视作品的受欢迎程度。

观众偏好的细致探讨

除了影评数量的变化，豆瓣影评中用户的评分也提供了重要的观众偏好信息。通过将评分数据进行分布可视化，如箱形图或评分热力图，我们可以清晰地看到不同影视作品的评分差异和观众的普遍评价。

例如，某些类型的电影，如喜剧和动作片，往往能获得较高的评分，而文艺片或纪录片的评分可能相对较低，但其观众群体却非常忠实。这种现象反映了观众在选择影视作品时，不同的心理预期和文化品位。通过分类可视化，我们能够深入分析不同类型影视作品的受众特征和喜好，从而为电影制作者和发行方提供重要的市场反馈。

影评内容的情感分析

影评除了评分之外，内容的情感倾向也是了解观众偏好的重要方面。借助自然语言处理（NLP）技术，我们可以对影评进行情感分析，提取出积极、消极和中立的情感信息。将这些情感数据可视化后，可以发现哪些作品在观众心中留下了深刻的印象，以及观众对特定元素（如剧情、演员表演、特效等）的情感倾向。

例如，通过对某部新上映的影片进行情感分析，我们可能会发现观众对于影片的视觉效果给予了高度评价，但对剧情的构建表现出较多的负面情绪。这种分析能够帮助制片方及时调整宣传策略，或者在后续的创作中改进不足之处。

不同人群的观看习惯与反馈

观众的年龄、性别、职业等因素会影响他们对影视作品的评价与偏好。通过对影评人群进行聚类分析，并将不同类别的观众评价数据进行可视化，我们可以更准确地识别出哪些影视作品对特定人群更具吸引力。例如，年轻观众可能更倾向于观看轻松愉快的喜剧，而中老年观众则可能更喜欢情感丰富的剧情片。

此类分析不仅能够为影视作品的市场推广提供指导，也能为制片方在创作时考虑受众的偏好提供参考。在数据可视化中，利用条形图或雷达图对不同人群的评分和评论进行对比，可以清晰地展示出不同观众群体的特点与需求。

总结与展望

利用数据可视化技术对豆瓣影评进行全面分析，不仅能够帮助我们识别影评的趋势、观众偏好以及情感倾向，还能够揭示不同人群的观看习惯。这一过程不仅为影视行业的从业者提供了具有指导意义的市场反馈，也为观众选择影视作品时提供了有价值的信息参考。

随着技术的发展，我们可以期待将更多的数据分析工具与可视化技术结合应用于影视行业，为观众和制片方之间架起沟通的桥梁，推动影视产业的创新与发展。

抓取了《大秦赋》所有数据，我发现了这些秘密

前言

最近大火的电视剧《大秦赋》，给朋友圈的小伙伴都拉回到那个风云激荡的春秋战国时期，大家都在热情的讨论着大秦一统，秦始皇嬴政、商人吕不韦的那些尔虞我诈、恩怨情仇。

那到底小伙伴们都在讨论什么，对 历史 人物有什么看法，对《大秦赋》这部电视剧剧情和角色有什么点评？于是我用Python爬取了《大秦赋》下所有的评论数据，进行了一波分析。

1、 数据抓取

巧妇难为无米之炊，我们首先要做的第一步是想办法抓取到评论数据。

这里我们抓取的是豆瓣网上关于《大秦赋》的所有评论数据，选择豆瓣网原因很简单，首先是数据比较齐全，其次反爬难度并不大。

其次来说下技术栈，用的是Scrapy+JSON的方式实现的。

Scrapy框架有脚手架功能，帮我们实现了一个爬虫大部分的功能，我们只要专心于数据解析和存储即可，也是我做爬虫的首选框架。

第一步是通过`Scrapy`命令创建一个项目和爬虫：

在开始编写爬虫之前，先来看下请求的url，这里我们找到《大秦赋》的评论链接是：

，其中start是获取评论的起始位置，limit代表获取多少条评论数据。

在获取完一页数据后，只要再获取下一页的url，然后重复发送请求即可。

了解以上两点后，就可以开始写代码了。

当然前提是要对数据的提取比较熟悉，数据提取常用的有BeautifulSoup/Xpath/正则等方式，这里我们用性能和可阅读性都比较好的提取规则——xpath来进行解析。

爬虫部分代码如下：

关于提取规则，这里不再赘述，感兴趣的小伙伴，后台回复：

大秦赋 ，可以获取完整代码。

爬取规则写好后，会构建一个item对象，这个item对象在yield过去后会发送给pipeline，然后我们在pipeline中把他保存到起来即可。相关代码如下：

这样，我们通过在命令行输入：scrapy crawl qin，即可运行我们的代码了。

2、数据分析：

抓取了评论数据后，我们开始来进行一些分析。

首先说一下技术栈，这里我们用的是Anaconda中的Jupyter Notebook来做，然后用到了Pandas+Seaborn做数据处理和可视化。

首先将之前保存的JSON格式数据，处理成DataFrame对象。相关代码如下：

数据处理好以后，就可以进行分析了。

这里我们从几个维度来分析，第一个是评论时间，第二个是评分，第三个是评论内容（您也可以自己再多从几个维度来分析）。

2.1. 时间分析：

时间我们分成两点来做，分别是发布日期、发布时间。

分析发布日期我们能知道评论的走势，分析发布时间我们可以知道《大秦赋》在什么时间点播放量是最高的。

先来看看发布时间，《大秦赋》是在12月1日首播，到目前为止已经半个月了。

我们来看看这半个月时间的播放情况。

以下是分析代码：

可以看到评论数量在12月4日之前都是一直处于上升趋势，在12月4日达到顶峰。

前面4天属于观众期待期，所以评论量会越来越多，但是在12月4日后出现断崖式下降，说明本剧可能不是很受大家喜爱。

再来看下评论的时间，看看大家一般在几点刷剧。

这里我从0点到24点，2个小时为一个时间段统计评论数量。

相关代码如下：

可以看到在晚上8点到10点是评论量最多的，也正是电视剧播出时间段。

紧接着是22-24，以及0-2点，有一部分晚上很晚才下班的小伙伴，可能会在这段时间追剧。

然后又是上午10-12，以及14，16点，这段时间课时工作的最佳时间呀，怎么会用来追剧呢。

说明有相当一部分小伙伴，平时工作在摸鱼呀，哈哈。

2.2. 评分分析：

想要知道一部剧好不好，最直接的就是看观众给的评分，通过以下代码分析：

其中1，2分的最多。

说明《大秦赋》真的没有被观众所认可呀。

2.3. 分析人物评分

剧中演员的演技，以及故事情节，会对剧的评分产生较大影响，那么《大秦赋》中各个角色的演技，以及这个角色所产生的故事情节如何，我们接下来做一个简单分析。

这里我们的算法比较简单（不是很严谨，但是也能说明问题）。

举个例子，观众给了1星，然后这个评论内容中出现了几次”秦始皇“，说明观众对”秦始皇“这个角色是比较反感的。

这里我们对内容进行分词，然后提取”秦始皇“，”吕不韦“，”赵姬“，”嫪毐“，”李斯“等人进行分析。

代码如下：

只要你爬虫玩得溜，抓到更多的数据，还有更多有趣好玩的细节等着你来 探索 ！

福利

入门Python的最强三件套《ThinkPython》、《简明Python教程》、《Python进阶》的PDF电子版已打包提供给大家，「 P3 」即可获取。

怎样才可以自学Python呢

对于自学的小伙伴，小蜗这里整理了一份Python全栈开发的学习路线，可按照这份大纲进行一些学习计划，避免多走弯路。

第一阶段：专业核心基础阶段目标：1. 熟练掌握Python的开发环境与编程核心知识2. 熟练运用Python面向对象知识进行程序开发3. 对Python的核心库和组件有深入理解4. 熟练应用SQL语句进行数据库常用操作5. 熟练运用Linux操作系统命令及环境配置6. 熟练使用MySQL，掌握数据库高级操作7. 能综合运用所学知识完成项目知识点：Python编程基础、Python面向对象、Python高级进阶、MySQL数据库、Linux操作系统。

1、Python编程基础，语法规则，函数与参数，数据类型，模块与包，文件IO，培养扎实的Python编程基本功，同时对Python核心对象和库的编程有熟练的运用。

2、Python面向对象，核心对象，异常处理，多线程，网络编程，深入理解面向对象编程，异常处理机制，多线程原理，网络协议知识，并熟练运用于项目中。

3、类的原理，MetaClass，下划线的特殊方法，递归，魔术方法，反射，迭代器，装饰器，UnitTest，Mock。

深入理解面向对象底层原理，掌握Python开发高级进阶技术，理解单元测试技术。

4、数据库知识，范式，MySQL配置，命令，建库建表，数据的增删改查，约束，视图，存储过程，函数，触发器，事务，游标，PDBC，深入理解数据库管理系统通用知识及MySQL数据库的使用与管理。

为Python后台开发打下坚实基础。

5、Linux安装配置，文件目录操作，VI命令，管理，用户与权限，环境配置，Docker，Shell编程Linux作为一个主流的服务器操作系统，是每一个开发工程师必须掌握的重点技术，并且能够熟练运用。

第二阶段：PythonWEB开发阶段目标：1. 熟练掌握Web前端开发技术，HTML，CSS，JavaScript及前端框架2. 深入理解Web系统中的前后端交互过程与通信协议3. 熟练运用Web前端和Django和Flask等主流框架完成Web系统开发4. 深入理解网络协议，分布式，PDBC，AJAX，JSON等知识5. 能够运用所学知识开发一个MiniWeb框架，掌握框架实现原理6. 使用Web开发框架实现贯穿项目知识点：Web前端编程、Web前端高级、Django开发框架、Flask开发框架、Web开发项目实战。

1、Web页面元素，布局，CSS样式，盒模型，JavaScript，JQuery与Bootstrap掌握前端开发技术，掌握JQuery与BootStrap前端开发框架，完成页面布局与美化。

2、前端开发框架Vue，JSON数据，网络通信协议，Web服务器与前端交互熟练使用Vue框架，深入理解HTTP网络协议，熟练使用Swagger，AJAX技术实现前后端交互。

3、自定义Web开发框架，Django框架的基本使用，Model属性及后端配置，Cookie与Session，模板Templates，ORM数据模型，Redis二级缓存，RESTful，MVC模型掌握Django框架常用API，整合前端技术，开发完整的WEB系统和框架。

4、Flask安装配置，App对象的初始化和配置，视图函数的路由，Request对象，Abort函数，自定义错误，视图函数的返回值，Flask上下文和请求钩子，模板，数据库扩展包Flask-Sqlalchemy，数据库迁移扩展包Flask-Migrate，邮件扩展包Flask-Mail。

掌握Flask框架的常用API，与Django框架的异同，并能独立开发完整的WEB系统开发。

第三阶段：爬虫与数据分析阶段目标：1. 熟练掌握爬虫运行原理及常见网络抓包工具使用，能够对HTTP及HTTPS协议进行抓包分析2. 熟练掌握各种常见的网页结构解析库对抓取结果进行解析和提取3. 熟练掌握各种常见反爬机制及应对策略，能够针对常见的反爬措施进行处理4. 熟练使用商业爬虫框架Scrapy编写大型网络爬虫进行分布式内容爬取5. 熟练掌握数据分析相关概念及工作流程6. 熟练掌握主流数据分析工具Numpy、Pandas和Matplotlib的使用7. 熟练掌握数据清洗、整理、格式转换、数据分析报告编写8. 能够综合利用爬虫爬取豆瓣网电影评论数据并完成数据分析全流程项目实战知识点：网络爬虫开发、数据分析之Numpy、数据分析之Pandas。

1、爬虫页面爬取原理、爬取流程、页面解析工具LXML，Beautifulfoup，正则表达式，代理池编写和架构、常见反爬措施及解决方案、爬虫框架结构、商业爬虫框架Scrapy，基于对爬虫爬取原理、网站数据爬取流程及网络协议的分析和了解，掌握网页解析工具的使用，能够灵活应对大部分网站的反爬策略，具备独立完成爬虫框架的编写能力和熟练应用大型商业爬虫框架编写分布式爬虫的能力。

2、Numpy中的ndarray数据结构特点、numpy所支持的数据类型、自带的数组创建方法、算术运算符、矩阵积、自增和自减、通用函数和聚合函数、切片索引、ndarray的向量化和广播机制，熟悉数据分析三大利器之一Numpy的常见使用，熟悉ndarray数据结构的特点和常见操作，掌握针对不同维度的ndarray数组的分片、索引、矩阵运算等操作。

3、Pandas里面的三大数据结构，包括Dataframe、Series和Index对象的基本概念和使用，索引对象的更换及删除索引、算术和数据对齐方法，数据清洗和数据规整、结构转换，熟悉数据分析三大利器之一Pandas的常见使用，熟悉Pandas中三大数据对象的使用方法，能够使用Pandas完成数据分析中最重要的数据清洗、格式转换和数据规整工作、Pandas对文件的读取和操作方法。

4、matplotlib三层结构体系、各种常见图表类型折线图、柱状图、堆积柱状图、饼图的绘制、图例、文本、标线的添加、可视化文件的保存，熟悉数据分析三大利器之一Matplotlib的常见使用，熟悉Matplotlib的三层结构，能够熟练使用Matplotlib绘制各种常见的数据分析图表。

能够综合利用课程中所讲的各种数据分析和可视化工具完成股票市场数据分析和预测、共享单车用户群里数据分析、全球幸福指数数据分析等项目的全程实战。

第四阶段：机器学习与人工智能阶段目标：1. 理解机器学习相关的基本概念及系统处理流程2. 能够熟练应用各种常见的机器学习模型解决监督学习和非监督学习训练和测试问题，解决回归、分类问题3. 熟练掌握常见的分类算法和回归算法模型，如KNN、决策树、随机森林、K-Means等4. 掌握卷积神经网络对图像识别、自然语言识别问题的处理方式，熟悉深度学习框架TF里面的张量、会话、梯度优化模型等5. 掌握深度学习卷积神经网络运行机制，能够自定义卷积层、池化层、FC层完成图像识别、手写字体识别、验证码识别等常规深度学习实战项目知识点：1、机器学习常见算法、sklearn数据集的使用、字典特征抽取、文本特征抽取、归一化、标准化、数据主成分分析PCA、KNN算法、决策树模型、随机森林、线性回归及逻辑回归模型和算法。

熟悉机器学习相关基础概念，熟练掌握机器学习基本工作流程，熟悉特征工程、能够使用各种常见机器学习算法模型解决分类、回归、聚类等问题。

2、Tensorflow相关的基本概念，TF数据流图、会话、张量、tensorboard可视化、张量修改、TF文件读取、tensorflow playround使用、神经网络结构、卷积计算、激活函数计算、池化层设计，掌握机器学习和深度学习之前的区别和练习，熟练掌握深度学习基本工作流程，熟练掌握神经网络的结构层次及特点，掌握张量、图结构、OP对象等的使用，熟悉输入层、卷积层、池化层和全连接层的设计，完成验证码识别、图像识别、手写输入识别等常见深度学习项目全程实战。

用django搭建数据可视化平台(djangoyaml可视化编辑器)

用pyqt做好了前端，想用django做服务器，想问一下大概怎么搭建呢？

一般客户端（也就是你说的前段）跟服务器端（你准备使用Django）都是通过HTTP协议交换信息的（除非有特别的需求，才会使用别的或者定制协议）。

在客户端（PyQT）中,你可以安装Requests库，它可以帮助你发送HTTP请求给服务器端，

在Django中你可以使用DjangoRESTFramework网页链接处理客户端的HTTP请求。

如何使用django开发pyspider的webui?

Pyspider自带WebUi，不需要自己再开发。

如果你想看数据，我倒是弄过，就是把所有爬取结果都放在一个只读表里，然后通过django看就行了。