摘要
时代在飞速进步,每个行业都在努力发展现在先进技术,通过这些先进的技术来提高自己的水平和优势,汽车数据分析平台当然不能排除在外。本次我所开发的懂车帝汽车数据分析平台是在实际应用和软件工程的开发原理之上,运用Python语言、爬虫技术、数据可视化技术以及Django框架进行开发,可以让管理员实现对个人中心、新能源汽车管理、系统管理等功能的操作。在系统开发之前首先要进行需求分析,分析出懂车帝汽车数据分析平台的主要功能,然后设计了系统结构。整体设计包括系统的功能、系统总体结构、系统数据结构和对系统安全性进行设计;最后要对系统进行测试,还要对测试的结果进行总结和分析,为以后系统的维护提供方便,也为以后类似系统的开发提供参考和帮助。这种个性化的网络系统管理更重视相互协调和管理合作,能激发管理者的创造性和主动性,这对懂车帝汽车数据分析平台来说非常有益。
绪 论
1.1 课题的研究背景 懂车帝汽车数据分析平台主要通过计算机网络,对所需的信息进行统一管理,方便管理员随时随地进行增添、修改、查询、删除各类信息。本系统极大的促进了系统与数据库管理系统软件之间的配合,满足了绝大部分用户的需求,给用户带来了很大的便利。以现在计算机的技术的应用,使计算机成为人们使用现代发达技术的桥梁。计算机可以有效的解决信息,十分方便的获取信息,从而提高工作的效率。 分享、储存和管理。这对我们的现实生活中具有非常重要的意义,所以懂车帝汽车数据分析平台诞生了。
1.2 课题研究目的 全球经济在快速的发展,中国更是进步飞速,这使得国内的互联网技术进入了发展的高峰时期,这让中外资本不断转向互联网这个大市场。在这个信息高度发达的现在,利用网络进行信息管理改革已经成为了人们追捧的一种趋势。“懂车帝汽车数据分析平台”是运用Python语言、爬虫技术、数据可视化技术和Django框架,以MySQL数据库为基础而发出来的。可以实现管理员在线进行实现对个人中心、新能源汽车管理、系统管理等功能的管理。为保证我国经济的持续性发展,必须要让互联网信息时代在我国日益壮大,蓬勃发展。伴随着信息社会的飞速发展,汽车数据分析平台所面临的问题也一个接一个的出现,所以现在最该解决的问题就是信息的实时查询和访问需求的问题,以及如何利用快捷便利的方式让访问者在广大信息系统中进行查询、
1.3 课题的研究意义 大数据时代已经到来,网络爬虫技术已成为这个时代不可或缺的一项技术,企业需要数据来分析用户行为、产品的不足之处以及竞争对手的信息等,而这一切的首要条件就是数据的采集。在互联网社会中,数据是无价之宝,一切皆为数据,谁拥有了大量有用的数据,谁就拥有了决策的主动权。如何有效地采集并利用这些信息成了一个巨大的挑战,而网络爬虫是自动采集数据的有效手段。网络爬虫是一种按照一定的规则,自动抓取互联网海量信息的程序或脚本。网络爬虫的应用领域很广泛,如搜索引擎、数据采集、广告过滤、大数据分析等。本次使用Python技术加网络爬虫技术,可以实现管理员对新能源汽车信息的快速管理,对汽车行业的发展来说,是一个非常有意义的创新。
相关技术
本懂车帝汽车数据分析平台的数据库采用的是MySQL数据库,并且选择了Python语言、爬虫技术、数据可视化技术和Django框架进行开发项目,在项目开发过程中,实现了系统功能模块的安全性、实用性、稳定性、易维护和页面简单等特点。
2.1 Python简介 网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。Python 属于一个高层次的脚本语言,以解释性,编译性,互动性和面向对象相结合。在设计上相比其他语言,它更具有特色语法结构,很强的可读性。 Python语言之所以如此广泛的被使用是由其自身的优势所决定的,首先它的兼容性非常的好可以实现跨平台的使用,互联网络的出现使人们进行信息传递有了更多的方法,使信息资源得到了最大限度的共享,人与人之间的交流变得更加方便,打破了地域对信息传递的束缚,为人们生活带来了极大的便利。虽然Python语言在当今已经发展非常 成熟,但是它并不是完美无缺的,需要研发人员不懈的努力来使其更加完善。
2.2 Django框架 Django是一种开源的大而且全的Web应用框架,是由Python语言来编写的。他采用了MVC模式,Django最初是被开发来用于管理劳伦斯出版集团下的一些以新闻为主内容的网站。一款CMS(内容管理系统)软件。并于 2005 年 7 月在 BSD 许可证下发布。这套框架是以比利时的吉普赛爵士吉他手 Django Reinhardt 来命名的。 Django是Python语言中的一个web框架,并遵循MVC设计。Python语言中主流的web框架有Django、Tornado、Flask 等多种,Django相较与其它WEB框架,其优势为:大而全。Django的主要目的是简便、快速的开发数据库驱动的网站。接下来介绍Django的优点: (1)路由配置(URLConf):Django的URL设置更加灵活优雅,看似复杂难懂,但使用的都是简单的正则表达式,你可以随心所欲的创造优美的、简洁的、专业的地址。 (2)模板(Template):模板可以理解为承载数据的工具,为了将数据从视图中分离出来,通过各种各样的标签来进行数据的传输。Django的模板融入了面向对象中继承的思想,提高了复用减少冗余代码。
(3)视图(View):视图就是views.py中的函数,也就是逻辑代码,为了将URL和视图关联起来,用到了上述的URLConfs,URLConfs将URL模式映射到视图中,每个视图有两件事是必须要做的:返回一个包含被请求页面的HttpResponse对象,或者抛出一个异常。 (4)后台管理系统(Django-Admin):Django提供的一个基于Web的管理工具。Django-Admin来自django.contrib也就是Django的标准库,默认被配置好,只需要激活启用即可,它的优势在于可以快速对数据库的各个表进行增删改查,一行代码即可管理一张数据库表,相比于手动后台1个模型一般需要4个urls,4个视图函数和4个模板,可以说Django完成了一个程序编写的大部分重复工作,并且对于图书管理这种以管理工作为重系统来说,极度契合。 (5)应用(Application):当项目规模过大时,难免会产生目录过长,文件过多的问题,Django理念中的App可以将项目相对独立的进行开发,插拔的工作方式和独立性让开发者废弃的App即使删除也不会影响整体,是一种不可多得的理念。 因为本次使用的Python版本为3.6.4,低版本的Django不支持Python3,故此次使用的Django版本为3.2.12。
2.3 网络爬虫简介 网络爬虫是一种很好的自动采集数据的通用手段。它主要分为4种类型,分别是:聚焦网络爬虫、增量抓取、表层网页、深层网页。 ①聚焦网络爬虫是“面向特定主题需求”的一种爬虫程序,而通用网络爬虫则是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分,主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。 ②增量抓取意即针对某个站点的数据进行抓取,当网站的新增数据或者该站点的数据发生变化后,自动地抓取它新增的或者变化后的数据。 Web页面按存在方式可以分为表层网页(surface Web)和深层网页(deep Web,也称invisible Web pages或hidden Web)。 ③表层网页是指传统搜索引擎可以索引的页面,即以超链接可以到达的静态网页为主来构成的Web页面。 ④深层网页是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的,只有用户提交一些关键词才能获得的Web页面。 本次使用的爬虫技术是聚焦网络爬虫,通过搜索引擎,抓取相关旅游信息,下载到本地,形成互联网内容的镜像备份,提供用户浏览、查看。
2.4PyCharm简介 PyCharm是JetBrains公司开发的一款Python集成开发环境,它提供了很多便利于开发者的功能,比如调试、语法高亮、代码跳转、智能提示、自动补全等。除此之外Pycharm还提供了一些支持Web框架的高级功能,适合此次懂车帝汽车数据分析平台的开发。 2.5 MySQL简介 作为当下比较流行的MySQL数据库管理系统,它有较高的安全性和可靠性,储存空间大,可以对系统中所有用户 的数据进行储存更新。MySQL数据库存储功能强大,稳定性好,安全系数高,受到了越来越多的软件开发者的青睐。 数据库极大的便利了数据的存储,MySQL数据库能够实现数据库被多个用户端同时使用,实现数据交互,为用户提供 便利,是一个非常有利的方面。 所以,对于整个系统的设计与实现来说,确定一个优秀的数据库管理系统具有非常重大的意义。因为数据库它 不仅仅是用于对数据的储存,它还有关于约束条件和触发器等功能的设计,因此,本次程序开发的首要选择就是一 个拥有简洁明了的数据库界面和简单易上手、有多线程交互的数据库管理系统。 2.6小结 本章详细的介绍了开发懂车帝汽车数据分析平台所需要的技术与工具,工欲善其事必先利其器,对于技术和工具了解的越多越清晰,才会在开发过程中如鱼得水。
系统整体功能图
管理员登录界面图
管理员功能界面图
新能源汽车管理界面图
看板界面图
看板界面图
部分数据库表
字段名称 | 类型 | 长度 | 字段说明 | 主键 | 默认值 |
id | bigint | 主键 | 主键 | ||
addtime | timestamp | 创建时间 | CURRENT_TIMESTAMP | ||
fengmian | longtext | 4294967295 | 封面 | ||
concernid | varchar | 200 | 品牌ID | ||
carids | varchar | 200 | 汽车ID | ||
biaoti | varchar | 200 | 标题 | ||
jxsbj | varchar | 200 | 经销商报价 | ||
czckj | varchar | 200 | 车主参考价 | ||
diandongji | varchar | 200 | 电动机 | ||
xuhang | varchar | 200 | 续航 | ||
dianchizhonglei | varchar | 200 | 电池种类 | ||
djnj | varchar | 200 | 电机扭矩 | ||
dianjishu | varchar | 200 | 电机数 | ||
nylx | varchar | 200 | 能源类型 | ||
dcdl | varchar | 200 | 电池电量 | ||
zuigaoshisu | varchar | 200 | 最高时速 | ||
djgl | varchar | 200 | 电机功率 | ||
laiyuan | varchar | 200 | 来源 |
结论
本系统是采用Python语言,爬虫技术、数据可视化及Django框架构建的一个操作管理系统,选择的数据库是MySQL。整个过程先是通过整体的系统分析,来确定本系统的可行性是否达标。为了满足管理员的需求以及提高管理员的工作效率,通过系统所要实现的功能分析,决定了管理员要实现的功能。之后就是精细各个模块的具体功能,定义管理员们的权限,分割个人中心、新能源汽车管理、系统管理等模块。之后通过系统测试来确保数据的准确性和操作的准确性,发现错误并立即做出了改正。 系统本身提供一个关于淘宝用户行为数据管理的平台,管理员可以通过平台清晰、直观了解淘宝用户行为数据。 关于懂车帝汽车数据分析平台的设计还是有很多不足的地方,缺少用户的模块功能,可以设置用户功能模块,让用户登录后也可以查看新能源汽车详情。 在本次项目设计中,完成了大大小小的模块,系统设计的调查,数据的分析,在安装软件方面,选择版本问题困扰了我很久,后来找相关的网站介绍,了解了各个版本的利与弊,最后完善了本次设计。懂车帝汽车数据分析平台的系统设计选择了Python开发工具,和MySQL数据库对前后台的数据交互进行分析保存,使用MySQL数据库可以是程序运行更加的安全且稳定,从而实现并完善系统的开发。
参考文献
- 西尔伯沙茨(Silberschatz.A.) . 计算机科学丛书:数据库系统概念(原书第6版)[M]. 机械工业出版社,2018:03.
- 竺天元.基于Python的企业人事薪酬管理信息系统的设计与实现[D].湖南大学,2018:07.
- 王珊.基于Python技术的医院人力资源管理系统的设计与实现[D].西安科技大学,2018:11.
- 王志任.基于Python的开发平台的设计与实现[D].广东工业大学,2018.
- 李绪成,闫海珍 Python Web开发教程—入门与提高篇(Python+Servlet) 清华大学出版社,2017:13.
- 刘敏.基于Django框架社交网络平台的设计与实现[D].湖南大学,2018.
- Robert W.Sebesta著,刘伟琴等译.Web程序设计[M],北京清华大学出版社,2018(4):9-450.
- 萨师煊,王珊.数据库系统概论[M].北京:高等教育出版社,2018:10-180.
- 陈刚.Eclipse从入门到精通[M].北京:清华大学出版社,2017(2):17-380.
- 韩思凡.Web开发中的Python与HTM的基础应用[J].科学技术创新,2020(14):71-72.
- 刘小飞,李明杰.基于Python和Servlet架构的新闻频道系统[J].电脑知识与技术,2020,16(12):82-83.
- 赵辉,熊文俊.Python的网络数据库连接技术及运用之研究[J].电脑知识与技术,2019,15(17):25-26.
- 刘婷.Python技术发展前景研究[J].信息与电脑(理论版),2019(08):70-71.
- 杨正午.基于WEB前端开发技术的网站设计,2019,34(03):51-53+57.
- 李秋锦.基于Python的简单网页设计[J].科技经济导刊,2019,27(16):30.