教学大纲
内容
-
教学大纲
《数据分析与大数据》课程教学大纲
(第二学期)
课程名称(中文):数据分析与大数据
课程名称(英文):Data Analysis and Big Data
课程性质:通识必修
学分:2
学时:68,其中理论学时:34,实践学时:30, 考试:4学时
授课对象:一年级文科生
授课语言:中文
开课院系:数据学院 教学部
课程平台:大夏学堂
平台网址:https://elearning.ecnu.edu.cn
撰写人:白玥
审定人:陈志云
一、课程简介(中文)
本课程是非计算机专业文科生的第二门信息技术基础课程。课程主要包括大数据与信息论概述、数据获取、数据加工、数据分析、数据可视化以及数据安全与数据发布等教学模块。大数据与信息论概述知识点包括大数据基本概念、大数据支撑技术简介、信息论基础知识等;数据获取知识点包括数据获取的来源和基本方法、信息的爬取等;数据加工知识点包括数据清洗、数据转换、数据脱敏、数据集成和数据归约等;数据分析知识点包括数据类型、高级函数应用、时间序列预测分析、回归分析和聚类分析等;数据可视化知识点包括数据可视化基础和数据可视化工具等;数据安全与数据发布知识点包括数据与大数据安全概念、可视化数据的共享等。
本课程主要采用课堂教学、实验教学相结合的多样化教学手段,运用讲授、问答、讨论、演示、上机实践等教学方法,注重实际上机实践,突出实践性和应用性。
修读本课程要求学生有一定的计算机基本知识和操作技能、基本的信息意识和处理能力,修读过《大学信息技术-数据分析和可视化实践》课程。
课程简介(英文)
This course is the second basic course of Information Technology for non-computer major liberal arts students. It mainly includes Big Data and Information Theory overview, Data Acquisition, Data Processing, Data Analysis, Data Visualization, Data Security and Data Release and other teaching modules. Overview of Big Data and Information Theory knowledge points include basic concepts of Big Data, introduction of Big Data support technology, basic know-ledge of Information Theory, etc. Data Acquisition know-ledge points include data acquisition sources and basic methods, information crawling, etc. Data Processing know-ledge points include Data Cleaning, Data Conversion, Data Desensitization, Data Integration and Data Reduction. Data Analysis knowledge points include data types, advanced function applications, Prediction and Analysis of Time Series, Regression Analysis, Cluster Analysis,etc.; Data Visualization knowledge points include Data Visualization basis and Data Visualization tools,etc.; Data Security and Data Publishing knowledge points include data and Big Data Security concepts, visualization data sharing,etc.
This course mainly adopts a variety of teaching methods combining classroom teaching and experimental teaching. It uses teaching methods such as lecture, question and answer, discussion, demonstration and computer practice. Practicality and application will be highlighted in this course.
This course requires students to have basic computer knowledge and operation skills, basic information sensitivity and processing ability. College Information Technology – Data Analysis and Visualization Practice is prerequisite for this course.
二、课程目标
通过本课程的学习,使学生了解和实践大数据分析与处理的基本过程、基本思路和基本方法,以此为基础,提高将大数据思维与各学科融合的能力,强化应用数据分析方法与数据可视化技术解决学科问题及生活问题的能力。
旨在第一学期《大学信息技术-数据分析也可视化实践》课程的基础上,进一步提升学生的数据素养,尤其是大数据方面的思维和能力。用数据分析训练逻辑思维和批判性思维,借数据可视化培养形象化思维,以课程项目锻炼创造性思维,为学生铺设数据智能时代应有的卓越竞争力和综合领导力阶梯,培养全面发展的社会主义建设者和接班人。
三、教学内容、学时分配和作业要求
【理论课安排】:
第1章 大数据与信息论简介
1.1大数据基本概念
1.1.1大数据的定义
1.1.2大数据的特点
1.1.3大数据的研究目标
1.2大数据支撑技术简介
1.2.1统计学简介
1.2.2机器学习简介
1.2.3数据可视化简介
1.2.4大数据分析与计算工具
1.2.5数据资源简介
1.3信息论简介
1.3.1信息的度量和信息熵
1.3.2信息的编码
1.3.3信息的有效性和哈夫曼编码
1.3.4信息的冗余和压缩
1.3.5 信息的相关性
1.3.6 贝叶斯公式
第2章 数据获取
2.1数据获取概述
2.1.1数据获取的来源
2.1.2 数据获取的方法
2.1.3数据源和数据集
2.2常用数据集的获取
2.2.1常用的数据集
2.2.2使用Python的sklearn提供的数据集
2.2.3使用R语言提供的数据集
2.3 网页信息爬取
2.3.1 网络爬虫概述
2.3.2 HTTP基本原理
2.3.3 网页的基本结构
2.3.4 Python相关库
2.3.5 使用requests和re爬取猫眼电影TOP 100榜单
2.3.6 使用requests和bs4爬取豆瓣电影TOP 250榜单
第3章 数据加工
3.1数据加工基础知识
3.1.1数据源文件格式
3.1.2数据类型
3.1.3数据预处理
3.2数据清洗
3.2.1为什么要进行数据清洗
3.2.2数据清洗类型与方法
3.2.3基于工具的数据清洗
3.3数据转换
3.3.1数据转换的目的
3.3.2数据转换的方法
3.3.3基于工具的快速转换
3.4数据脱敏
3.4.1数据的敏感信息
3.4.2 保护数据的方法
3.4.3 基于工具实现数据脱敏
3.5数据集成
3.5.1数据集成的基本类型
3.5.2 数据集成的难点
3.5.3简单数据集成的实现
3.6数据归约
3.6.1数据归约
3.6.2 归约策略
第4章 数据分析
4.1 数据分析基础
4.1.1 认识数据类型
4.1.2 公式的组成
4.1.3 公式验证与公式审核
4.1.4 内置函数
4.4.5 数据的输出与显示
4.2数据分析基础应用
4.2.1 利用函数进行数据分析
4.2.2 利用条件格式辅助数据分析
4.3时间序列预测分析
4.3.1 预测分析概述
4.3.2 时间序列预测分析概述
4.3.3 指数平滑预测模型
4.4回归分析
4.4.1 回归分析概述
4.4.2 回归分析模型
4.4.3 回归分析实例
4.5聚类分析
4.5.1聚类分析概述
4.5.2 K-Means算法
4.5.3聚类分析实例
第5章 数据可视化
5.1数据可视化基础
5.1.1可视化的意义
5.1.2 可视化表现形式
5.1.3可视化艺术
7.1.4创建详细级别表达式
5.2数据可视化工具
5.2.1 利用EXCEL进行数据可视化
5.2.2 利用PowerBI进行数据可视化*
5.2.3 利用Tableau进行数据可视化
5.3数据可视化实战-奥运会数据挖掘
5.3.1 背景介绍和问题提出
5.3.2 数据准备
5.3.3 分析及可视化
5.3.4 分析图表整合
第6章 数据安全与可视化数据共享
6.1数据安全
6.1.1数据存储安全
6.1.2 数据传输安全
6.1.3数据处理安全
6.2大数据安全与可视化数据共享
6.2.1大数据安全与隐私保护
6.2.2 可视化数据共享
第7章 数据分析与可视化综合实践*
7.1计算的类型与示例
7.1.1基本计算
7.1.2 参数应用
7.1.3表计算
7.1.4创建详细级别表达式
7.2计算综合实践
7.2.1数据背景和来源
7.2.2 IMDB电影数据分析与可视化
7.2.3 大型超市数据分析
7.2.4 Tableau中国地铁故事构建
7.2.5 Tableau Prep数据清洗实践
【教学进度】:
周次
讲课内容
实践和实验
第1周
本学期课程情况介绍
《数据分析与可视化实践》4.3
《数据分析与可视化实践》4.3.3
《数据分析与可视化实践》4.4.3
第2周
《数据分析与可视化实践》第5章
《数据分析与可视化实践》5.1.5
《数据分析与可视化实践》5.2.5
第3周
第1章 大数据与信息论简介
《数据分析与可视化实践》5.3.5
《教程》第1章实践题
第4周
第4章 数据分析1(Excel)
《实验指导》实验8(1)
第5周
第4章 数据分析2(Excel)
《实验指导》实验8(2)
第6周
第4章 数据分析3(Excel)
《实验指导》实验8(3)、实验9*
第7周
第4章 数据分析1 (Tableau)
《实验指导》实验10、实验12
第8周
第4章 数据分析2 (Tableau)
《实验指导》实验13、实验14
第9周
第3章 数据加工1
《实验指导》实验5
第10周
第3章 数据加工2
《实验指导》实验6、实验7
第11周
期中考试
第12周
第5章 数据可视化(Excel)
《实验指导》实验15
第13周
第5章 数据可视化(Tableau、PowerBI*)
《实验指导》实验16*、实验17
第14周
第2章 数据获取1
《实验指导》实验1、实验2
第15周
第6章 信息发布
《实验指导》实验18
第16周
期末课程项目设计、实施
第17周
期末课程项目答辩
注:教学进度因疫情、假期等变化可能会略作调整,具体实施以《教学进度表》为准。
四、教材、参考书目或其他学习材料
教材:
《数据分析与大数据实践》,华东师范大学出版社,2020版
《数据分析与大数据实践(实验指导)》,华东师范大学出版社,2020版
参考书目:
1.《信息论基础》,机械工业出版社,原书第二版
2.《概率论与数理统计》,高等教育出版社,第四版
3.《数据分析与可视化实践》,华东师范大学出版社,2019版
4.《大数据分析与计算》,清华大学出版社
5.《人人都是数据分析师(Tableau应用实战)》,人民邮电出版社,第二版
6.The Book of Why-关于因果关系的新科学,中信出版社,2019
7.Python爬虫大数据采集与挖掘-微课视频版(大数据与人工智能技术丛书),清华大学出版社,2020版
五、考核办法与评价结构比例
平时成绩占60%,由每周测试、实验作业作业、期中考试和考勤等产生,期末课程项目占40%,详情参见《考核方案》。