基于Spark的气象数据处理与分析
舟率率 7/15/2025
原地址:https://dblab.xmu.edu.cn/blog/2741/
# 项目概况
# 数据类型
气象数据
# 软件版本
python3.8.18、hadoop3.2.0、spark3.1.2、scala2.12.18、jdk8
# 开发语言
python
# 开发流程
数据分析(spark)->可视化(matplotlib)
# 可视化图表
# 操作步骤_在pycharm中执行
# 按照python安装包
pip install pandas==2.0.3 -i https://mirrors.aliyun.com/pypi/simple/
pip install matplotlib==3.7.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install findspark==2.0.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install pyspark==3.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
1
2
3
4
5
6
2
3
4
5
6
# 直接执行analysis.py
在pycharm中直接执行analysis.py,执行过程中,matplotlib会生成可视化图
1
2
3
2
3