基于spark的电商模拟数据分析及可视化

可视化效果视频 (opens new window)

项目概况

master (opens new window)

数据类型

模拟电商数据

开发环境

centos7

软件版本

hadoop3.2.0、spark3.1.2、mysql5.7.38、scala2.12.18、jdk8

开发语言

Scala、Java

开发流程

数据上传(hdfs)->数据分析(spark)->数据存储(mysql)->后端(springboot)->前端(html+js+css)

可视化图表

操作步骤

启动MySQL

# 查看mysql是否启动 启动命令: systemctl start mysqld.service
systemctl status mysqld.service
# 进入mysql终端
# MySQL的用户名:root 密码:123456
# MySQL的用户名:root 密码:123456
# MySQL的用户名:root 密码:123456
mysql -uroot -p123456

启动Hadoop

# 离开安全模式: hdfs dfsadmin -safemode leave
# 启动hadoop
bash /export/software/hadoop-3.2.0/sbin/start-hadoop.sh

准备目录

mkdir -p /data/jobs/project/
cd /data/jobs/project/

# 解压 "data" 目录下的 "ecom_user_behavior_2w.7z" 到当前目录下
# 上传 "project-spark-ecom_user_behavior_sim_analysis" 整个文件夹 到 "/data/jobs/project/" 目录

上传文件到hdfs

cd /data/jobs/project/project-spark-ecom_user_behavior_sim_analysis/data/

hdfs dfs -mkdir -p /data/input/
hdfs dfs -rm -r /data/input/*
hdfs dfs -put ecom_user_behavior_2w.csv /data/input/
hdfs dfs -ls /data/input/

程序打包

cd /data/jobs/project/project-spark-ecom_user_behavior_sim_analysis/spark-job/

# 对 "spark-job" 目录下的项目 "spark-job" 进行打包
# 打包命令
mvn clean package -DskipTests

cd /data/jobs/project/project-spark-ecom_user_behavior_sim_analysis/web-admin/

# 对 "web-admin" 目录下的项目 "web-admin" 进行打包
# 打包命令
mvn clean package -DskipTests

创建MySQL表

cd /data/jobs/project/project-spark-ecom_user_behavior_sim_analysis/mysql/

# 请确认mysql服务已经启动了
# 快速执行.sql文件内的sql语句
mysql -uroot -p123456 < mysql.sql

spark数据分析

cd /data/jobs/project/project-spark-ecom_user_behavior_sim_analysis/spark-job/target/

spark-submit \
--master local[*] \
--class org.example.EcomUserBehaviorAnalysis \
spark-job.jar /data/input/

启动可视化

cd /data/jobs/project/project-spark-ecom_user_behavior_sim_analysis/web-admin/target/

# 5173
java -jar web-admin-1.0.0.jar org.example.webadmin.WebAdminApplication