基于pyspark的B站视频数据分析及个性化推荐和潜力预测系统
舟率率 5/10/2025 pythonflask
# 项目概况
# 数据类型
B站视频数据
# 开发环境
centos7
# 软件版本
python3.8.18、hadoop3.2.0、spark3.1.2、scala2.12.18、jdk8
# 开发语言
python
# 开发流程
潜力预测(spark)->数据分析(spark)->数据存储(mysql)->后端(flask)->前端(html+js+css)
# 可视化图表
# 操作步骤
# python安装包
pip3 install numpy==1.24.4 -i https://mirrors.aliyun.com/pypi/simple/
pip3 install pyspark==3.1.2 -i https://mirrors.aliyun.com/pypi/simple/
pip3 install findspark==2.0.1 -i https://mirrors.aliyun.com/pypi/simple/
pip3 install flask==3.0.0 -i https://mirrors.aliyun.com/pypi/simple/
pip3 install flask-cors==4.0.1 -i https://mirrors.aliyun.com/pypi/simple/
pip3 install requests==2.31.0 -i https://mirrors.aliyun.com/pypi/simple/
1
2
3
4
5
6
7
8
2
3
4
5
6
7
8
# 启动Hadoop
# 离开安全模式: hdfs dfsadmin -safemode leave
# 启动hadoop
bash /export/software/hadoop-3.2.0/sbin/start-hadoop.sh
1
2
3
4
5
2
3
4
5
# 准备目录
mkdir -p /data/jobs/project/
cd /data/jobs/project/
# 解压压缩包
# "data" 目录下的 "data.7z" 文件
# "static" 目录下的 "bili.7z" 文件, 要解压到 "bili" 目录
# 确定在linux还是windows运行 ,可在 "recommend.py" 中修改 "video_data_path" 的值
# 确定在linux还是windows运行 ,可在 "predict.py.py" 中修改 "model_path" 的值
# 上传 "project-pyspark-bilibili-vedio-analysis-recommend-system" 整个文件夹
1
2
3
4
5
6
7
8
9
10
11
12
13
2
3
4
5
6
7
8
9
10
11
12
13
# 上传文件到hdfs
cd /data/jobs/project/project-pyspark-bilibili-vedio-analysis-recommend-system/
hdfs dfs -mkdir -p /data/input/
hdfs dfs -rm -r /data/input/*
hdfs dfs -put -f data/bilibili_week.txt /data/input/
hdfs dfs -put -f data/bilibili_week2.txt /data/input/
hdfs dfs -put -f data/bilibili_week3.txt /data/input/
hdfs dfs -put -f GBT_model /data/input/
hdfs dfs -ls /data/input/
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
# 启动可视化
cd /data/jobs/project/project-pyspark-bilibili-vedio-analysis-recommend-system/
python3 app.py pro
# 潜力预测,必须要输入 "视频ID", 例如 "BV1Vi4y1x7pY"
# 在windows运行时,程序有时会有报错"py4j.protocol.Py4JJavaError: An error occurred while calling o128.fit." 可以忽略!!!!
1
2
3
4
5
6
7
8
2
3
4
5
6
7
8