📊 项目简介

B站游戏流水数据爬取与分析系统 是一个完整的数据管道系统，用于爬取B站游戏中心数据、分析游戏流水趋势。

项目地址

✨ 功能特点

1. 数据采集

  • 采集B站游戏中心的游戏信息（名称、类型、平台、评分、关注数、下载量等）
  • 获取排行榜数据（热度榜、畅销榜、新游榜、预约榜、人气榜）

2. 流水估算

基于关注数和评分的流水（收入）估算模型

3. 统计分析

  • 多维度统计分析
  • 相关性分析

4. 可视化

生成7种专业级Matplotlib可视化图表

5. 定时调度

支持定时自动爬取，持续积累数据

🛠️ 技术栈

组件 技术
爬虫 Python + Requests + BeautifulSoup
数据处理 Pandas + NumPy
数据库 SQLite
可视化 Matplotlib
调度 APScheduler

📈 数据获取模式

模式 说明 适用场景
demo 内置88款真实国产游戏模板生成的模拟数据 开发调试、离线演示
web 从B站游戏中心HTML页面进行DOM解析抓取 实际数据采集
api 调用B站API接口 实际数据采集

🚀 快速开始

安装依赖

1
pip install -r requirements.txt

运行

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 一键执行完整流程：爬取→分析→可视化→导出
python main.py all

# 只爬取数据
python main.py crawl --max-pages 5

# 只生成分析报告
python main.py analyze --save

# 只生成可视化图表
python main.py visualize

# 启动定时爬取
python main.py schedule --interval 6

📊 可视化图表

系统会生成7种专业级图表：

  1. 游戏类型分布饼图
  2. 平台分布柱状图
  3. 评分分布直方图
  4. 关注数与下载量散点图
  5. 流水估算排名图
  6. 热度榜TOP10
  7. 畅销榜TOP10

📁 项目结构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
bgame/
├── main.py                 # 主入口
├── bili_game_scraper/      # 爬虫模块
│   ├── spider.py           # 爬虫引擎
│   ├── demo_data.py        # 模拟数据生成器
│   └── parsers/            # 解析器
├── analysis/               # 分析模块
│   ├── statistics.py       # 统计分析
│   └── visualization.py    # 可视化
├── storage/                # 存储模块
│   └── sqlite_storage.py   # SQLite存储
├── scheduler/              # 调度模块
│   └── scheduler.py        # 定时调度
├── config/                 # 配置模块
│   └── settings.py         # 配置管理
├── data/                   # 数据目录
├── charts/                 # 图表目录
└── exports/                # 导出目录

💡 适合谁？

  • 数据分析学习者
  • 爬虫技术爱好者
  • 游戏行业从业者
  • 对B站游戏数据感兴趣的用户

“数据是新时代的石油，分析是炼油厂。”