超轻量内部评测工具,无需复杂部署,5分钟快速上线。
pip install flask创建 videos.csv 文件,格式如下(表头不要):
video001,https://你的视频地址/v001_v1.mp4,https://你的视频地址/v001_v2.mp4,https://你的视频地址/v001_v3.mp4,https://你的视频地址/v001_v4.mp4
video002,https://你的视频地址/v002_v1.mp4,https://你的视频地址/v002_v2.mp4,https://你的视频地址/v002_v3.mp4,https://你的视频地址/v002_v4.mp4
...每行对应一个视频的4个版本:视频ID,版本1地址,版本2地址,版本3地址,版本4地址。
python import_data.py videos.csv导入成功会提示成功了多少条。
python app.py服务会在 0.0.0.0:8080 启动,内部用户通过 http://你的机器内网IP:8080 访问即可。
- 用户打开链接后,输入自己的姓名,点击开始评测
- 每个视频会展示4个版本(版本A/B/C/D,完全盲标,不知道对应哪个版本)
- 用户观看后点击对应按钮选择:
- 版本A/B/C/D最好:选对应的最优版本
- 都不错:四个版本效果都很好
- 都不好:四个版本效果都不好
- 提交后自动跳到下一个视频,直到全部标注完成
- 支持中途退出,下次打开会自动继续上次的进度
访问 http://你的机器内网IP:8080/api/stats 可以看到实时统计结果:
- total_annotations:总标注次数
- total_users:参与评测的人数
- version_votes:每个版本的得票数(1=版本A,2=版本B,3=版本C,4=版本D)
也可以直接打开 data.db 数据库查看详细标注数据。
- 改端口:修改
app.py最后一行app.run(port=你想要的端口) - 增加更多标注维度:修改前端的按钮和后端的数据库表结构即可
- 接入登录:简单修改前端登录逻辑即可
- 视频地址请确保是内部可访问的URL
- 推荐使用MP4格式视频,兼容性最好
- 服务默认是调试模式,正式使用可以去掉
debug=True参数