# pictogram_benchmark

**Repository Path**: esheeper/pictogram_benchmark

## Basic Information

- **Project Name**: pictogram_benchmark
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-11-27
- **Last Updated**: 2025-02-16

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 统计图表理解Benchmark

### 一、评估目标
评估公共元素以及数据元素的识别准确率
#### 目前公共元素我们只选取 统计图标题(title) 和 图例(Legend)指标，其它指标不考虑

### 二、操作流程
1、配置 **config.py** 文件，具体说明查看注释

2、将统计图从标注文档中切分出来
- 运行dataset_generator.py

3、将模型预测结果保存到预测文件中
- preprocess框架（main分支或者dev-swy分支）中关于pictogram总共有6个模型测试文件（preprocess/preprocess/test/test_models/pictogram），如图一
- 分别配置 `generate_dataset_images_path` `generate_dataset_label_path` `model_predict_data` 与 **config.py** 一致
- 执行各个模型的test_benchmark方法

![图一](./image/Figure1.png "图一")
<center><font>图一</font></center>

4、在start.py中分别有各个元素的评估方法，执行可以给出统计结果
### 三、标注统计

在生成 **二.2** 流程之后，即可运行analysis.py文件，生成各个标注元素的统计结果，

### 四、预测可视化

**visual/visual.ipynb** 可以实现可视化，需要配置以下几个变量与 **config.py** 中一致
 
![图二](./image/Figure2.png "图二")
<center><font>图二</font></center>

生成标注文件位于 **visual/images** 文件夹下