ICPR2020图表信息提取竞赛冠军方案分享

资讯 3年前

673

在日前结束的第25届国际模式识别会议（ICPR2020）上，深兰科技DeepBlueAI团队同台竞技联想、华南理工、合合等队伍，摘得“图表信息提取竞赛”总成绩的冠军。该竞赛由6个赛道7个子任务组成，其中赛道6有两个子任务，每个子任务又分Adobe Synth、UB PMC两个数据集

在日前结束的第25届国际模式识别会议（ICPR2020）上，深兰科技DeepBlueAI团队同台竞技联想、华南理工、合合等队伍，摘得“图表信息提取竞赛”总成绩的冠军。

该竞赛由6个赛道7个子任务组成，其中赛道6有两个子任务，每个子任务又分Adobe Synth、UB PMC两个数据集。7个子任务按照数据集单独计分，最终按照总分进行排名。最终，DeepBlueAI团队拿下4个赛道冠军，以总分35分拿到总成绩第一名。

ICPR2020图表信息提取

竞赛冠军方案

该比赛各任务涵盖图表分类、案例分析、图元素提取等，数据类别存在着分布极为不均衡的问题。

7个赛道分别为：赛道一，图表分类；赛道二，检测并识别图表中的文字区域；赛道三，识别图表图像中文本功能／角色；赛道四，对坐标轴上刻度点进行检测并与刻度标签文本框关联；赛道五，关联图例标签文本与图例样式元素；赛道六，第一个子任务对图表元素进行检测与分类，第二个子任务提取用于生成图表图像的原始数据。

下面对比较有竞争力的三、四、五、六赛道的解决方案进行技术分享。

赛道三

赛道三以文本位置和文本内容为输入，识别图表图像中每个文本的角色，6个类别如图所示。我们的方法包括两个步骤：特征提取和分类器分类。使用文本属性来定义特征向量，使用的分类器是Random Forest ［1］和LightGBM ［2］。

特征由文本框属性和文本内容组成，这些特征可分为三组。第一组包含框的长宽比、文本是否为数字、文本是否为多行、文本角度、文本长度和图表类型。第二组包括文本框的三种相对位置信息，也就是相对于全局边框、原点和图例的位置。第三组包含水平／垂直对齐文本框的数量和对齐文本框的水平／垂直范围，判断框是否对齐时，分别使用文本框的中心点、左上角和右下角。

使用随机森林和LightGBM对文本角色进行分类。随机森林的一个优点是在缺少特征的情况下仍然具有良好的性能，LightGBM具有训练效率高、精度高等优点。在训练模型时，每个类别的损失权重与输入数据的频率成反比。