交通标示识别在自动驾驶领域有着广泛的应用前景。在实际场景中，光照、地理位置、检测方法等因素会对较小交通标示识别产生影响，导致识别精度降低。针对这些问题，提出一种新型多尺度融合卷积神经网络模型（SF-RCNN）。首先在基础特征提取网络中加入多尺度空洞卷积池化金字塔模块（MASPP），在多尺度空洞卷积采样后，不改变每一个特征下的信息量，而是通过合并通道数来实现特征图的融合，这样既减少了分辨率的损失，也可以捕捉同一图像的上下文信息；其次在网络中增加两个快速拼接模块（F-concat），融合模型中高层与低层的信息，既丰富语义信息，又可以实现不同尺度信息的重复利用；最后在每个最大池化层之前增加批标准化层（BN），转换每一层的数据。尽管增加模块加深了网络深度，但是BN层可以加快模型收敛速度，使整个训练时间不发生较大改变。在CCTSDB数据集上进行特征提取。实验结果表明，该模型利用新型网络结构SF-RCNN，交通标示识别精度均值达到了87.48%，警告类别识别精度达到89.93%，禁令类别识别精度达到89.25%、方向类别识别精度达到81.08%、指示类别识别精度达到89.66%。