【分享吧】基于改进卷积神经网络在商品指数预测中的应用研究（一）

摘要：本文创新地将传统经济学自回归与深度学习模型相结合，用于时间序列预测，在保留自回归模型变量关系可解释性基础上，增加卷积神经网络进行回归系数的迭代计算，具有较高的预测准确度的同时，又保持了模型的可分析性，适用于多维度时间序列预测分析。利用改进卷积神经网络对飞创煤焦矿指数进行分钟值预测，效果显著优于线性模型与全连接神经网络模型。由于模型中使用的卷积神经网络注重于短期序列多因素的相关性研究，因此，对于近期因素对数据影响更大的序列，预测准确度会更高。
一、模型原理
（一）原理介绍
卷积神经网络（Convolutional Neural Networks，CNN）是一种常见的深度学习架构，受生物自然视觉认知机制启发而来，具有一定的生物学理论支持，是神经科学的新事物。
图1 卷积神经网络构架图

如上图所示，一个卷积神经网络由若干卷积层、池化层、全连接层组成。通过各层组合可以构建各种不同的卷积神经网络，常用架构模式为：
输入层→[[卷积层]*N→池化层]*M→[全连接层]*K
即N个卷积层叠加，然后（可选）叠加一个池化层，重复这个结构M次，最后叠加K个全连接层。由此，上图所示可以表示为：输入层→[[卷积层]*2→[池化层]*2→[全连接层]*1，即N=2、M=2、K=1。
传统的全连接神经网络具有大量参数，部分参数权重被赋予了极小的值。尽管网络层数越多其表达能力越强，但是通过梯度下降方法训练深度全连接神经网络是非常困难的，因为该梯度很难传递超过3层。因此，我们不可能得到一个很深的全连接神经网络，这也限制了神经网络扩展能力，即全连接神经网络模型的扩展性较差。
与此不同，卷积神经网络具有局部连接属性，每个神经元不再和上一层的所有神经元相连，而只和一小部分神经元相连，一组连接可以共享同一个权重，而不是每个连接有一个不同的权重，减少了大量参数。此外，卷积神经网络可以使用池化的方式来减少每层样本数，从而进一步减少参数数量，同时还可以提升模型的鲁棒性。因此，卷积神经网络在扩展性和预测准确性上效果更好。
时间序列分析是根据客观事物发展连续规律性，运用过去历史数据，通过统计分析进一步推测未来发展趋势。其中，每个观察值大小是影响变化的各种不同因素在同一时刻发生作用的综合结果。常见的时间序列模型有自回归AR(p)模型、移动平均MA(q)模型、自回归移动平均ARMA(p,q)模型、自回归综合移动平均ARIMA(p,d,q)模型等。本文将卷积时间网络与时间序列分析的AR模型进行结合，保留了变量关系可解释性，同时增强了模型的预测性。
（二）模型简介
1、模型介绍及特点
在预测时间序列问题上，计量经济学上通常使用的是自回归（Auto-regression, AR）、自回归移动平均（Auto-regressive moving average）与向量自回归（Vector auto-regression, VAR）等线性模型。这类模型优势在于模型参数可观测，回归模型显示了变量之间的结构关系。通过检验系数在统计上的显著性，可以分析出变量之间的动态变化规律，从而找到经济变量直接的因果关系。传统经济学模型虽然具有良好的可解释性，但是线性关系简单，模型复杂度不够，导致预测准确度有所欠缺。
随着计算机技术迅速发展，深度神经网络模型广泛应用于预测领域。这类模型在图像和自然语言处理等多个领域均取得较好预测效果。但是，神经网络模型包含的多层网络通常是难以解释和理解的，相当于一个黑箱，直接将其应用于金融领域交易具有一定风险性。经济学强调变量之间清晰的因果关系，期货交易重视预测的准确性，量化模型需要在可解释性和预测准确性之间进行平衡。
本文创新地将传统经济学自回归模型与深度学习模型结合用于时间序列预测，在保留自回归模型变量关系可解释性基础上，增加了卷积神经网络进行回归系数的迭代计算。基于改进卷积神经网络模型具有较高的预测准确度，同时结合了时间序列分析原理，又保持了模型的可分析性。利用改进卷积神经网络对飞创煤焦矿指数进行指数分钟值预测，其预测效果明显优于线性模型与全连接神经网络模型。此外，由于金融时间序列预测与传统神经网络处理图像所需序列的特征有所不同，将经典深度学习模型应用到时间序列预测时，需要对其进行改进。
2、模型原理
改进卷积神经网络模型的基本架构如图2所示，模型同时结合了AR（Autoregressive）自回归模型与卷积神经网络用于处理多维度时间序列，在保留自回归模型时间序列可解释性基础上，通过卷积神经网络确定时间序列权重。
图2 改进卷积神经网络模型概览图

模型架构如上图所示，多维时间序列会同时输入到两个卷积神经网络中，分别为显著网络（Significant network）和偏置网络（Offset network），两者分别包含体现卷积网络与时间序列模型特点的卷积层。主要原理如下：

其中，Ht为经过显著网络与偏置网络加权后的输出，显著网络的输出St-1，St-2，St-3...St-n为多层卷积后提取的一维特征变量；偏置网络通过大小为1的卷积核进行一层卷积，输出值offt-1，offt-2，offt-3...offt-n作为过去时间序列变量的调整偏置值。通过将St-1，St-2，St-3...St-n，作为经过偏置调整后变量的系数并加和得到Ht，最后通过一个全连接层得到待预测指数值输出Ht，其中w、b分别为全连接网络的权重系数与偏置值，公式如下：
Ht=wHt+b

与经典卷积神经网络相比，用于时间序列预测的改进神经网络模型没有使用池化层（pooling layer），用以保证输入的时间序列长度能够保持到最后的全连接层，确保了神经网络最终输出模型的可解释性，即通过最终得出的预测公式能够将时间序列各个变量对最终预测结果的贡献进行解释和分析。
3、模型适用性
在金融系统运作过程中，投资者非常关心某种经济模式发生状况和时间，以采取相应对策。神经网络有很强的识别能力，可对环境的变化进行学习。采取神经网络信息处理技术能够对快速变化的市场环境进行深入分析，增强对经济金融领域的预测能力。
通过结合传统自回归模型的可解释性与神经网络的准确性，改进卷积神经网络模型适合于处理多维度时间序列输入进行预测，模型预测可有效应用于积累了大量历史数据并且需要对未来状况进行预测判断的行业，如金融、经济、商业等领域。此外，由于模型中使用的卷积神经网络注重于短期序列的多因素相关性研究，因此对于近期因素对数据影响更大的序列，预测准确度会更高。
END

【分享吧】基于改进卷积神经网络在商品指数 预测中的应用研究（一）

【分享吧】基于改进卷积神经网络在商品指数预测中的应用研究（一）