获得最佳精确度的神经网络是MALSTM-FNC,平均精确度为53.7%,标准偏差为2.9%。在实施的机器学习模型中,获得最佳f1分数的是MALSTM-FNC,平均准确率为54%,标准偏差为2.01%(LSTM获得相同的f1分数,但我们观察到更高的方差)。 4.2 无限制模型的超参数 表21显示了神经网络模型通过网格搜索技术获得的关于分类误差度量的最佳结果。CNN和LSTM模型的最佳识别参数和相关结果见表21。 对于无限制模型的结果表明,在模型中加入交易和社交媒体指标可以有效地提高平均准确度,即预测误差。对于所有实现的算法,这个结果都是一致的,这允许我们排除这个结果是统计波动,或者它可能是实现的特定分类算法的人工制品。利用CNN模型得到了无约束模型的最佳结果,平均准确率为87%,标准差为2.7%。 4.3 结果和讨论 表22显示了使用四种深度学习算法进行时频价格变动分类任务的结果。此表显示了受限(上部)和非受限(下部)模型的结果。首先,可以注意到,对于所有四种深度学习算法,无限制模型在精确度、查全率、召回率和F1分数方面都优于限制模型。准确率范围从限制MLP的51%到CNNs和LSTM的84%。 事实上,这四个分类器的结果是一致的,进一步证实了这不是由于统计波动,而是由于较高的预测无限制模型。对于比特币,最高的性能是通过CNN架构获得的,而对于以太坊则是通过LSTM获得的。 我们还进一步探讨了按小时频率的无限制模型的分类,考虑了两个子模型:一个子模型包括技术和社交指标,另一个子模型包括所有指标(社交、技术和交易)。这样,就可以理清社会和交易指标对模型性能的影响。我们对两个无限制子模块的准确度、预测、回忆和F1得分的分布进行了统计t检验,发现增加社会指标并不能显著改善无限制模型。因此,在表22中,我们省略了仅包括社会和技术指标的无限制模型。 表23显示了四种深度学习算法对日频率价格变动分类的结果。此表显示了受限(上部)和非受限(下部)模型的结果。将无限制模型进一步划分为技术-社会和技术-社会-交易子模型,以更好地分别突出社会和交易指标对模型的贡献。 MALSTM-CNF使用仅由技术指标组成的受限模型,以99%的准确率实现了以太坊的最佳分类性能。对于比特币而言,MLP的F1分数为55%,准确率为60%,而不受限制的模型只有社交媒体指标和技术指标(在这种情况下,我们考虑比特币的F1分数和准确率,因为第2.4节描述的阶级分布稍有不平衡)。对于日频率分类,我们可以看到,在一般技术指标单独表现更好的分类第二天的价格走势。我们向模型中添加的指标越多,性能下降的幅度就越大。另一个普遍的结果是,以太坊每日价格变动分类的准确性、精确性、召回率和F1分数远远好于比特币。日分类的结果与其他研究一致[1],小时和日分类在考虑小时无限制模型时有显著改进。社交媒体指标在比特币案件的日常频率上尤其重要。这一结果与最近关于社交媒体情绪对加密货币市场影响的结果一致[2]:社交媒体对市场的影响表现出很长的滞后性,这种滞后性不是每小时捕捉到的,也不是每小时相关的。 (责任编辑:admin) |