最新预测模型训练方法及装置与流程

将乐信息网 http://www.jianglexinxi.cn 2020-10-18 13:30 出处:网络
如下提供的最新预测模型训练方法及装置与流程,接下来小编就为大家带来。 本说明书实施例涉及计算机技术领域,特别涉及一种预测模型训练方法。本说明书一个或者多个实施例同时涉及一种预测模型训练装置,一种计算设备

如下提供的最新预测模型训练方法及装置与流程,接下来小编就为大家带来。


本说明书实施例涉及计算机技术领域,特别涉及一种预测模型训练方法。本说明书一个或者多个实施例同时涉及一种预测模型训练装置,一种计算设备,以及一种计算机可读存储介质。



背景技术:

目前微贷和机构一般会多存入资产以避免流动性风险,但将造成大量资金闲置。而为了能够有效降低限制资金,微贷和机构一般会采用机器学习模型对放还款资金额进行测试。

但是目前大部分的放还款资金额预测都是基于传统的机器学习模型进行测试,这种传统的机器学习模型往往需要依赖于大量的特征工程,在训练模型前,需要做大量的特征提取工作,会耗费大量的人力物力资源,而且当特征提取不当时,很有可能会加大预测结果的偏差。



技术实现要素:

有鉴于此,本说明书施例提供了一种预测模型训练方法。本说明书一个或者多个实施例同时涉及一种预测模型训练装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面,提供了一种预测模型训练方法,包括:

获取资源样本集,其中,所述资源样本集中的每个资源样本均由日期样本特征以及所述日期样本特征对应的资源值构成;

从所述资源样本集中获取资源样本训练集,其中,所述资源样本训练集中包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示;

基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示;

基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练,得到所述预测模型,所述预测模型输出所述资源预测样本的日期样本特征对应的资源值。

根据本说明书实施例的第二方面,提供了一种预测模型训练装置,包括:

资源样本集获取模块,被配置为获取资源样本集,其中,所述资源样本集中的每个资源样本均由日期样本特征以及所述日期样本特征对应的资源值构成;

训练集获取模块,被配置为从所述资源样本集中获取资源样本训练集,其中,所述资源样本训练集中包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

第一结果表示获得模块,被配置为基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示;

第二结果表示获得模块,被配置为基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示;

预测模型训练模块,被配置为基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练,得到所述预测模型,所述预测模型输出所述资源预测样本的日期样本特征对应的资源值。

根据本说明书实施例的第三方面,提供了一种计算设备,包括:

存储器和处理器;

所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:

获取资源样本集,其中,所述资源样本集中的每个资源样本均由日期样本特征以及所述日期样本特征对应的资源值构成;

从所述资源样本集中获取资源样本训练集,其中,所述资源样本训练集中包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示;

基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示;

基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练,得到所述预测模型,所述预测模型输出所述资源预测样本的日期样本特征对应的资源值。

根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述预测模型训练方法的步骤。

本说明书一个实施例提供了一种预测模型训练方法及装置,其中,所述预测模型训练方法包括获取资源样本集;从所述资源样本集中获取资源样本训练集;基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示;基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示;基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练,得到所述预测模型,所述预测模型输出所述资源预测样本的日期样本特征对应的资源值;

该预测模型训练方法通过使用深度学习的方式,自动提取数据之间潜在的特征进行预测模型训练,节省人力物力资源,并且可以保证训练得到的预测模型对放还款金额预测的准确性。

附图说明

图1是本说明书一个实施例提供的一种预测模型训练方法的流程图;

图2是本说明书一个实施例提供的一种预测模型训练方法的具体训练示意图;

图3是本说明书一个实施例提供的一种预测模型训练装置的结构示意图;

图4是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先,对本说明书一个或多个实施例涉及的名词术语进行解释。

self-attention:自注意力机制。

global-attention:全局注意力机制。

encoder:编码器。

decoder:解码器。

流动性风险:指商业银行无法以合理成本及时获得充足资金,用于偿付到期债务、履行其他支付义务和满足正常业务开展的其他资金需求的风险。

资产:是指由某一特定主体过去的交易或者事项形成的,由企业拥有或者控制的、预期会给企业带来经济利益的资源,资产是企业利益流入的根源。

负债:是指某一特定主体过去的交易或者事项形成的,预期会导致经济利益流出企业的现时义务,负债是企业利益流出的根源。

在本说明书中,提供了一种预测模型训练方法,本说明书同时涉及一种预测模型训练装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。

参见图1和图2,图1示出了根据本说明书一个实施例提供的一种预测模型训练方法的流程图,包括步骤102至步骤110,图2示出了根据本说明书一个实施例提供的一种预测模型训练方法的具体训练示意图。

步骤102:获取资源样本集,其中,所述资源样本集中的每个资源样本均由日期样本特征以及所述日期样本特征对应的资源值构成。

其中,所述资源样本集中包括多个资源样本,而每个资源样本均由日期样本特征以及该日期样本特征对应的资源值构成。

实际应用中,资源样本包括但不限于历史日期数据,例如当前日期为2020年1月1日的情况下,2020年1月1日之前的所有日期数据均为历史日期数据;而在资源样本为历史日期数据的情况下,每个资源样本的日期样本特征以及该日期样本特征对应的资源值,则可以为每个历史日期数据的日期样本特征以及该日期样本特征对应的资源值,而日期样本特征为每个历史日期数据的时间特征和事件特征,其中,时间特征包括确定历史日期是否属于节假日、工作日等特征,事件特征包括确定历史日期是否处于双十一期间、营销活动期间等特征。

具体实施时,获取的资源样本集,可以是获取的a机构的历史年份的放/还款的数据集,例如历史年份为2019年,获取的资源样本集中的每个资源样本为2019年每一天的放/还款的数据,而2019年每一天的放/还款的数据由每一天的日期样本特征以及每一天的日期样本特征对应的放/还款金额构成。

参见图2,图2的fea即表示资源样本集中的资源样本,而fea1、fea2、fea3则为每个资源样本的日期样本特征,而y1表示与fea1对应的资源值,y2表示与fea2对应的资源值,y3表示与fea3对应的资源值。

而为了保证获取的资源样本数据集中资源样本的完整性和准确性,在获取资源样本集之前,还需要先获取原始资源样本集,并对该原始资源样本集进行预处理,以获得完整、准确的资源样本;具体如下所述:

所述获取资源样本集之前,还包括:

获取原始资源样本集,并对所述原始资源样本集中的原始资源样本进行预处理以生成资源样本集。

其中,原始资源样本集包括但不限于获取的初始历史日期数据集,而对所述原始资源样本集中的原始资源样本进行预处理以生成资源样本集,即对初始历史日期数据集中的初始历史日期数据进行预处理以生成资源样本集。

实际应用中,所述原始资源样本包括初始历史日期数据;

相应的,所述对所述原始资源样本集中的原始资源样本进行预处理包括:

获取所述原始资源样本集中的初始历史日期数据的日期样本特征以及对应的资源值;

在所述初始历史日期数据的日期样本特征不存在对应的资源值的情况下,基于与所述初始历史日期数据相邻的至少两个初始历史日期数据确定所述初始历史日期数据的日期样本特征对应的资源值。

实际应用中,获取的原始资源样本集中的初始历史日期数据的日期样本特征会存在没有对应的资源值的情况,若将存在缺陷的初始历史日期数据作为训练样本进行预测模型的训练,会造成预测模型的预测不准确,后续预测模型应用时的预测误差较大。

具体实施时,在所述初始历史日期数据的日期样本特征不存在对应的资源值的情况下,基于与所述初始历史日期数据相邻的至少两个初始历史日期数据确定所述初始历史日期数据的日期样本特征对应的资源值。

而具体的,所述基于与所述初始历史日期数据相邻的至少两个初始历史日期数据确定所述初始历史日期数据的日期样本特征对应的资源值包括:

获取与所述初始历史日期数据相邻的至少两个初始历史日期数据的日期样本特征对应的资源值;

以所述至少两个初始历史日期数据的日期样本特征对应的资源值的平均值作为所述初始历史日期数据的日期样本特征对应的资源值。

举例说明,若获取的不存在对应的资源值的初始历史日期数据的历史日期为2019年12月15日,基于上述资源值确定方法,则可以获取与该初始历史日期数据2019年12月15日相邻的2019年12月15日之前或之后的任意两个初始历史日期数据的日期样本特征对应的资源值(例如2019年12月13日的日期样本特征:星期五,有打五折活动,以及对应的资源值:20w;2019年12月12日的日期样本特征:星期四,有打七折活动,以及对应的资源值:30w),然后基于这两个初始历史日期数据的样本特征对应的资源值的平均值25w,作为所述初始历史日期数据2019年12月15日的日期样本特征对应的资源值。

通过上述对缺失资源值的初始历史日期数据基于相邻初始历史日期数据的日期样本特征的资源值对其进行资源值补充的方式,对所述原始资源样本进行预处理,以获得完整的资源样本集,实现后续以准确的资源样本集对预测模型进行训练,得到预测准确率较高的预测模型。

此外,还可以对缺失资源值的初始历史日期数据进行直接删除,以此种快捷的方式来保证资源样本集中资源样本的完整性。

具体的,所述获取所述原始资源样本集中的初始历史日期数据的日期样本特征以及对应的资源值之后,还包括:

在所述初始历史日期数据的日期样本特征不存在对应的资源值的情况下,删除所述初始历史日期数据。

本说明书实施例中,在获取资源样本集之前,先获取原始资源样本集,并通过对原始资源样本集中的原始资源样本进行数据清洗、特征关联等预处理后,以生成最终完整、且准确的资源样本集,以避免因为资源样本集中存在残缺的资源样本对预测模型进行训练,造成预测模型预测不准确的情况发生;其中,数据清洗即是对缺失某些特征的数据进行处理,基本操作为资源值的填充或直接删除该原始资源样本,而数据关联是指为原始资源样本添加影响放/还款的特征,比如日期信息等。

步骤104:从所述资源样本集中获取资源样本训练集,其中,所述资源样本训练集中包括资源观测样本以及与所述资源观测样本关联的资源预测样本。

其中,所述资源样本集包括资源样本训练集、资源样本验证集以及资源样本测试集,而资源样本训练集、资源样本验证集以及资源样本测试集中均包括资源观测样本以及与所述资源观测样本关联的资源预测样本,而资源观测样本以及与所述资源观测样本关联的资源预测样本均由日期样本特征以及所述日期样本特征对应的资源值构成。

实际应用中,为了保证预测模型训练的资源样本的数量,基于资源样本集获取资源样本训练集、资源样本验证集以及资源样本测试集时会将百分之八十的资源样本划分为资源样本训练集,将剩下的百分之二十资源样本平均划分为资源样本验证集以及资源样本测试集。

举例说明,该训练的预测模型后续应用于机构的放/还款预测中,此时资源预测样本为2019年12月30日的日期样本特征以及对应的特征值,而资源观测样本则为可以通过2019年12月30日之前的任意15天的日期样本特征以及对应的特征值,在进行预测模型训练时,每天资源样本均包括资源预测样本以及已知的与该资源预测样本关联的资源观测样本,即实际应用中,已知资源观测样本与其关联的资源预测样本。

此外,基于资源样本集获取资源样本训练集、资源样本验证集以及资源样本测试集后,会对各部分的资源样本进行数据类型转换,而数据类型的转换是针对预测模型的类型而言的,因为预测模型是基于深度学习的,以tensorflow(tensorflow是一个基于数据流编程(dataflowprogramming)的符号数学系统)实现,所以需要将输入预测模型的各部分的资源样本的类型转化成向量的形式。而后实际对预测模型训练时,均基于类型转换后的各部分的资源样本进行预测模型的训练、验证以及测试。

步骤106:基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示。

其中,预设机制包括但不限于自注意力机制(self-attention),而具体的,所述基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示包括:

基于自注意力机制对所述资源观测样本进行初始处理,获得处理后的初始资源观测样本;

基于全局注意力机制对所述初始资源观测样本和所述资源预测样本进行目标处理,得到所述资源观测样本的第一结果表示。

具体的,基于自注意力机制对所述资源观测样本进行初始处理,获得处理后的初始资源观测样本,即使用self-attention的技术来处理输入的资源观测样本,self-attention可以捕获数据之间的依赖信息,使得资源观测样本得到更丰富的表示,self-attention的优势在于可以捕获序列之间的特征,例如self-attention的输入资源观测样本为历史15天的数据信息,为一个二维向量,第一维为15,表示利用的历史天数,第二维表示数据特征数。self-attetion可以对该向量进行处理,可以捕获这15天中任意两天数据之间的关系,根据这些关系来重新表示这15天的特征信息(即处理后的初始资源观测样本);得到的数据仍然为一个二维张量,第一维仍然为15,第二维是特征新的表示,而实际应用中,维度大小需提前设置好。

之后,基于全局注意力机制(global-attention)对所述初始资源观测样本和所述资源预测样本进行目标处理,得到所述资源观测样本的第一结果表示,即将资源观测样本和资源预测样本的日期样本特征之间做global-attention操作,而对资源观测样本和资源预测样本的日期样本特征之间做global-attention操作的目的是对与资源预测样本相关的资源观测样本赋予高的权重,例如资源预测样本中的时间特征和事件特征以及预测模型学习获得的上下文特征与资源预测样本中的某些天的时间特征和事件特征很类似,那么就会对这些天数赋予较高的权重,得到最终的赋予权重后的资源观测样本的第一结果表示。

步骤108:基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示。

具体的,所述基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示包括:

基于自注意力机制对所述资源观测样本进行初始处理,获得处理后的初始资源观测样本;

对所述初始资源观测样本取平均操作,得到所述资源观测样本的第二结果表示。

其中,基于自注意力机制对所述资源观测样本进行初始处理,获得处理后的初始资源观测样本可以参见上述方式,对此不作赘述。

而实际应用中对所述初始资源观测样本取平均操作,得到所述资源观测样本的第二结果表示,即为通过将self-attention的输出(即处理后的初始资源观测样本)取平均操作,然后使用全连接网络,对其做一系列映射,使其产生高斯分布的两个参数,之后通过这两个参数来确定一个高斯分布,最后从这个高斯分布中采样,得到资源观测样本的第二结果表示。而对该部分的处理是由于self-attention的输出用于捕获不确定性,这里主要借助了贝叶斯方法的思想,由于贝叶斯学派认为所有的一切都是具有不确定性的,即使是对于相同的上下文输入,其输出的表示也是不确定的,因此此处通过将self-attention的输出(即处理后的初始资源观测样本)取平均操作,然后使用全连接网络,对其做一系列映射,使其产生高斯分布的两个概率分布参数,之后通过这两个参数来确定一个高斯分布,最后从这个高斯分布中采样,即选择概率较高的参数作为资源观测样本的第二结果表示,通过概率较高的参数作为资源观测样本的第二结果表示对预测模型进行训练,以提升训练得到的预测模型的准确率。

参见图2,图2中的fea1、fea2、fea3为资源观测样本,fea4为与fea1、fea2、fea3关联的资源预测样本。

在获取资源样本fea1、fea2、fea3之后,通过self-attention输出fea1、fea2、fea3的两种初始结果,即r1、r2、r3以及c1、c2、c3,然后通过将self-attention的输出r1、r2、r3以及fea4的日期样本特征之间做global-attention,得到资源观测样本fea1、fea2、fea3的第一结果表示r*,通过将self-attention的输出c1、c2、c3取平均操作,然后使用全连接网络,对其做一系列映射,使其产生高斯分布的两个参数,之后通过这两个参数来确定一个高斯分布,最后从这个高斯分布中采样,得到资源观测样本的第二结果表示z。

步骤110:基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练,得到所述预测模型,所述预测模型输出所述资源预测样本的日期样本特征对应的资源值。

参见图2,在得到资源观测样本fea1、fea2、fea3的第一结果表示r*以及第二结果表示z后,基于r*、z以及fea4的日期样本特征对初始预测模型(feedforwardnetwork,ffn,前馈神经网络)进行训练,得到所述预测模型,所述预测模型输出资源预测样本fea4的日期样本特征对应的资源值y4。

具体的,图2中的预测模型由两部分构成,分别为encoder和decoder两部分,首先通过在encoder获得资源观测样本的两种结果表示,然后将资源观测样本的两种结果表示以及资源预测样本的日期样本特征输入至ffn进行训练,以得到训练后的预测模型。

本说明书另一实施例中,基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练之后,得到所述预测模型之前,还包括:

从所述资源样本集中获取资源样本验证集,其中,所述资源样本验证集包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

基于所述资源样本验证集对所述预测模型进行验证。

而具体的,所述基于所述资源样本验证集对所述预测模型进行验证包括:

将所述资源样本验证集中的资源预测样本的日期样本特征以及与所述资源预测样本关联的资源观测样本输入所述初始预测模型中,所述初始预测模型输出所述资源预测样本的日期样本特征对应的验证资源值;

基于所述验证资源值实现对所述初始预测模型进行验证。

实际应用中,预测模型训练的实质是对预测模型参数的优化,通过对训练数据(即资源样本)的不断拟合来获取最佳的预测模型,而在预测模型训练的过程中,可以通过验证集来实时评估训练的预测模型的性能,以此来决定是否需要继续进行预测模型训练。

举例说明,进行预测模型训练时,按实际情况会为预测模型设置一定的训练轮数,假设训练轮数设置为10000,那么可以在每训练1000轮时,就使用验证集中的资源样本验证一下当前的预测模型的训练结果,然后比较一下验证集中资源样本的资源预测样本的实际值和预测值之间的差距,若发现每次随着预测模型训练的进行,预测模型基于验证集的效果远远低于基于训练集的效果,那么则可以初步判定预测模型发生了过拟合,那么在后续预测模型训练时可以尝试调小参数,或者加上正则化等手段,来提高预测模型的泛化能力。若是预测模型基于验证集的效果越来越差,那么则表明该预测模型已经发生过拟合了;那么就需要提早结束预测模型训练,而若是预测模型的基于训练集和验证集的效果都很差,那么则表示预测模型的学习能力不够,此时可以增加预测模型的复杂度或者改进预测模型结构对预测模型进行调整。

本说明书实施例中,在预测模型训练的过程中通过验证集对训练的预测模型进行实时验证,可以对训练的预测模型进行实时监控,在预测模型训练过程中出现问题的情况下可以对训练的预测模型进行实时调整,避免训练后发现预测模型预测效果不好的情况下再对预测模型进行重新训练,提高预测模型的训练效率以及训练得到的预测模型的预测准确率。

而通过验证集对训练的预测模型进行验证后,可以将基于验证集验证得到效果最优的预测模型进行存储,作为最终训练得到的预测模型。

实际应用中,在获得最终训练得到的预测模型后,为了保证预测模型的预测效果,还需要对训练得到的预测模型进行测试,以确保机构采用该预测模型在进行实际预测时,可以获得好的预测效果。

具体的,所述得到所述预测模型之后,还包括:

从所述资源样本集中获取资源样本测试集,其中,所述资源样本测试集包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

基于所述资源样本测试集以及所述资源预测样本的日期样本特征对应的资源值对所述预测模型进行测试。

而所述基于所述资源样本测试集以及所述资源预测样本的日期样本特征对应的资源值对所述预测模型进行测试,具体包括:

将所述资源样本测试集中的资源预测样本的日期样本特征以及与所述资源预测样本关联的资源观测样本输入所述预测模型中,所述预测模型输出所述资源预测样本的日期样本特征对应的预测资源值;

基于所述预测资源值以及所述资源预测样本的日期样本特征对应的资源值实现对所述预测模型进行测试。

实际应用中,预测资源值可以为预测出的资源预测样本的日期样本特征对应的预测放/还款金额,而所述资源预测样本的日期样本特征对应的资源值即为真实的资源值,例如真实的放/还款金额。

具体的,基于所述预测资源值以及所述资源预测样本的日期样本特征对应的资源值实现对所述预测模型进行测试,即为将资源预测样本的日期样本特征对应的预测放/还款金额以及真实的放/还款金额采用平均绝对百分误差(mape,meanabsolutepercentageerror)或均方误差(mse)函数来进行评估预测模型的预测值和真实值之间的偏差,值越大,表明预测效果越差。

具体实施时,若预测模型基于训练集的训练效果很好,但在基于测试集的效果很差,则可以考虑预测模型的复杂度是否过大,此时可以通过正则化或增加训练数据(即资源样本)等来对预测模型进行再次训练,实现对预测模型进行改进。若是预测模型基于训练集和测试集的效果都不是很好,则可以通过改变预测模型的结构或者通过模型集成的方法对预测模型进行改进。

本说明书实施例中,通过测试集对验证后的最终的预测模型进行测试,然后基于预测值和实际值进行比较,采用平均绝对百分误差(mape,meanabsolutepercentageerror)或均方误差(mse)函数等评判该预测模型的最终预测效果,以保证预测得到的预测模型的预测结果的准确性。

本说明书实施例中,对于资源观测样本的选取,从全局的角度出发,随机选择资源预测样本中预测日期前任意时刻的数据作为与之关联的资源观测样本。这样在预测模型训练时可以建立起资源预测样本与整个全局资源观测样本之间的关系,并且预测模型对于预测输出的每一个结果都是独立的,对下一个结果的预测不会依赖于上一时刻预测出的结果,很好的避免了误差累积问题,可以输出更为准确的预测结果。

此外,本说明书实施例提供的所述预测模型训练方法在神经网络上结合了高斯过程方法的思想,即通过encoder部分来提取出资源观测样本的信息,将这部分作为先验知识,然后在decoder中结合先验知识以及资源预测样本的日期样本特征对预测模型进行训练,使得后续通过该预测模型对目标日期进行结果预测时,可以将该目标日期的时间特征以及事件特征,结合通过encoder部分来提取出的与该目标日期关联的历史日期数据的先验知识,得到该目标日期最终的更加准确以及误差值较小的预测结果。

实际应用中,所述预测模型训练方法具体会应用于机构的放/还款预测中,即机构基于训练好的预测模型输入待预测放/还款金额的日期样本特征以及与该日期样本特征关联的任意历史时刻的日期样本特征以及对应的放/还款金额,即可通过该预测模型得到该待预测的日期样本特征对应的放/还款金额,由于预测模型的预测放/还款金额的准确性,将有效降低机构闲置资金,因此,采用此预测模型可以极大的提高资源利用率,从而为机构更好赋能,帮助机构更好的进行资产负债管理。

与上述方法实施例相对应,本说明书还提供了预测模型训练装置实施例,图3示出了本说明书一个实施例提供的一种预测模型训练装置的结构示意图。

如图3所示,该装置包括:

资源样本集获取模块302,被配置为获取资源样本集,其中,所述资源样本集中的每个资源样本均由日期样本特征以及所述日期样本特征对应的资源值构成;

训练集获取模块304,被配置为从所述资源样本集中获取资源样本训练集,其中,所述资源样本训练集中包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

第一结果表示获得模块306,被配置为基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示;

第二结果表示获得模块308,被配置为基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示;

预测模型训练模块310,被配置为基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练,得到所述预测模型,所述预测模型输出所述资源预测样本的日期样本特征对应的资源值。

可选的,所述装置,还包括:

原始资源样本集获取模块,被配置为获取原始资源样本集,并对所述原始资源样本集中的原始资源样本进行预处理以生成资源样本集。

可选的,所述原始资源样本包括初始历史日期数据;

相应的,所述原始资源样本集获取模块,进一步被配置为:

获取所述原始资源样本集中的初始历史日期数据的日期样本特征以及对应的资源值;

在所述初始历史日期数据的日期样本特征不存在对应的资源值的情况下,基于与所述初始历史日期数据相邻的至少两个初始历史日期数据确定所述初始历史日期数据的日期样本特征对应的资源值。

可选的,所述原始资源样本集获取模块,进一步被配置为:

获取与所述初始历史日期数据相邻的至少两个初始历史日期数据的日期样本特征对应的资源值;

以所述至少两个初始历史日期数据的日期样本特征对应的资源值的平均值作为所述初始历史日期数据的日期样本特征对应的资源值。

可选的,所述装置,还包括:

删除模块,被配置为在所述初始历史日期数据的日期样本特征不存在对应的资源值的情况下,删除所述初始历史日期数据。

可选的,所述第一结果表示获得模块306,进一步被配置为:

基于自注意力机制对所述资源观测样本进行初始处理,获得处理后的初始资源观测样本;

基于全局注意力机制对所述初始资源观测样本和所述资源预测样本进行目标处理,得到所述资源观测样本的第一结果表示。

可选的,所述第二结果表示获得模块308,进一步被配置为:

基于自注意力机制对所述资源观测样本进行初始处理,获得处理后的初始资源观测样本;

对所述初始资源观测样本取平均操作,得到所述资源观测样本的第二结果表示。

可选的,所述装置,还包括:

验证集获取模块,被配置为从所述资源样本集中获取资源样本验证集,其中,所述资源样本验证集包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

验证模块,被配置为基于所述资源样本验证集对所述预测模型进行验证。

可选的,所述验证模块,进一步被配置为:

将所述资源样本验证集中的资源预测样本的日期样本特征以及与所述资源预测样本关联的资源观测样本输入所述初始预测模型中,所述初始预测模型输出所述资源预测样本的日期样本特征对应的验证资源值;

基于所述验证资源值实现对所述初始预测模型进行验证。

可选的,所述装置,还包括:

测试集获取模块,被配置为从所述资源样本集中获取资源样本测试集,其中,所述资源样本测试集包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

测试模块,被配置为基于所述资源样本测试集以及所述资源预测样本的日期样本特征对应的资源值对所述预测模型进行测试。

可选的,所述测试模块,进一步被配置为:

将所述资源样本测试集中的资源预测样本的日期样本特征以及与所述资源预测样本关联的资源观测样本输入所述预测模型中,所述预测模型输出所述资源预测样本的日期样本特征对应的预测资源值;

基于所述预测资源值以及所述资源预测样本的日期样本特征对应的资源值实现对所述预测模型进行测试。

此外,本说明书实施例提供的所述预测模型训练装置在神经网络上结合了高斯过程方法的思想,即通过encoder部分来提取出资源观测样本的信息,将这部分作为先验知识,然后在decoder中结合先验知识以及资源预测样本的日期样本特征对预测模型进行训练,使得后续通过该预测模型对目标日期进行结果预测时,可以将该目标日期的日期样本特征,结合通过encoder部分来提取出的与该目标日期关联的历史日期数据的先验知识,得到该目标日期最终的更加准确以及误差值较小的预测结果。

上述为本实施例的一种预测模型训练装置的示意性方案。需要说明的是,该预测模型训练装置的技术方案与上述的预测模型训练方法的技术方案属于同一构思,预测模型训练装置的技术方案未详细描述的细节内容,均可以参见上述预测模型训练方法的技术方案的描述。

图4示出了根据本说明书一个实施例提供的一种计算设备400的结构框图。该计算设备400的部件包括但不限于存储器410和处理器420。处理器420与存储器410通过总线430相连接,数据库450用于保存数据。

计算设备400还包括接入设备440,接入设备440使得计算设备400能够经由一个或多个网络460通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。

在本说明书的一个实施例中,计算设备400的上述部件以及图4中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图4所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。

计算设备400可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备400还可以是移动式或静止式的服务器。

其中,处理器420用于执行如下计算机可执行指令:

获取资源样本集,其中,所述资源样本集中的每个资源样本均由日期样本特征以及所述日期样本特征对应的资源值构成;

从所述资源样本集中获取资源样本训练集,其中,所述资源样本训练集中包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示;

基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示;

基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练,得到所述预测模型,所述预测模型输出所述资源预测样本的日期样本特征对应的资源值。

上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的预测模型训练方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述预测模型训练方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述预测模型训练方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的预测模型训练方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述预测模型训练方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。


技术特征:

1.一种预测模型训练方法,包括:

获取资源样本集,其中,所述资源样本集中的每个资源样本均由日期样本特征以及所述日期样本特征对应的资源值构成;

从所述资源样本集中获取资源样本训练集,其中,所述资源样本训练集中包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示;

基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示;

基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练,得到所述预测模型,所述预测模型输出所述资源预测样本的日期样本特征对应的资源值。

2.根据权利要求1所述的预测模型训练方法,所述获取资源样本集之前,还包括:

获取原始资源样本集,并对所述原始资源样本集中的原始资源样本进行预处理以生成资源样本集。

3.根据权利要求2所述的预测模型训练方法,所述原始资源样本包括初始历史日期数据;

相应的,所述对所述原始资源样本集中的原始资源样本进行预处理包括:

获取所述原始资源样本集中的初始历史日期数据的日期样本特征以及对应的资源值;

在所述初始历史日期数据的日期样本特征不存在对应的资源值的情况下,基于与所述初始历史日期数据相邻的至少两个初始历史日期数据确定所述初始历史日期数据的日期样本特征对应的资源值。

4.根据权利要求3所述的预测模型训练方法,所述基于与所述初始历史日期数据相邻的至少两个初始历史日期数据确定所述初始历史日期数据的日期样本特征对应的资源值包括:

获取与所述初始历史日期数据相邻的至少两个初始历史日期数据的日期样本特征对应的资源值;

以所述至少两个初始历史日期数据的日期样本特征对应的资源值的平均值作为所述初始历史日期数据的日期样本特征对应的资源值。

5.根据权利要求3所述的预测模型训练方法,所述获取所述原始资源样本集中的初始历史日期数据的日期样本特征以及对应的资源值之后,还包括:

在所述初始历史日期数据的日期样本特征不存在对应的资源值的情况下,删除所述初始历史日期数据。

6.根据权利要求1所述的预测模型训练方法,所述基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示包括:

基于自注意力机制对所述资源观测样本进行初始处理,获得处理后的初始资源观测样本;

基于全局注意力机制对所述初始资源观测样本和所述资源预测样本进行目标处理,得到所述资源观测样本的第一结果表示。

7.根据权利要求1所述的预测模型训练方法,所述基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示包括:

基于自注意力机制对所述资源观测样本进行初始处理,获得处理后的初始资源观测样本;

对所述初始资源观测样本取平均操作,得到所述资源观测样本的第二结果表示。

8.根据权利要求1所述的预测模型训练方法,基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练之后,得到所述预测模型之前,还包括:

从所述资源样本集中获取资源样本验证集,其中,所述资源样本验证集包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

基于所述资源样本验证集对所述预测模型进行验证。

9.根据权利要求8所述的预测模型训练方法,所述基于所述资源样本验证集对所述预测模型进行验证包括:

将所述资源样本验证集中的资源预测样本的日期样本特征以及与所述资源预测样本关联的资源观测样本输入所述初始预测模型中,所述初始预测模型输出所述资源预测样本的日期样本特征对应的验证资源值;

基于所述验证资源值实现对所述初始预测模型进行验证。

10.根据权利要求1所述的预测模型训练方法,所述得到所述预测模型之后,还包括:

从所述资源样本集中获取资源样本测试集,其中,所述资源样本测试集包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

基于所述资源样本测试集以及所述资源预测样本的日期样本特征对应的资源值对所述预测模型进行测试。

11.根据权利要求10所述的预测模型训练方法,所述基于所述资源样本测试集以及所述资源预测样本的日期样本特征对应的资源值对所述预测模型进行测试包括:

将所述资源样本测试集中的资源预测样本的日期样本特征以及与所述资源预测样本关联的资源观测样本输入所述预测模型中,所述预测模型输出所述资源预测样本的日期样本特征对应的预测资源值;

基于所述预测资源值以及所述资源预测样本的日期样本特征对应的资源值实现对所述预测模型进行测试。

12.一种预测模型训练装置,包括:

资源样本集获取模块,被配置为获取资源样本集,其中,所述资源样本集中的每个资源样本均由日期样本特征以及所述日期样本特征对应的资源值构成;

训练集获取模块,被配置为从所述资源样本集中获取资源样本训练集,其中,所述资源样本训练集中包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

第一结果表示获得模块,被配置为基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示;

第二结果表示获得模块,被配置为基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示;

预测模型训练模块,被配置为基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练,得到所述预测模型,所述预测模型输出所述资源预测样本的日期样本特征对应的资源值。

13.一种计算设备,包括:

存储器和处理器;

所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:

获取资源样本集,其中,所述资源样本集中的每个资源样本均由日期样本特征以及所述日期样本特征对应的资源值构成;

从所述资源样本集中获取资源样本训练集,其中,所述资源样本训练集中包括资源观测样本以及与所述资源观测样本关联的资源预测样本;

基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示;

基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示;

基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练,得到所述预测模型,所述预测模型输出所述资源预测样本的日期样本特征对应的资源值。

14.一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现权利要求1至11任意一项所述预测模型训练方法的步骤。

技术总结
本说明书实施例提供的预测模型训练方法及装置,其中,所述方法包括获取资源样本集;从所述资源样本集中获取资源样本训练集;基于预设机制对所述资源观测样本和所述资源预测样本进行第一处理,得到所述资源观测样本的第一结果表示;基于预设机制对所述资源观测样本进行第二处理,得到所述资源观测样本的第二结果表示;基于所述第一结果表示、所述第二结果表示以及所述资源预测样本对初始预测模型进行训练,得到所述预测模型;所述方法通过使用深度学习的方式,自动提取数据之间潜在的特征进行预测模型训练,节省人力物力资源,并且可以保证训练得到的预测模型对放还款金额预测的准确性。

技术研发人员:郑新萍
受保护的技术使用者:支付宝(杭州)信息技术有限公司
技术研发日:2020.02.20
技术公布日:2020.06.26

最新预测模型训练方法及装置与流程的相关内容如下:

本文标题:最新预测模型训练方法及装置与流程
http://www.jianglexinxi.cn/yanergaozhi/522694.html

0

精彩评论

暂无评论...
验证码 换一张
取 消