(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210987448.1 (22)申请日 2022.08.17 (71)申请人 奇瑞徽银汽车 金融股份有限公司 地址 241000 安徽省芜湖市沈巷电信大道 （安康路） 东 (72)发明人 王延松　张磊　宗文广　王蒙　 (74)专利代理 机构 芜湖安汇知识产权代理有限 公司 34107 专利代理师 赵中英 (51)Int.Cl. G06Q 40/02(2012.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种银行贷款审批预测模型的训练方法及 预测模型 (57)摘要 本发明公开了一种银行贷款审批预测模型 的训练方法及预测模型， 其中训练方法包括： 建 立并训练预测模型， 初始化模型参数； 从全部贷 款申请集合J中加载训练数据， 结合插补模型和 倾向分数模型并通过梯度下 降方法更新预测模 型 中的模型参数， 模型参数按照梯度下降方法 最小化插补误差的偏差且添加了正则化项， 避免 模型过拟合， 实现了预测模型的参数训练更新， 得到更新的模型参数从而实现了预测模型的训 练。 本发明的优点在于： 通过结合插补模型和和 倾向分数模型， 实现对银行审批模型的无偏估 计， 可以有效减少预测模型的输出误差， 是的预 测模型可以准确的预测出银行审 批结果， 实现了 自动化准确的实现汽车金融公司对于交给银行 审批贷款的过滤筛查工作。 权利要求书2页 说明书7页 CN 115330520 A 2022.11.11 CN 115330520 A 1.一种银 行贷款审批预测模型的训练方法， 其特 征在于： 包括： 建立并训练预测模型： 预测模型为 φ为模型参数； 训练预测模型包括： 初始化模型参数， 从全部贷款申请集 合 中加载训练数据， 并通过梯 度下降方法更新预测模型 中的模型参数， 模型参数 更新按照如下公式更新： 其中， ei＝(gφ(xi)‑ri)2， ⊥表示不计算这部分的 梯度， 也就是 但在数值上 ⊥(gφ(xi))＝gφ(xi)； 超参数 η3是学习率， 范围 一般是[0.001， 0.01]， 超参数λ3是正则化系数； 对每一份申请i， 汽车金融公司 审批并给 出评价oi∈[0， 1}； 银 行对贷款申请i的评价ri； 为建立并训练的倾向分数模型 f是逻辑回归模型， θ是模型参数， 每个贷 款申请i的特 征向量xi； 为建立并训练的插补模型 ψ为模型参数。 2.如权利要求1所述的一种银 行贷款审批预测模型的训练方法， 其特 征在于： 训练倾向分数模型 时， 采用的训练数据是 中的全部贷款申请和汽车金融公 司对它的评价{xi， oi}； 损失函数采用二分类交叉熵损失函数。 3.如权利要求2所述的一种银 行贷款审批预测模型的训练方法， 其特 征在于： 采用逻辑回归 模型建模倾向分数为： 其中， k是xi的维度； ； θTxi是向量的内积， θk是θ 的第k个元 素， xik是xi的第k个元 素。 初始化模型参数θ然后利用训练数据估计参数θ， 采用二分类交叉熵损失函数： 其中， N是训练一次的样本大小； 采用梯度下降法最小化上述损失函数， 即通过对函数 上当前点对应梯度的反方向的规定步长距离点进 行迭代搜索， 以找到一个函数的极小值， θ 按下式更新： 其中， 超参数 η1是学习率， 范围一般是[0.0 01， 0.01]， 超参数 λ1是正则化系数。 4.如权利要求1所述的一种银 行贷款审批预测模型的训练方法， 其特 征在于： 在对预测模型进行训练前按照如下 方法获取训练所需数据： (1)获取数据包括： 全部贷款申请集合 对每一份申请i， 汽车金融公司审 批并给出评价oi∈ ｛0， 1}， 0表示不通过， 1表示通过； 汽车金融公司交给银行审批的贷款申 请集合为 银行对贷款申请i的评价ri∈ ｛0， 1}； (2)基于汽车金融公司交给银行审批的贷款申请集合为 生成一个采样器和一个数据权　利　要　求　书 1/2 页 2 CN 115330520 A 2加载器DataLo ader1， 采样器根据 的大小生成一个可迭代的序 号列表， 它决定了读取数据 的前后顺序； 根据超参数batch_size将采样器提供的序列划分成多个batch大小的可迭代 序列组； 数据加载器则负责将整个数据集 装载成这个可迭代序列组对应的一个个batch， 以供后续加载； (3)将训练用的 将划分成训练集和验证集， 为 的训练集和验证集分别生成一个数据 加载器DataL oader2和DataL oader3。 5.如权利要求4所述的一种银行贷款审批预测模型的训练方法， 其特征在于： 预测模型 的训练包括： 1)从 的数据加载器Dat aLoader1中加载一个batch的贷款申请， 通过梯度下降方法最 小化插补误差的偏差来更新插补模型的参数； 2)重复步骤1)， 直到数据加载器DataL oader1在这 一轮迭代中已经输出了全部batc h； 3)从 数据加载器DataLoader2中加载一个batch的贷款申请， 通过梯度下降方法最小 化预测偏差； 预测模型 的参数φ按下式更新： 4)重复步骤3)直至数据加载器DataL oader2在这一轮迭代中已经输出了全部batc h。 5)判断是否达到停止条件， 若达到停止条件， 则训练完成按照此时的参数φ形成训练 后的预测模型 若未达到停止条件则返回步骤1)循环。 6.如权利要求5所述的的一种银行贷款审批预测模型的训练方法， 其特征在于： 步骤1) 中， ψ按下式更新： 其中， ei＝ri‑gφ(xi)， 超参数η2是学习率， 范围一般是[0.001， 0.01]， 超参 数 λ2是正则化系数。 7.如权利要求6所述的一种银行贷款审批预测模型的训练方法， 其特征在于： 停止条件 包括循环次数达 到预先设置的次数阈值或触发了早停机制。 8.如权利要求7所述的一种银行贷款审批预测模型的训练方法， 其特征在于： 早停机制 按DataLoader3加载验证集数据， 验证预测模 型的性能， 当验证预测模 型的性能达到设定要 求后停止迭代循环。 9.如权利要求1 ‑8任一所述的一种银行贷款审批预测模型的训练方法， 其特征在于： 插 补模型采用MF模型、 FM模型或者 NFM模型。 10.一种预测模型， 用于预测贷款申请是否能够被银行审批通过， 其特征在于： 所述预 测模型采用如权利要求1 ‑9任一所述的银 行贷款审批预测模型的训练方法进行训练。权　利　要　求　书 2/2 页 3 CN 115330520 A 3