基于HBase的多分类逻辑回归算法研究

摘要

为解决在大数据环境下,用于训练多分类逻辑回归模型的数据集可能会超过执行计算的客户端内存的问题,提出了块批量梯度下降算法,用于计算回归模型的系数.将训练数据集存入HBase后,通过设置表扫描对象的起始行键参数,可取出大小合适的含训练样本及结果值的数据块;同时为避免客户端到服务端频繁的RPC调用,取出的数据块可进行多次迭代计算,以加快系数的收敛.当取出的数据块达到指定的迭代次数后,再按行键次序取出下一个数据块.如此循环,直到系数收敛或达到指定的循环控制阈值.多分类的逻辑回归问题可转换为二分类来解决,因此需要为每一个分类在训练数据表中设定结果值列,结合训练样本列簇,按块批量梯度下降算法得到每个分类的回归系数.实验结果表明得到的回归系数能准确地对测试样本进行分类.