当前位置:问答库>论文摘要

题目:支持向量机的序列盒子约束二次规划新解法及核参数的选择

关键词:支持向量机;盒子约束二次规划;拉格朗日对偶;割线法;积极集法

  摘要

支持向量机是今年来兴起的一种重要的机器学习方法,回归函数估计和概率密度估计三种主要的问题。其核心技巧是将相关数据映射到高维超平面,在这个平面上将数据分开,并且使得分类间隙最大化。现在支持向量机被广泛应用于信息检索,图像识别等方面。在训练支持向量机的过程中所面临的主要问题是需要求解一个大规模的具有单个等式约束和界约束的二次规划问题,这个问题可以在优化理论的框架下解决。支持向量机的另一个重要问题是核参数的选取,直接影响到模型的推广能力。 本文针对这种特殊的二次规划问题提出了一个新算法。该算法通过引入乘子建立该问题关于等式约束的Lagrange对偶问题,其是单变量可微凹函数的无约束极大化问题,并给出了这个单变量函数导数的表达式,证明该导数是分段线性单调不减函数,因此可以利用求单变量方程根的割线法求其驻点,而在割线法的每一步都需要求解一个盒子约束二次规划子问题(简记为BQP)。由于割线法相邻两次迭代相差不大,从而所得BQP子问题的积极集变化不大,因此选用积极集法求解每一步的BQP子问题。并在积极法求解BQP子问题时,对前一步的BQP问题的海森矩阵的Cholesky分解进行修正,得到下一步的BQP子问题的海森矩阵的Cholesky分解,从而提高了算法的效率。此外,还用一些数值试验证明了理论分析的正确性和算法的有效性。最后在两种核参数选取算法的基础上做了步长的改进,并用试验证明这种步长选取方法的优越性。