基于梯度方向直方图的行人检测方法研究.doc

基于梯度方向直方图的行人检测方法研究倪 恺，肖志涛 ，张芳（天 津 工 业 大 学 信 息 与 通 信 工 程 学 院 ，天 津 300160）【摘 要 】 为 满 足 汽 车 安 全 性 的 要 求 ，基 于 图 像 的 梯 度 方 向 直 方 图 特 征 ，利 用 支 持 向 量 机 的 方 法 ，实 现 了 行 人 检 测 。 该 方 法 提 取 正负 样 本 图 像 的 局 域 梯 度 直 方 图 特 征 ，利 用 支 持 向 量 机 进 行 样 本 训 练 ，得 到 行 人 分 类 器 。 利 用 训 练 好 的 分 类 器 进 行 检 测 ，实 验 结 果 表 明 ，该 方 法 可 以 有 效 检 测 出 前 方 出 现 的 行 人 ，并 达 到 了 较 好 的 检 测 效 果 。【关 键 词 】 梯 度 方 向 直 方 图 ；行 人 检 测 ；支 持 向 量 机【中 图 分 类 号 】 TN919.8；TP391【文 献 标 识 码 】 AStudy on Method of Pedestrians Detection Based on Histograms of Oriented GradientsNI Kai, XIAO Zhitao, ZHANG Fang（School of Information and Communication Engineering, Tianjin Polytechnic University, Tianjin 300160, China ）【Abstract】 To meet the requirement of vehicle safety, a method based on Histograms of Oriented Gradients (HOG) and Support Vector Machine （SVM） which can be used to detect the preceding human is presented. Calculation is done to get some part of HOG feature in some positive and negative training examples. Then the algorithm of SVM is used to do the training to get ahuman classifier. Then, the classifier is used to make human detection. Experiment results are performed practically and show that the proposed method can detect preceding person effectively.【Key words】 HOG; pedestrians detection; SVM响，在灰度分布的区域上并没有明显的不同 。基于以上考虑 ， 笔者研究了一种利用梯度方 向 直方 图 （Histograms of Oriented Gradients，HOG）特 征1的 方 法 ， 提取图像中局部区域的梯度方向直方图特征 ， 利 用 支 持向 量 机 （Support Vector Machine，SVM） 的 方 法 形 成 分 类 器，作为 HOG 特 征训练的分类 ，从而实现行人检测 。HOG引言行人检测是目标检测的重要分支 ，是 近 年 来 智 能 汽 车 领 域 中 的前沿方向和研究热点 ，它 在 智 能 汽 车 中 的 监 控 系 统 、驾驶员辅助系统方面拥 有 广泛的应用前景 。 检 测 方 法 多 种 多 样 ，其本质 是利用行人特征将行人从背景 中 分 割 出 来 ，将检测问题转化为模式分类的问题 。 行 人 检测 在 物体检测领域有特殊性 ， 对 于 人 体 形 态 而 言 ，人 体 是 一 个 非 刚 性 的 、形 变 大 的 、多 角 度 的 物 体 ，同 时 还 受 到 光 照 、衣 着以及复杂背 景 环境的影响 ，多 视 、多 态 的 人 体检测具有很大 难度与挑战 。目前广泛的资料中 ，行人检测的方法包括背 景 提取 和 形 状 模 型 匹 配 的 方 法 ，该方法通过对 当前图像与参考 背 景 进 行 逐个做差来得 到 运动目标 ，再与相对应的行人 形 状 模 型 进 行 匹 配 ，但仅能处理一系列的图像帧 ，不 能 处 理 单 独 的 一 帧 图 像 ，而且行人的多态性使 算 法变得复 杂，使模型匹配很难达到理想的结 果 。应用 Haar 特征的方法 ， 从训练样本中提取 Haar 特 征 ，应 用该 特 征并进行逐层训练 ，得 到 强 分 类 器 ，通 过 强分类器进行行人的识别 。 Haar 特征检测方法已 成功应用0表示的是边缘梯度的结构特征 ，因 此 可 以 描 述 局 部 区 域的形状信息 ，能对局部对象外观和 形状进行很好的表征 ，事实证明可以很好地 应用在行人检测中 。特征11.1HOGHOG 特征的定义HOG 特 征 算 法2-3 由 Dalal 在 2005 年 提 出 。 Dalal 使用了表达能力强的 HOG 特征，由于计算机性能的 提 高 ，Dalal 使用了上千维的特征 ， 在 MIT 和 INRIA 行人库 中 ，Dalal 在万 分之一的误报率下取得了近 90%的检测率 。 与 SIFT 特 征4 类 似 ，HOG 特征通过提取 局部区域的边缘或 梯 度分布 ， 可很好地表征局部区域内目标的 边 缘或梯度 结构，进而表征目标的形状 ，对辐射 差异和配准误差有较 强的稳健性 。Dalal 提 出 的 HOG 特征对于大小为 64×128 的 训 练 样 本 ，按 照 8×8 像 素 的 单 元 （cell）进 行 划 分 ，这 样 就 形 成于 人 脸 检 测 ，但是行人较人脸有很大不同 ，Haar 特 征 是基于灰度分布的区域特征 ， 而 行 人 由 于 不 同 衣 着 的 影block重 叠 的 blockcellC1 C2C3 C4Image图 2 样 本 图 像 中 block 和 cell 的 关 系543627180图 3 HOG 梯 度 方 向 的 划 分了 8×16=128 个 cell，然后再将每相邻的 4 个 cell 划 分 为l 块 （block）。 采 用 Dalal 提 出 的 方 法 ，图 1 为 HOG 特 征模板，其中宽 （W）与高（H）的比率 为 11。 block 的形成是中像素点 （x，y）的水平方向梯度 、垂直方向梯度的 幅值 。样本中像素点 （x，y）的梯度幅值为G（x，y）= 姨Gx（x，y）2+Gy（x，y）2样本中像素点 （x，y）的梯度方向为（3）按 照 每 个 cell 进 行 滑 动 生 成 的 ，由 此 原 训 练 样 本 （64 ×128） 便 具 有 7×15=105 个 block 。 样 本 图 像 中 block 和 cell 之 间 的 关 系 如 图2 所示。（x，y）=arctan（ Gy（x，y） ）（4）Gx（x，y）然 后 计 算 9 个 区 间 （bink） 上各个像素点在分量区间 上 的幅值WH=11图 1 HOG 特 征 模 板Vk（x，y）= 埸G（x，y），（x，y）bink，1k9（5）0，（x，y）埸bink为 了 消 除 光 照 等 影 响 ，进行归一化处理对块中每个单元的区 间 分量 Vk（x，y）+f（Ci，k）= （x，y）Ci（6） Vk（x，y）+（x，y）B式中：f（Ci，k）表示 在 某 个 单 元 Ci 中 ，第 k 个区间的累计强 度 在 Ci 所 属 的 块 block 中 所 占 的 比 例 ， 其 中 i=1，2，3，4。 式 （6）中 加 一 个 较 小 的 数，避免出现分母为 0 的 情 况 ，本 文中取=0.001。 由式（6）可知每个单元的特征可由 1 个 9 维 向 量 表 示 ，而 每 个 块 由 4 个 单 元 组 成 ，从 而 块 的 特 征 可 由一个 36 维向量表示 。 本文的 HOG 特征可以 表示为对于划分后的每个 cell，将其中所有像素的梯 度 方向 进 行 投 影 ，形 成 每 个 cell 各自的梯度方向 直 方 图 。这f（Ci，k）|i=1，2，3，4，k=1，2，9分类器的选择（7）里的方向区间 （bin）数量设定为 9，如图 3 所 示 ，即 每 20°2一个区间 ，然后再 将 每 个 block 中 的 4 个 cell 的 梯 度 方向直方图数据串联起来 ，则每个 block 便是一 个 36 维 的向量。再将所有的 block 依次串联起来 ，便形成 了对每个 训练图像的 36×105=3 780 维编码5-6。笔者选择的分类器为线性 SVM 分 类 器 8，线 性 SVM分 类 器 运 算 简 单 ，推 广 能 力 好 ，并 且 在 Dalal 的 工 作 中 已 经 证明，结合 HOG 特征可以很好地区分人体和非人 体 。训 练 过 程 中 ， 大 小 为 l 的 训 练 样 本 集 （xi ，yi ），i =1，2， ，l由 二 类 别 组 成 ，如 果 xiRN 属 于 第 1 类 ，则 标 记 为 正 （yi =1）， 表 示 为 行 人 ， 如 果 属 于 第 2 类 ， 则 标 记 为 负（yi=-1），表 示 为 非 行 人 ，训练的目标是构造判别函数将测 试的行人相 关数据尽可能正确地分类 。如果存在分类超平面w·x+b=0使得（8）1.2 HOG 特征的计算HOG 特征的计算7过程如下 ，其中 H（x，y）表示图像 在像素点 （x，y）处的灰度值 。首 先 计 算 梯 度 ，采 用-1，0，1模 板计算每个方向的 梯 度幅值和方向埸w·xi+b-1，yi=1w·x +b1，y =1ii，i=1，2，l（9）则称训练集是 线 性 可 分 的 ， 其 中 w·x 表 示 向 量 wRN 与 xRN 的 内积。 对于式 （9），可写成如下形式Gx（x，y）=H（x+1，y）-H（x-1，y）Gy（x，y）=H（x，y+1）-H（x，y-1）（1）（2）yi（w·x+b）1，i=1，2，l（10）由 统 计 学 理 论 知 ，如果训练样本集没有被超 平 面错 计 算 得 Gx （x，y），Gy （x，y）， 分别表示训练样 本 图 像误分开，并且距超平面最近的样本数据 与超平面之间的 距C1C2C3C4a 正 样 本b 负 样 本图 5 正 负 样 本 例 图离最大 ，则该超平面为最优超平面 ，由此得到判 别函数线 行 人f（x）=sgn（w·x+b）（11）其泛化能力最优 ，其 中 sgn （·）为 符 号 函 数 ，最 优 超平面 的求解需要最大化 2/w，即 最 小 化 1 w2，进2而 可将求最优分类面 问题转化为求带有约 束 条件为不 等式的条件极值问题 。构造 Lagrange 函数线 样 本llL（w，b）= 1 w2-iyi（x·i w+b）+i，0，2i=1，2，li=1i=1（12）坠坠应 满 足 条 件L （w，b）=0，L （w，b）=0， 即坠w坠bw=iyixi 和iyi=0。 将其代入 Lagrange 函数中 ，消去w 和 b，经运算得到对偶最优化问题iilllmax W（）=i- 1 ijyiyjxixjj=nwindow？满足iyi=0i=12i=1i，ji0，i=1，2，l，（13）式中：其解是原最优化问题的整体最优解 ，解出 各个最佳*值 i（表 示 为 i ）后 ，利 用 w =i yixi 确定最优超平面 ，*ib* 值 可 由 iyi （wxi+b）-1=0 式 中 对 i 不 为 0 的 数 据 求 得，至此分类器 的训练算法完毕 。对行人进行在线检测时 ，对 于 待 分 类 向 量 x，选 择 某l图 4行 人 检 测 流 程 图有 野 外 的 、繁 华 街 道 的 、海 边 散 步 的 等 ，由 此 训 练 出 来 的分类器具有较强的通用性 。*一特定类型的核函数 K （x，xi ）， 计 算 f （x）=sgnyii·i = 1K（xi，x）+b*为+1 或-1，决定 x 属于 哪一类 。行人目标检测流程行人目标检测的流程如图 4 所示，主要分为 2 部 分 ， 包括离线样本训练和在线行人检测 ， 检测过 程中对待 检 测的图像先进行分层处理 ， 根据图像的大小可 计算出 图 像 的 层 数 level，然后按照一定比例进 行 放 缩 ，在 放 缩 后 的多个图像中用一定大小 的 窗口进行穷举 搜 索 和 判 别 ， 最后将所有尺度 下的检测结果进行融合合并 ， 融合合 并 后的 窗口是单一的 ，是最终的行人位置窗口 。3实验结果笔 者 选 用 INRIA 和 MIT 行 人 库 ，其 中 训 练 数 据 包 括2 416 张 正 样 本 训 练 图 像 （大 小 为 128×64）， 如 图 5a 所 示 ，1 218 张 没 有 人 的 图 像 作 为 负 样 本 （大 小 为 128×64）， 如图 5b 所示。该数据图像 集的特点是衣服 、姿态、光照和 视角等变化大 ，图像中的人体是在不同的场景 中获得的 ，4在开 始检 测打 开 待 检 测 图 像计 算 图 像 层 数 levelFor i=1level离开 始训 练补 齐 图 像 尺 寸打 开 样 本 图 像计 算 窗 口 个 数 nwindow样 本 HOG特 征 提 取For j=1nwindow计 算 HOG 特 征SVM训 练分 类 器 检 测N分 类 器NYi=level？Y行 人 定 位重 叠 窗 口 合 并End行 人 窗 口图 6 正 确 的 检 测 结 果图 7 漏 检 结 果图 8 虚 警 结 果为 了 验 证 准 确 性 ， 用 数 码 照 相 机 Sony WX1 采 集 了一组非 连续的图像 ，与训练样本之间的相关性差 ，作 为测小结研究了智能车辆的一个重要部分 ：前 方 行 人 的 检 测 。 通过一个线性的 SVM 分 类 器 与 梯 度 方 向 直 方 图 （HOG） 特征相结合 ，对一种应用的行人检测 算 法 进 行 了 研 究 ，对 单幅图像有很好的检测效 果 。 实验结果表明 ，该算法性能 保持了一定的准确性 ， 对图像中的单一行人 检 测有较高 的正确率 。5试集，包括 264 幅图像 ，其中包 含 775 个 完 整 的 人 体 。采集 的图像中既有单一的行人 ， 也包括在复杂背 景下 的 多个行人 。 实验表明 ，经训练好的分类 器可成功检测到 617个 人 体 ，漏 检 57 个 ， 虚 警 158 个 ，正 确 检 测 率 达 到 近80%。 采集 的图像中 ，当行人过小 ，该行人检测会失败 ，这是由于采集图像的大小远远大于训练样本的 大小 ，故 需逐层缩小待检测图像 ， 直至其行数 小于 128 或 列 数 小 于64，小于该大小的区域不在待 检测的考虑范围之内 ，而 且参考文献 ：1DALAL N, TRIGGS B. Histograms of oriented gradients for humandetectionC/ Proc. IEEE Conference on Computer Vision and PatternRecognition， 2005. Beijing：IEEE Press， 2005：886-893.PORIKLI F. Integral histograms ： a fast way to extract histograms in cartesian spaces C/Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2005. San Diego, CA ： IEEE Press, 2005： 829-836.DALAL N. Finding people in images and videos D. France ： the French National Institute for Research in Computer Science and Control，INRIA， 2006.LOWE D G. Distinctive image features from scale-invariant keypoints J. International Journal of Computer Vision ， 2004， 60（2）： 91-110. 朱 文 佳 . 基 于 机 器 学 习 的 行 人 检 测 关 键 技 术 研 究 D.上 海 ：上 海 交通 大 学 ，2008.黄 茜 ，顾 杰 峰 ，杨 文 亮. 基 于 梯 度 向 量 直 方 图 的 行 人 检 测J.科 学 技 术 与 工 程 ，2009，9（13）：3646-3651.周 柯. 基 于 HOG 特 征 的 图 像 人 体 检 测 技 术 的 研 究 与 实 现 D.武 汉 ：华 中 科 技 大 学 ，2008.李 同 治 ，丁 晓 青 ，王 生 进 . 利 用 级 联 SVM 的 人 体 检 测 方 法 J. 中 国 图 象 图 形 学 报 ，2008，13（3）：566-570.笕在车辆行驶中行 人在图像中会越来越明显 ，检测 的 几 率会逐 渐增高 。图 6 为正确的检测结果 ，图 7 为一些漏检 的情况，图 8 则为虚警的情况 ，背景比较复杂或者 和 行 人 比 较接近的时候 ，将背景的部分区域也 检测为行人 。2345678作 者 简 介 ：倪恺 （1981- ），硕 士 生 ，主 要 研 究 方 向 为 图 像 处 理 与 模 式 识 别 ；肖 志 涛 （1971- ），教 授 ，主 研 图 像 处 理 与 模 式 识 别 、机 器 视 觉 、智 能信 号 处 理 等 ；张芳 （1981- ），讲 师 ，主 研 光 电 图 像 处 理 与 模 式 识 别 。责 任 编 辑 ：丁雪收 稿 日 期 ：2010-10-27笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕（上接第 95 页）image processingJ. International Journal of Computer Vision，1997，23（1）：48-57.ZHANG Zhengyou. A flexible new technique for camera calib - ration J . IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.Vaibhav Vaish. Light field camera calibration EB/OL. 2010 -05 -07. http：/graphics.stanford.edu/vaibhav/projects/lfca_calib/#design. Vaibhav Vaish . The stanford calibration grid detector EB / OL .2010-01-06. http：/graphics.stanford.edu/software/findgrid/.笕作 者 简 介 ：傅 瀛 ，硕 士 ，主 研 信 号 与 信 息 处 理 ；王 永 芳 ，女 ，博 士 ，副 教 授 ，主 研 视 频 编 码 及 三 维 视 觉 ；廖 小 僮 ，女 ，硕 士 ，主 研 信 号 与 信 息 处 理 ；张 兆 阳 ，博 士 ，教 授 ，主 研 视 频 编 码 及 三 维 视 觉 。56责 任 编 辑 ：闫 雯 雯收 稿 日 期 ：2010-05-257file:/D|/我的资料/Desktop/新建文本文档.txtAppliance Error (configuration_error)Your request could not be processed because of a configuration error: "Could not connect to LDAP server."For assistance, contact your network support team.file:/D|/我的资料/Desktop/新建文本文档.txt2012-07-12 20:42:52