手势识别总结ppt课件.ppt

,手势识别技术介绍,基于不同传感器,手势识别的分类,手势类型,静态手势识别（手型） 动态手势识别（动作及轨迹）,RGB相机 红外相机（主动、被动） 加速度传感器 深度相机（双目、 结构光、 TOF）,静态手势识别方法,基于手势分割,基于手势检测,选择合适的特征 准备大量训练样本 算法复杂度较高,算法复杂度低 难于分割完整的手势 对光照比较敏感,手势识别-基于手势分割,手势识别,手势输入,特征提取,误差补偿、滤波、,预处理,手势分割、手势跟踪、,分类、建模训练、匹配,手势识别-基于手势分割,手势识别-基于手势检测,手势分类器,采集手势样本,选择分类算法,选择特征,训练,训练过程：,识别过程：,手势类别及位置,采集图像,手势分类器,多尺度处理,分类,手势识别常用特征-HAAR,HAAR特征,图中黑色矩形所有像素值的和减去白色矩形所有像素值的和。,手势识别常用特征-LBP,LBP特征,将一幅图片划分为若干的子区域，对每个子区域内的每个像素点都提取LBP特征。在每个子区域内建立LBP特征的统计直方图。整个 图片就由若干个统计直方图组成,手势识别常用特征-HOG,手势识别算法-SVM,手势识别算法-Adaboost,手势识别算法-Adaboost训练,OpenCV中Adaboost算法,训练程序,opencv_traincascade.exe -data data -vec pos/pos.vec -bg neg/neg.dat -numPos 15200 -numNeg 27000 -numStages 19 -w 18 -h 30 -precalcValBufSize 1024 -precalcIdxBufSize 1024 -featureType LBP -minHitRate 0.9999 -maxFalseAlarmRate 0.5 -mode ALL,训练样本,opencv_createsamples.exe -info pos.dat -vec pos.vec -num 15400 -w 18 -h 30 pause,Adaboost训练要点,积极样本多样性,积极样本背景随机性,消极样本结合场景,积极样本旋转,特征选择,手势样本采集,获取手势的抠图,将手势抠图合成到随机背景,缩放到合适尺寸,Adaboost手势识别优点,速率较快（30-50ms）,对光照不敏感,对不同摄像机适用性强,对图像质量要求不高,Adaboost手势识别缺点,样本处理要求高（尺寸，背景，光照，多样）,后期升级训练困难（手工裁剪或标注样本）,存在一定程度误判率（过拟合与泛化）,特征不具有旋转不变形（识别固定姿态手势）,Adaboost优化方法,采集多样性样本（20k）,将误判图片作为消极样本再训练,收集实际识别图片手工裁剪样本,使用其他的方法进行二次判断（肤色验证及SVM）,手势识别的其他方法,深度相机,可分割出手型的二值图像（手型轮廓），进而通过轮廓特征进行手势及动作识别。,深度神经网络,通过CNN卷积神经网络自动选取特征进行识别，样本量巨大（100k以上）。手势数据集构建比较困难，目前没有很好地手势识别应用。,谢 谢！,结语,首页,