一种新型人体运动图像实时分析系统
作者：王人成 冯丽爽 黄昌华 杨年峰 金德闻
单位：王人成(清华大学精密仪器系，北京，100084)；冯丽爽(清华大学精密仪器系，北京，100084)；黄昌华(清华大学精密仪器系，北京，100084)；杨年峰(清华大学精密仪器系，北京，100084)金德闻(清华大学精密仪器系，北京，100084)
关键词：人体运动图像；步态分析；康复工程
中国康复医学杂志000312 摘要 目的：研制人体运动图像实时分析系统。方法：应用普通面阵电荷耦合器件摄像头，采用动态图像采集以及标志点图像自动识别与跟踪技术进行人体运动图像检测分析。结果：分析系统能实现人体运动图像的在线检测与分析。结论：采用通用硬件制做的人体运动图像分析系统成本低，性能可靠，维护与升级方便。
Real-time analysis system of human motion image
, http://www.100md.com
WANG Rencheng FENG Lishuang HUANG Changhua
(Chinese Journal of Rehabilitation Medicine,2000,15(3):165～167)
Abstract Objective:To develop the real-time analysis system of human motion.Method:Normal charge coupled device(CCD) was used to measure and analyze human motion image by acquiring the images dynamically and recognizing and tracking the landmarks automatically.Result:The system realizes the human motion image measurement and analysis online.Conclusion:The system with original equipment manufacture(OEM) is low cost, high reliability,and maintenance and upgrade simply.
, http://www.100md.com
Author′s address Dept. of Precision Instruments and Mechanology,Tsinghua University,Beijing,100084
Key words Human motion image；Gait analysis；Rehabilitation engineering
人体运动信息是人体运动系统和神经控制系统等多方面综合运动功能的反映，人体不同的运动功能障碍(疾病)和康复水平在运动信息中都有所反映，分析其运动特征的变化，可以帮助临床医生进行疾病或康复进程评定，为临床提供准确科学的诊断和评价手段。目前，由于进口的人体运动分析系统价格昂贵，因而，大多数医生仍然采用目测、秒表、米尺等简单工具进行诊断，严重制约了现代运动分析技术在我国的开展。国内多家研究机构从80年开始开展了旨在降低成本的人体运动功能分析系统研究工作〔1～5〕，但是由于性能、价格等因素制约，得到大范围应用的国产系统还寥寥无几。作者介绍一种新型人体运动图像实时检测分析系统，该系统由普通摄像机的离线分析系统发展而来，系统硬件采用低价位原始设备制造商(original equipment manufacture，OEM)产品，既降低了成本，又增加了系统的可维护性，还便于升级。
, http://www.100md.com
1 系统硬件
人体运动信息检测系统如图1所示。实线部分为运动图像检测单元，这是系统的核心部分;虚线部分为地面支反力检测和肌电信号检测单元，三个单元的同步由协调控制器实现，这是系统的辅助部分，可以根据需要选配。
图1 人体运动实时分析系统硬件
运动图像检测装置硬件由普通电荷耦合器件(charge coupled device，CCD)摄像头、动态图像采集卡、个人计算机(personal computer,PC)以及标志点组成；地面支反力检测装置由三维测力台、信号放大器、A/D信号采集卡、PC机组成；肌电信号检测装置由电极、信号放大器、A/D信号采集卡、PC机组成。运动图像检测由一台PC机完成，力台和肌电信号采集由一块16通道通用A/D信号采集卡和一台计算机完成。力台和肌电信号检测属于辅助部分，采用的都是常规技术〔7、8〕，在此不予详细介绍。重点介绍运动检测部分。
, 百拇医药
人体运动信息实时采集最常见的方法是利用红外摄像，如瑞典SELCOM公司的SELSPOT系统、英国OXFORD公司的VICON系统、意大利BTS公司的ETITE系统、美国AMTI公司的COD-Ⅲ系统、清华大学的红外光点运动分析系统〔1〕等；其次是采用测角仪，如文献2～4介绍的系统；还有文献5介绍的利用超声定位的方法。本文介绍的低成本人体运动信息实时检测分析系统是采用图像动态采集技术和标志点自动识别跟踪算法，将原来需要逐帧、逐点处理图像的摄影式离线图像检测分析系统〔9,10〕改造成实时采集、在线分析系统。利用这个系统只需在被测关节或肢体特定部位安装特定颜色和形状的标志点，就可以即刻得到关节的空间位置及其分析结果。该系统除具有红外摄像等系统的实时性外，还具有对检测环境要求低、对受试者干扰小的优点。
2 系统软件
人体运动信息检测分析系统软件用C++编写，可在Mocrosoft Windows 3.X或Windows 9X环境运行。下面简要介绍软件运行的基本流程。
, 百拇医药
2.1 图像预处理
尽管在得到的图像中用肉眼可以比较清晰地分辨出关节上的标志点(图2左)，但其边缘比较模糊，这将影响标志点自动识别与跟踪的速度和准确性。因此在软件中,我们首先采用了一种基于非线性变换的模糊边缘快速增强算法对图像进行预处理,以突出标志点的边缘。图2右是进行边缘增强后的图像效果,可见位于髋关节、膝关节和踝关节的黑白圆环标志点的边缘得到了明显的改善。
2.2 标志点图像的识别与跟踪
标志点的识别与跟踪有自动和手动两种。由于目前的二维系统采用平面标志点，因此在人行走过程中容易产生变形，当变形达到某种程度时，自动识别与跟踪算法将无法找到标志点，这时需要人工查找。
标志点识别分粗略搜索和精细查找两步进行。标志点查找利用我们构造的一种连通域算法和模板筛选的办法来判断是否是标志点。由于标志点识别采用了隐含标志点跟踪的“一阶预测、局部搜索”方法，因而只要相邻时刻同一标志点的位置变化在预测点的局部搜索范围内，且同一时刻的任意两标志点间距大于局部搜索范围，在局部搜索范围内找到的点就与前一时刻的点为同一点。对于人体运动(如行走)的检测，只要搜索范围大小选择得适当，就能满足这个条件。
, 百拇医药
图2 标志点图像预处理
2.3 数字滤波
由于在进行运动分析时，速度和加速度采用直接求导法得到，而这种方法对噪声非常敏感。求一次导数后，信号与噪声振幅增加的倍数与频率成正比，逐次求导的结果将导致高频噪声的急剧增加，因此软件中选用二阶巴特沃滋数字滤波器对信号进行高频滤波。在利用该系统进行步态分析时，根据有关研究文献，滤波器的截止频率为6Hz，其传递函数为：
其中，A0为输入信号，A1为输出信号。
2.4 数据分析
数据分析包括运动棍图的重构，各关节运动的角位移、角速度、角加速度的求解，以及各种常规的统计分析。如果配备三维测力台，除可以对人行走过程中受力进行各种统计分析外，还可以计算出相应关节的力矩变化情况，进行动力学分析。此外，数据分析还包括我们正在研究的针对不同典型运动功能疾病康复程度进行定量评定的各种指标。
, 百拇医药
2.5 显示与输出
如图3所示，数据处理流程、参数设置、计算结果等都可以输出在计算机显示器上,并可以将多种计算结果曲线任意叠加在一起以进行对比分析(如图4所示)。同时还建立了系统数据库，以管理各种有关检测信息，如病历、检测数据、分析结果、诊断结果等，这些信息也可用打印机输出。
图3 系统软件
图4 髋、膝和踝关节夹角变化曲线
3 结论
该系统采用通用低价位的硬件大大降低了成本，并利用新的动态图像检测与处理技术使系统具有较高的技术性能指标。其系统分析软件功能齐全、操作方便，特别适合在我国医院推广使用，尤其是二维人体运动检测系统对检测环境无特殊要求，特别适合中、小医院及有条件的社区医疗服务机构进行人体步态分析等运动功能康复程度评定与诊断。同时该系统还可用于指导体育训练，以及用作生物控制论等基础研究的实验平台。
, http://www.100md.com
本课题为国家自然科学基金(编号：59905015)和科技部重点攻关项目(编号：96-920-20-14)
参考文献
1，丁海曙，王广志，黄欣，等.用PSD传感器实现多点运动轨迹的二维和三维实时检测.清华大学学报(自然科学版)，1992，32(4):79-85.
2，徐乃明，戴克戎，高天骆，等.微机化步态分析系统的研制.中国生物医学工程学报，1990,9(1)：13-20.
3，门洪学，张国栋，吴其常，等.靴式步态分析系统的研制与应用.中国生物医学工程学报，1991,10(3)：142-148.
4，陈大跃，丁洪，周新宇，等.人体行走的步态测试与分析系统.中国生物医学工程学报，1997,16(2)：133-141.
, 百拇医药
5 杨衍明，林方，袁波，等.超声定位人体下肢步态分析仪.中国生物医学工程学报，1997,16(6)：298-303.
6，王人成，黄昌华，王季军，等.基于摄像机的人体运动分析系统标志点图像处理.清华大学学报(自然科学版),1999,39(2)：75-78.
7，丁海曙，潘文叶，李云，等.三维测力系统的数据采集及应用，中国康复，1989，4(4)：76-80.
8，表面肌电信号测试分析系统的研制.中国医疗器械杂志，1998，22(3)：129-132.
9，王军，刘亚平，张春礼.计算机视频图像处理技术在动态生物医学图像研究中的应用.中国运动医学杂志，1994，13(3)：135-139.
10，基于摄像机的人体运动信希检测系统.生物医学工程杂志，1999，16(4)：448-452.
收稿日期：1999-10-20, http://www.100md.com
单位：王人成(清华大学精密仪器系，北京，100084)；冯丽爽(清华大学精密仪器系，北京，100084)；黄昌华(清华大学精密仪器系，北京，100084)；杨年峰(清华大学精密仪器系，北京，100084)金德闻(清华大学精密仪器系，北京，100084)
关键词：人体运动图像；步态分析；康复工程
中国康复医学杂志000312 摘要 目的：研制人体运动图像实时分析系统。方法：应用普通面阵电荷耦合器件摄像头，采用动态图像采集以及标志点图像自动识别与跟踪技术进行人体运动图像检测分析。结果：分析系统能实现人体运动图像的在线检测与分析。结论：采用通用硬件制做的人体运动图像分析系统成本低，性能可靠，维护与升级方便。
Real-time analysis system of human motion image
, http://www.100md.com
WANG Rencheng FENG Lishuang HUANG Changhua
(Chinese Journal of Rehabilitation Medicine,2000,15(3):165～167)
Abstract Objective:To develop the real-time analysis system of human motion.Method:Normal charge coupled device(CCD) was used to measure and analyze human motion image by acquiring the images dynamically and recognizing and tracking the landmarks automatically.Result:The system realizes the human motion image measurement and analysis online.Conclusion:The system with original equipment manufacture(OEM) is low cost, high reliability,and maintenance and upgrade simply.
, http://www.100md.com
Author′s address Dept. of Precision Instruments and Mechanology,Tsinghua University,Beijing,100084
Key words Human motion image；Gait analysis；Rehabilitation engineering
人体运动信息是人体运动系统和神经控制系统等多方面综合运动功能的反映，人体不同的运动功能障碍(疾病)和康复水平在运动信息中都有所反映，分析其运动特征的变化，可以帮助临床医生进行疾病或康复进程评定，为临床提供准确科学的诊断和评价手段。目前，由于进口的人体运动分析系统价格昂贵，因而，大多数医生仍然采用目测、秒表、米尺等简单工具进行诊断，严重制约了现代运动分析技术在我国的开展。国内多家研究机构从80年开始开展了旨在降低成本的人体运动功能分析系统研究工作〔1～5〕，但是由于性能、价格等因素制约，得到大范围应用的国产系统还寥寥无几。作者介绍一种新型人体运动图像实时检测分析系统，该系统由普通摄像机的离线分析系统发展而来，系统硬件采用低价位原始设备制造商(original equipment manufacture，OEM)产品，既降低了成本，又增加了系统的可维护性，还便于升级。
, http://www.100md.com
1 系统硬件
人体运动信息检测系统如图1所示。实线部分为运动图像检测单元，这是系统的核心部分;虚线部分为地面支反力检测和肌电信号检测单元，三个单元的同步由协调控制器实现，这是系统的辅助部分，可以根据需要选配。
图1 人体运动实时分析系统硬件
运动图像检测装置硬件由普通电荷耦合器件(charge coupled device，CCD)摄像头、动态图像采集卡、个人计算机(personal computer,PC)以及标志点组成；地面支反力检测装置由三维测力台、信号放大器、A/D信号采集卡、PC机组成；肌电信号检测装置由电极、信号放大器、A/D信号采集卡、PC机组成。运动图像检测由一台PC机完成，力台和肌电信号采集由一块16通道通用A/D信号采集卡和一台计算机完成。力台和肌电信号检测属于辅助部分，采用的都是常规技术〔7、8〕，在此不予详细介绍。重点介绍运动检测部分。
, 百拇医药
人体运动信息实时采集最常见的方法是利用红外摄像，如瑞典SELCOM公司的SELSPOT系统、英国OXFORD公司的VICON系统、意大利BTS公司的ETITE系统、美国AMTI公司的COD-Ⅲ系统、清华大学的红外光点运动分析系统〔1〕等；其次是采用测角仪，如文献2～4介绍的系统；还有文献5介绍的利用超声定位的方法。本文介绍的低成本人体运动信息实时检测分析系统是采用图像动态采集技术和标志点自动识别跟踪算法，将原来需要逐帧、逐点处理图像的摄影式离线图像检测分析系统〔9,10〕改造成实时采集、在线分析系统。利用这个系统只需在被测关节或肢体特定部位安装特定颜色和形状的标志点，就可以即刻得到关节的空间位置及其分析结果。该系统除具有红外摄像等系统的实时性外，还具有对检测环境要求低、对受试者干扰小的优点。
2 系统软件
人体运动信息检测分析系统软件用C++编写，可在Mocrosoft Windows 3.X或Windows 9X环境运行。下面简要介绍软件运行的基本流程。
, 百拇医药
2.1 图像预处理
尽管在得到的图像中用肉眼可以比较清晰地分辨出关节上的标志点(图2左)，但其边缘比较模糊，这将影响标志点自动识别与跟踪的速度和准确性。因此在软件中,我们首先采用了一种基于非线性变换的模糊边缘快速增强算法对图像进行预处理,以突出标志点的边缘。图2右是进行边缘增强后的图像效果,可见位于髋关节、膝关节和踝关节的黑白圆环标志点的边缘得到了明显的改善。
2.2 标志点图像的识别与跟踪
标志点的识别与跟踪有自动和手动两种。由于目前的二维系统采用平面标志点，因此在人行走过程中容易产生变形，当变形达到某种程度时，自动识别与跟踪算法将无法找到标志点，这时需要人工查找。
标志点识别分粗略搜索和精细查找两步进行。标志点查找利用我们构造的一种连通域算法和模板筛选的办法来判断是否是标志点。由于标志点识别采用了隐含标志点跟踪的“一阶预测、局部搜索”方法，因而只要相邻时刻同一标志点的位置变化在预测点的局部搜索范围内，且同一时刻的任意两标志点间距大于局部搜索范围，在局部搜索范围内找到的点就与前一时刻的点为同一点。对于人体运动(如行走)的检测，只要搜索范围大小选择得适当，就能满足这个条件。
, 百拇医药
图2 标志点图像预处理
2.3 数字滤波
由于在进行运动分析时，速度和加速度采用直接求导法得到，而这种方法对噪声非常敏感。求一次导数后，信号与噪声振幅增加的倍数与频率成正比，逐次求导的结果将导致高频噪声的急剧增加，因此软件中选用二阶巴特沃滋数字滤波器对信号进行高频滤波。在利用该系统进行步态分析时，根据有关研究文献，滤波器的截止频率为6Hz，其传递函数为：
其中，A0为输入信号，A1为输出信号。
2.4 数据分析
数据分析包括运动棍图的重构，各关节运动的角位移、角速度、角加速度的求解，以及各种常规的统计分析。如果配备三维测力台，除可以对人行走过程中受力进行各种统计分析外，还可以计算出相应关节的力矩变化情况，进行动力学分析。此外，数据分析还包括我们正在研究的针对不同典型运动功能疾病康复程度进行定量评定的各种指标。
, 百拇医药
2.5 显示与输出
如图3所示，数据处理流程、参数设置、计算结果等都可以输出在计算机显示器上,并可以将多种计算结果曲线任意叠加在一起以进行对比分析(如图4所示)。同时还建立了系统数据库，以管理各种有关检测信息，如病历、检测数据、分析结果、诊断结果等，这些信息也可用打印机输出。
图3 系统软件
图4 髋、膝和踝关节夹角变化曲线
3 结论
该系统采用通用低价位的硬件大大降低了成本，并利用新的动态图像检测与处理技术使系统具有较高的技术性能指标。其系统分析软件功能齐全、操作方便，特别适合在我国医院推广使用，尤其是二维人体运动检测系统对检测环境无特殊要求，特别适合中、小医院及有条件的社区医疗服务机构进行人体步态分析等运动功能康复程度评定与诊断。同时该系统还可用于指导体育训练，以及用作生物控制论等基础研究的实验平台。
, http://www.100md.com
本课题为国家自然科学基金(编号：59905015)和科技部重点攻关项目(编号：96-920-20-14)
参考文献
1，丁海曙，王广志，黄欣，等.用PSD传感器实现多点运动轨迹的二维和三维实时检测.清华大学学报(自然科学版)，1992，32(4):79-85.
2，徐乃明，戴克戎，高天骆，等.微机化步态分析系统的研制.中国生物医学工程学报，1990,9(1)：13-20.
3，门洪学，张国栋，吴其常，等.靴式步态分析系统的研制与应用.中国生物医学工程学报，1991,10(3)：142-148.
4，陈大跃，丁洪，周新宇，等.人体行走的步态测试与分析系统.中国生物医学工程学报，1997,16(2)：133-141.
, 百拇医药
5 杨衍明，林方，袁波，等.超声定位人体下肢步态分析仪.中国生物医学工程学报，1997,16(6)：298-303.
6，王人成，黄昌华，王季军，等.基于摄像机的人体运动分析系统标志点图像处理.清华大学学报(自然科学版),1999,39(2)：75-78.
7，丁海曙，潘文叶，李云，等.三维测力系统的数据采集及应用，中国康复，1989，4(4)：76-80.
8，表面肌电信号测试分析系统的研制.中国医疗器械杂志，1998，22(3)：129-132.
9，王军，刘亚平，张春礼.计算机视频图像处理技术在动态生物医学图像研究中的应用.中国运动医学杂志，1994，13(3)：135-139.
10，基于摄像机的人体运动信希检测系统.生物医学工程杂志，1999，16(4)：448-452.
收稿日期：1999-10-20, http://www.100md.com