虚拟现实在医学上的应用
作者：刘聚卑 庄天戈
单位：上海交通大学生物医学工程研究所 200030
关键词：
北京生物医学工程000110 虚拟现实(以下简称为VR)就是力求部分地或全部地用一个计算机合成的人工环境代替一个现实世界的真实环境[1]。虚拟环境(VE)构成了虚拟现实系统，允许其中的主体产生各种感觉，同合成元素交互体验，给人的印象就象现实世界真实存在的一样。为了实现很好的逼真性，VR的实现必须采用许多先进的基于特别技术的人机接口。因此，VE包括了众多的功能如：快速计算、数据分割、复杂数据建模、数据融合和配准、解析和理解、显示、激励器和传感器控制以及快速通讯等等。
在现实世界中，人从外部世界获取信息的渠道是五种感觉(视觉、听觉、触觉、味觉、嗅觉)，其中主要来源是视觉(70%)和听觉(20%)。因此，视觉成像和可视化在VR中起主要作用。虚拟成像系统预定义一个给定的或者想象的场景，现在正朝更逼真的现实性发展。虚拟现实按表现形式大致可以分为参数化虚拟现实和增强虚拟现实两种。参数化虚拟现实就是把真实的图像重叠在虚拟成像环境上；而其对偶过程，即增强现实，是把预先获取的或预先计算好的数据和视频影像重叠在真实成像环境上。通过高速通讯网络系统，VR系统可以同远程手术系统或远程医疗系统中的遥感器和激励器交互作用。这些系统由一些分散的单元围绕一个控制中心组成。通过虚拟环境技术，外科医生在一个远距离的环境中就可以使用微型仪器进行微型介入手术操作。微型介入的概念包含了信息获取和治疗，对微型技术和纳米技术的发展提出了更高的要求，目前存在三个主要的也是最基本的问题：器械微型化、能源供应和生物相容性。多媒体系统和协作系统可以有效地应用于VR数据的处理和管理。
, http://www.100md.com
世界各国尤其是发达国家都对VR在医学上的应用给予了高度的重视，投入了大量的人力物力进行研究，有些国家还成立了专门VR研究机构。例如：美国国家医学图书馆可视化人计划(http://www.nlm.nih.gov/research/visible/)；Houston大学虚拟环境技术实验室的VR在腹腔镜外科教育和培训中的应用(http://www.vetl.uh.edu/surgery/)；Colorado大学卫生科学中心人模拟中心，是美国Visible Human Projects的一部分，创立了Visible Human Male和Visible Human Female数据库(http://www.uchsc.edu/sm/chs)；美国Georgia技术研究所图像可视化和使用中心，致力于虚拟环境在手术模拟方面研究(http://www.cc.gatech.edu/gvu/);Mayo Clinic生物医学成像研究中心有一个虚拟现实辅助手术计划(http://www.mayo.edu/bir/home.html)；美国Rutgers大学CAIP虚拟现实实验室主要从事VR在医学上的应用(http://www.caip.rutgers.edu/vrlab/)；日本国家癌症中心医学虚拟现实研究开发实验室(http://www.ncc.go.jp/)；日本Nagoya大学生物医学工程系微型系统工程实验室3D医学图像处理以及虚拟内窥镜方面的研究(http://www.bmse.mech.nagoyau.ac.jp/)；日本Jikei大学高维医学成像研究所(http://www.jikei.ac.jp/)等等。我国在这方面的研究尚处于起步阶段，只有为数不多的机构在进行如远程医疗、计算机辅助手术、器官3D显示等方面的初步技术研究。
, 百拇医药
1 虚拟现实在医学上的应用
VR在医学领域的应用前景非常广泛，Rosen认为，VR将构成最终实用的手术模拟器[2]。作者描绘了虚拟现实技术的某些应用：医学教育、训练系统、辅助诊断、可行性研究、手术模拟、医学康复、远程医疗等诸多方面。但是，这些应用都存在很大的局限性，它们多是基于一种特殊结构的简化模型，或者是基于预处理原始图像的，又由于有些设备的实用性不是太好，目前还没有一种VR系统能够完全地用于具体的临床应用。虚拟现实离完全实用化还有很大差距。下面列举一些主要的VR应用领域。
1.1 虚拟人体解剖图(virtual anatomic atlas,VAA)
人体解剖图谱一直是学习和识别人体特征结构的主要工具。以往的人体解剖图大多是以3D形式描绘的插图或是一些实际解剖结构的图片，而虚拟人体解剖图是数字化3D解剖图谱，能让使用者在没有任何外界干扰的情况下自由地观察、移动和生成解剖结构，更快捷地学习和了解解剖信息。
, http://www.100md.com
德国汉堡Eppendorf大学医学院医学数学和数据处理研究所建立了一个VOXEL MAN的虚拟人体[3]。这个虚拟人体系统功能如下：(1)任意选择观察视点，可以做内窥镜观察，也可以作立体观察；(2)任意模拟解剖、手术和穿刺；(3)模拟放射成像；(4)可以得到任意器官和组织的名称、类型、描述以及结构等解剖信息；(5)可以测量器官或组织间的距离。
日本Jikei大学高维医学成像研究所一直致力于医学上虚拟现实的应用研究[4]，最近研制了一套虚拟3D人体解剖图系统。采用真实3D人体数据(包括4D心脏动态图像数据)建立虚拟3D人体环境。从这个完整的3D人体结构中可以交互式提取器官的解剖信息，如器官的位置、3D形状、体积等。这个系统有三个特征：用正常人体3D数据构造了两个虚拟3D人体模型(虚拟男人和虚拟女人)；建立一个4D动态心脏以便于观察心脏的跳动状态；加上了与器官解剖结构相关的颜色和纹理信息以便于逼真地显示解剖结构。使用者可以深入地理解器官的3D形状和相关位置，快速地得到某个部位的解剖信息和在人体中的位置。只要在虚拟3D人体中指定一个位置，就可以快速地选择2D切面图像，并且视点可以自由改变。
, 百拇医药
目前国际上最好的人体解剖图谱数据库是可视化人数据库(visible human data, VHD),是由美国国家医学图书馆发起的可视化人计划(visible human project,VHP)建立的三维人体的CT、MRI和解剖切面的数字化人体图像库[5]。VHD包括可视化男人(visible human male)和可视化女人(visible human female)两个图像数据库。Visible Human数据库已经成为构造电子医学图书馆和虚拟解剖环境的理想基础。万维网(WWW)为数字图书馆的推广提供了多快好省的传播媒介。自从发行以来，Visible Human数据在虚拟现实以及其它领域上得到了广泛地应用。
1.2 虚拟人体功能(virtual human function)
人体某一个器官或系统的功能一般是不可见或难以表现的，因为它所表现的往往是生命现象的机理，例如心脏的跳动、人的步态、手部的运动等。如果建立起真正的虚拟人体功能，对于医学教育、医学研究和治疗都有不可估量的应用价值。欧洲的CHARM(comprehensive human animation resource model)计划，旨在建立一个结构化的人体动力学模型[5]。其特征表现在重建的器官可以任意移动和变形，同时保持彼此间的力学关系，从而真实地反映人体的动态行为。
, 百拇医药
法国ENST-Bretagne大学研制成了一个虚拟人类步态模拟器[6]。以3D医学图像为基础，研究人的下身解剖结构，实现了人的下半身骨骼运动步态的模拟。
日本Waseda大学成功地开发了一种手套式接口，其形状和材料同手术用的手套很相似。使用者戴上手套，用真实的手部运动操纵虚拟空间中的许多种目标[7]。当在一个真人体上做手术时，使用者可以通过它控制在虚拟空间中的多种数据如MRI、3DCT、3D图像序列等。这种新型的手套式虚拟接口，用来处理手术过程中出现的许多数据，它既不会防碍医生的正常操作，又能让医生自由地控制手术过程的虚拟环境，把人的实时手部运动复制到虚拟控制中。
1.3 虚拟手术模拟(virtual surgery simulation, VSS)
日益复杂的外科技术(尤其是微型介入外科技术)要求采用新的方法培训外科医生[8]，以提高他们的手术技能。模拟器上反复的训练可以获得更高的安全性；手术模拟器可以模拟对人体内的重要区域的手术；手术前的模拟实验还可以改善预期手术的设计。模拟和训练都是与手术辅助有关的。眼科手术、放射治疗、颅面外科、心脏外科、腹腔手术都是目前研究的主题。
, http://www.100md.com
在手术模拟中，例如模拟切除一个肿瘤，需要观察目标附近组织的内部3D结构，并且要从当前活动点指出并确定要切除的肿瘤位置。但是要想显示组织的3D内部结构并确定目标的位置是非常困难的。在实时手术模拟中，随时需要确定下一步的动作，是移动活动点还是移走某部分对象，这时要求做到既快又准。一个3D模拟系统应当能够在一个图像上显示足够多的3D内部结构。
日本Jikei大学医学院高维医学成像研究所使用虚拟现实技术开发出了一种手术规划系统[9]，它能在虚拟空间中模拟用手术刀切割皮肤和器官(对应于虚拟空间中的弹性目标)，并且采用力反馈设备反馈操作者手部压力，提供一种力感受功能。
一个VR手术模拟系统应当具有一些基本特征：
(1)现实性(reality)：能精确而详细地描述病人器官的形状、位置以及形变；
(2)实时性(real-time)：能实时地处理数据和显示结果；
, 百拇医药
(3)精确性(accuracy)：描述器官内部结构必须非常精确；
(4)操作性(manupilation):在虚拟空间中模拟用手或其它的医疗器械操纵器官如推、捡、捏、切、割等；
(5)感觉性(perception):能接受和处理某些反馈信息。
1.4 远程手术(telesurgery)
远程手术诞生在美国的NASA，其最初目的是能够让医生在一个地球基站中对太空中的某个宇航员进行手术[10]。它可以作为一种远距离的医疗干预方法或是在本地医疗基础设施不足的情况下的应急措施。外科医生在一个虚拟人体模型上进行手术操作。使用传感器感受他的各种手术动作，这些动作信号经高速通讯网络传递给一个手术机器人，由机器人对病人进行手术。远程手术的最基本也是最关键的技术要求就是快速双向数据传输。手术现场的视频图像连续不断地传递给外科医生，通过一个头置式(HMD)显示装置，叠加在他面前的人体模型图像上。为了有效地操纵手术器械，还需要加上其它的信息如触觉、听觉、压力等。美国军方也在开发远程虚拟手术系统[11]。这个系统由一个供外科医生使用的控制台和一个远程手术单元组成，在战场上得到了实际应用，并且效果很好。
, http://www.100md.com
1.5 虚拟医学教育和培训(virtual medical education and training)
医学教育也是VR的一个主要应用领域[12]。VR技术可以用作医学教学、新生培训、技能测试、技术学习、手术计划等诸多方面。例如VR 3D医学模型可以显示人体解剖图谱，用来帮助新生或医生更好地学习和了解人体解剖结构；VR手术模拟能够让医生在手术之前学习新的手术方法和程序，练习所制定的手术计划，在手术之后，也能让医生温习或重复全部手术过程，并且能够对医生的技能进行测定。
当今层出不穷的新兴医疗技术要求医生不断地更新和提高自己的技能，但是这有一个学习过程，既费时又费力。VR模拟就可以解决这个问题，取代效率低下的常规培训过程，能够大大地减少所要的培训时间。虚拟现实模拟能够复制手术场景，从而增强训练效果，减少所要的昂贵的动物试验
技能测试是VR训练模拟器的一个重要特点。实际上，人的解剖结构和疾病种类因人而异，这些差异将会给医生的诊断带来困难，增加手术的复杂性和难度，而错误的诊断或手术将会导致非常严重的后果，例如大出血、器官损伤甚至死亡。VR技术就能够为同样的疾病提供多种情况，解决这些差异带来的问题。当计算机技术取得更长足的发展时，医生在给病人做手术之前，可以在VR模拟环境中反复地练习和检查那些复杂的手术程序。
, 百拇医药
可以用VR技术检测医生的技术变化。随着年龄的增大，医生的灵活性就会降低，此时要对其手术技能进行测试就比较困难了。由其它医生对他的技能进行测试，往往带有偏见等主观色彩，不太可靠。目前还没有一个方法能判断何时医生的技术下降到了不能进行手术的地步。VR手术模拟器就能够完成这个任务。
在[13]中，使用者戴上立体眼镜就可以在虚拟人体上随意移动、触摸甚至抽取器官。除了被动的虚拟人体，生物机械模型通过对人工刺激的响应也可以增加真实性。下一步就是把对人体的虚拟探索和数种病理模型结合起来。[12]分析了VR在医学教育应用上的潜力，从长远意义上来看，VR技术在医学上的应用，能大大地降低医疗成本，提供更友好和成本较低的学习环境。可以预言，基于个人微型计算机和高性能外围设备的VR教育培训产品不久将会投入实际应用。
1.6 虚拟现实在康复医学上的应用(VR in rehabilitation medicine)
, 百拇医药
VR在康复医学上也有广泛的应用，可以用来检测残疾程度和康复状况。Rutgers大学[14]设计成了一种敏感手套，用于记录手指的运动和力，手套利用记录数据和力反馈信息启动相应的康复疗法。敏感手套还用来诊断Parkinson病。这样，病人的康复情况可以借助VR工具(如手套式、头置式设备)得以改善。Greenleaf Medical System已经向市场推出了一种可以为有听力障碍者提高听力的装置[15]，其敏感手套感受手指位置的变化，变成文字显示在屏幕上，或通过声音合成器变成声音。日本Nagasaki应用科学技术研究所建立了一种基于“动作接口”的增强环境[16]，用于病人的生理功能和定位能力测试，提供有效的康复训练计划。
1.7 体积图像中的3D导航(3D navigation in volume image)
VR的一个现实可行的目标是体积图像中的3D自由导航[17]。实际上，目前这种研究尚处于模拟阶段。3D自由导航可以为更复杂的虚拟现实系统提供一种实验场所。有了虚拟导航，就可以进行许多手术前和手术后的处理工作。例如，在初始体积图像中定位传感器，预示将要发生的轨迹，观察在模拟过程中预先定义的轨迹等等。最后，结合虚拟成像引导医生的介入过程，这个过程可以是以远程方式也可以是以局部方式进行的。所有的操作都是在医生不在病人身边的情况下进行的，使用的工具同远程手术中使用的一样。一个理想的虚拟导航模型应当是一个非常符合实际响应模式的模型，能够按照病人固有的运动和虚拟手术工具的动作变化而变化。例如建立起了一个虚拟传感器后，内窥镜能够感受到感兴趣的表面区域，应当能让使用者交互式控制传感器的定位和轨迹，最后把传感器所提取的信息变换成一个可解析的图像，使用者通过观察返回的图像再控制传感器的位置，由此真实地溶入到虚拟环境之中去。以空间序列形式显示的体积图像的变化，构成了唯一的虚拟显示空间。由于没有了图像的预处理过程，所以虚拟环境包含了所有感受到的原始信息。使用者可以随意控制传感器的参数，以显示某个结构表面或者在不同的解剖结构之间进行切换。
, 百拇医药
ARTMA图像引导导航系统应用于鼻窦手术[20]，可视化立体导航只需要输入活动视频数据以及同步记录的3D传感器数据，让医生能够象平常那样进行手术，需要时可以随意地移动病人的头。这个系统提供了广阔的应用前景，例如MRI成像、超声成像等。
1.8 虚拟内窥镜(virtual endoscope)
内窥镜电视手术是VR的一个非常有吸引力的应用领域，在最近几年中得到了巨大的发展[18-20]。主要原因有二个，一是可以减少病人手术死亡率，二是可以减少病人的住院时间和医疗成本。然而，在发展过程中也为医生带来了不少的实际问题：医生对病人的直接观察和对手术区域的接触减少了，手术也就变得更复杂了；另外，内窥镜的视场有限，对大范围的手术非常不利。
ARTMA虚拟病人系统[20]最先把医学上的增强现实表现的虚拟解剖结构应用于内窥镜手术之中。它发明了一种成像模式：介入式X线视频断层成像(IVT)[19]。这是一种用于图像引导手术的新兴的成像模式，在手术进行时，实时地显示手术器械相对于病人解剖结构的空间位置。视频成像探测器是一个由光学观察器、照明系统和电子3D传感器组成的一个特别的摄像机。当与内窥镜组合时，用来从不同角度检查腔体的内部结构或者空心器官。
, http://www.100md.com
器官的表面拓扑结构由单镜视频或内窥镜序列图像重建而成。为了提高重建的精度和速度，目标和内窥镜之间的相对运动用电子传感器连续地追踪。IVT图像序列表示了立体空间中的一个4D数据集，包含了图像、表面拓扑信息和运动数据。在内窥镜鼻窦手术(ENT)以前[20]，就可以得到一个IVT图像序列以及手术路径。为了模拟手术过程，断层成像数据加在数字IVT图像序列上。手术期间，IVT模拟中的视频序列成分由活动的视频图像代替。在手术时，一个头置式显示器用来把实时断层成像数据和落动视频图像迭加在一起。医学成像数据同活动视频图像的融合是增强现实技术在医学上的首次应用。ARTMA虚拟病人系统的一个主要优点是病人和仪器都可以自由移动而不会扰乱正常的系统状态。ARTMA先后推出了几个版本的VR系统。这个3D导航工具是一个优秀的内窥镜鼻腔手术(ENT)辅助工具。
1.9 虚拟医疗中心(virtual medical center, VMC)
虚拟医疗中心是一个智能化计算机化的临床服务功能，用以代替医生所起的作用[21]。VMC的核心是一个智能中央处理单元，分布在各个家庭的全自动个人监护设备通过公用电话线连接到虚拟中心。VMC起着信号接口、数据处理单元、决策缓冲器、诊断服务的作用。它可以把家庭中的病人同医院咨询台连接起来。为病人提供日常的监护和紧急情况处理，也可以把出现的紧急情况发送给医生办公室，再返回医生的指令，在某种程度上可以代替医生的作用。
, 百拇医药
英国Portsmouth大学设计了这样一种用于家庭病人看护的虚拟医学中心[21]。采用现有的公用电话线路和公共交换电话网络(PSTN)，接口采用了个人设备和数字增强元码技术，提供高质量的自动性和可移动性。
1.10 远程医疗(telemedicine)
远程医疗[22]是利用多媒体计算机通信网络、电视会议系统、现代医学等技术，把大的医疗中心、综合医院、专科医院同中小医院等联系起来，使病人的资料通过通信线路，传送给远方的医生、专家，远方的医生根据这些资料，返回诊断意见和治疗建议。远程医疗系统缩小了地域环境、医疗水平、医疗设备差别造成的困难，同时也能充当一种远程医疗教育系统，为中小医院的医护人员提供了一种方便而费用极低的培训手段。
远程医疗可以为病人、医生和医护工作者之间的合作创造一个虚拟环境。澳大利亚Volgina医学研究所的一个研究小组研制了一套基于虚拟现实用户接口的多模式交互式EEG/MEG远程数据处理系统环境[23]。使用虚拟医学设备(VMD)，产生并检测原始的和衍生的EEG信号。在远程医疗应用上，VMD主要包括三部分：病人端的数据接口(PIO)、网络服务器处理环节和医生端的显示环境。VMD允许对同一数据进行不同的观察。他们研制的MM Viewer能显示脑电活动的标准脑电波形和其3D拓扑动画图像。
, 百拇医药
2 虚拟现实在医学上的应用所面临的问题
任何一个VR应用系统必须满足一些首要的应用要求：精度高、真实性强和良好的人机交互(包括实时性、使用效率、交互式医学模型的质量、人机接口的传感器和激励器)。虽然已经出现了许多VR设备，并且开始在一些医学上得到越来越多的应用，但是还存在许多问题没有很好地解决[24，25]。虚拟设备、自动或交互式分析、不同层次的可视化、模拟和计划以及计算机辅助手术等方面将仍然是目前VR的基本研究方向。
2.1 对计算机软硬件的要求非常高
由于VR的数据量很大，精度要求非常高，并且要动态显示，因此对计算机的速度和存储容量都有很高的要求。当今的计算机技术已经能够生产出功能强大的计算机，为虚拟现实的应用提供了硬件条件。
现有的许多功能强大的数据计算和数据分析软件(如MATLAB、DADSP、MP、LABWINDOW、LABVIEW等)以及一些多媒体软件都可以为虚拟现实服务。另外，出现了专门的虚拟现实建模语言(virtual reality modeling language, VRML)，这是一种国际通用的用于网络管理和描述3D图像对象的标准语言。有了VRML工具，使用者可以不必另外准备特别的软件和硬件设备。现在VRML已经出现了许多版本，它们各有特色，并且在Internet网络上可以很方便地得到。例如VRML(http://www.vrml.org/specification/vrml.html., http://vrml.sgi.Com/moving-worlds/1997)，Squirrel VRML Pack(http://www.squirrel.com.au/virtualreality/)。Squirrel VRML Pack把HTML的功能扩展到VRML，包括所有需要的命令、演示文件以及在线帮助，支持与操作系统无关的VR软件开发(Windows 3.11，Windows 95, OS/2, Mac., Unix)、多格式3D图像文件(可以是Alias,dxf,iv,obj,sla or softimage格式)转换以及文件压缩(压缩率可达70%)等功能。
, 百拇医药
2.2 虚拟设备(virtual devices)
在VR系统中，为了修改虚拟环境的状态，需要使用各种激励器模拟产生人的各种感觉(主要是视觉、听觉和触觉)，再用传感器收集它们的反馈信息，这些信息反映了VR环境的变化。基于虚拟的或真实的传感器和激励器的仪器设备在VR的临床应用上起着重要的作用。基于多模式动态的传感器是最基本的元素，可以用它们的位置(绝对的或相对的)、方向以及物理特征和相应的参数进行描述。至于激励器，它们与数据相互作用，产生更困难的问题。在所有的情况下，视觉都是非常重要的。虚拟设备必须能够进行的工作是：把一个传感器安装在一个表面上或者是组织内部、移去或局部消除一个障碍、吹起一个小的气球模型以此控制组织的弹性形变、能进行不同方式的操作如组织的分离、拉伸、保持、切割、移位、抖动等。这些问题的复杂程度变化非常大，但是有些性质是共同的，例如组织的弹性-阻抗模型的建立，把感觉-动作结合到微型场景中，交互性-灵活性-可信性等，同时它们也会显示一些副效应。研究者现在正在开发一些虚拟设备，如手套式VR系统，它使用头置式显示设备和力反馈系统，可以在虚拟环境中用作触觉反馈、导航和交互操作。
, 百拇医药
2.3 精确定位
VR对定位的要求很高，对器官的定位可以从不同的角度进行。在体积图像中导航时，有关位置和方向的参数必须交互式设定。解析操作者产生的动作应当不改变其在全局中的位置。在传统的导航中，为了能够匹配即时数据和预取数据，传感器位置的确定必须采用共同的参考坐标系，这是因为：(1)传感器是定位系统的承受者；(2)即时成像过程中应当能够对传感器进行精确定位；(3)能以人机交互方式进行系统初始化，在操作过程中，对图像进行分析，自动跟踪传感器，对单个解剖器官进行观察。最重要的一条就是定位的精度要非常高。
2.4 多模式数据建模和处理
虚拟现实是多学科交叉和渗透的产物。多种类型数据的抽象、建模、分割、分析和组合是虚拟现实中必不可少的。多模式数据处理技术是实现虚拟现实的关键。最主要的多模式描述问题就是虚拟图像接口(VRUI)的设计，用来记住人的感觉系统的特征。一般的人机接口是物理的，即输入/输出和机内描述层。它们具有两种基本转换过程，对输入端来说是抽象和理解，对输出端来说就是描述和显示。描述多模式数据的技术和工具就是常用的多媒体技术和VR软硬件设备，然而，使用它们来实现人机接口时，会遇到配合和效率等许多具体问题。大量数据流的可视化将导致显示重叠。由于局部传感器和原始体积图像之间存在较大的分辨率差异，插值问题也是一个关键问题。此外，局部参数的量化(比如血管直径、相对距离等)与传感器密切相关。
, 百拇医药
2.5 医学成像和图像处理
所有的虚拟现象效果都是以图形图像的形式表现出来。尤其是人体解剖图谱，要求所显示的器官形状、位置、颜色、动态效果非常精确和逼真。这就对图形图像处理技术提出了更高的要求，要涉及到图像分割、图像配准、图像显示、图像形变等一系列技术。在显示阶段，光线照射技术是最重要的，它能产生最大的投影强度、全范围的透明效果以及通常的表面显示效果等，它有一个优点，既能从器官内部观察解剖结构，也可以从器官外部观察表面特征；既可以观察局部特征，也可以观察全局面貌，可是因为处理时间太多，达不到视频动态显示要求，因此在VR中应用受到限制。此外，图像的颜色和纹理能给人视觉上的真实感，所以也是非常重要的。
3 结 论
今天日新月异的计算机和电子技术为VR在医学上的应用提供了众多的功能。然而，当今医学上VR的应用仍然存在许多问题。主要有：
, 百拇医药
安全问题：如何合理地使用传感器，保证传感器的生物相容性，检测各种信息之间可能存在的冲突，以及控制误差传递等。在无人工干预的情况下，它们应当能够自动追踪和处理随时可能发生的任何异常现象。
使用效益：包括系统的精度、使用性能、人机交互性、是否为病人和医生所接受等。
社会因素：所有的这些技术并不是要用来取代医生的作用，而只是为他们的工作提供额外的帮助和功能。
虚拟现实技术在医学领域上的应用为临床医学和医学教育提供了许多新的功能。虽然已经出现了不少用于工业目的的虚拟设备，但是它们可不能用在医学上，这是因为以病人为对象的医学上的虚拟设备对设备精度和安全性要求更高。实际上，到目前为止，还没有一种可以完全作医学应用的虚拟现实系统。
作者简介：刘聚卑(1969-)，男，籍贯：湖南，博士研究生。
, 百拇医药
4 参考文献
[1] Haubner M, et al. Virtual reality in medicine-computer graphics and interaction techniques. IEEE Trans on Information Technology in Biomedicine, 1997,1(1):61
[2] Rosen J M, Soltanian H, Redett R J. Evolution of virtual reality. IEEE Eng Med Biol Mag, 1996,15(2):16
[3] Thomas S, et al. The Voxel-man, In: Kilcoyne RF, eds. Computer application to assist radiology, Proceedings SCAR'96, Symposia Foundation, Carlsbad, CA, 1996,61～62
, 百拇医药
[4] Asaki Hattori, et al. Atlas system of the living human body constructed with 3D and 4D data sets. Proc 20th Ann Intern Confer IEEE Eng Med Biol Soc, 1998,20(2):575
[5] Gingins, et al. The Visible Human Project Conference Proceedings, Bethesda, Maryland, USA, 1996, pp.21～22
[6] Isam Hilal, et al. Human gait simulation using virtual reality. Proc 20th Ann Intern Confer IEEE Eng Med Biol Soc, 1998,20(3):1250
, http://www.100md.com
[7] Oda S, et al. Development of a glove-type interface for data manipulation of the virtual environment in the operating room. Proc 20th Ann Intern Confer IEEE Eng Med Biol Soc, 1998,20(3):1258
[8] Hon D. Ixion′s realistic medical simulations. Virtual Reality World, 1994,2(2):58
[9] Naoki Suzuki, et al. Virtual surgery simulator with force feedback function. Proc 20th Ann Intern Confer IEEE Eng Med Biol Soc, 1998,20(3):1260
, http://www.100md.com
[10] Muriel D. Ross NASA Ames Research Center:ttp://www.nlm.nih.gov/research/visible/vhp_conf/ross/
[11] Green P S, et al. Telepresence surgery. IEEE Eng Med Biol Mag, 1996,14(3):324
[12] Bricken M. virtual reality learning environments:potentials and challenges. Computer Graphics, 1997,25(3):178
[13] Krueger W and Froelich B. The responsive workbench. IEEE Comp Graph And Appl, 1994,14(3):12
, 百拇医药
[14] Burdea G, et al. Diagnostic/rehabilitation system using force measuring and force feedback dextrous masters. Proc Medicine meets Virtual Reality conf,1994
[15] Greenleaf. Developing the tools for practical VR applications. IEEE Eng Med Biol Mag, 14,3,1996,pp.324～329.
[16] Murray Lawn and Takashi Takeda. Design of an action interface with networking ability for rehabilitation. Proc 20th Ann Intern Confer IEEE Eng Med Biol Soc, 1998,20(3):1242
, http://www.100md.com
[17] Haigron P, Le Berre G, Coatrieux J L. 3D Navigation in Medicine. IEEE EngMed Biol Mag, 15,2,1996,pp.70～78
[18] Robb R A. Virtual endoscopy:evaluation using the visible human datasets and comparison with real endoscopy in patients:in:medicine meets virtual reality. Eds:K.S.Morgan et al., IOS Press,1997,pp.195～206
[19] Michael J, et al. Interventional video tomography. SPIE No.2395-34,pp.150-152
, 百拇医药
[20] Gunkel A R, et al. Application of the ARTMA image-guided navigation system to endonasal sinus surgery. Proceedings CAR95, 1995, Berlin, pp.1146～1151
[21] Robert S, Habib Isterpanian. Modeling of GSM-based mobile telemedical system. Proc 20th Ann Intern Confer IEEE Eng Med Biol Soc, 1998,20(3):1166
[22] Franken EA. Telemedicine and teleradiaology:a tale of two cultures. Telemedicine Journal, 1995,1(1):7
, http://www.100md.com
[23] Emil Jovano, et al. Multi modal viewer for telemedical applications. Proc 20th Ann Intern Confer IEEE Eng Meb Biol Soc, 1998,20(3):1254
[24] Faulkner G and Krauss M. Guidelines for establishing a virtual reality lab. IEEE Eng Med Biol Mag, 1996,15(2):86
[25] Greenleaf WJ. Developing the tools for practical VR application. IEEE EMBS,1996,15(2):23～30
(1998-12-30收稿), 百拇医药
单位：上海交通大学生物医学工程研究所 200030
关键词：
北京生物医学工程000110 虚拟现实(以下简称为VR)就是力求部分地或全部地用一个计算机合成的人工环境代替一个现实世界的真实环境[1]。虚拟环境(VE)构成了虚拟现实系统，允许其中的主体产生各种感觉，同合成元素交互体验，给人的印象就象现实世界真实存在的一样。为了实现很好的逼真性，VR的实现必须采用许多先进的基于特别技术的人机接口。因此，VE包括了众多的功能如：快速计算、数据分割、复杂数据建模、数据融合和配准、解析和理解、显示、激励器和传感器控制以及快速通讯等等。
在现实世界中，人从外部世界获取信息的渠道是五种感觉(视觉、听觉、触觉、味觉、嗅觉)，其中主要来源是视觉(70%)和听觉(20%)。因此，视觉成像和可视化在VR中起主要作用。虚拟成像系统预定义一个给定的或者想象的场景，现在正朝更逼真的现实性发展。虚拟现实按表现形式大致可以分为参数化虚拟现实和增强虚拟现实两种。参数化虚拟现实就是把真实的图像重叠在虚拟成像环境上；而其对偶过程，即增强现实，是把预先获取的或预先计算好的数据和视频影像重叠在真实成像环境上。通过高速通讯网络系统，VR系统可以同远程手术系统或远程医疗系统中的遥感器和激励器交互作用。这些系统由一些分散的单元围绕一个控制中心组成。通过虚拟环境技术，外科医生在一个远距离的环境中就可以使用微型仪器进行微型介入手术操作。微型介入的概念包含了信息获取和治疗，对微型技术和纳米技术的发展提出了更高的要求，目前存在三个主要的也是最基本的问题：器械微型化、能源供应和生物相容性。多媒体系统和协作系统可以有效地应用于VR数据的处理和管理。
, http://www.100md.com
世界各国尤其是发达国家都对VR在医学上的应用给予了高度的重视，投入了大量的人力物力进行研究，有些国家还成立了专门VR研究机构。例如：美国国家医学图书馆可视化人计划(http://www.nlm.nih.gov/research/visible/)；Houston大学虚拟环境技术实验室的VR在腹腔镜外科教育和培训中的应用(http://www.vetl.uh.edu/surgery/)；Colorado大学卫生科学中心人模拟中心，是美国Visible Human Projects的一部分，创立了Visible Human Male和Visible Human Female数据库(http://www.uchsc.edu/sm/chs)；美国Georgia技术研究所图像可视化和使用中心，致力于虚拟环境在手术模拟方面研究(http://www.cc.gatech.edu/gvu/);Mayo Clinic生物医学成像研究中心有一个虚拟现实辅助手术计划(http://www.mayo.edu/bir/home.html)；美国Rutgers大学CAIP虚拟现实实验室主要从事VR在医学上的应用(http://www.caip.rutgers.edu/vrlab/)；日本国家癌症中心医学虚拟现实研究开发实验室(http://www.ncc.go.jp/)；日本Nagoya大学生物医学工程系微型系统工程实验室3D医学图像处理以及虚拟内窥镜方面的研究(http://www.bmse.mech.nagoyau.ac.jp/)；日本Jikei大学高维医学成像研究所(http://www.jikei.ac.jp/)等等。我国在这方面的研究尚处于起步阶段，只有为数不多的机构在进行如远程医疗、计算机辅助手术、器官3D显示等方面的初步技术研究。
, 百拇医药
1 虚拟现实在医学上的应用
VR在医学领域的应用前景非常广泛，Rosen认为，VR将构成最终实用的手术模拟器[2]。作者描绘了虚拟现实技术的某些应用：医学教育、训练系统、辅助诊断、可行性研究、手术模拟、医学康复、远程医疗等诸多方面。但是，这些应用都存在很大的局限性，它们多是基于一种特殊结构的简化模型，或者是基于预处理原始图像的，又由于有些设备的实用性不是太好，目前还没有一种VR系统能够完全地用于具体的临床应用。虚拟现实离完全实用化还有很大差距。下面列举一些主要的VR应用领域。
1.1 虚拟人体解剖图(virtual anatomic atlas,VAA)
人体解剖图谱一直是学习和识别人体特征结构的主要工具。以往的人体解剖图大多是以3D形式描绘的插图或是一些实际解剖结构的图片，而虚拟人体解剖图是数字化3D解剖图谱，能让使用者在没有任何外界干扰的情况下自由地观察、移动和生成解剖结构，更快捷地学习和了解解剖信息。
, http://www.100md.com
德国汉堡Eppendorf大学医学院医学数学和数据处理研究所建立了一个VOXEL MAN的虚拟人体[3]。这个虚拟人体系统功能如下：(1)任意选择观察视点，可以做内窥镜观察，也可以作立体观察；(2)任意模拟解剖、手术和穿刺；(3)模拟放射成像；(4)可以得到任意器官和组织的名称、类型、描述以及结构等解剖信息；(5)可以测量器官或组织间的距离。
日本Jikei大学高维医学成像研究所一直致力于医学上虚拟现实的应用研究[4]，最近研制了一套虚拟3D人体解剖图系统。采用真实3D人体数据(包括4D心脏动态图像数据)建立虚拟3D人体环境。从这个完整的3D人体结构中可以交互式提取器官的解剖信息，如器官的位置、3D形状、体积等。这个系统有三个特征：用正常人体3D数据构造了两个虚拟3D人体模型(虚拟男人和虚拟女人)；建立一个4D动态心脏以便于观察心脏的跳动状态；加上了与器官解剖结构相关的颜色和纹理信息以便于逼真地显示解剖结构。使用者可以深入地理解器官的3D形状和相关位置，快速地得到某个部位的解剖信息和在人体中的位置。只要在虚拟3D人体中指定一个位置，就可以快速地选择2D切面图像，并且视点可以自由改变。
, 百拇医药
目前国际上最好的人体解剖图谱数据库是可视化人数据库(visible human data, VHD),是由美国国家医学图书馆发起的可视化人计划(visible human project,VHP)建立的三维人体的CT、MRI和解剖切面的数字化人体图像库[5]。VHD包括可视化男人(visible human male)和可视化女人(visible human female)两个图像数据库。Visible Human数据库已经成为构造电子医学图书馆和虚拟解剖环境的理想基础。万维网(WWW)为数字图书馆的推广提供了多快好省的传播媒介。自从发行以来，Visible Human数据在虚拟现实以及其它领域上得到了广泛地应用。
1.2 虚拟人体功能(virtual human function)
人体某一个器官或系统的功能一般是不可见或难以表现的，因为它所表现的往往是生命现象的机理，例如心脏的跳动、人的步态、手部的运动等。如果建立起真正的虚拟人体功能，对于医学教育、医学研究和治疗都有不可估量的应用价值。欧洲的CHARM(comprehensive human animation resource model)计划，旨在建立一个结构化的人体动力学模型[5]。其特征表现在重建的器官可以任意移动和变形，同时保持彼此间的力学关系，从而真实地反映人体的动态行为。
, 百拇医药
法国ENST-Bretagne大学研制成了一个虚拟人类步态模拟器[6]。以3D医学图像为基础，研究人的下身解剖结构，实现了人的下半身骨骼运动步态的模拟。
日本Waseda大学成功地开发了一种手套式接口，其形状和材料同手术用的手套很相似。使用者戴上手套，用真实的手部运动操纵虚拟空间中的许多种目标[7]。当在一个真人体上做手术时，使用者可以通过它控制在虚拟空间中的多种数据如MRI、3DCT、3D图像序列等。这种新型的手套式虚拟接口，用来处理手术过程中出现的许多数据，它既不会防碍医生的正常操作，又能让医生自由地控制手术过程的虚拟环境，把人的实时手部运动复制到虚拟控制中。
1.3 虚拟手术模拟(virtual surgery simulation, VSS)
日益复杂的外科技术(尤其是微型介入外科技术)要求采用新的方法培训外科医生[8]，以提高他们的手术技能。模拟器上反复的训练可以获得更高的安全性；手术模拟器可以模拟对人体内的重要区域的手术；手术前的模拟实验还可以改善预期手术的设计。模拟和训练都是与手术辅助有关的。眼科手术、放射治疗、颅面外科、心脏外科、腹腔手术都是目前研究的主题。
, http://www.100md.com
在手术模拟中，例如模拟切除一个肿瘤，需要观察目标附近组织的内部3D结构，并且要从当前活动点指出并确定要切除的肿瘤位置。但是要想显示组织的3D内部结构并确定目标的位置是非常困难的。在实时手术模拟中，随时需要确定下一步的动作，是移动活动点还是移走某部分对象，这时要求做到既快又准。一个3D模拟系统应当能够在一个图像上显示足够多的3D内部结构。
日本Jikei大学医学院高维医学成像研究所使用虚拟现实技术开发出了一种手术规划系统[9]，它能在虚拟空间中模拟用手术刀切割皮肤和器官(对应于虚拟空间中的弹性目标)，并且采用力反馈设备反馈操作者手部压力，提供一种力感受功能。
一个VR手术模拟系统应当具有一些基本特征：
(1)现实性(reality)：能精确而详细地描述病人器官的形状、位置以及形变；
(2)实时性(real-time)：能实时地处理数据和显示结果；
, 百拇医药
(3)精确性(accuracy)：描述器官内部结构必须非常精确；
(4)操作性(manupilation):在虚拟空间中模拟用手或其它的医疗器械操纵器官如推、捡、捏、切、割等；
(5)感觉性(perception):能接受和处理某些反馈信息。
1.4 远程手术(telesurgery)
远程手术诞生在美国的NASA，其最初目的是能够让医生在一个地球基站中对太空中的某个宇航员进行手术[10]。它可以作为一种远距离的医疗干预方法或是在本地医疗基础设施不足的情况下的应急措施。外科医生在一个虚拟人体模型上进行手术操作。使用传感器感受他的各种手术动作，这些动作信号经高速通讯网络传递给一个手术机器人，由机器人对病人进行手术。远程手术的最基本也是最关键的技术要求就是快速双向数据传输。手术现场的视频图像连续不断地传递给外科医生，通过一个头置式(HMD)显示装置，叠加在他面前的人体模型图像上。为了有效地操纵手术器械，还需要加上其它的信息如触觉、听觉、压力等。美国军方也在开发远程虚拟手术系统[11]。这个系统由一个供外科医生使用的控制台和一个远程手术单元组成，在战场上得到了实际应用，并且效果很好。
, http://www.100md.com
1.5 虚拟医学教育和培训(virtual medical education and training)
医学教育也是VR的一个主要应用领域[12]。VR技术可以用作医学教学、新生培训、技能测试、技术学习、手术计划等诸多方面。例如VR 3D医学模型可以显示人体解剖图谱，用来帮助新生或医生更好地学习和了解人体解剖结构；VR手术模拟能够让医生在手术之前学习新的手术方法和程序，练习所制定的手术计划，在手术之后，也能让医生温习或重复全部手术过程，并且能够对医生的技能进行测定。
当今层出不穷的新兴医疗技术要求医生不断地更新和提高自己的技能，但是这有一个学习过程，既费时又费力。VR模拟就可以解决这个问题，取代效率低下的常规培训过程，能够大大地减少所要的培训时间。虚拟现实模拟能够复制手术场景，从而增强训练效果，减少所要的昂贵的动物试验
技能测试是VR训练模拟器的一个重要特点。实际上，人的解剖结构和疾病种类因人而异，这些差异将会给医生的诊断带来困难，增加手术的复杂性和难度，而错误的诊断或手术将会导致非常严重的后果，例如大出血、器官损伤甚至死亡。VR技术就能够为同样的疾病提供多种情况，解决这些差异带来的问题。当计算机技术取得更长足的发展时，医生在给病人做手术之前，可以在VR模拟环境中反复地练习和检查那些复杂的手术程序。
, 百拇医药
可以用VR技术检测医生的技术变化。随着年龄的增大，医生的灵活性就会降低，此时要对其手术技能进行测试就比较困难了。由其它医生对他的技能进行测试，往往带有偏见等主观色彩，不太可靠。目前还没有一个方法能判断何时医生的技术下降到了不能进行手术的地步。VR手术模拟器就能够完成这个任务。
在[13]中，使用者戴上立体眼镜就可以在虚拟人体上随意移动、触摸甚至抽取器官。除了被动的虚拟人体，生物机械模型通过对人工刺激的响应也可以增加真实性。下一步就是把对人体的虚拟探索和数种病理模型结合起来。[12]分析了VR在医学教育应用上的潜力，从长远意义上来看，VR技术在医学上的应用，能大大地降低医疗成本，提供更友好和成本较低的学习环境。可以预言，基于个人微型计算机和高性能外围设备的VR教育培训产品不久将会投入实际应用。
1.6 虚拟现实在康复医学上的应用(VR in rehabilitation medicine)
, 百拇医药
VR在康复医学上也有广泛的应用，可以用来检测残疾程度和康复状况。Rutgers大学[14]设计成了一种敏感手套，用于记录手指的运动和力，手套利用记录数据和力反馈信息启动相应的康复疗法。敏感手套还用来诊断Parkinson病。这样，病人的康复情况可以借助VR工具(如手套式、头置式设备)得以改善。Greenleaf Medical System已经向市场推出了一种可以为有听力障碍者提高听力的装置[15]，其敏感手套感受手指位置的变化，变成文字显示在屏幕上，或通过声音合成器变成声音。日本Nagasaki应用科学技术研究所建立了一种基于“动作接口”的增强环境[16]，用于病人的生理功能和定位能力测试，提供有效的康复训练计划。
1.7 体积图像中的3D导航(3D navigation in volume image)
VR的一个现实可行的目标是体积图像中的3D自由导航[17]。实际上，目前这种研究尚处于模拟阶段。3D自由导航可以为更复杂的虚拟现实系统提供一种实验场所。有了虚拟导航，就可以进行许多手术前和手术后的处理工作。例如，在初始体积图像中定位传感器，预示将要发生的轨迹，观察在模拟过程中预先定义的轨迹等等。最后，结合虚拟成像引导医生的介入过程，这个过程可以是以远程方式也可以是以局部方式进行的。所有的操作都是在医生不在病人身边的情况下进行的，使用的工具同远程手术中使用的一样。一个理想的虚拟导航模型应当是一个非常符合实际响应模式的模型，能够按照病人固有的运动和虚拟手术工具的动作变化而变化。例如建立起了一个虚拟传感器后，内窥镜能够感受到感兴趣的表面区域，应当能让使用者交互式控制传感器的定位和轨迹，最后把传感器所提取的信息变换成一个可解析的图像，使用者通过观察返回的图像再控制传感器的位置，由此真实地溶入到虚拟环境之中去。以空间序列形式显示的体积图像的变化，构成了唯一的虚拟显示空间。由于没有了图像的预处理过程，所以虚拟环境包含了所有感受到的原始信息。使用者可以随意控制传感器的参数，以显示某个结构表面或者在不同的解剖结构之间进行切换。
, 百拇医药
ARTMA图像引导导航系统应用于鼻窦手术[20]，可视化立体导航只需要输入活动视频数据以及同步记录的3D传感器数据，让医生能够象平常那样进行手术，需要时可以随意地移动病人的头。这个系统提供了广阔的应用前景，例如MRI成像、超声成像等。
1.8 虚拟内窥镜(virtual endoscope)
内窥镜电视手术是VR的一个非常有吸引力的应用领域，在最近几年中得到了巨大的发展[18-20]。主要原因有二个，一是可以减少病人手术死亡率，二是可以减少病人的住院时间和医疗成本。然而，在发展过程中也为医生带来了不少的实际问题：医生对病人的直接观察和对手术区域的接触减少了，手术也就变得更复杂了；另外，内窥镜的视场有限，对大范围的手术非常不利。
ARTMA虚拟病人系统[20]最先把医学上的增强现实表现的虚拟解剖结构应用于内窥镜手术之中。它发明了一种成像模式：介入式X线视频断层成像(IVT)[19]。这是一种用于图像引导手术的新兴的成像模式，在手术进行时，实时地显示手术器械相对于病人解剖结构的空间位置。视频成像探测器是一个由光学观察器、照明系统和电子3D传感器组成的一个特别的摄像机。当与内窥镜组合时，用来从不同角度检查腔体的内部结构或者空心器官。
, http://www.100md.com
器官的表面拓扑结构由单镜视频或内窥镜序列图像重建而成。为了提高重建的精度和速度，目标和内窥镜之间的相对运动用电子传感器连续地追踪。IVT图像序列表示了立体空间中的一个4D数据集，包含了图像、表面拓扑信息和运动数据。在内窥镜鼻窦手术(ENT)以前[20]，就可以得到一个IVT图像序列以及手术路径。为了模拟手术过程，断层成像数据加在数字IVT图像序列上。手术期间，IVT模拟中的视频序列成分由活动的视频图像代替。在手术时，一个头置式显示器用来把实时断层成像数据和落动视频图像迭加在一起。医学成像数据同活动视频图像的融合是增强现实技术在医学上的首次应用。ARTMA虚拟病人系统的一个主要优点是病人和仪器都可以自由移动而不会扰乱正常的系统状态。ARTMA先后推出了几个版本的VR系统。这个3D导航工具是一个优秀的内窥镜鼻腔手术(ENT)辅助工具。
1.9 虚拟医疗中心(virtual medical center, VMC)
虚拟医疗中心是一个智能化计算机化的临床服务功能，用以代替医生所起的作用[21]。VMC的核心是一个智能中央处理单元，分布在各个家庭的全自动个人监护设备通过公用电话线连接到虚拟中心。VMC起着信号接口、数据处理单元、决策缓冲器、诊断服务的作用。它可以把家庭中的病人同医院咨询台连接起来。为病人提供日常的监护和紧急情况处理，也可以把出现的紧急情况发送给医生办公室，再返回医生的指令，在某种程度上可以代替医生的作用。
, 百拇医药
英国Portsmouth大学设计了这样一种用于家庭病人看护的虚拟医学中心[21]。采用现有的公用电话线路和公共交换电话网络(PSTN)，接口采用了个人设备和数字增强元码技术，提供高质量的自动性和可移动性。
1.10 远程医疗(telemedicine)
远程医疗[22]是利用多媒体计算机通信网络、电视会议系统、现代医学等技术，把大的医疗中心、综合医院、专科医院同中小医院等联系起来，使病人的资料通过通信线路，传送给远方的医生、专家，远方的医生根据这些资料，返回诊断意见和治疗建议。远程医疗系统缩小了地域环境、医疗水平、医疗设备差别造成的困难，同时也能充当一种远程医疗教育系统，为中小医院的医护人员提供了一种方便而费用极低的培训手段。
远程医疗可以为病人、医生和医护工作者之间的合作创造一个虚拟环境。澳大利亚Volgina医学研究所的一个研究小组研制了一套基于虚拟现实用户接口的多模式交互式EEG/MEG远程数据处理系统环境[23]。使用虚拟医学设备(VMD)，产生并检测原始的和衍生的EEG信号。在远程医疗应用上，VMD主要包括三部分：病人端的数据接口(PIO)、网络服务器处理环节和医生端的显示环境。VMD允许对同一数据进行不同的观察。他们研制的MM Viewer能显示脑电活动的标准脑电波形和其3D拓扑动画图像。
, 百拇医药
2 虚拟现实在医学上的应用所面临的问题
任何一个VR应用系统必须满足一些首要的应用要求：精度高、真实性强和良好的人机交互(包括实时性、使用效率、交互式医学模型的质量、人机接口的传感器和激励器)。虽然已经出现了许多VR设备，并且开始在一些医学上得到越来越多的应用，但是还存在许多问题没有很好地解决[24，25]。虚拟设备、自动或交互式分析、不同层次的可视化、模拟和计划以及计算机辅助手术等方面将仍然是目前VR的基本研究方向。
2.1 对计算机软硬件的要求非常高
由于VR的数据量很大，精度要求非常高，并且要动态显示，因此对计算机的速度和存储容量都有很高的要求。当今的计算机技术已经能够生产出功能强大的计算机，为虚拟现实的应用提供了硬件条件。
现有的许多功能强大的数据计算和数据分析软件(如MATLAB、DADSP、MP、LABWINDOW、LABVIEW等)以及一些多媒体软件都可以为虚拟现实服务。另外，出现了专门的虚拟现实建模语言(virtual reality modeling language, VRML)，这是一种国际通用的用于网络管理和描述3D图像对象的标准语言。有了VRML工具，使用者可以不必另外准备特别的软件和硬件设备。现在VRML已经出现了许多版本，它们各有特色，并且在Internet网络上可以很方便地得到。例如VRML(http://www.vrml.org/specification/vrml.html., http://vrml.sgi.Com/moving-worlds/1997)，Squirrel VRML Pack(http://www.squirrel.com.au/virtualreality/)。Squirrel VRML Pack把HTML的功能扩展到VRML，包括所有需要的命令、演示文件以及在线帮助，支持与操作系统无关的VR软件开发(Windows 3.11，Windows 95, OS/2, Mac., Unix)、多格式3D图像文件(可以是Alias,dxf,iv,obj,sla or softimage格式)转换以及文件压缩(压缩率可达70%)等功能。
, 百拇医药
2.2 虚拟设备(virtual devices)
在VR系统中，为了修改虚拟环境的状态，需要使用各种激励器模拟产生人的各种感觉(主要是视觉、听觉和触觉)，再用传感器收集它们的反馈信息，这些信息反映了VR环境的变化。基于虚拟的或真实的传感器和激励器的仪器设备在VR的临床应用上起着重要的作用。基于多模式动态的传感器是最基本的元素，可以用它们的位置(绝对的或相对的)、方向以及物理特征和相应的参数进行描述。至于激励器，它们与数据相互作用，产生更困难的问题。在所有的情况下，视觉都是非常重要的。虚拟设备必须能够进行的工作是：把一个传感器安装在一个表面上或者是组织内部、移去或局部消除一个障碍、吹起一个小的气球模型以此控制组织的弹性形变、能进行不同方式的操作如组织的分离、拉伸、保持、切割、移位、抖动等。这些问题的复杂程度变化非常大，但是有些性质是共同的，例如组织的弹性-阻抗模型的建立，把感觉-动作结合到微型场景中，交互性-灵活性-可信性等，同时它们也会显示一些副效应。研究者现在正在开发一些虚拟设备，如手套式VR系统，它使用头置式显示设备和力反馈系统，可以在虚拟环境中用作触觉反馈、导航和交互操作。
, 百拇医药
2.3 精确定位
VR对定位的要求很高，对器官的定位可以从不同的角度进行。在体积图像中导航时，有关位置和方向的参数必须交互式设定。解析操作者产生的动作应当不改变其在全局中的位置。在传统的导航中，为了能够匹配即时数据和预取数据，传感器位置的确定必须采用共同的参考坐标系，这是因为：(1)传感器是定位系统的承受者；(2)即时成像过程中应当能够对传感器进行精确定位；(3)能以人机交互方式进行系统初始化，在操作过程中，对图像进行分析，自动跟踪传感器，对单个解剖器官进行观察。最重要的一条就是定位的精度要非常高。
2.4 多模式数据建模和处理
虚拟现实是多学科交叉和渗透的产物。多种类型数据的抽象、建模、分割、分析和组合是虚拟现实中必不可少的。多模式数据处理技术是实现虚拟现实的关键。最主要的多模式描述问题就是虚拟图像接口(VRUI)的设计，用来记住人的感觉系统的特征。一般的人机接口是物理的，即输入/输出和机内描述层。它们具有两种基本转换过程，对输入端来说是抽象和理解，对输出端来说就是描述和显示。描述多模式数据的技术和工具就是常用的多媒体技术和VR软硬件设备，然而，使用它们来实现人机接口时，会遇到配合和效率等许多具体问题。大量数据流的可视化将导致显示重叠。由于局部传感器和原始体积图像之间存在较大的分辨率差异，插值问题也是一个关键问题。此外，局部参数的量化(比如血管直径、相对距离等)与传感器密切相关。
, 百拇医药
2.5 医学成像和图像处理
所有的虚拟现象效果都是以图形图像的形式表现出来。尤其是人体解剖图谱，要求所显示的器官形状、位置、颜色、动态效果非常精确和逼真。这就对图形图像处理技术提出了更高的要求，要涉及到图像分割、图像配准、图像显示、图像形变等一系列技术。在显示阶段，光线照射技术是最重要的，它能产生最大的投影强度、全范围的透明效果以及通常的表面显示效果等，它有一个优点，既能从器官内部观察解剖结构，也可以从器官外部观察表面特征；既可以观察局部特征，也可以观察全局面貌，可是因为处理时间太多，达不到视频动态显示要求，因此在VR中应用受到限制。此外，图像的颜色和纹理能给人视觉上的真实感，所以也是非常重要的。
3 结 论
今天日新月异的计算机和电子技术为VR在医学上的应用提供了众多的功能。然而，当今医学上VR的应用仍然存在许多问题。主要有：
, 百拇医药
安全问题：如何合理地使用传感器，保证传感器的生物相容性，检测各种信息之间可能存在的冲突，以及控制误差传递等。在无人工干预的情况下，它们应当能够自动追踪和处理随时可能发生的任何异常现象。
使用效益：包括系统的精度、使用性能、人机交互性、是否为病人和医生所接受等。
社会因素：所有的这些技术并不是要用来取代医生的作用，而只是为他们的工作提供额外的帮助和功能。
虚拟现实技术在医学领域上的应用为临床医学和医学教育提供了许多新的功能。虽然已经出现了不少用于工业目的的虚拟设备，但是它们可不能用在医学上，这是因为以病人为对象的医学上的虚拟设备对设备精度和安全性要求更高。实际上，到目前为止，还没有一种可以完全作医学应用的虚拟现实系统。
作者简介：刘聚卑(1969-)，男，籍贯：湖南，博士研究生。
, 百拇医药
4 参考文献
[1] Haubner M, et al. Virtual reality in medicine-computer graphics and interaction techniques. IEEE Trans on Information Technology in Biomedicine, 1997,1(1):61
[2] Rosen J M, Soltanian H, Redett R J. Evolution of virtual reality. IEEE Eng Med Biol Mag, 1996,15(2):16
[3] Thomas S, et al. The Voxel-man, In: Kilcoyne RF, eds. Computer application to assist radiology, Proceedings SCAR'96, Symposia Foundation, Carlsbad, CA, 1996,61～62
, 百拇医药
[4] Asaki Hattori, et al. Atlas system of the living human body constructed with 3D and 4D data sets. Proc 20th Ann Intern Confer IEEE Eng Med Biol Soc, 1998,20(2):575
[5] Gingins, et al. The Visible Human Project Conference Proceedings, Bethesda, Maryland, USA, 1996, pp.21～22
[6] Isam Hilal, et al. Human gait simulation using virtual reality. Proc 20th Ann Intern Confer IEEE Eng Med Biol Soc, 1998,20(3):1250
, http://www.100md.com
[7] Oda S, et al. Development of a glove-type interface for data manipulation of the virtual environment in the operating room. Proc 20th Ann Intern Confer IEEE Eng Med Biol Soc, 1998,20(3):1258
[8] Hon D. Ixion′s realistic medical simulations. Virtual Reality World, 1994,2(2):58
[9] Naoki Suzuki, et al. Virtual surgery simulator with force feedback function. Proc 20th Ann Intern Confer IEEE Eng Med Biol Soc, 1998,20(3):1260
, http://www.100md.com
[10] Muriel D. Ross NASA Ames Research Center:ttp://www.nlm.nih.gov/research/visible/vhp_conf/ross/
[11] Green P S, et al. Telepresence surgery. IEEE Eng Med Biol Mag, 1996,14(3):324
[12] Bricken M. virtual reality learning environments:potentials and challenges. Computer Graphics, 1997,25(3):178
[13] Krueger W and Froelich B. The responsive workbench. IEEE Comp Graph And Appl, 1994,14(3):12
, 百拇医药
[14] Burdea G, et al. Diagnostic/rehabilitation system using force measuring and force feedback dextrous masters. Proc Medicine meets Virtual Reality conf,1994
[15] Greenleaf. Developing the tools for practical VR applications. IEEE Eng Med Biol Mag, 14,3,1996,pp.324～329.
[16] Murray Lawn and Takashi Takeda. Design of an action interface with networking ability for rehabilitation. Proc 20th Ann Intern Confer IEEE Eng Med Biol Soc, 1998,20(3):1242
, http://www.100md.com
[17] Haigron P, Le Berre G, Coatrieux J L. 3D Navigation in Medicine. IEEE EngMed Biol Mag, 15,2,1996,pp.70～78
[18] Robb R A. Virtual endoscopy:evaluation using the visible human datasets and comparison with real endoscopy in patients:in:medicine meets virtual reality. Eds:K.S.Morgan et al., IOS Press,1997,pp.195～206
[19] Michael J, et al. Interventional video tomography. SPIE No.2395-34,pp.150-152
, 百拇医药
[20] Gunkel A R, et al. Application of the ARTMA image-guided navigation system to endonasal sinus surgery. Proceedings CAR95, 1995, Berlin, pp.1146～1151
[21] Robert S, Habib Isterpanian. Modeling of GSM-based mobile telemedical system. Proc 20th Ann Intern Confer IEEE Eng Med Biol Soc, 1998,20(3):1166
[22] Franken EA. Telemedicine and teleradiaology:a tale of two cultures. Telemedicine Journal, 1995,1(1):7
, http://www.100md.com
[23] Emil Jovano, et al. Multi modal viewer for telemedical applications. Proc 20th Ann Intern Confer IEEE Eng Meb Biol Soc, 1998,20(3):1254
[24] Faulkner G and Krauss M. Guidelines for establishing a virtual reality lab. IEEE Eng Med Biol Mag, 1996,15(2):86
[25] Greenleaf WJ. Developing the tools for practical VR application. IEEE EMBS,1996,15(2):23～30
(1998-12-30收稿), 百拇医药