Dissection via Cryosection
The ability to distinguish different human
organs in cryosection images is important
for letting anatomy students
demonstrate how much they understand
human anatomic structure in different
perspectives. At the Sichuan Continuing
Education College of Medical Sciences
in China, Lin Yang has been teaching
her students the anatomic structure using
cryosection images since June 2004.
Using their learned anatomy knowledge,
the students found pixels belonging
to the same body part on different
cryosection images and filled these pixels
with a designated color. In time, they
had two sets of images: the original
cryosection images showing natural colors
and the colored images showing
each organ in a different designated
color. Both sets have a 3,072 2,048
pixel resolution, and each uncompressed
image uses roughly 18 Mbytes of storage
space. The thickness of the slices
corresponding to the cryosection images
varies from 0.1 mm to 1.0 mm.
We designed VHASS to extract two
sets of pixels from the colored images.
The first set includes the boundary
pixels for different organ parts,
whereas the second includes the parts’
interior pixels. After the extraction, the
system separates different organ parts
using the following process.
First, we align the cryosection images
and the colored images as two corresponding
stacks according to their original
3D cross-section relations; thus,
each image has a z coordinate identified
according to its thickness, which defines
a 2D plane in 3D in which each pixel
has (x, y, z) coordinates. The cryosection
image stack is a set of volume data.
The colored image stack is another set
of volume data. Each pixel in the first
set has a corresponding pixel in the second.
A color table T includes all artificial
colors used in the colored
images—one color corresponding to
each organ part (see Figure 1).
Next, we use VHASS to create a set
of structures to store the generated
boundaries and interior parts (volume
data) from the colored images according
to their colors. Then, VHASS uses
a pixel in the colored image as an index
to extract the same pixel in the cryosection
image and retrieve the natural-
VIRTUAL HUMAN ANATOMY
By Lin Yang, Jim X. Chen, and Yanling Liu
TO LEARN HUMAN ANATOMY, MEDICAL STUDENTS MUST
PRACTICE ON CADAVERS, AS MUST PHYSICIANS WHEN
THEY WANT TO BRUSH UP ON THEIR ANATOMY KNOWLEDGE.
HOWEVER, CADAVERS ARE IN SHORT SUPPLY IN MEDICAL SCHOOLS
y
0 x 0 x
y
Figure 1. A pixel extraction. The
cryosection image at left has a
corresponding colored image (right).
72 COMPUTING IN SCIENCE & ENGINEERING
color information for storage in the new
data structure.
After creating the data structures,
VHASS retrieves the tissue boundaries.
Intuitively, the system can extract
boundary pixels by applying edge detection—
a mature and widely used technology1—
on the colored images. We
integrated an open-source IM digital
imaging toolkit (www.tecgraf.puc-rio.br/
im) into our system to extract the boundary
information and used Canny’s edge detector1
to perform the edge detection.
The system uses an image’s extracted
boundaries to build 3D surface models of
different organ parts. Figure 2 shows the
extracted boundary slices in 3D.
After extracting the tissue boundaries,
we retrieve all interior tissues and
save them separately. Extracting interior
pixels is much simpler than extracting
boundary pixels—for each
color in the color table T, we simply
convert all matching pixels into 3D
points. However, the size of the extracted
output requires extensive memory.
In our experiment, the interior
points of human skin from the first 200
processed images required more than
600 Mbytes of storage space. Although
upgrading to add memory is a simple
solution, a better one was to optimize
our system so that it would run well on
machines with different configurations.
Thus, our system can dynamically allocate
memory based on the current task
and successfully extract points (3D pixels)
totaling more than 2.5 Gbytes on a
machine with a 512-Mbyte memory.
During extraction, we found that
some parts in the colored images had
slightly bigger or smaller areas than the
actual organ parts on the cryosection images.
This was due to human error—the
colored images that are the basis for feature
extraction might not have been separated
exactly according to human parts,
thus resulting in incorrect retrieval. This
problem was more obvious for outerboundary
pixels of human skin: on the
colored image, these pixels sometimes
ended up outside the body. To solve this
problem, we discard pixels on a colored
image if the corresponding pixels on
cryosection images have the background
color. We must do more work in this
area to improve retrieval accuracy.
After the extraction process, our retrieved
3D points correspond to different
tissue parts and have geometry,
volume, and color information. Additionally,
the system uses the generated
3D cross-sections to interpolate and generate
3D volume pixels that don’t lie on
cross-sections—in both color and
cryosection images—for separate organs,
which lets users visualize the volume of
interior parts using volume rendering.
Figure 3 shows components of the human
brain in different color volumes.
3D Human Parts
Surface reconstruction has received a
significant amount of research
attention.2–6 Compared to volume rendering,
a 3D mesh generated by surface-
reconstruction techniques requires
fewer computational resources for realtime
rendering. Moreover, organizing
3D mesh for complete human parts
normally requires less storage space
than organizing interior points for the
same parts. We developed a surface-reconstruction
algorithm to find boundary
surfaces for all the different tissues
and organ parts. The result is a set of
isosurfaces that constitute organ part
boundaries. The algorithm relies on a
growable triangle mesh to generate organ
surfaces, can process large data sets,
and has a linear memory requirement.
Suppose we’ve already chosen a seed
triangle mesh M representing the partial
surface S. Without losing generality,
we can assume that some growable
triangles are located at the boundary of
M. Our algorithm finds new triangles
for growable triangles in Mby generating
new vertices for the growable vertices.
Before generating new triangles,
the algorithm generates new vertices
and projects them onto the surface implied
by the local neighboring points.
By repeating the growth process, Mwill
eventually become an interpolation for
S. Figure 4 shows a transparent rendering
of different layers.
During the growth process, Mdevelops
more triangles and creeps onto S. In
one growth process, the algorithm
processes all growable triangles on the
edge of M to generate new ones. The
surface reconstruction process continues
or stops depending on the growth
process’s return value—a growth process
returns true when the algorithm successfully
generates new triangles, and
false when it doesn’t generate any new
triangles. Our system’s default configuration
allows multiple surface reconstruction
on one data set because some
body parts have separate components.
After one pass of surface reconstruction,
the system removes boundary points it
has visited and starts a new surfacereconstruction
process on the remaining
boundary points. Surface reconstruction
stops when no boundary points are left.
The Surface Model
Based on the newly generated 3D surface
models we’ve discussed, VHASS allows
arbitrary magnification, view, and
dissection of a surface model. Physicians
and students can use the dissection tool
in VHASS to define multiple 3D planes
(called dissection planes) intersecting with
selected parts. A dissection plane’s normal
vector direction helps the physician
or student determine the plane direc-
V I S U A L I Z A T I O N C O R N E R
Figure 2. Extracted boundary points
from a human head, viewed from
different angles.
SEPTEMBER/OCTOBER 2005 73
tion in which to cut off parts. Multiple
dissection planes are combined with
Boolean operation to form a final shape.
To render a cross-section with natural
colors, the system creates a dissection
mesh, a triangle mesh plane on the
cross-section. Users can specify a resolution
for the dissection mesh to view
results at different resolutions—the
more triangles a dissection mesh has,
the better the image quality. A dissection
mesh’s vertices have interpolated
color based on nearby points. Figure 5
shows the results from a single dissection
plane on the upper half of a human
head. The dissection operation’s
efficiency depends on the area of the
dissection plane—a bigger dissection
plane requires a bigger dissection mesh
and more computational resources for
color interpolation. This process is integrated
with the cryosection volume
data to retrieve the cross-section’s natural
colors. The system retrieves the
interior colors on the cross-section
plane from the volume data. Given that
volume data is used only to retrieve visible
surfaces (such as cross-section
planes), the system renders crosssections
or open cuts in real time,
enabling interactive operations and
transformations that animate the object
in different perspectives.
Our work on virtual anatomy and
surgery for medical education
and training is still in its preliminary
stages, and we must do more to take
advantage of our early results. Specifically,
we plan to use haptic devices as
medical instruments for cutting, show
the medical procedure in stereoscopic
display, and integrate surface and volume
rendering. The latter will let us
visualize the interior organs separately
or at the same time with transparency.
For training purposes, students will be
able to operate on specific parts of the
volume data, separate layers to focus
on certain areas, and visualize interior
parts interactively.
ชำแหละผ่าน Cryosectionความสามารถในการแยกแยะบุคคลที่แตกต่างกันอวัยวะในรูป cryosection เป็นสำคัญสำหรับให้นักเรียนกายวิภาคศาสตร์แสดงให้เห็นว่าพวกเขาเข้าใจมนุษย์ anatomic โครงสร้างแตกต่างกันมุมมอง ที่เสฉวนอย่างต่อเนื่องการศึกษาวิทยาลัยแพทย์ศาสตร์ในประเทศจีน การสอนลินยางนักเรียนของเธอที่ anatomic โครงสร้างโดยใช้ภาพ cryosection ตั้งแต่ 2547 มิถุนายนใช้ความรู้กายวิภาคศาสตร์เรียนรู้นักเรียนที่พบของพิกเซลส่วนร่างกายเดียวกันในที่ต่าง ๆcryosection ภาพ และเติมพิกเซลเหล่านี้ด้วยสีที่กำหนด ในเวลา พวกเขามีสองชุดของรูปภาพ: ต้นฉบับภาพ cryosection แสดงสีสันที่เป็นธรรมชาติและภาพสีที่แสดงแต่ละอวัยวะในที่ต่าง ๆ กำหนดสี ทั้งสองชุดได้ 3,072 2,048ความละเอียดของพิกเซล และแต่ละยังรูปใช้เก็บประมาณ 18 Mbytesพื้นที่ ความหนาของชิ้นที่สอดคล้องกับภาพ cryosectionตั้งแต่ 0.1 มม.ถึง 1.0 มม.เราออกแบบ VHASS แยก 2ชุดของพิกเซลจากภาพสีชุดแรกมีขอบเขตพิกเซลสำหรับชิ้นส่วนอวัยวะต่าง ๆขณะที่สองประกอบด้วยชิ้นส่วน'ภายในเซล หลังการแยก การระบบแยกส่วนอวัยวะต่าง ๆโดยใช้กระบวนการต่อไปนี้ครั้งแรก เราจัดตำแหน่งภาพ cryosectionและสอดคล้องกับภาพสีเป็นสองกองตามเดิมของพวกเขาความสัมพันธ์ระหว่างส่วน 3D ดังนั้นแต่ละภาพมีพิกัด z ที่ระบุตาม ความหนาที่กำหนดเครื่องบินแบบ 2D ใน 3D ในที่แต่ละพิกเซลมี (x, y, z) พิกัด Cryosectionกองรูปคือ ชุดของข้อมูลเสียงกองภาพสีเป็นชุดอื่นไดรฟ์ข้อมูล แต่ละพิกเซลในครั้งแรกชุดมีพิกเซลตรงที่สองตารางสี T รวมทั้งประดิษฐ์สีที่ใช้ในการสีรูปแบบสีที่สอดคล้องกับอวัยวะแต่ละส่วน (ดูรูปที่ 1)ถัดไป ใช้ VHASS การสร้างชุดโครงสร้างการจัดเก็บที่สร้างขอบเขตและชิ้นส่วนภายใน (ระดับเสียงข้อมูล) จากภาพสีตามสีของพวกเขา แล้ว VHASS ใช้พิกเซลในภาพสีเป็นดัชนีแยกเซลเดียวใน cryosectionภาพ และดึงธรรมชาติ-กายวิภาคศาสตร์มนุษย์เสมือนโดย หยางหลิน เฉิน x. อัพจิม หลิวเยี่ยนหลิ่งนักศึกษาแพทย์ต้องเรียนรู้กายวิภาคศาสตร์มนุษย์ฝึกบน CADAVERS ต้องแพทย์เมื่อพวกเขาต้องการแปรงขึ้นบนความรู้กายวิภาคศาสตร์อย่างไรก็ตาม CADAVERS จะขาดในโรงเรียนแพทย์y0 x 0 xyรูปที่ 1 การแยกเซล ที่cryosection รูปที่ด้านซ้ายมีการตรงสีภาพ (ขวา)72 ในวิทยาศาสตร์และวิศวกรรมคอมพิวเตอร์สีข้อมูลสำหรับจัดเก็บข้อมูลใหม่โครงสร้างข้อมูลหลังจากการสร้างโครงสร้างข้อมูลVHASS ดึงเนื้อเยื่อขอบเขตระบบสามารถแยกได้หมดพิกเซลขอบ โดยใช้การตรวจพบขอบ —technology1 ผู้ใหญ่ และใช้กันอย่างแพร่หลายเช่นในภาพสี เรารวมเป็นแหล่งเปิด IM ดิจิตอลเครื่องมือที่เกี่ยวกับภาพ (ของ www.tecgraf.puc-rio.br/im) เป็นระบบการขยายขอบเขตของเราข้อมูลและของ Canny ใช้ detector1 ขอบเพื่อทำการตรวจจับขอบการใช้ระบบของสกัดภาพแบบจำลองของพื้นผิวเพื่อสร้าง 3Dชิ้นส่วนอวัยวะต่าง ๆ รูปที่ 2 แสดงการแยกชิ้นขอบใน 3Dหลังจากแยกขอบเขตของเนื้อเยื่อเราเรียกเนื้อเยื่อภายในทั้งหมด และบันทึกแยกต่างหาก แยกภายในพิกเซลถูกมากง่ายกว่าการแยกพิกเซลขอบเขตซึ่งในแต่ละสีในตารางสี T เราเพียงแค่แปลงพิกเซลทั้งหมดที่จับคู่ 3Dคะแนน อย่างไรก็ตาม ขนาดของการแยกผลผลิตต้องใช้หน่วยความจำอย่างละเอียดในการทดลองของเรา ตกแต่งภายในจุดของผิวมนุษย์จาก 200 คนแรกประมวลผลภาพที่จำเป็นมากกว่าMbytes 600 พื้นที่จัดเก็บ ถึงแม้ว่าอัพเกรดเพิ่มหน่วยความจำเป็นง่ายโซลูชั่น ดีกว่าถูกปรับให้เหมาะสมระบบของเราเพื่อจะทำงานได้ดีในเครื่อง มีการตั้งค่าคอนฟิกที่แตกต่างกันดังนั้น ระบบของเราสามารถปันส่วนแบบไดนามิกหน่วยความจำที่ใช้งานปัจจุบันและประสบความสำเร็จสกัดจุด (3D พิกเซล)รวม Gbytes มากกว่า 2.5 ในการเครื่องความจำ 512 Mbyteในระหว่างการสกัด เราพบว่ามีบางส่วนในภาพสีพื้นที่ขนาดเล็ก หรือใหญ่กว่าเล็กน้อยชิ้นส่วนอวัยวะจริงบนรูป cryosectionซึ่งเกิดจากข้อผิดพลาดของมนุษย์เช่นการภาพสีที่เป็นข้อมูลพื้นฐานสำหรับลักษณะการทำงานแยกอาจไม่ได้รับการแบ่งตรงตามชิ้นส่วนมนุษย์thus resulting in incorrect retrieval. Thisproblem was more obvious for outerboundarypixels of human skin: on thecolored image, these pixels sometimesended up outside the body. To solve thisproblem, we discard pixels on a coloredimage if the corresponding pixels oncryosection images have the backgroundcolor. We must do more work in thisarea to improve retrieval accuracy.After the extraction process, our retrieved3D points correspond to differenttissue parts and have geometry,volume, and color information. Additionally,the system uses the generated3D cross-sections to interpolate and generate3D volume pixels that don’t lie oncross-sections—in both color andcryosection images—for separate organs,which lets users visualize the volume ofinterior parts using volume rendering.Figure 3 shows components of the humanbrain in different color volumes.3D Human PartsSurface reconstruction has received asignificant amount of researchattention.2–6 Compared to volume rendering,a 3D mesh generated by surface-reconstruction techniques requiresfewer computational resources for realtimerendering. Moreover, organizing3D mesh for complete human partsnormally requires less storage spacethan organizing interior points for thesame parts. We developed a surface-reconstructionalgorithm to find boundarysurfaces for all the different tissuesand organ parts. The result is a set ofisosurfaces that constitute organ partboundaries. The algorithm relies on agrowable triangle mesh to generate organsurfaces, can process large data sets,and has a linear memory requirement.Suppose we’ve already chosen a seedtriangle mesh M representing the partialsurface S. Without losing generality,we can assume that some growabletriangles are located at the boundary ofM. Our algorithm finds new trianglesfor growable triangles in Mby generatingnew vertices for the growable vertices.Before generating new triangles,the algorithm generates new verticesand projects them onto the surface impliedby the local neighboring points.By repeating the growth process, Mwilleventually become an interpolation forS. Figure 4 shows a transparent renderingof different layers.During the growth process, Mdevelopsmore triangles and creeps onto S. Inone growth process, the algorithmprocesses all growable triangles on theedge of M to generate new ones. Thesurface reconstruction process continuesor stops depending on the growthprocess’s return value—a growth processreturns true when the algorithm successfullygenerates new triangles, andfalse when it doesn’t generate any newtriangles. Our system’s default configurationallows multiple surface reconstructionon one data set because somebody parts have separate components.After one pass of surface reconstruction,the system removes boundary points ithas visited and starts a new surfacereconstructionprocess on the remainingboundary points. Surface reconstructionstops when no boundary points are left.The Surface ModelBased on the newly generated 3D surfacemodels we’ve discussed, VHASS allowsarbitrary magnification, view, anddissection of a surface model. Physiciansand students can use the dissection toolin VHASS to define multiple 3D planes(called dissection planes) intersecting withselected parts. A dissection plane’s normalvector direction helps the physicianor student determine the plane direc-V I S U A L I Z A T I O N C O R N E RFigure 2. Extracted boundary pointsfrom a human head, viewed fromdifferent angles.SEPTEMBER/OCTOBER 2005 73tion in which to cut off parts. Multipledissection planes are combined withBoolean operation to form a final shape.To render a cross-section with naturalcolors, the system creates a dissectionmesh, a triangle mesh plane on thecross-section. Users can specify a resolutionfor the dissection mesh to viewresults at different resolutions—themore triangles a dissection mesh has,the better the image quality. A dissectionmesh’s vertices have interpolatedcolor based on nearby points. Figure 5shows the results from a single dissectionplane on the upper half of a humanhead. The dissection operation’sefficiency depends on the area of thedissection plane—a bigger dissectionplane requires a bigger dissection meshand more computational resources forcolor interpolation. This process is integrated
with the cryosection volume
data to retrieve the cross-section’s natural
colors. The system retrieves the
interior colors on the cross-section
plane from the volume data. Given that
volume data is used only to retrieve visible
surfaces (such as cross-section
planes), the system renders crosssections
or open cuts in real time,
enabling interactive operations and
transformations that animate the object
in different perspectives.
Our work on virtual anatomy and
surgery for medical education
and training is still in its preliminary
stages, and we must do more to take
advantage of our early results. Specifically,
we plan to use haptic devices as
medical instruments for cutting, show
the medical procedure in stereoscopic
display, and integrate surface and volume
rendering. The latter will let us
visualize the interior organs separately
or at the same time with transparency.
For training purposes, students will be
able to operate on specific parts of the
volume data, separate layers to focus
on certain areas, and visualize interior
parts interactively.
การแปล กรุณารอสักครู่..
