WO2010103868A1 - 画像処理システム、その外部装置およびその画像処理方法 - Google Patents

画像処理システム、その外部装置およびその画像処理方法 Download PDF

Info

Publication number
WO2010103868A1
WO2010103868A1 PCT/JP2010/050556 JP2010050556W WO2010103868A1 WO 2010103868 A1 WO2010103868 A1 WO 2010103868A1 JP 2010050556 W JP2010050556 W JP 2010050556W WO 2010103868 A1 WO2010103868 A1 WO 2010103868A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
unit
subject
medical device
Prior art date
Application number
PCT/JP2010/050556
Other languages
English (en)
French (fr)
Inventor
佐藤 良次
瀧澤 寛伸
康晴 小田
勝義 谷口
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to JP2010536256A priority Critical patent/JP4642940B2/ja
Priority to CN201080020662.5A priority patent/CN102421350B/zh
Priority to EP10750624.8A priority patent/EP2407082B1/en
Priority to US12/879,402 priority patent/US8167789B2/en
Publication of WO2010103868A1 publication Critical patent/WO2010103868A1/ja
Priority to US13/428,377 priority patent/US20120238809A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • A61B1/00022Operational features of endoscopes provided with data storages removable
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/07Endoradiosondes
    • A61B5/073Intestinal transmitters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4472Wireless probes

Definitions

  • the present invention relates to an image processing system, an external device thereof, and an image processing method thereof, and more particularly to an image processing system including an in-subject introduction device provided with an imaging means, an external device thereof, and an image processing method thereof.
  • apparatuses for observing the inside of a subject such as a person or an animal include a tube-type endoscope and a capsule-type endoscope (hereinafter simply referred to as a capsule endoscope).
  • Tube-type endoscopes include electronic endoscopes with a CCD (Charge Coupled Device) sensor at the tip, and fiberscopes in which a bundle of optical fibers is passed through the tube.
  • An image inside the subject is acquired by inserting from the mouth or anus of the subject (for example, see Patent Document 1 shown below).
  • the capsule endoscope is of a size that can be swallowed by a person, an animal, or the like.
  • the capsule endoscope is orally introduced into the subject and periodically images the inside of the subject.
  • An image inside the subject obtained by imaging is transmitted as a radio signal to an external receiving device (see, for example, Patent Document 2 shown below).
  • An observer reproduces a plurality of images obtained by a tube-type endoscope or a capsule endoscope individually or continuously, and observes them to diagnose the inside of the subject.
  • the display surface with respect to a certain reference (subject, ground surface, etc.) of the image obtained by imaging is used.
  • the vertical tilt (rotation amount) at the position does not change.
  • the posture of the capsule endoscope in the subject is free as long as the configuration is not limited by an external magnetic field. Accordingly, the capsule endoscope passively moves in the lumen of the subject by its peristaltic motion while rotating in various directions. For this reason, it is difficult to keep the vertical inclination (rotation amount) in the display surface with respect to a certain reference of the image acquired by the capsule endoscope constant.
  • the degree of similarity and correlation between successive images will decrease. For example, when the vertical direction of the subsequent image is rotated by 90 ° with respect to the vertical direction of the previous image, even if the image is the same part imaged, the subject (hereinafter simply referred to as the part) in the image The position changes greatly, or the part in the image rotates to change the apparent shape.
  • Such a change in the vertical inclination (rotation amount) of the image may cause problems such as an increase in labor required for subject diagnosis by visual interpretation and a decrease in the accuracy of the diagnosis result.
  • problems such as an increase in labor required for subject diagnosis by visual interpretation and a decrease in the accuracy of the diagnosis result.
  • the accuracy and speed of various data processing may be greatly reduced.
  • a decrease in the accuracy and speed of data processing causes a decrease in accuracy of data processing results and a decrease in convenience of functions provided to an observer. For this reason, as in the case of the subject diagnosis by interpretation, as a result, problems such as an increase in labor required for the subject diagnosis and a decrease in accuracy of the diagnosis result may occur.
  • the present invention has been made in view of the above problems, and provides an image processing system, an external device thereof, and an image processing method thereof that can reduce labor during diagnosis and improve the accuracy of diagnosis results. For the purpose.
  • an image processing system includes an imaging unit that images the inside of a subject, and an output unit that outputs image data acquired by the imaging unit to the outside.
  • An introduction device input means for inputting the image data, orientation specifying means for specifying the orientation of the in-subject introduction device with respect to a reference direction when the image data is imaged, and the orientation specified by the orientation specifying means
  • an external device including rotation correction means for aligning the orientations of a plurality of image data by rotationally correcting the image data input by the input means.
  • the above-described image processing system is characterized in that the orientation specifying means specifies the orientation of the in-subject introduction apparatus based on the orientation of the subject.
  • the image processing system according to the present invention described above is characterized in that the orientation specifying means acquires the orientation of the in-subject introduction device with reference to a real space.
  • the external apparatus includes a directional antenna having directivity, and an electromagnetic wave transmitting unit that transmits an electromagnetic wave through the directional antenna, Comprises a plurality of antennas and intensity / phase detection means for detecting the intensity and phase of the electromagnetic wave received by each antenna, and the output means detects the electromagnetic wave detected by the intensity / phase detection means.
  • Intensity and phase are added to the image data and output to the outside, and the input means inputs the intensity and phase of the electromagnetic wave added to the image data to the direction specifying means, and the direction specifying means is the The direction of the in-subject introduction device is specified from the intensity and phase of the electromagnetic wave input from the input means.
  • the external device includes subject orientation specifying means for specifying the orientation of the subject, the reference direction is set to the subject, and the orientation specifying means is The direction of the in-subject introduction apparatus with respect to the specified reference direction is rotationally corrected by the direction of the subject specified by the subject direction specifying means.
  • the in-subject introduction apparatus includes gravity direction detecting means for detecting the direction of gravity, and the output means detects the direction of gravity detected by the gravity direction detecting means.
  • the input means inputs the direction of the gravity added to the image data to the orientation specifying means, and the orientation specifying means is input from the input means
  • the direction of the in-subject introduction device is specified from the direction of gravity.
  • the image processing system according to the present invention described above is characterized in that the external device includes screen generation means for generating a screen for displaying the rotation-corrected image data.
  • the external device calculates an average color of the rotation-corrected image data, generates the calculated average color image, and the generated average color image is the image.
  • the average color bar generating unit calculates the average color for each divided region that divides one piece of the image data into a plurality of regions, and the average color for each divided region. An image is generated, and the average color bar is generated so that an image of an average color for a corresponding divided area between the image data is arranged in parallel to a predetermined axis.
  • the external device detects a red component included in the rotation-corrected image data, and a red image for visually displaying a detection result by the red detection unit.
  • a red image generating means for generating the image wherein the screen generating means generates the screen in which the red image generated by the red image generating means is incorporated.
  • the external device includes a rotation amount image generation unit that generates a rotation amount image for visually displaying the rotation amount used for the rotation correction for each of the image data.
  • the screen generation unit generates the screen in which the rotation amount image generated by the rotation amount image generation unit is incorporated.
  • the external device includes an organ image generation unit that generates an organ image obtained by imaging an organ in the subject, and the screen generation unit converts the organ image into the screen. It is characterized by incorporating.
  • the external device is an organ image obtained by imaging the organ in the subject, and the average color image generated by the average color bar generating unit is superimposed on the image.
  • An organ image generating means for generating an organ image is provided, and the screen generating means incorporates the organ image into the screen.
  • the external device is an organ image obtained by imaging the organ in the subject, and the organ on which the image of the detection result generated by the red image generation unit is superimposed.
  • An organ image generating means for generating an image is provided, and the screen generating means incorporates the organ image into the screen.
  • the position of the in-subject introduction device when the external device acquires the image data is estimated based on the rotation amount used for the rotation correction for each image data. It is characterized by comprising a position estimation means.
  • the external device determines the similarity between the image data before and after the rotation-corrected plurality of image data, and the determination by the similarity determination unit.
  • Image data selection means for selecting image data after rotation correction satisfying a predetermined condition from the plurality of rotation-corrected image data based on the result.
  • the external device calculates the motion vector between the preceding and succeeding image data among the plurality of rotation-corrected image data
  • the motion vector calculating unit calculates the motion vector.
  • a maximum scalar amount extraction unit that extracts a value having the maximum scalar amount from the motion vectors, and a rotation that satisfies a predetermined condition from the plurality of image data that has been rotationally corrected based on an extraction result by the maximum scalar amount extraction unit.
  • image data sorting means for sorting the corrected image data.
  • the image processing system according to the present invention described above is characterized in that the external device includes screen generation means for generating a screen for displaying a list of reduced images obtained by reducing the rotation-corrected image data.
  • the external apparatus includes an input means for inputting image data acquired by an in-subject introduction apparatus provided with an imaging means for imaging the inside of the subject, and the inside of the subject when the image data is imaged.
  • Direction specifying means for specifying the orientation of the introduction device with respect to a reference direction
  • rotation correction means for aligning the directions of the plurality of image data by rotationally correcting the image data based on the direction specified by the direction specifying means. It is characterized by having prepared.
  • the image processing method includes an input step of inputting image data acquired by an in-subject introduction apparatus provided with an imaging means for imaging the inside of the subject, and the subject when the image data is imaged.
  • a direction specifying step for specifying a direction with respect to a reference direction of the internal introduction device, and a rotation correcting step for aligning the directions of a plurality of image data by rotationally correcting the image data based on the direction specified in the direction specifying step; It is characterized by including.
  • the present invention it is possible to align the orientations of a plurality of image data by rotationally correcting the image data based on the orientation of the in-subject introduction apparatus at the time of imaging with respect to the reference direction. It is possible to realize an image processing system, an external device thereof, and an image processing method thereof that can reduce or improve the accuracy of diagnosis results.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a medical system according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a schematic internal configuration of the capsule medical device according to the first embodiment of the present invention.
  • FIG. 3 is a perspective view showing a schematic appearance of the capsule medical device according to the first embodiment of the present invention.
  • FIG. 4 is a cross-sectional view showing a cross-sectional structure when the capsule medical device is cut along a plane including the imaging surface of the CCD array in the imaging unit according to Embodiment 1 of the present invention.
  • FIG. 5 is a block diagram showing a schematic configuration example of the receiving apparatus according to Embodiment 1 of the present invention.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a medical system according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a schematic internal configuration of the capsule medical device according to the first embodiment of the present invention.
  • FIG. 3 is a perspective view showing
  • FIG. 6 is a diagram illustrating an arrangement example of antennas on the receiving device side according to the first embodiment of the present invention.
  • FIG. 7 is a block diagram showing a schematic configuration example of the display device according to the first embodiment of the present invention.
  • FIG. 8 is a diagram showing an example of a GUI screen generated according to the first embodiment of the present invention.
  • FIG. 9 is a diagram showing continuous image data obtained by the capsule medical device according to Embodiment 1 of the present invention imaging the same part in the subject.
  • FIG. 10 is a diagram illustrating an example of the average color bar generated according to the first embodiment of the present invention.
  • FIG. 11 is a flowchart showing a schematic operation example of the capsule medical device according to the first embodiment of the present invention.
  • FIG. 12 is a flowchart showing a schematic operation example of the receiving apparatus according to Embodiment 1 of the present invention.
  • FIG. 13 is a flowchart showing a schematic operation example of the display device according to the first embodiment of the present invention.
  • FIG. 14 is a diagram for explaining the rotation correction of the image data in step S123 of FIG.
  • FIG. 15 is a diagram illustrating an example of the average color bar generated using the image data after the rotation correction in step S127 of FIG.
  • FIG. 16 is a schematic diagram showing a schematic configuration of a medical system according to Modification 1-1 of Embodiment 1 of the present invention.
  • FIG. 17 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to Modification 1-1 of Embodiment 1 of the present invention.
  • FIG. 18 is a flowchart showing a schematic operation example of the receiving apparatus according to the modified example 1-1 according to the first embodiment of the present invention.
  • FIG. 19 is a block diagram illustrating a schematic configuration example of a capsule medical device and a receiving device according to another example of the modification 1-1 of the first embodiment of the present invention.
  • FIG. 20 is a schematic diagram showing a schematic configuration of a medical system according to Modification 1-2 of Embodiment 1 of the present invention.
  • FIG. 21 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to Modification 1-2 of Embodiment 1 of the present invention.
  • FIG. 22 is a flowchart showing a schematic operation example of the capsule medical apparatus according to the modified example 1-2 of the first embodiment of the present invention.
  • FIG. 23 is a flowchart showing a schematic operation example of the receiving apparatus according to the modified example 1-2 of the first embodiment of the present invention.
  • FIG. 24 is a schematic diagram showing a schematic configuration of a medical system according to Embodiment 2 of the present invention.
  • FIG. 25 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to Embodiment 2 of the present invention.
  • FIG. 26 is a flowchart showing a schematic operation example (No. 1) of the capsule medical device according to the second embodiment of the present invention.
  • FIG. 27 is a flowchart showing a schematic operation example (No. 2) of the capsule medical device according to the second embodiment of the present invention.
  • FIG. 28 is a flowchart showing a schematic operation example of the receiving apparatus according to the second embodiment of the present invention.
  • FIG. 29 is a schematic diagram showing a schematic configuration of a medical system according to Modification 2-1 of Embodiment 2 of the present invention.
  • FIG. 30 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to the modified example 2-1 of the second embodiment of the present invention.
  • FIG. 31 is a flowchart showing a schematic operation example of the capsule medical apparatus according to the modified example 2-1 of the second embodiment of the present invention.
  • FIG. 32 is a flowchart showing a schematic operation example of the receiving apparatus according to the modified example 2-1 of the second embodiment of the present invention.
  • FIG. 29 is a schematic diagram showing a schematic configuration of a medical system according to Modification 2-1 of Embodiment 2 of the present invention.
  • FIG. 30 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to the modified example
  • FIG. 33 is a schematic diagram showing a schematic configuration of a medical system according to Modification 2-2 of Embodiment 2 of the present invention.
  • FIG. 34 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to Modification 2-2 of Embodiment 2 of the present invention.
  • FIG. 35 is a flowchart showing a schematic operation example of the reception apparatus according to the modification 2-2 of the second embodiment of the present invention.
  • FIG. 36 is a schematic diagram showing a schematic configuration of a medical system according to Embodiment 3 of the present invention.
  • FIG. 37 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to Embodiment 3 of the present invention.
  • FIG. 38 is a diagram for explaining rotation correction according to the third embodiment of the present invention.
  • FIG. 39 is a diagram showing an example of the average color bar generated using the image data after the rotation correction according to the third embodiment of the present invention.
  • FIG. 40 is a schematic diagram showing a schematic configuration of a medical system according to Modification 3-1 of Embodiment 3 of the present invention.
  • FIG. 41 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to the modified example 3-1 of the third embodiment of the present invention.
  • FIG. 42 is a schematic diagram showing a schematic configuration of a medical system according to Modification 3-2 of Embodiment 3 of the present invention.
  • FIG. 43 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to Modification 3-2 of Embodiment 3 of the present invention.
  • FIG. 44 is a schematic diagram showing a schematic configuration of a medical system according to Embodiment 4 of the present invention.
  • FIG. 45 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to Embodiment 4 of the present invention.
  • FIG. 46 is a schematic diagram showing a schematic configuration of a medical system according to Modification 4-1 of Embodiment 4 of the present invention.
  • FIG. 47 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to Modification 4-1 of Embodiment 4 of the present invention.
  • FIG. 44 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to Modification 3-2 of Embodiment 3 of the present invention.
  • FIG. 44 is a schematic diagram showing a schematic configuration of
  • FIG. 48 is a schematic diagram showing a schematic configuration of a medical system according to Modification 4-2 of Embodiment 4 of the present invention.
  • FIG. 49 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to the modification 4-2 of the fourth embodiment of the present invention.
  • FIG. 50 is a schematic diagram showing a schematic configuration of a medical system according to the fifth embodiment of the present invention.
  • FIG. 51 is a block diagram showing a schematic configuration example of a capsule medical device and a receiving device according to Embodiment 5 of the present invention.
  • FIG. 52 is a flowchart showing a schematic operation example of the capsule medical apparatus according to the fifth embodiment of the present invention.
  • FIG. 53 is a flowchart showing a schematic operation example of the receiving apparatus according to the fifth embodiment of the present invention.
  • FIG. 54 is a block diagram showing a schematic configuration example of a display device according to Embodiment 6 of the present invention.
  • FIG. 55 is a flowchart showing a schematic operation example of the display device 650 according to the sixth embodiment of the present invention.
  • FIG. 56 is a diagram showing an example of a GUI screen generated by the screen generation unit according to Embodiment 6 of the present invention.
  • FIG. 57 is a diagram showing an example of the average color bar according to the modification 6-1 of the sixth embodiment of the present invention.
  • FIG. 58 is a diagram showing an example of the average color bar according to the modification 6-2 of the sixth embodiment of the present invention.
  • FIG. 59 is a diagram showing an example of the average color bar according to the modified example 6-3 of the sixth embodiment of the present invention.
  • FIG. 60 is a block diagram showing a schematic configuration example of a display device according to Embodiment 7 of the present invention.
  • FIG. 61 is a flowchart showing a schematic operation example of the display device according to the seventh embodiment of the present invention.
  • FIG. 62 is a diagram showing an example of a GUI screen generated by the screen generation unit according to Embodiment 7 of the present invention.
  • FIG. 63 is a diagram showing an example of the average color bar according to the modification 7-1 of the seventh embodiment of the present invention.
  • FIG. 64 is a diagram showing an example of a GUI screen according to the eighth embodiment of the present invention.
  • FIG. 65 is a diagram showing the relationship between the part of the lumen through which the capsule medical device introduced into the specimen passes and the amount of rotation.
  • FIG. 66 is a block diagram showing a schematic configuration example of a display device according to Modification 8-1 of Embodiment 8 of the present invention.
  • FIG. 67 is a diagram showing an example of a GUI screen according to the modification 8-1 of the eighth embodiment of the present invention.
  • FIG. 68 is a diagram showing an example of a GUI screen according to Modification 8-3 of Embodiment 8 of the present invention.
  • FIG. 69 is a block diagram illustrating a schematic configuration example of the image selection unit according to the ninth embodiment of the present invention.
  • FIG. 70 is a diagram showing an example of a GUI screen according to the tenth embodiment of the present invention.
  • FIG. 71 is a block diagram showing a schematic configuration example of a display device according to Embodiment 11 of the present invention.
  • FIG. 72 is a block diagram showing a schematic configuration example of a display device according to Embodiment 12 of the present invention.
  • FIG. 73 is a diagram showing an example of a GUI screen according to the twelfth embodiment of the invention.
  • each drawing only schematically shows the shape, size, and positional relationship to the extent that the contents of the present invention can be understood. Therefore, the present invention is illustrated in each drawing. It is not limited to only the shape, size, and positional relationship. Moreover, in each figure, a part of hatching in a cross section is abbreviate
  • the subject 900 is introduced orally into the subject 900, and the subject 900 is subjected to an imaging operation while moving in the lumen 902 (see FIG. 1) from the esophagus to the anus of the subject 900.
  • a capsule-type intra-subject introduction apparatus hereinafter referred to as a capsule medical apparatus
  • the present invention is not limited to this, and when using a capsule medical device floating on a liquid stored in the stomach, small intestine, large intestine, etc. of the subject 900, or from outside the body with respect to a magnet fixed in the capsule medical device.
  • Various modifications are possible, for example, when using a capsule medical device that is guided by applying a magnetic field.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a medical system 1 according to the first embodiment.
  • the medical system 1 includes, for example, a capsule medical device 10 that is orally introduced into a subject 900, and wireless communication with the capsule medical device 10 by performing wireless communication with the capsule medical device 10.
  • a receiving device 130 that transmits and receives image data, control commands, and the like, and a display device 150 that performs predetermined processing on the image data received from the capsule medical device 10 by the receiving device 130 and displays the image data to an observer.
  • the receiving device 130 and the display device 150 are external devices arranged outside the subject 900.
  • a portable recording medium 140 such as a flash memory (registered trademark) or a smart card (registered trademark) can be attached to and detached from the receiving device 130.
  • image data received from the capsule medical device 10 is stored in the portable recording medium 140.
  • the observer replaces the portable recording medium 140 from the receiving device 130 with the display device 150, and uses the display device 150 to perform predetermined processing such as reproduction processing and conversion processing of image data stored in the portable recording medium 140.
  • the display device 150 an information processing device such as a personal computer or a workstation, or a display such as a liquid crystal display or an organic EL display can be used.
  • FIG. 2 is a block diagram showing a schematic internal configuration of the capsule medical device 10.
  • FIG. 3 is a perspective view showing a schematic appearance of the capsule medical device 10.
  • FIG. 4 is a cross-sectional view showing a cross-sectional structure when the capsule medical device 10 is cut along a plane including the imaging plane of the CCD array 11a in the imaging unit 11. As shown in FIG.
  • the capsule medical device 10 includes an imaging unit 11 that illuminates and images the inside of a subject 900, and a processing unit 12 that performs processing on an image generated by the imaging unit 11 and other various types of processing.
  • the memory unit 13 that stores the image data processed by the processing unit 12, the transmission / reception unit 14 that transmits and receives signals to and from the reception device 130, the antenna 15 a, and the capsule medical device 10 are supplied with electric power.
  • the imaging unit 11, the processing unit 12, the memory unit 13, the transmission / reception unit 14, and the battery 16 are accommodated in a watertight casing 18 including a container 18a and a cap 18b.
  • the container 18a has a substantially cylindrical or semi-elliptical spherical shape in which one end has a hemispherical dome shape and the other end is opened.
  • the cap 18b has a hemispherical shape, and seals the inside of the housing 18 in a watertight manner by being fitted into the opening of the container 18a.
  • At least the cap 18b is formed of a transparent resin or the like.
  • the imaging unit 11 is an imaging means for imaging the inside of the subject 900.
  • the LED 11c that illuminates the inside of the subject 900, a CCD array 11a in which CCDs (Charge Coupled Devices) as light receiving elements are arranged in a matrix, and a CCD
  • the objective lens 11b arrange
  • the imaging unit 11 operates regularly (for example, twice per second), thereby imaging the inside of the subject 900 and generating image data.
  • the generated image data is read by the drive circuit and input to the processing unit 12 in substantially real time.
  • the processing unit 12 performs predetermined signal processing on the input image data, and inputs the processed image data to the transmission / reception unit 14.
  • the transmission / reception unit 14 mainly functions as an output unit that outputs the image data captured by the imaging unit 11 to the external reception device 130. Therefore, the image data that has undergone the predetermined signal processing by the processing unit 12 is then wirelessly transmitted from the transmission / reception unit 14 to the reception device 130 via the antenna 15a in substantially real time.
  • Image data that has undergone predetermined image signal processing is stored in the memory unit 13, and after the capsule medical device 10 is extracted from the subject 900, the image data is extracted from the memory unit 13. You may comprise as follows. Note that it is preferable that a time stamp is added to the image data to be transmitted / stored, for example, by the processing unit 12 so that the imaging time, the imaging timing, and the like can be understood.
  • the LED 11c and the CCD array 11a are arranged inside the housing 18 so that the illumination / imaging direction Dr faces the outside of the housing 18 through the transparent cap 18b.
  • the CCD array 11 a is disposed at the approximate center of the cross section perpendicular to the longitudinal direction of the housing 18.
  • the plurality of LEDs 11c are arranged in point or line symmetry so as to surround the CCD array 11a in the cross section.
  • a certain direction in a plane parallel to the light receiving surface of the CCD array 11 a is defined as the prescribed direction Ui of the capsule medical device 10.
  • the antenna 15a of the capsule medical device 10 for example, an antenna having directivity is used.
  • a loop antenna is used as the antenna 15a.
  • the present invention is not limited to this, and the direction of the antenna 15a with respect to a certain reference (in the first embodiment, the direction connecting the head and the foot of the subject 900 as an example: hereinafter referred to as the reference direction Ds) is a signal source. Any antenna that can be detected based on the phase or intensity at the antenna 120 that is each observation point of electromagnetic waves (hereinafter, electromagnetic waves include radio waves) emitted from an antenna 15a of a capsule medical device 10 Anything can be applied.
  • electromagnetic waves include radio waves
  • the antenna 15 a having this directivity is fixed inside the housing 18. At this time, the antenna 15a is arranged inside the casing 18 so that the center line of the loop of the antenna 15a (corresponding to the symmetry axis of the electric field distribution shape of the electromagnetic wave emitted from the antenna 15a) and the longitudinal direction of the capsule medical device 10 are not parallel. Fixed to. Thereby, even when the capsule medical device 10 rotates about the longitudinal center line, the direction of the prescribed direction Ui of the capsule medical device 10 with respect to the reference direction Ds is changed to the receiving device 130 and the phase of the electromagnetic wave at the plurality of observation points. It is possible to specify based on the strength and the like.
  • the direction of the center line of the antenna 15a having directivity is preferably matched with the direction of the specified direction Ui. This makes it possible to directly use the direction of the antenna 15a with respect to the reference direction Ds as the direction of the specified direction Ui with respect to the reference direction Ds, and thus the processing in the receiving device 130 described later can be lightened.
  • the image data wirelessly transmitted from the capsule medical device 10 includes a plurality of antennas 120a to 120i (hereinafter referred to as "arbitrary") arranged on the body surface of the subject 900 as shown in FIGS.
  • the antennas 120a to 120i are denoted by 120), and input to the receiving device 130 arranged outside the subject 900 via the cable 121.
  • a schematic configuration example of the receiving apparatus 130 according to the first embodiment is shown in a block diagram of FIG.
  • the reception device 130 transmits / receives a signal to / from the capsule medical device 10 via the antenna 120, and a signal (particularly image data) input from the transmission / reception circuit 131.
  • a signal processing circuit 132 that executes predetermined processing, a memory 134 that stores image data and the like that have been subjected to predetermined processing, and a GUI that allows an observer to input various operations and instructions to the capsule medical device 10 and the receiving device 130 (Graphical User Interface)
  • An operation unit 135 and a display unit 136 that realize a function are provided.
  • the transmission / reception circuit 131 also has a function as phase detection means for detecting the phase of the electromagnetic waves transmitted from the antenna 15a of the capsule medical device 10 at each of the antennas 120a to 120i.
  • the transmission / reception circuit 131 detects, for example, the intensity of the received electromagnetic wave at each antenna 120 as intensity detection means for detecting the intensity at each antenna 120a to 120i of the electromagnetic wave transmitted from the antenna 15a of the capsule medical device 10.
  • An RSSI (Received Signal Strength Indicator) circuit 131a is provided. That is, the transmission / reception circuit 131 also functions as intensity / phase detection means for detecting the intensity and phase of the electromagnetic waves transmitted from the antenna 15a of the capsule medical device 10 at each of the antennas 120a to 120i.
  • the receiving apparatus 130 estimates the spatial spread (electric field distribution) of the electromagnetic waves from the phase of the electromagnetic waves at each antenna 120 detected by the transmission / reception circuit 131 and the intensity at each antenna 120 detected by the RSSI circuit 131a.
  • the capsule medical device 10 includes a CPU 133 that functions as direction specifying means for specifying the direction of the antenna 15a with respect to the reference direction Ds (that is, the direction of the specified direction Ui with respect to the reference direction Ds).
  • the antenna 15a of the capsule medical device 10 is an orientation detection indicator (this example) for specifying the orientation of the capsule medical device 10 with respect to the reference direction Ds (that is, the inclination of the specified direction Ui).
  • the antenna 120 functions as a signal source that emits an electromagnetic wave
  • the antenna 120 functions as an observation point for observing a direction detection mark (electromagnetic wave) emitted from the signal source (antenna 15a)
  • the CPU 133 of the receiving device 130 performs the above operation.
  • Direction specifying means for specifying the direction of the capsule medical device 10 with respect to the reference direction Ds (that is, the inclination of the specified direction Ui) from the intensity or phase of the direction detection sign (electromagnetic wave) observed at the observation point (antenna 120) To do.
  • the orientation of the capsule medical device 10 using electromagnetic waves for example, convergence calculation by iterative calculation using the least square method can be used.
  • the plurality of antennas 120a to 120i are composed of, for example, a dipole antenna or a loop antenna, and are fixed to a jacket 122 on which the subject 900 can be worn, for example, as shown in FIG.
  • the number and arrangement pattern of the antennas 120 and the fixing destination of the antennas 120 are not limited to those shown in FIG. 6, and electromagnetic waves (direction detection signs) emitted from the antenna 15 a of the capsule medical device 10 that is a signal source. )
  • the number and arrangement that the CPU 133 can estimate / specify based on the intensity, phase, etc. of the electromagnetic wave (direction detection marker) observed by the antenna 120 as the observation point. Any pattern can be used as long as it is a fixation target that enables a state of being substantially fixed to the subject 900.
  • the number of antennas 120 is at least two.
  • orientation data Information on the orientation of the prescribed direction Ui specified by the CPU 133 with respect to the reference direction Ds (hereinafter referred to as orientation data) is temporarily stored in the memory 134 in association with image data received from the capsule medical device 10 simultaneously or simultaneously.
  • the memory 134 functions as a buffer that temporarily stores image data.
  • the image data and orientation data stored in the memory 134 are then accumulated in the portable recording medium 140 via the interface (I / F) unit 137, or the communication cable 159 is connected from the interface (I / F) unit 137.
  • the interface unit 137 can be variously modified according to the data input / output method, such as a USB (Universal Serial Bus) interface or a communication interface used for a LAN (Local Area Network).
  • the display device 150 includes an information processing device such as a personal computer or a workstation, or a display such as a liquid crystal display or an organic EL display. As shown in FIGS. 1 and 7, the display device 150 includes a control unit 151 that controls operations inside the display device 150 and input / output of data, and an interface unit 152 via a portable recording medium 140 or a communication cable 159.
  • an information processing device such as a personal computer or a workstation
  • a display such as a liquid crystal display or an organic EL display.
  • the display device 150 includes a control unit 151 that controls operations inside the display device 150 and input / output of data, and an interface unit 152 via a portable recording medium 140 or a communication cable 159.
  • FIG. 7 is a block diagram illustrating a schematic configuration example of the display device 150 according to the first embodiment.
  • the interface unit 152 functions as an input unit that inputs image data (including orientation data) from the capsule medical device 10 via the receiving device 130.
  • Image data and orientation data input from the interface unit 152 are temporarily stored in the memory unit 153 via the control unit 151. Thereafter, the image data and the orientation data are appropriately input to the image processing unit 154, and predetermined processing is performed.
  • the processed image data may be stored again in the memory unit 153, for example.
  • the image processing unit 154 performs predetermined processing described later on the input image data and orientation data, and then generates a GUI screen to be provided to the observer using the processed image data.
  • the generated GUI screen is input to the display unit 155 via the control unit 151 and displayed on the display unit 155.
  • the display unit 155 and the input unit 156 provide a viewer with a GUI function using the GUI screen being displayed.
  • the observer inputs various operations from the input unit 156 such as a mouse and a keyboard, selects a target function, and displays / reproduces a desired image on the display unit 155.
  • the observer diagnoses the inside of the subject 900 by reading the displayed / reproduced image.
  • the image processing unit 154 includes a rotation correction unit 154a that rotates and corrects image data, a feature point extraction unit 154b that extracts feature points of image data, and a feature point extracted by the feature point extraction unit 154b.
  • An image selection unit 154c that selects image data based on the image data, an average color bar generation unit 154d that generates an average color bar 60 using the selected image data, and the selected image data and average color bar 60.
  • a screen generation unit (screen generation means) 154e that generates a GUI screen.
  • the rotation correcting unit 154a is a rotation correcting unit that rotates and corrects corresponding image data based on the orientation of the capsule medical device 10 specified by the CPU 133 that is the orientation specifying unit, and is an upward direction Du of the screen (see FIG. 8).
  • the image data is rotationally corrected so that the inclination of the reference direction Ds of each image on the display surface (hereinafter simply referred to as a rotation amount) matches between the plurality of images.
  • each image data is rotationally corrected so that the reference direction Ds and the upper direction Du of the screen match in all images.
  • the correction amount (that is, the rotation amount) at the time of rotation correction can be specified from the inclination on the display surface of the specified direction Ui of each image data with respect to the reference direction Ds. That is, by specifying how much the specified direction Ui is rotated with respect to the reference direction Ds on the surface parallel to the light receiving surface of the CCD array 11a, the rotation amount (correction amount) used for rotation correction is specified. Can do.
  • the rotation amount A used for rotation correction can be specified by projecting the reference direction Ds onto the light receiving surface and obtaining the angle of the specified direction Ui with respect to the projected reference direction Ds.
  • the rotation correction unit 154a rotates and corrects the image data according to the specified rotation amount, thereby matching the reference direction Ds in the image data with the upward direction Du of the screen. Thereby, it becomes possible to make the direction of the part in the image imaged as the subject coincide between the plurality of images.
  • the image data after the rotation correction may be held in, for example, the memory 134 regardless of whether or not the image data is selected.
  • the feature point extraction unit 154b extracts feature points of each image data after rotation correction (that is, for each frame), and inputs them to the image selection unit 154c as an extraction result.
  • the image data after rotation correction is also input to the image selection unit 154c.
  • the image selection unit 154c Based on the feature point extraction result input from the feature point extraction unit 154b, the image selection unit 154c selects image data in which a scene change has occurred or image data including a specific shape, and generates an average color bar. To the unit 154d and the screen generation unit 154e.
  • the average color bar generation unit 154d calculates an average color of the rotation-corrected image data, generates an image of the calculated average color, and connects the generated average color images according to the order between the image data to calculate the average It functions as an average color bar generating means for generating the color bar 60.
  • the average color bar generation unit 154d generates an average color bar using the image data selected by the image selection unit 154c. Details of the operation of the average color bar generation unit 154d and the average color bar 60 generated by the operation will be described later.
  • the screen generation unit 154e generates a GUI screen as exemplified in FIG.
  • the GUI screen generated by the image processing unit 154 includes patient information g11, examination information g12, a main image display area g13, a sub-image display area g14, a reproduction control button g15, and an average color bar 60. Is incorporated.
  • the observer switches the image displayed in the main image display region g13 by operating the input unit 156 such as a mouse and selecting the reproduction control button g15. For example, when an image reproduction stop button (“
  • the arrow Du direction in the main image display area g13 is the upward direction Du of the screen.
  • a scroll bar g14s and a slider g14a are disposed adjacent to each other in the sub-image display area g14.
  • the scroll bar g14s is linked to the time axis of the imaging timing of continuously captured images. Therefore, the observer can slide the reduced image displayed in the sub-image display area g14 by moving the slider g14a along the scroll bar g14s.
  • the average color bar 60 generates an image simply indicating the color that is a feature of each image over all selected image data, and this image is displayed on the time axis t (see FIG. 10 or FIG. 15). It is a GUI generated by arranging along. Note that arranging images along the time axis results in arranging images along the movement trajectory in the lumen 902 of the capsule medical device 10.
  • the color (average color) serving as a feature of each image can be obtained by, for example, dividing the target image into a plurality (for example, four) in the vertical direction and averaging the color of the feature points in each divided region. Therefore, the observer can visually confirm which region in the lumen 902 should be noted by interpreting the average color bar 60.
  • a slider g16a indicating which position of the image data is currently displayed on the time axis is displayed in the main image display area g13. Further, the observer can switch the image data displayed in the main image display region g13 to image data at a target position on the time axis by moving the slider g16a using, for example, a mouse or the like in the input unit 156. .
  • the posture of the capsule medical device 10 in the subject 900 is arbitrary. Therefore, the capsule medical device 10 moves passively in the lumen of the subject 900 by its peristaltic motion while rotating in various directions.
  • the capsule medical device 10 moves passively in the lumen of the subject 900 by its peristaltic motion while rotating in various directions.
  • the specified direction Ui in the image data Im12 imaged at the second imaging timing which is the timing, has an inclination of 90 ° with respect to the reference direction Ds, and the third in the image data Im13 imaged at the next successive timing.
  • the specified direction Ui has an inclination of 180 ° with respect to the reference direction Ds. That is, from FIG. 9A to FIG. 9C, the capsule medical device 10 is rotated by 90 ° about the longitudinal symmetry axis. Therefore, as shown in FIGS. 9D to 9F, the specified direction Ui of the image data Im11 to Im13 acquired by the capsule medical device 10 is rotated by 90 ° with respect to the reference direction Ds. End up. As a result, as shown in FIGS. 9D to 9F, the reference direction Ds of the image data Im11 to Im13 displayed on the screen is rotated by 90 ° with respect to the upward direction Du of the screen. End up.
  • FIG. 9 is a diagram showing temporally continuous image data Im11 to Im13 obtained by the capsule medical device 10 imaging the same part p1 in the subject 900.
  • FIG. 10 is a diagram illustrating an example of the average color bar 60 generated according to the first embodiment.
  • regions P1, P2a, P2b, and P3 are images obtained by averaging characteristic colors of divided regions (A3, A1, and A2, A2) each including the same portion p1.
  • each image data is two-dimensionally rotationally corrected on the display surface so that the reference direction Ds of each image coincides with the upper direction Du of the screen.
  • FIG. 11 is a flowchart showing a schematic operation example of the capsule medical device 10 according to the first embodiment.
  • FIG. 12 is a flowchart illustrating a schematic operation example of the receiving apparatus 130 according to the first embodiment.
  • FIG. 13 is a flowchart showing a schematic operation example of the display device according to the first embodiment.
  • the reception device 130 constantly monitors whether image data has been received from the capsule medical device 10 (No in step S111), and receives image data (step S111). Yes), from the phase of the electromagnetic wave (direction detection sign) detected by the transmission / reception circuit 131 when the image data is received in step S111 and the intensity of each antenna 120 detected by the RSSI circuit 131a.
  • the spatial spread (electric field distribution) of the electromagnetic wave is estimated, the direction of the capsule medical device 10 with respect to the reference direction Ds (that is, the direction of the specified direction Ui with respect to the reference direction Ds) is specified in the CPU 133, and this is generated as direction data. (Step S112).
  • the receiving device 130 adds the orientation data generated by the CPU 133 to the image data received in step S111 (step S113), and as a result, the image data with the orientation data and the time stamp added is portable from the interface unit 137.
  • the data is stored in the recording medium 140 or transmitted from the interface unit 137 to the display device 150 via the communication cable 159 (step S114).
  • the receiving apparatus 130 determines whether or not to continue the operation, for example, whether or not an operation end instruction is input from the operation unit 135 (step S115). If the operation is continued (Yes in step S115), Returning to step S111, the reception of the next image data is awaited. On the other hand, when the operation is not continued (No in step S115), the operation is terminated.
  • the display device 150 when the display device 150 receives one or more pieces of image data from the receiving device 130 via the portable recording medium 140 or the communication cable 159 (step S121), the display device 150 performs image processing on the image data. Input to the unit 154.
  • the image processing unit 154 sequentially selects the input image data one by one (step S122), and inputs the image data and the orientation data added thereto to the rotation correction unit 154a.
  • the rotation correction unit 154a uses the orientation data added to the input image data to two-dimensionally correct the image data on the display surface, thereby changing the reference direction Ds of the image data to the upward direction Du of the screen. (Step S123).
  • steps S122 and S123 are repeated (No in step S124) until all the image data input in step S121 are rotationally corrected (Yes in step S124).
  • the image data after the rotation correction is sequentially input from the rotation correction unit 154a to the feature point extraction unit 154b and the image selection unit 154c.
  • the feature point extraction unit 154b to which the image data after rotation correction is input, extracts feature points included in this image data (step S125). Note that the extracted feature points are input to the image sorting unit 154c.
  • the image selection unit 154c Image data satisfying a predetermined condition is selected from the image data (step S126). For example, the image sorting unit 154c sorts image data whose feature points are significantly different from the feature points of the previous image data. Note that the selected image data is input to the average color bar generation unit 154d and the screen generation unit 154e, respectively.
  • the threshold value is a value for selecting, for example, image data in which a scene change has occurred or image data including a specific shape. This threshold value can be obtained in advance by experience, experiment, simulation, or the like.
  • the average color bar generation unit 154d generates an image of the average color bar 60 that allows a rough image of each image to be viewed at a glance in time series from all the selected image data after rotation correction (Step S127: Average color). Bar generation processing). An example of the rotation correction in step S123 and an example of the average color bar 60 generated in step S127 will be described in detail later with reference to FIGS.
  • the generated image of the average color bar 60 is input to the screen generation unit 154e.
  • the screen generation unit 154e to which the average color bar 60 image and the selected image data are input, generates a GUI screen as shown in FIG. 8 using the average color bar 60 image and the selected image data.
  • a generation process is executed (step S128), and then the process ends. Note that the generated GUI screen is input to the display unit 155 via the control unit 151 and displayed to the observer. As a result, the GUI function using the GUI screen and the input unit 156 is provided to the observer.
  • FIG. 14 is a diagram for explaining the rotation correction of the image data in step S123 of FIG.
  • FIG. 15 is a diagram showing an example of the average color bar 60 generated using the image data after the rotation correction in step S127 of FIG. Note that the image data Im11 to Im13 shown in FIGS. 14A to 14C correspond to the image data Im11 to Im13 shown in FIG.
  • the rotation amount (correction amount) A at the time of rotation correction for the image data Im11 is 0 °.
  • the angle of the specified direction Ui with respect to the reference direction Ds is 90 °. Therefore, the rotation amount (correction amount) A at the time of rotation correction for the image data Im12 is 90 °.
  • the angle of the defined direction Ui with respect to the reference direction Ds is 180 °.
  • the rotation amount (correction amount) A at the time of rotation correction for the image data Im13 is 180 °.
  • the image data is rotated and corrected using the rotation amount (correction amount) A thus obtained, as shown in FIGS. 14 (d) to 14 (f).
  • the reference direction Ds of each of the image data Im21 to Im23 is made to coincide with the upward direction Du of the screen.
  • FIGS. 14D to 14F the same part p1 in each of the image data Im21 to the image data Im23 is included in the same divided area A3. become. Accordingly, as shown in FIG. 15, the positions of the regions P21 to P23 including the same portion p1 in the average color bar 60 generated using the image data Im21 to Im23 after the rotation correction are arranged side by side in the divided region A3. It becomes possible to arrange.
  • 14D shows the image data Im21 obtained by rotationally correcting the image data Im11 in FIG. 14A
  • FIG. 14E shows the image data Im12 in FIG. 14B.
  • the image data Im22 obtained by performing the rotation correction is shown
  • FIG. 14F shows the image data Im23 obtained by rotating the image data Im13 of FIG. 14C.
  • Embodiment 1 it is possible to align the directions of a plurality of image data by rotationally correcting the image data based on the orientation of the capsule medical device 10 with respect to the reference direction Ds at the time of imaging. Therefore, it is possible to realize the medical system 1 and the image processing method thereof that can reduce labor during diagnosis and improve the accuracy of diagnosis results.
  • image data rotation correction (see step S123 in FIG. 13) is executed in the display device 150.
  • the present invention is not limited to this, and various modifications such as execution in the receiving device 130 are possible. Is possible.
  • Modification 1-1 Further, in the medical system 1 according to the first embodiment, the case where an electromagnetic wave generation source (antenna 15a) is used as a signal source has been described as an example. However, the present invention is not limited to this, and the signal source is configured to generate a magnetic field. It can also be a source. Hereinafter, this case will be described in detail as modification 1-1 of the first embodiment of the present invention with reference to the drawings. However, in the following description, components similar to those in the above embodiment are denoted by the same reference numerals for the sake of simplification of description, and description thereof is omitted.
  • FIG. 16 is a schematic diagram showing a schematic configuration of the medical system 1A according to the modified example 1-1.
  • FIG. 17 is a block diagram showing a schematic configuration example of the capsule medical device 10A and the receiving device 130A according to Modification 1-1.
  • the capsule medical device 10 is replaced with a capsule medical device 10A
  • the receiving device 130 is replaced with a receiving device 130A.
  • the medical system 1A includes magnetic sensors 123a and 123b connected to the receiving device 130A via a cable 124.
  • the capsule medical device 10A includes a permanent magnet 17a in addition to the same configuration as the capsule medical device 10 shown in FIG. 17.
  • the permanent magnet 17a is a magnetic field forming means for forming a magnetic field that reaches the outside of the subject 900, and an orientation for specifying the orientation of the capsule medical device 10A with respect to the reference direction Ds (that is, the inclination of the specified direction Ui). It functions as a signal source that emits a detection sign (in this example, a magnetic field).
  • the permanent magnet 17 a is fixed to the housing 18.
  • the present invention is not limited to the permanent magnet 17a, and any coil or the like that can form a magnetic field reaching the outside of the subject 900 can be applied.
  • the permanent magnet 17a is fixed in the housing 18 so that the direction of the magnetic pole thereof coincides with the direction of the specified direction Ui. This makes it possible to directly use the orientation of the permanent magnet 17a with respect to the reference direction Ds as the orientation of the specified direction Ui with respect to the reference direction Ds, and thus the processing in the receiving device 130A described later can be lightened.
  • the receiving device 130 ⁇ / b> A has a configuration similar to that of the receiving device 130 shown in FIG. 5, and a plurality of magnetic sensors 123 a fixed to the body surface of the subject 900 (for example, the jacket 122). 123b, and a signal detection circuit 131A that performs predetermined signal processing on the detection signals read from the magnetic sensors 123a and 123b.
  • the magnetic sensors 123a and 123b are, for example, three-axis magnetic sensors in which three coils whose center axes are directed to the x-axis, the y-axis, and the z-axis, respectively, and detect the direction emitted from the permanent magnet 17a that is a signal source. It functions as an observation point as a magnetic field detection means for observing a sign for use (magnetic field in this example).
  • a triaxial magnetic sensor including a magnetoresistive element, a magnetic impedance element (MI element), a Hall element, or the like can be used.
  • the number and arrangement pattern of the magnetic sensors 123a and 123b and the fixing destinations of the magnetic sensors 123a and 123b are spatial expansion of the magnetic field formed by the permanent magnet 17a of the capsule medical device 10A introduced into the subject 900 (
  • the number and arrangement pattern that allows the CPU 133A to estimate / specify the magnetic field distribution) and to be a fixed object that enables a substantially fixed state with respect to the subject 900 are arbitrarily modified. Is possible.
  • the number of magnetic sensors 123a and 123b is at least two.
  • the potential change detected by the magnetic sensors 123a and 123b is read as a detection signal via the cable 124 by the signal detection circuit 131A of the reception device 130A.
  • the signal detection circuit 131A performs processing such as FFT (Fast Fourier Transform) on the read signal, and then inputs this to the CPU 133A.
  • FFT Fast Fourier Transform
  • the CPU 133A is a capsule medical device with respect to the reference direction Ds from the strength and direction of the direction detection sign (magnetic field) observed at the observation point (magnetic sensors 123a and 123b). It functions as direction specifying means for specifying the direction of 10A (that is, the inclination of the specified direction Ui). That is, the CPU 133A estimates the spatial spread (magnetic field distribution) of the magnetic field from the magnetic field strength of the detection signal and the direction of the lines of magnetic force in the magnetic sensors 123a and 123b input from the signal detection circuit 131A, and the capsule medical device 10A.
  • the direction with respect to the reference direction Ds (that is, the direction of the specified direction Ui with respect to the reference direction Ds) is specified.
  • the orientation information (orientation data) with respect to the reference direction Ds of the specified direction Ui specified by the CPU 133A is associated with the image data received from the capsule medical device 10A at the same time or at the same time as in the above embodiment.
  • the intensity and direction of the magnetic field formed by the permanent magnet 17a can be detected by, for example, a change in magnetic field distribution when the capsule medical device 10A (that is, the permanent magnet 17a) moves.
  • the permanent magnet 17a is used as the signal source, and the plurality of magnetic sensors 123a and 123b are used as the observation points to generate the orientation data indicating the orientation of the specified direction Ui with respect to the reference direction Ds.
  • the plurality of magnetic sensors 123a and 123b are used as the observation points to generate the orientation data indicating the orientation of the specified direction Ui with respect to the reference direction Ds.
  • Other configurations are the same as those in any of the above-described embodiments (including modifications thereof).
  • FIG. 18 is a flowchart showing a schematic operation example of the receiving apparatus 130A according to the modification 1-1.
  • the receiving device 130A constantly monitors whether image data has been received from the capsule medical device 10A (No in step S111-1), and receives image data (step S111). -1), the detection signals are read out from the magnetic sensors 123a and 123b using the signal detection circuit 131A, and predetermined signal processing is executed (step S112-1). Subsequently, the magnetic field strength of the detection signals after the signal processing
  • the CPU 133A specifies the direction of the capsule medical device 10A with respect to the reference direction Ds (that is, the direction of the specified direction Ui with respect to the reference direction Ds) by estimating the spatial spread (magnetic field distribution) of the magnetic field from the direction of the magnetic field and the direction of the magnetic field lines. Is generated as orientation data (step S113-1).
  • receiving apparatus 130A adds the orientation data generated in CPU 133A to the image data received in step S111-1 in the same manner as described with reference to FIG. 12 in the first embodiment (step S114-1).
  • the image data to which the orientation data and the time stamp are added is stored in the portable recording medium 140 from the interface unit 137, or is transmitted from the interface unit 137 to the display device 150 via the communication cable 159 (step). S115-1).
  • the receiving apparatus 130A determines whether or not to continue the operation, for example, whether or not an operation end instruction is input from the operation unit 135 (step S116-1), and when the operation is continued (step S116-1). Yes), the process returns to step S111-1 to wait for reception of the next image data. On the other hand, when the operation is not continued (No in step S116-1), the operation is terminated.
  • image data is rotationally corrected based on the orientation of the capsule medical device 10A with respect to the reference direction Ds at the time of imaging, as in the first embodiment.
  • This makes it possible to align the orientation of a plurality of image data, so that it is possible to realize the medical system 10A and its image processing method that can reduce the time and effort of diagnosis and improve the accuracy of diagnosis results. It becomes.
  • FIG. 19 is a block diagram illustrating a schematic configuration example of a capsule medical device 10A ′ and a receiving device 130A according to another example of the modification 1-1.
  • a current signal having a substantially resonant frequency is input to the LC resonance circuit 17b from, for example, the processing unit 12 (signal generation means).
  • a frequency substantially equal to the resonant frequency of the LC resonant circuit 17b is introduced into the detection space into which the capsule medical device 10A ′ is introduced.
  • the magnetic field (driving magnetic field) is formed.
  • the CPU 133A Based on the direction and strength of the magnetic field indicated by the detection signals read from the magnetic sensors 123a and 123b (that is, the direction and strength of the magnetic field at the positions of the magnetic sensors 123a and 123b), the CPU 133A The direction with respect to the reference direction Ds of 10A ′ is specified, and direction data is generated therefrom.
  • Modification 1-2 an ultrasonic wave generation source can be used as the signal source in the first embodiment.
  • modification 1-2 of Embodiment 1 of the present invention with reference to the drawings.
  • the same reference numerals are given to the same configurations as those of the above-described embodiment and any of the modifications thereof, and the description thereof will be omitted.
  • FIG. 20 is a schematic diagram showing a schematic configuration of the medical system 1B according to the modification 1-2.
  • FIG. 21 is a block diagram illustrating a schematic configuration example of the capsule medical device 10B and the receiving device 130B according to the modification 1-2.
  • the capsule medical device 10 is replaced with a capsule medical device 10B and the receiving device 130 is replaced with a receiving device 130B, as compared with the medical system 1 shown in FIG. Furthermore, the medical system 1B includes acoustic sensors 125a and 125b connected to the receiving device 130B via a cable 126.
  • the capsule medical device 10B includes at least two piezoelectric elements 17c and 17d in addition to the same configuration as the capsule medical device 10 shown in FIG. 21
  • the piezoelectric elements 17c and 17d are ultrasonic wave generation means for generating an ultrasonic wave that propagates through the subject 900 and reaches the outer surface, and the direction of the capsule medical device 10B with respect to the reference direction Ds (that is, in the specified direction Ui). It functions as a signal source that emits a direction detection sign (ultrasonic wave in this example) for specifying (tilt).
  • the piezoelectric elements 17c and 17d are each fixed to the casing 18 that is partially exposed to the outside of the casing 18 while maintaining the water tightness of the casing 18. However, it is not limited to the piezoelectric elements 17c and 17d, and any element can be applied as long as it can be an ultrasonic source.
  • the piezoelectric elements 17c and 17d are preferably arranged in a state of being fixed in the housing 18 so as to coincide with the direction of the specified direction Ui.
  • the direction of the arrangement direction of the piezoelectric elements 17c and 17d with respect to the reference direction Ds can be directly used as the direction of the defined direction Ui with respect to the reference direction Ds. Can do.
  • the receiving apparatus 130B has a configuration similar to that of the receiving apparatus 130 shown in FIG. 5, and a plurality of acoustic sensors 125a fixed to the body surface (for example, the jacket 122) of the subject 900, and 125b, and a signal detection circuit 131B that performs predetermined signal processing on the detection signals read from the acoustic sensors 125a and 125b.
  • the acoustic sensors 125a and 125b are configured by using, for example, microphones, and ultrasonic detection means for observing direction detection signs (ultrasonic waves in this example) emitted from the plurality of piezoelectric elements 17c and 17d as signal sources, respectively. Functions as an observation point. However, it is not limited to this, For example, it can also comprise with a piezoelectric element etc.
  • the number and arrangement pattern of the acoustic sensors 125a and 125b and the fixing destinations of the acoustic sensors 125a and 125b are a plurality of ultrasonic waves generated by the piezoelectric elements 17c and 17d of the capsule medical device 10B introduced into the subject 900.
  • the number of acoustic sensors 125a and 125b is at least two.
  • the potential change generated in the acoustic sensors 125a and 125b is read as a detection signal via the cable 126 by the signal detection circuit 131B of the reception device 130B.
  • the signal detection circuit 131B performs processing such as FFT (Fast Fourier Transform) on the read signal, and then inputs this to the CPU 133B.
  • FFT Fast Fourier Transform
  • the CPU 133B is a capsule medical device for the reference direction Ds from the intensity and phase of the direction detection sign (ultrasound) observed at the observation points (acoustic sensors 125a and 125b). It functions as direction specifying means for specifying the direction of the device 10B (that is, the inclination of the specified direction Ui). That is, the CPU 133B estimates the spatial spread (ultrasound distribution) of the ultrasonic wave from the phase and intensity of the detection signal in each acoustic sensor 125a and 125b input from the signal detection circuit 131B, and the capsule medical device 10B.
  • the direction with respect to the reference direction Ds (that is, the direction of the specified direction Ui with respect to the reference direction Ds) is specified. Further, the orientation information (orientation data) of the prescribed direction Ui specified by the CPU 133B with respect to the reference direction Ds is associated with the image data received from the capsule medical device 10B at the same time or at the same time as in the above embodiment. Are temporarily stored in the memory 134.
  • a plurality of piezoelectric elements 17a and 17b are used as signal sources, and a plurality of acoustic sensors 125a and 125b are used as observation points to indicate the direction of the prescribed direction Ui with respect to the reference direction Ds. Generate orientation data.
  • Other configurations are the same as those in any of the above-described embodiments (including modifications thereof).
  • FIG. 22 is a flowchart illustrating a schematic operation example of the capsule medical apparatus 10B according to the modification 1-2.
  • FIG. 23 is a flowchart illustrating a schematic operation example of the reception device 130B according to the modification 1-2.
  • the capsule medical device 10B transmits the image data with the time stamp added as a radio signal (step S106-2), and returns to step S101-2.
  • image data is periodically wirelessly transmitted from the capsule medical device 10B to the receiving device 130B, and the orientation of the capsule medical device 10B at the imaging timing is specified by the receiving device 130B. Generate ultrasound. Note that the operation of the capsule medical device 10B shown in FIG. 22 is continued until the power of the battery 16 in the capsule medical device 10B is exhausted.
  • the receiving device 130B constantly monitors whether image data has been received from the capsule medical device 10B (No in step S111-2), and receives image data (No in step S111-2) (see FIG. 23).
  • the signal detection circuit 131B is used to read the detection signals from the acoustic sensors 125a and 125b and execute predetermined signal processing (step S112-2). Subsequently, the detection signal after the signal processing is detected.
  • the spatial positions of the piezoelectric elements 17c and 17d, which are ultrasonic sources, are estimated from the phase, intensity, etc., and the direction of the capsule medical device 10B with respect to the reference direction Ds (that is, the direction of the specified direction Ui with respect to the reference direction Ds) is determined from the arrangement. And is generated as orientation data (step S113-2).
  • the receiving device 130B adds the orientation data generated in the CPU 133B to the image data received in step S111-2, similarly to the operation described with reference to FIG. 12 in the first embodiment (step S114-2).
  • the image data to which the orientation data and the time stamp are added is stored in the portable recording medium 140 from the interface unit 137, or is transmitted from the interface unit 137 to the display device 150 via the communication cable 159 (step). S115-2).
  • the receiving apparatus 130B determines whether or not to continue the operation, for example, whether or not an operation end instruction is input from the operation unit 135 (step S116-2), and when the operation is continued (step S116-2). Yes), the process returns to step S111-2 to wait for reception of the next image data. On the other hand, when the operation is not continued (No in step S116-2), the operation is terminated.
  • the capsule medical device 10B is oriented in the direction with respect to the reference direction Ds at the time of imaging. Since it is possible to align the orientations of a plurality of image data by rotationally correcting the image data based on the image data, the medical system 1B and the image processing thereof that can reduce labor during diagnosis and improve the accuracy of diagnosis results The method can be realized.
  • the signal source (antenna 15a) is arranged in the capsule medical device 10 and the observation point (antenna 120) is fixed to the outer surface of the subject 900.
  • the signal source may be fixed to the outer surface of the subject 900 and the observation point may be arranged in the capsule medical device.
  • this case will be described in detail as a second embodiment of the present invention with reference to the drawings.
  • the same reference numerals are given to the same configurations as those of the above-described embodiment and any of the modifications thereof, and the detailed description thereof will be omitted.
  • FIG. 24 is a schematic diagram showing a schematic configuration of the medical system 2 according to the second embodiment.
  • FIG. 25 is a block diagram illustrating a schematic configuration example of the capsule medical device 20 and the receiving device 230 according to the second embodiment.
  • the capsule medical device 10 is replaced with a capsule medical device 20 and the receiving device 130 is replaced with a receiving device 230, as compared with the medical system 1 shown in FIG. Furthermore, in the medical system 2, the antenna 120 (see FIG. 1) and the cable 121 fixed to the body surface of the subject 900 are replaced with the antenna 220 and the cable 221.
  • the capsule medical device 20 detects the phase and intensity of the electromagnetic waves at the antennas 22a and 22b and the antennas 22a and 22b in addition to the same configuration as the capsule medical device 10 shown in FIG. And a signal detection unit 21.
  • the antennas 22a and 22b are constituted by, for example, a dipole antenna, a loop antenna, or the like, and function as observation points for observing a direction detection sign (electromagnetic wave) emitted from an antenna 220 which is a signal source described later.
  • the antennas 22a and 22b are preferably arranged as far apart as possible in the housing 18.
  • the antennas 22a and 22b are preferably arranged in a state of being fixed in the housing 18 so as to coincide with the direction of the specified direction Ui.
  • the direction of the arrangement direction of the antennas 22a and 22b with respect to the reference direction Ds can be directly used as the direction of the specified direction Ui with respect to the reference direction Ds. it can.
  • the signal detection unit 21 includes, for example, an RSSI circuit (not shown) that detects the intensity of the received electromagnetic wave at the antennas 22a and 22b.
  • the signal detection unit 21 performs frequency separation, the phase of electromagnetic waves (direction detection signs) between the antennas 22a and 22b, and the strength of the antennas 22a and 22b on the detection signals input from the antennas 22a and 22b. Predetermined processing including detection processing and the like is executed. Further, the signal detection unit 21 adds the detected phase and intensity at each of the antennas 22a and 22b as signal detection data to the image data acquired simultaneously or simultaneously.
  • the signal detection data includes the phase of the electromagnetic wave (direction detection sign) between the antennas 120 detected by the transmission / reception circuit 131 of the receiving device 130 and the RSSI circuit 131a of the transmission / reception circuit 131 detected in the first embodiment.
  • Data corresponding to the intensity of the electromagnetic wave (direction detection sign) at the antenna 120 is included.
  • a time stamp is added to the image data, as in the first embodiment.
  • the image data to which the signal detection data and the time stamp are added is wirelessly transmitted from the processing unit 12 to the receiving device 230 via the transmission / reception unit 14 from the antenna 15a.
  • the receiving device 230 has the same configuration as the receiving device 130 shown in FIG. 5, in which the antenna 120 is replaced with the antenna 220 and the transmission / reception circuit 131 is replaced with the transmission / reception circuit 231.
  • the antenna 220 is an antenna having directivity, for example, similar to the antenna 15a of the first embodiment, for specifying the direction of the capsule medical device 20 with respect to the reference direction Ds (that is, the inclination of the specified direction Ui). It functions as a signal source that emits a sign for detecting the direction (in this example, an electric field).
  • a loop antenna is used as the antenna 220.
  • the present invention is not limited to this, and any antenna that can detect the orientation of the capsule medical device 20 with respect to the reference direction Ds based on the phase and intensity of electromagnetic waves (direction detection markers) at the antennas 22a and 22b. Anything can be applied.
  • the antenna 220 having this directivity is fixed to the body surface of the subject 900 (for example, the jacket 122). At this time, the antenna 220 is fixed to the outer surface of the subject 900 so that the center line of the loop of the antenna 220 (corresponding to the symmetry axis of the electric field distribution shape of the electromagnetic wave emitted from the antenna 15a) and the reference direction Ds are parallel. . Thereby, even when the capsule medical device 20 rotates about the center line in the longitudinal direction, the direction of the specified direction Ui of the capsule medical device 20 with respect to the reference direction Ds is received by the antennas 22a and 22b of the capsule medical device 20. It becomes possible to specify based on the phase and intensity of the electromagnetic wave.
  • the transmission / reception circuit 231 is configured to transmit and receive signals to and from the capsule medical device 20 via the antenna 220, similarly to the transmission / reception circuit 131. However, as described above, the transmission / reception circuit 231 according to the second embodiment causes the antenna 220 to output an electromagnetic wave, which is a direction detection sign, periodically (for example, twice or more per second).
  • the received signal input from the antenna 220 to the transmission / reception circuit 231 is input to the signal processing circuit 132.
  • the signal detection data is added to the image data received from the capsule medical device 20.
  • the signal processing circuit 132 performs predetermined processing on the input signal (particularly image data), specifies signal detection data added to the image data, and inputs this to the CPU 133.
  • the CPU 133 detects the phase of the electromagnetic waves (direction detection signs) at the antennas 22a and 22b included in the signal detection data and the electromagnetic waves (direction detection signs) at the antennas 22a and 22b detected by the RSSI circuit of the signal detection unit 21. ) To estimate the spatial extent (electric field distribution) of the electromagnetic wave (direction detection sign) from the antenna 220 and the direction of the capsule medical device 20 with respect to the reference direction Ds (that is, the prescribed direction Ui with respect to the reference direction Ds). It functions as direction specifying means for specifying (direction).
  • the method for estimating the electric field distribution is the same as that in the first embodiment, and thus detailed description thereof is omitted here.
  • the antenna 220 that is a signal source is fixed to the outer surface of the subject 900, the antennas 22a and 22b that are observation points are arranged in the capsule medical device 20, and the antennas 22a and 22b. Based on the electromagnetic wave from the antenna 220 observed in step 1, direction data indicating the direction of the specified direction Ui with respect to the reference direction Ds is generated.
  • Other configurations are the same as those in any of the above-described embodiments (including modifications thereof).
  • FIG. 26 is a flowchart illustrating a schematic operation example (part 1) of the capsule medical device 20 according to the second embodiment.
  • FIG. 27 is a flowchart showing a schematic operation example (part 2) of the capsule medical device 20 according to the second embodiment.
  • FIG. 28 is a flowchart illustrating a schematic operation example of the receiving device 230 according to the second embodiment.
  • the capsule medical device 20 returns to step S201 and waits for reception of the next electromagnetic wave (direction detection marker) (No in step S201).
  • the operation of the capsule medical device 20 shown in FIG. 26 is continued until the power of the battery 16 in the capsule medical device 20 is exhausted.
  • the capsule medical device 20 transmits the image data to which the time stamp and the signal detection data are added as a radio signal (step S216), and returns to step S211.
  • image data to which a time stamp and signal detection data are periodically added is periodically transmitted from the capsule medical device 20 to the receiving device 230.
  • the operation of the capsule medical device 20 shown in FIG. 27 is continued until the power of the battery 16 in the capsule medical device 20 is exhausted.
  • the receiving device 230 outputs an electromagnetic wave (direction detection sign) from the antenna 220, for example, regularly or periodically (step S221), and outputs image data from the capsule medical device 20. It is monitored whether it has been received (No in step S222).
  • the receiving device 230 inputs the signal detection data included in the received image data to the CPU 133, and spatially detects the electromagnetic wave (direction detection sign) from the antenna 220.
  • the CPU 133 identifies the direction of the capsule medical device 20 with respect to the reference direction Ds (that is, the direction of the specified direction Ui with respect to the reference direction Ds) by estimating a wide spread (electric field distribution), and generates this as direction data (step S223).
  • the receiving device 230 adds the orientation data generated in the CPU 133 to the image data received in step S222 (step S224), as in the operation described with reference to FIG.
  • the orientation data and the image data with the time stamp added are stored in the portable recording medium 140 from the interface unit 137 or transmitted from the interface unit 137 to the display device 150 via the communication cable 159 (step S225).
  • the receiving device 230 determines whether or not to continue the operation, for example, whether or not an operation end instruction is input from the operation unit 135 (step S226). If the operation is continued (Yes in step S226), Returning to step S221, the output of the electromagnetic wave (direction detection marker) and the standby for receiving the next image data are repeated. On the other hand, when the operation is not continued (No in step S226), the operation is terminated.
  • the second embodiment is based on the orientation of the capsule medical device 20 with respect to the reference direction Ds at the time of imaging, as in the first embodiment (including modifications thereof). Since the image data can be rotationally corrected to align the directions of the plurality of image data, the medical system 2 and the image processing method for the same can reduce the labor for diagnosis and improve the accuracy of the diagnosis result. Can be realized.
  • Modification 2-1 Further, in the medical system 2 according to the second embodiment, the case where an electromagnetic wave generation source (antenna 220) is used as a signal source has been described as an example. However, the present invention is not limited to this, and the signal source is configured to generate a magnetic field. Can be a source.
  • this case will be described in detail as modification 2-1 of the second embodiment of the present invention with reference to the drawings.
  • the same reference numerals are given to the same configurations as those of the above-described embodiment and any of the modifications thereof, and the description thereof will be omitted.
  • FIG. 29 is a schematic diagram showing a schematic configuration of the medical system 2A according to the modification 2-1.
  • FIG. 30 is a block diagram illustrating a schematic configuration example of the capsule medical device 20A and the reception device 230A according to the modification 2-1.
  • the capsule medical device 20 is replaced with the capsule medical device 20A, and the receiving device 230 is replaced with the receiving device 230A, compared to the medical system 2 shown in FIG. Furthermore, the medical system 2A includes an LC resonance circuit 222 connected to the receiving device 230A via a cable 223.
  • the antennas 22a and 22b are the magnetic sensors 23a and 23b, and the signal detection unit 21 is the signal detection unit 21A. Respectively.
  • the magnetic sensors 23a and 23b are, for example, a three-axis magnetic field in which three coils whose central axes are directed to the x-axis, the y-axis, and the z-axis are combined in the same manner as the magnetic sensors 123a and 123b of the above-described modification 1-1. It is a sensor and functions as an observation point as magnetic field detection means for observing a direction detection sign (magnetic field in this example) emitted from the LC resonance circuit 222 as a signal source.
  • the present invention is not limited to this, and for example, a triaxial magnetic sensor including a magnetoresistive element, a magnetic impedance element (MI element), a Hall element, or the like can be used.
  • the number and arrangement pattern of the magnetic sensors 23a and 23b can cause the CPU 133A to estimate / specify the spatial spread (magnetic field distribution) of the magnetic field formed by the LC resonance circuit 222 fixed on the outer surface of the subject 900. Any number and arrangement pattern can be modified in any way. In this description, the number of magnetic sensors 23a and 23b is at least two.
  • the magnetic sensors 23a and 23b are preferably fixed in the housing 18 so that the arrangement direction thereof coincides with the direction of the specified direction Ui.
  • the arrangement direction of the magnetic sensors 23a and 23b with respect to the reference direction Ds can be directly used as the direction of the capsule medical device 20A (that is, the specified direction Ui) with respect to the reference direction Ds.
  • the processing in can be lightened.
  • the signal detection unit 21A includes, for the detection signals input from the magnetic sensors 23a and 23b, bandpass processing, detection processing of the direction and intensity of the magnetic field (direction detection sign) in the magnetic sensors 23a and 23b, and the like. A predetermined process is executed. Further, the signal detection unit 21A adds the detected direction, intensity, and the like as signal detection data to the image data acquired simultaneously or simultaneously.
  • the signal detection data includes data corresponding to the direction and intensity of the magnetic field (direction detection mark) in the magnetic sensors 123a and 123b detected by the signal detection circuit 131A of the reception device 130A in Modification 1-1. .
  • a time stamp is also added to the image data, as in Modification 1-1.
  • the signal detection data and the image data to which the time stamp is added are wirelessly transmitted from the processing unit 12 to the receiving device 230A via the transmission / reception unit 14 from the antenna 15a.
  • the receiving device 230 ⁇ / b> A includes a signal generation circuit 224 ⁇ / b> A that inputs a resonance frequency signal to the LC resonance circuit 222 via the cable 223 in addition to the same configuration as the receiving device 230 shown in FIG. 25.
  • receiving apparatus 230A has the same configuration as that of receiving apparatus 230 shown in FIG. 25, antenna 220 and transmission / reception circuit 231 are replaced with antenna 120 and transmission / reception circuit 131 in the first embodiment, and CPU 133 is the same as in modified example 1-1. The CPU 133A is replaced.
  • the LC resonance circuit 222 to which a signal having a resonance frequency is input via the cable 223 from the signal generation circuit 224A, which is a signal generation unit, is induced by the input signal having the resonance frequency to form an induction magnetic field having the resonance frequency. It is a means and functions as a signal source that emits a direction detection sign (magnetic field in this example) for specifying the direction of the capsule medical device 20A with respect to the reference direction Ds (ie, the inclination of the specified direction Ui).
  • a direction detection sign magnetic field in this example
  • the LC resonance circuit 222 is fixed to the outer surface of the subject 900 (for example, the jacket 122). At this time, the LC resonance circuit 222 is covered so that the polarity direction of the inductor constituting the LC resonance circuit 222 (corresponding to the symmetry axis of the magnetic field distribution shape of the magnetic field generated by the LC resonance circuit 222) and the reference direction Ds are parallel to each other. Fixed to the outer surface of the specimen 900. Thereby, even when the capsule medical device 20A rotates about the center line in the longitudinal direction, the direction of the specified direction Ui of the capsule medical device 20A with respect to the reference direction Ds is set by the magnetic sensors 23a and 23b of the capsule medical device 20A. It is possible to specify the detected magnetic field based on the direction and intensity of the magnetic field.
  • a received signal input from the antenna 120 to the transmission / reception circuit 131 is input to the signal processing circuit 132.
  • signal detection data is added to the image data received from the capsule medical device 20A.
  • the signal processing circuit 132 performs predetermined processing on the input signal (particularly image data), specifies signal detection data added to the image data, and inputs this to the CPU 133A.
  • the CPU 133A determines the spatial extent (magnetic field) of the magnetic field (direction detection sign) from the LC resonance circuit 222 based on the direction and intensity of the magnetic field (direction detection sign) in the magnetic sensors 23a and 23b included in the signal detection data. It functions as direction specifying means for estimating the distribution) and specifying the direction of the capsule medical device 20A relative to the reference direction Ds (that is, the direction of the specified direction Ui relative to the reference direction Ds).
  • the method for estimating the magnetic field distribution is the same as that in Modification 1-1, and therefore detailed description thereof is omitted here.
  • the LC resonance circuit 222 as the signal source is fixed to the outer surface of the subject 900, and the magnetic sensors 23a and 23b as the observation points are arranged in the capsule medical device 20A. Based on the magnetic field from the LC resonance circuit 222 observed by the magnetic sensors 23a and 23b, direction data indicating the direction of the specified direction Ui with respect to the reference direction Ds is generated.
  • Other configurations are the same as those in any of the above-described embodiments (including modifications thereof).
  • FIG. 31 is a flowchart showing a schematic operation example of the capsule medical apparatus 20A according to the modification 2-1.
  • FIG. 32 is a flowchart illustrating a schematic operation example of the reception device 230A according to the modification 2-1.
  • the capsule medical device 20A adds the acquired time to the image data as a time stamp, and adds the generated signal detection data to the image data (step S216-1).
  • the capsule medical device 20A transmits the image data to which the time stamp and the signal detection data are added as a radio signal (step S217-1), and returns to step S211-1.
  • image data to which time stamps and signal detection data are periodically added is periodically transmitted from the capsule medical device 20A to the receiving device 230A.
  • the operation of the capsule medical device 20A shown in FIG. 31 is continued until the power of the battery 16 in the capsule medical device 20A is exhausted.
  • the receiving device 230A constantly generates a magnetic field as a direction detection marker from the LC resonance circuit 222 by inputting a signal having a resonance frequency generated by the signal generation circuit 224A to the LC resonance circuit 222.
  • the receiving device 230A monitors whether image data has been received from the capsule medical device 20A, for example, constantly or periodically, as shown in FIG. 32 (step S221-1). No).
  • the receiving device 230A inputs the signal detection data included in the received image data to the CPU 133A, and receives the magnetic field (direction detection indicator) from the LC resonance circuit 222.
  • Step S222-1 Is estimated and the direction of the capsule medical device 20A with respect to the reference direction Ds (that is, the direction of the specified direction Ui with respect to the reference direction Ds) is specified by the CPU 133A, and this is generated as direction data. (Step S222-1).
  • the receiving device 230A adds the orientation data generated in the CPU 133A to the image data received in step S221-1 in the same manner as described with reference to FIG. 12 in the first embodiment (step S223-1).
  • the image data to which the orientation data and the time stamp are added is stored in the portable recording medium 140 from the interface unit 137, or is transmitted from the interface unit 137 to the display device 150 via the communication cable 159 (step). S224-1).
  • the receiving device 230A determines whether or not to continue the operation, for example, whether or not an operation end instruction is input from the operation unit 135 (step S225-1), and when the operation is continued (step S225-1). Yes), the process returns to step S221-1, and repeats the output of the electromagnetic wave (direction detection marker) and the standby for receiving the next image data. On the other hand, when the operation is not continued (No in step S225-1), the operation is terminated.
  • the capsule medical device 20A at the time of imaging with respect to the reference direction Ds Since it is possible to align the orientations of a plurality of image data by rotationally correcting the image data based on the orientation, the medical system 2A that can reduce labor during diagnosis and improve the accuracy of the diagnostic result and its An image processing method can be realized.
  • Modification 2-2 an ultrasonic wave generation source can be used as the signal source in the second embodiment.
  • modification 2-2 of the second embodiment of the present invention with reference to the drawings.
  • the same reference numerals are given to the same configurations as those of the above-described embodiment and any of the modifications thereof, and the description thereof will be omitted.
  • FIG. 33 is a schematic diagram showing a schematic configuration of a medical system 2B according to the modification 2-2.
  • FIG. 34 is a block diagram illustrating a schematic configuration example of the capsule medical device 20B and the reception device 230B according to the modification 2-2.
  • the capsule medical device 20 is replaced with a capsule medical device 20B
  • the receiving device 230 is replaced with a receiving device 230B.
  • the medical system 2B includes a plurality of piezoelectric elements 225a and 225b connected to the receiving device 230B via a cable 226.
  • the antennas 22a and 22b are detected by the plurality of acoustic sensors 24a and 24b, and the signal detection unit 21 detects the signal.
  • the signal detection unit 21 detects the signal.
  • Each unit 21B is replaced.
  • the acoustic sensors 24a and 24b are composed of, for example, microphones, and direction detection signs (present books) emitted from the piezoelectric elements 225a and 225b that are signal sources.
  • it functions as an observation point as an ultrasonic detection means for observing each ultrasonic wave).
  • it is not limited to this, For example, it can also comprise with a piezoelectric element etc.
  • the number and arrangement pattern of the acoustic sensors 24a and 24b are used to estimate the direction of the capsule medical device 20B to the CPU 133B from the intensity and phase of the ultrasonic waves generated by the piezoelectric elements 225a and 225b fixed on the outer surface of the subject 900. Any number and arrangement pattern that can be specified can be modified in any way. In this description, the number of acoustic sensors 24a and 24b is at least two.
  • the acoustic sensors 24a and 24b are preferably fixed in the housing 18 so that the arrangement direction thereof coincides with the direction of the specified direction Ui. Accordingly, the arrangement direction of the acoustic sensors 24a and 24b with respect to the reference direction Ds can be directly used as the direction of the capsule medical device 20B (that is, the specified direction Ui) with respect to the reference direction Ds.
  • the processing in can be lightened.
  • the signal detection unit 21B performs, for the detection signals input from the acoustic sensors 24a and 24b, a bandpass process, a process of detecting the phase and intensity of ultrasonic waves (direction detection markers) by the acoustic sensors 24a and 24b, and the like. A predetermined process including that is executed. Further, the signal detection unit 21B adds the detected phase, intensity, and the like as signal detection data to the image data acquired simultaneously or simultaneously.
  • the signal detection data is data corresponding to the phase and intensity of the ultrasonic waves (direction detection markers) detected by the acoustic sensors 125a and 125b detected by the signal detection circuit 131B of the receiving device 130B in Modification 1-2. Including. Further, a time stamp is also added to the image data, as in Modification 1-2.
  • the image data to which the signal detection data and the time stamp are added is wirelessly transmitted from the processing unit 12 to the reception device 230B through the transmission / reception unit 14 from the antenna 15a.
  • the receiving device 230B has a configuration similar to that of the receiving device 230 shown in FIG. 25, and a signal generation circuit 224B that inputs a resonance frequency signal to the piezoelectric elements 225a and 225b via the cable 226. Is provided.
  • receiving apparatus 230B has the same configuration as that of receiving apparatus 230 shown in FIG. 25, antenna 220 and transmitting / receiving circuit 231 are replaced with antenna 120 and transmitting / receiving circuit 131 in the first embodiment, and CPU 133 is the same as in modified example 1-2. The CPU 133B is replaced.
  • the piezoelectric elements 225a and 225b to which a signal having a resonance frequency is input from the signal generation circuit 224B, which is a signal generation unit, via the cable 226, are vibrated by the input signal having the resonance frequency to generate an ultrasonic wave. And functions as a signal source that emits a direction detection sign (ultrasonic wave in this example) for specifying the direction of the capsule medical device 20B with respect to the reference direction Ds (that is, the inclination of the specified direction Ui).
  • a direction detection sign ultrasonic wave in this example
  • the piezoelectric elements 225a and 225b are fixed to the outer surface of the subject 900 (for example, the jacket 122). At this time, the piezoelectric elements 225 a and 225 b are fixed to the outer surface of the subject 900 so that the arrangement direction of the piezoelectric elements 225 a and 225 b is parallel to the reference direction Ds. Thereby, even when the capsule medical device 20B rotates about the center line in the longitudinal direction, the direction of the specified direction Ui of the capsule medical device 20B with respect to the reference direction Ds is set by the acoustic sensors 24a and 24b of the capsule medical device 20B. It becomes possible to specify based on the phase and intensity of the detected ultrasonic wave.
  • the reception signal input from the antenna 120 to the transmission / reception circuit 131 is input to the signal processing circuit 132.
  • the signal detection data is added to the image data received from the capsule medical device 20B.
  • the signal processing circuit 132 performs predetermined processing on the input signal (particularly image data), specifies signal detection data added to the image data, and inputs this to the CPU 133B.
  • the CPU 133B spatially detects the ultrasonic waves (direction detection signs) from the piezoelectric elements 225a and 225b from the phase and intensity of the ultrasonic waves (direction detection signs) in the acoustic sensors 24a and 24b included in the signal detection data. It functions as direction specifying means for estimating the spread (ultrasonic distribution) and specifying the direction of the capsule medical device 20B with respect to the reference direction Ds (that is, the direction of the specified direction Ui with respect to the reference direction Ds).
  • the method for estimating the ultrasonic distribution is the same as that in Modification 1-2, and a detailed description thereof is omitted here.
  • the piezoelectric elements 225a and 225b that are signal sources are fixed to the outer surface of the subject 900, and the acoustic sensors 24a and 24b that are observation points are disposed in the capsule medical device 20B. Based on the ultrasonic waves from the piezoelectric elements 225a and 225b observed by the acoustic sensors 24a and 24b, direction data indicating the direction of the specified direction Ui with respect to the reference direction Ds is generated.
  • Other configurations are the same as those in any of the above-described embodiments (including modifications thereof).
  • FIG. 35 is a flowchart illustrating a schematic operation example of the reception device 230B according to the modification 2-2.
  • the capsule medical device 20B adds the acquired time to the image data as a time stamp, and adds the generated signal detection data to the image data (step S216-2).
  • the capsule medical device 20B transmits the image data to which the time stamp and the signal detection data are added as a radio signal (step S217-2), and returns to step S211-2.
  • the image data to which the time stamp and the signal detection data are periodically added is wirelessly transmitted from the capsule medical device 20B to the receiving device 230B. Note that the operation of the capsule medical device 20B shown in FIG. 35 is continued until the power of the battery 16 in the capsule medical device 20B is exhausted.
  • the capsule medical device 20B with respect to the reference direction Ds at the time of imaging is used. Since it is possible to align the orientation of a plurality of image data by rotationally correcting the image data based on the orientation, the medical system 2B capable of reducing labor at the time of diagnosis and improving the accuracy of the diagnosis result and its An image processing method can be realized.
  • FIG. 36 is a schematic diagram showing a schematic configuration of the medical system 3 according to the third embodiment.
  • FIG. 37 is a block diagram illustrating a schematic configuration example of the capsule medical device 10 and the receiving device 330 according to the third embodiment.
  • the capsule medical device 10 according to the first embodiment is used.
  • the capsule medical device 10 includes an antenna 15a having directivity as a signal source.
  • the receiving device 130 is replaced with a receiving device 330, as compared with the medical system 1 shown in FIG.
  • the receiving device 330 is installed on a floor or the like so as not to move, for example.
  • the space including the floor is a real space in which the reference direction Dg is set in the third embodiment.
  • the medical system 3 includes a sensor base 320 installed so as not to move with respect to the floor surface, a bed 341 on which the subject 900 is placed, and a movable base 340 that supports the bed 341 so as to be horizontally movable.
  • the capsule medical device 10 according to the first embodiment is used.
  • the bed 341 may be fixed so as not to move with respect to the floor surface.
  • the receiving device 330 has the same configuration as the receiving device 130 shown in FIG.
  • the antennas 120 connected to the receiving device 330 via the cable 121 are arranged in a matrix on the sensor table 320 fixed to the receiving device 330, for example, so as not to move with respect to the floor surface.
  • the sensor base 320 is installed so that the surface on which the antenna 120 is arranged faces the back surface of the bed 341. That is, the sensor base 320 is installed under the bed 341 with the surface on which the antenna 120 is arranged facing upward.
  • the present invention is not limited to this, and the antenna 120 can be variously modified such as being arranged inside the bed 341 so as to be arranged along the placement surface or the back surface of the bed 341.
  • the position of the subject 900 relative to the antenna 120 that is, the position of the capsule medical device 10 can be adjusted as appropriate. Therefore, the direction of the capsule medical device 10 can be specified with higher accuracy.
  • the antenna 120 as the observation point is fixed with respect to the real space, thereby generating the direction data indicating the direction of the specified direction Ui with respect to the reference direction Dg set with respect to the real space.
  • Other configurations are the same as those in any of the above-described embodiments (including modifications thereof).
  • the operation of the medical system 3 according to the present embodiment is the same as that of the first embodiment, and thus detailed description thereof is omitted here.
  • FIG. 38 is a diagram for explaining the rotation correction according to the third embodiment.
  • FIG. 39 is a diagram showing an example of the average color bar 60 generated using the image data after the rotation correction according to the third embodiment.
  • the rotation amount (correction amount) B at the time of the rotation correction for the image data Im31 is 0 °.
  • the angle of the specified direction Ui with respect to the reference direction Dg is 90 °.
  • the rotation amount (correction amount) B at the time of rotation correction for the image data Im32 is 90 °.
  • the angle of the specified direction Ui with respect to the reference direction Dg is 180 °.
  • the rotation amount (correction amount) B at the time of rotation correction for the image data Im33 is 180 °.
  • the rotation correction unit 154a of the display device 150 according to the present embodiment rotationally corrects image data Im31 to Im33 based on the orientation data, as in the above-described embodiments (including modifications thereof). For this reason, in the image data Im41 to Im43 after the rotation correction, as shown in FIGS. 38D to 38F, the upper direction Du of the screen coincides with the reference direction Dg.
  • FIGS. 38D to 38F show the same part p1 in each of the image data Im41 to the image data Im43 in the same divided area A3. become.
  • FIG. 39 the positions of the regions P21 to P23 including the same part p1 in the average color bar 60 generated using the image data Im41 to Im43 after the rotation correction are arranged side by side in the divided region A3. It becomes possible to arrange.
  • FIG. 38D shows image data Im41 obtained by rotationally correcting the image data Im31 shown in FIG. 38A
  • FIG. 38E shows the image data Im32 shown in FIG. 38B
  • FIG. 38F shows image data Im43 obtained by rotationally correcting the image data Im33 shown in FIG. 38C.
  • the reference direction set for the subject 900 is the same as in the first embodiment (including modifications thereof) and the second embodiment (including modifications thereof). It is also possible to configure so that Ds and the specified direction Ui coincide. This is because, for example, the observer manually inputs the posture of the subject 900 or automatically detects the posture of the subject 900 by providing a gravity sensor, so that the reference direction Ds and the reference direction set for the subject 900 are detected. This is realized by obtaining the inclination (rotation amount) with respect to the direction Dg and rotationally correcting the image data using the inclination (rotation amount) and the direction of the specified direction Ui with respect to the reference direction Dg (correction amount B). Is possible.
  • image data is rotationally corrected based on the orientation of the capsule medical device 10 with respect to the reference direction Dg at the time of imaging, as in the first embodiment.
  • the reference direction set for the subject 900 is the same as in the first embodiment (including modifications thereof) and the second embodiment (including modifications thereof). It is also possible to configure so that Ds and the specified direction Ui coincide. This is because, for example, the observer manually inputs the posture of the subject 900 or automatically detects the posture of the subject 900 by providing a gravity sensor, so that the reference direction Ds and the reference direction set for the subject 900 are detected. This is realized by obtaining the inclination (rotation amount) with respect to the direction Dg and rotationally correcting the image data using the inclination (rotation amount) and the direction of the specified direction Ui with respect to the reference direction Dg (correction amount B). Is possible.
  • the capsule medical device 10A ′ is a so-called passive method that generates an induced magnetic field by exciting the LC resonance circuit 17b mounted on the capsule medical device 10A ′ using an external magnetic field (drive magnetic field). Take the case of specifying the direction of.
  • symbol is attached
  • FIG. 40 is a schematic diagram showing a schematic configuration of the medical system 3A according to the modification 3-1.
  • FIG. 41 is a block diagram illustrating a schematic configuration example of the capsule medical device 10A ′ and the reception device 330A according to the modification 3-1. Note that in the present modified example 3-1, the capsule medical device 10A 'according to the modified example 1-1 is used.
  • the capsule medical device 10A ' includes, as a signal source, an LC resonance circuit 17b that is induced by an external magnetic field (drive magnetic field) having a predetermined resonance frequency and generates an induced magnetic field.
  • the capsule medical device 10 is replaced with a capsule medical device 10A ′, and the receiving device 330 is replaced with a receiving device 330A. .
  • the receiving device 330A is installed on a floor or the like so as not to move.
  • Drive coils Dx_1 and Dx_2, Dy_1 and Dy_2, and Dz_1 and Dz_2 are disposed.
  • the sign of an arbitrary drive coil is D
  • the sign of any pair of drive coils is D_1 and D_2.
  • the medical system 3A includes a sensor base 320 installed so as not to move with respect to the floor surface, and a plurality of magnetic sensors S_1 arranged in a matrix on the sensor base 320 so as not to move with respect to the floor surface.
  • S_8 an arbitrary magnetic sensor is denoted by S.
  • the sensor base 320 is installed so that the surface on which the magnetic sensors S are arranged is close to the detection space K.
  • the sensor base 320 is installed on the detection space K with the surface on which the magnetic sensors S are arranged facing downward.
  • the present invention is not limited to this, and various modifications can be made such that the antenna 120 is arranged inside the bed 341 so as to be arranged along the placement surface or the back surface of the bed 341.
  • the receiving device 330A has the same configuration as the receiving device 330 shown in FIG. 37, and the CPU 133 is replaced with a CPU 133A. Furthermore, the receiving device 330A generates a drive signal substantially equal to the resonance frequency of the LC resonance circuit 17b and inputs the drive signal to the drive coil D, and a potential change generated in each magnetic sensor S as a detection signal. A signal detection unit 332A to be read.
  • the driving coil D forms a driving magnetic field having a substantially resonant frequency in the detection space K by the driving signal input from the coil driving unit 331A.
  • Each magnetic sensor S is affected by an induced magnetic field generated by excitation of the LC resonance circuit 17b of the capsule medical device 10A 'by a driving magnetic field formed in the detection space K, and changes its potential. Note that the potential change generated in each magnetic sensor S depends on the position and orientation in which each magnetic sensor S is arranged and the position and orientation of the LC resonance circuit 17b.
  • the signal detection unit 332A reads a potential change generated in each magnetic sensor S as a detection signal via the cable 121, performs predetermined processing such as frequency separation or FFT on the signal, and then converts the processed detection signal to orientation data. To the CPU 133A.
  • the CPU 133A is a capsule medical device with respect to the reference direction Dg from the strength and direction of the direction detection sign (magnetic field) observed at the observation points (magnetic sensors S_1 to S_8). It functions as direction specifying means for specifying the direction of 10A ′ (that is, the inclination of the specified direction Ui). That is, the CPU 133A estimates the spatial spread (magnetic field distribution) of the magnetic field based on the magnetic field strength of the detection signal in each magnetic sensor S input from the signal detection circuit 332A, the direction of the lines of magnetic force, and the like of the capsule medical device 10A ′.
  • the direction with respect to the reference direction Dg (that is, the direction of the specified direction Ui with respect to the reference direction Dg) is specified. Further, the orientation information (orientation data) with respect to the reference direction Dg of the specified direction Ui specified by the CPU 133A corresponds to the image data received from the capsule medical device 10A ′ at the same time or at the same time as in the above embodiment. In addition, it is temporarily stored in the memory 134.
  • Modification 3-1 the magnetic sensor S that is the observation point is fixed with respect to the real space, whereby the orientation data indicating the orientation of the specified direction Ui with respect to the reference direction Dg set with respect to the real space. Is generated.
  • Other configurations are the same as those in any of the above-described embodiments (including modifications thereof).
  • the operation of the medical system 3A according to the present embodiment is the same as that of the above-described modification 1-1, and thus detailed description thereof is omitted here.
  • the reference set for the subject 900 is the same as in the first embodiment (including this modification) and the second embodiment (including this modification). It is also possible to configure the direction Ds and the specified direction Ui to coincide with each other. This is because, for example, the observer manually inputs the posture of the subject 900 or automatically detects the posture of the subject 900 by providing a gravity sensor, so that the reference direction Ds and the reference direction set for the subject 900 are detected. This is realized by obtaining the inclination (rotation amount) with respect to the direction Dg and rotationally correcting the image data using the inclination (rotation amount) and the direction of the specified direction Ui with respect to the reference direction Dg (correction amount B). Is possible.
  • Modification 3-2 an ultrasonic wave generation source can be used as the signal source in the third embodiment.
  • modification 3-2 of the third embodiment of the present invention with reference to the drawings.
  • the same reference numerals are given to the same configurations as those of the above-described embodiment and any of the modifications thereof, and the detailed description thereof will be omitted.
  • FIG. 42 is a schematic diagram showing a schematic configuration of the medical system 3B according to the modification 3-2.
  • FIG. 43 is a block diagram illustrating a schematic configuration example of the capsule medical device 10B and the reception device 330B according to the modification 3-2.
  • the capsule medical device 10B according to the modification 1-2 is used.
  • the capsule medical device 10B includes piezoelectric elements 17c and 17d that generate ultrasonic waves that propagate through the subject 900 and reach the outer surface as signal sources.
  • the capsule medical device 10 is replaced with a capsule medical device 10B
  • the receiving device 330 is replaced with a receiving device 330B.
  • the receiving device 330B is installed on a floor or the like so as not to move.
  • acoustic sensors 125a to 125i connected to the receiving device 330B via the cable 126 are disposed in the bed 341 and in the vicinity of the surface in contact with the subject 900.
  • the receiving apparatus 330B has the same configuration as the receiving apparatus 330 shown in FIG. 37, and the CPU 133 is replaced with a CPU 133B. Furthermore, the receiving device 330B includes a signal detection unit 332B that reads out potential changes generated in the acoustic sensors 125a to 125i as detection signals.
  • the signal detection unit 332B reads the potential change generated in each of the acoustic sensors 125a to 125i as a detection signal via the cable 126, performs predetermined processing such as frequency separation and FFT on this, and then outputs the detection signal after processing.
  • the direction data is input to the CPU 133B.
  • the CPU 133B is a capsule medical device for the reference direction Dg from the intensity and phase of the direction detection sign (ultrasound) observed at the observation points (acoustic sensors 125a to 125i). It functions as direction specifying means for specifying the direction of the device 10B (that is, the inclination of the specified direction Ui). That is, the CPU 133B estimates the spatial spread (ultrasonic distribution) of the ultrasonic waves from the intensity and phase of the detection signals in the acoustic sensors 125a to 125i input from the signal detection circuit 332B, and the piezoelectric elements 17c and 17d.
  • the direction of the capsule medical device 10B with respect to the reference direction Dg (that is, the direction of the specified direction Ui with respect to the reference direction Dg) is specified from Further, the orientation information (orientation data) of the prescribed direction Ui specified by the CPU 133B with respect to the reference direction Dg is associated with the image data received from the capsule medical device 10B at the same time or at the same time as in the above embodiment. Are temporarily stored in the memory 134.
  • Modification 3-2 the acoustic sensors 125a to 125i that are observation points are fixed with respect to the real space, thereby indicating the direction of the specified direction Ui with respect to the reference direction Dg set with respect to the real space. Generate orientation data.
  • Other configurations are the same as those in any of the above-described embodiments (including modifications thereof).
  • the operation of the medical system 3B according to the present embodiment is the same as that of the above-described modification example 1-2, and thus detailed description thereof is omitted here.
  • image data is rotationally corrected based on the orientation of the capsule medical device 10B with respect to the reference direction Dg at the time of imaging.
  • the reference set for the subject 900 is the same as in the first embodiment (including this modification) and the second embodiment (including this modification). It is also possible to configure the direction Ds and the specified direction Ui to coincide with each other. This is because, for example, the observer manually inputs the posture of the subject 900 or automatically detects the posture of the subject 900 by providing a gravity sensor, so that the reference direction Ds and the reference direction set for the subject 900 are detected. This is realized by obtaining the inclination (rotation amount) with respect to the direction Dg and rotationally correcting the image data using the inclination (rotation amount) and the direction of the specified direction Ui with respect to the reference direction Dg (correction amount B). Is possible.
  • the signal source (antenna 15a) is arranged in the capsule medical device 10 and the observation point (antenna 120) is fixed in real space. Without being limited thereto, it is also possible to fix the signal source in the real space and arrange the observation point in the capsule medical device.
  • this case will be described in detail as Embodiment 4 of the present invention with reference to the drawings.
  • the same reference numerals are given to the same configurations as those of the above-described embodiment and any of the modifications thereof, and the detailed description thereof will be omitted.
  • FIG. 44 is a schematic diagram showing a schematic configuration of the medical system 4 according to the fourth embodiment.
  • FIG. 45 is a block diagram illustrating a schematic configuration example of the capsule medical device 20 and the receiving device 430 according to the fourth embodiment.
  • the capsule medical device 20 according to the second embodiment is used.
  • the capsule medical device 20 includes a plurality of antennas 22a and 22b.
  • the receiving device 230 is replaced with a receiving device 430 as compared with the medical system 2 shown in FIG.
  • the receiving device 430 is installed on a floor or the like so as not to move, for example.
  • the space including the floor is a real space in which the reference direction Dg is set in the fourth embodiment.
  • the medical system 4 includes a sensor base 320 installed so as not to move with respect to the floor surface, a bed 341 on which the subject 900 is placed, and a movable base 340 that supports the bed 341 so as to be horizontally movable.
  • the bed 341 may be fixed so as not to move with respect to the floor surface.
  • the receiving device 430 has the same configuration as the receiving device 230 shown in FIG.
  • the antenna 220 connected to the receiving device 430 via the cable 221 is disposed on, for example, the sensor base 320 fixed to the receiving device 430 so as not to move with respect to the floor surface.
  • the sensor table 320 is installed so that the surface on which the antenna 220 is disposed faces the back surface of the bed 341. That is, the sensor base 320 is installed under the bed 341 with the surface on which the antenna 220 is disposed facing upward.
  • the present invention is not limited to this, and various modifications such as disposing the antenna 220 on a fixing member other than the bed are possible.
  • the position of the subject 900 relative to the antenna 220 that is, the position of the capsule medical device 20 can be adjusted as appropriate. Therefore, the direction of the capsule medical device 20 can be specified with higher accuracy.
  • the antenna 220 as the signal source is fixed with respect to the real space, thereby generating the direction data indicating the direction of the specified direction Ui with respect to the reference direction Dg set with respect to the real space.
  • Other configurations are the same as those in the first embodiment (including the modification), the second embodiment (including the modification), or the third embodiment (including the modification).
  • the operation of the medical system 4 according to the present embodiment is the same as that of the second embodiment, and thus detailed description thereof is omitted here.
  • the image data is rotationally corrected based on the orientation of the capsule medical device 20 with respect to the reference direction Dg at the time of imaging. This makes it possible to align the orientations of a plurality of image data, so that it is possible to realize the medical system 4 and its image processing method capable of reducing labor during diagnosis and improving the accuracy of diagnosis results. Become.
  • the reference direction set for the subject 900 is the same as in the first embodiment (including the modification) and the second embodiment (including the modification). It is also possible to configure so that Ds and the specified direction Ui coincide. This is because, for example, the observer manually inputs the posture of the subject 900 or automatically detects the posture of the subject 900 by providing a gravity sensor, so that the reference direction Ds and the reference direction set for the subject 900 are detected. This is realized by obtaining the inclination (rotation amount) with respect to the direction Dg and rotationally correcting the image data using the inclination (rotation amount) and the direction of the specified direction Ui with respect to the reference direction Dg (correction amount B). Is possible.
  • FIG. 46 is a schematic diagram showing a schematic configuration of the medical system 4A according to the modification 4-1.
  • FIG. 47 is a block diagram showing a schematic configuration example of the capsule medical device 20A and the receiving device 430A according to the modification 4-1. Note that in the present modified example 4-1, the capsule medical device 20A according to the modified example 2-1 is used.
  • the capsule medical device 20A includes a plurality of magnetic sensors 23a and 23b as observation points.
  • the medical system 4A includes the capsule medical device 20 as the capsule medical device 20A, the receiving device 430 as the receiving device 430A, and the receiving device 430.
  • the antenna 220 is replaced with the sensor base 320 and the antenna 120, respectively.
  • the receiving device 430A is installed on a floor or the like so as not to move, for example.
  • an LC resonance circuit 222 as a signal source is fixed to the bed 341.
  • the LC resonance circuit 222 is connected to the reception device 430A via the cable 223.
  • the receiving device 430A includes a signal generation circuit 224A in addition to the same configuration as the receiving device 430 shown in FIG.
  • the antenna 220 and the transmitting / receiving circuit 231 are replaced with the antenna 120 and the transmitting / receiving circuit 131
  • the CPU 133 is replaced with the CPU 133A in the same configuration as the receiving apparatus 430 shown in FIG. That is, receiving device 430A has substantially the same configuration as receiving device 230A according to Modification 2-1, except that antenna 120 and LC resonance circuit 222 are fixed to sensor base 320, bed 341, and the like.
  • the CPU 133A specifies the direction of the capsule medical device 20A with respect to the reference direction Dg (that is, the inclination of the specified direction Ui) using the signal detection data added to the image data from the capsule medical device 20A.
  • the LC resonance circuit 222 which is a signal source, is fixed with respect to the real space, whereby the direction indicating the direction of the specified direction Ui with respect to the reference direction Dg set with respect to the real space Generate data.
  • Other configurations are the same as those in any of the above-described embodiments (including modifications thereof).
  • the operation of the medical system 4A according to the modification 4-1 is the same as that of the modification 2-1, and thus detailed description thereof is omitted here.
  • Image data is rotationally corrected based on the orientation of the capsule medical device 20A with respect to the reference direction Dg at the time of imaging, as in the first embodiment.
  • This makes it possible to align the orientations of a plurality of image data, so that it is possible to realize the medical system 4A and its image processing method that can reduce the time and effort of diagnosis and improve the accuracy of diagnosis results. It becomes.
  • the reference set for the subject 900 is the same as in the first embodiment (including the modified example) and the second embodiment (including the modified example). It is also possible to configure the direction Ds and the specified direction Ui to coincide with each other. This is because, for example, the observer manually inputs the posture of the subject 900 or automatically detects the posture of the subject 900 by providing a gravity sensor, so that the reference direction Ds and the reference direction set for the subject 900 are detected. This is realized by obtaining the inclination (rotation amount) with respect to the direction Dg and rotationally correcting the image data using the inclination (rotation amount) and the direction of the specified direction Ui with respect to the reference direction Dg (correction amount B). Is possible.
  • Modification 4-2 an ultrasonic wave generation source may be used as the signal source in the fourth embodiment.
  • modification 4-2 of the fourth embodiment of the present invention with reference to the drawings.
  • the same reference numerals are given to the same configurations as those of the above-described embodiment and any of the modifications thereof, and the description thereof will be omitted.
  • FIG. 48 is a schematic diagram showing a schematic configuration of a medical system 4B according to the modification 4-2.
  • FIG. 49 is a block diagram illustrating a schematic configuration example of the capsule medical device 20B and the reception device 430B according to the modification 4-2.
  • the capsule medical device 20B according to the modification 2-2 is used.
  • the capsule medical device 20B includes a plurality of acoustic sensors 24a and 24b as observation points.
  • the medical system 4B includes a capsule medical device 20 as a capsule medical device 20B, a receiving device 430 as a receiving device 430B, and a receiving device 430.
  • the antenna 220 is replaced with the sensor base 320 and the antenna 120, respectively.
  • the receiving device 430B is installed on a floor or the like so as not to move, for example.
  • a plurality of piezoelectric elements 225a and 225b connected to the receiving device 430B via the cable 226 are disposed in the bed 341 and in the vicinity of the surface in contact with the subject 900. .
  • the receiving device 430B includes a signal generation circuit 224B in addition to the same configuration as the receiving device 430 shown in FIG.
  • the antenna 220 and the transmission / reception circuit 231 are replaced with the antenna 120 and the transmission / reception circuit 131 in the same configuration as the reception apparatus 430 shown in FIG. That is, the receiving device 430B has substantially the same configuration as the receiving device 230B according to the modified example 2-2 except that the antenna 120 and the LC resonance circuit 222 are fixed to the sensor base 320, the bed 341, and the like.
  • the CPU 133 specifies the direction of the capsule medical device 20B with respect to the reference direction Dg (that is, the inclination of the specified direction Ui) using the signal detection data added to the image data from the capsule medical device 20B.
  • the plurality of piezoelectric elements 225a and 225b which are signal sources, are fixed with respect to the real space, whereby the direction of the specified direction Ui with respect to the reference direction Dg set with respect to the real space. Orientation data is generated.
  • Other configurations are the same as those in any of the above-described embodiments (including modifications thereof).
  • the operation of the medical system 4B according to the modification 4-2 is the same as that of the modification 2-2, and thus detailed description thereof is omitted here.
  • image data is rotationally corrected based on the orientation of the capsule medical device 20B with respect to the reference direction Dg at the time of imaging. By doing so, it is possible to align the orientation of a plurality of image data, so that it is possible to realize the medical system 4B and its image processing method that can reduce the labor of diagnosis and improve the accuracy of diagnosis results. It becomes.
  • the reference set for the subject 900 is the same as in the first embodiment (including the modification) and the second embodiment (including the modification). It is also possible to configure the direction Ds and the specified direction Ui to coincide with each other. This is because, for example, the observer manually inputs the posture of the subject 900 or automatically detects the posture of the subject 900 by providing a gravity sensor, so that the reference direction Ds and the reference direction set for the subject 900 are detected. This is realized by obtaining the inclination (rotation amount) with respect to the direction Dg and rotationally correcting the image data using the inclination (rotation amount) and the direction of the specified direction Ui with respect to the reference direction Dg (correction amount B). Is possible.
  • a configuration is used in which some signal such as the antenna 220, the LC resonance circuit 222, the piezoelectric elements 225a and 225b is generated in the signal source fixed in the real space.
  • the present invention is not limited to this, and physical phenomena existing in real space such as gravity and geomagnetism may be used.
  • gravity instead of the signal source will be described in detail with reference to the drawings.
  • the same reference numerals are given to the same configurations as those of the above-described embodiment and any of the modifications thereof, and the detailed description thereof will be omitted.
  • FIG. 50 is a schematic diagram showing a schematic configuration of the medical system 5 according to the fifth embodiment.
  • FIG. 51 is a block diagram illustrating a schematic configuration example of the capsule medical device 50 and the receiving device 530 according to the fifth embodiment.
  • the capsule medical device 10 is replaced with the capsule medical device 50, and the receiving device 130 is replaced with the receiving device 530.
  • the capsule medical device 50 includes a gravity sensor 51 in addition to the same configuration as the capsule medical device 10 shown in FIG.
  • the gravity sensor 51 is a gravity direction detecting means for detecting the direction of gravity.
  • a semiconductor acceleration sensor using a mechanical acceleration sensor using a coil, a spring, a plate, or the like, a MEMS (Micro Electro Mechanical Systems) technology, or the like is used. Any acceleration sensor such as an acceleration sensor that can detect gravity and is small enough to be accommodated in the capsule medical device 50 may be used.
  • the processing unit 52 reads a voltage change generated in the gravity sensor 51 as a detection signal, and executes predetermined processing on the detection signal. Further, the processing unit 52 adds the detection signal after the signal processing as the orientation data to the image data acquired simultaneously or simultaneously.
  • the orientation data can be data representing the direction of gravity as a vector with respect to the capsule medical device 50 as a reference.
  • data direction data representing the direction of gravity as a vector
  • the direction of the capsule medical device 50 with respect to the reference direction Dg that is, the direction of the specified direction Ui with respect to the reference direction Dg
  • Dg the direction of the specified direction Ui with respect to the reference direction Dg
  • the present invention is not limited to this.
  • the two-axis gravity sensor that omits this axis is used as the gravity sensor 51. It is possible to use.
  • a time stamp is added to the image data, as in the first embodiment.
  • the signal detection data and the image data to which the time stamp is added are wirelessly transmitted from the processing unit 52 to the receiving device 530 through the transmission / reception unit 14 from the antenna 15a.
  • the signal processing circuit 132 is replaced with a signal processing circuit 532 in the same configuration as the receiving apparatus 130 shown in FIG.
  • the vector of the gravity direction detected by the gravity sensor 51 is added to the image data received from the capsule medical device 50 as the orientation data. Therefore, in the fifth embodiment, after the signal processing circuit 532 buffers the input orientation data and time-stamped image data in the temporary memory 134 or the like, this is directly displayed via the interface unit 137 on the display device 150. Can be configured to send to.
  • gravity that is stable in real space is used as a direction detection sign
  • the gravity sensor 51 that is an observation point thereof is arranged in the capsule medical device 50
  • the gravity sensor Based on the gravity direction vector observed at 51, direction data indicating the direction of the specified direction Ui with respect to the reference direction Ds is generated.
  • Other configurations are the same as those in any of the above-described embodiments (including modifications thereof).
  • FIG. 52 is a flowchart showing a schematic operation example of the capsule medical apparatus 50 according to the fifth embodiment.
  • FIG. 53 is a flowchart showing a schematic operation example of the receiving apparatus 530 according to the fifth embodiment.
  • the capsule medical device 50 wirelessly transmits image data to which the time stamp and the orientation data are periodically added to the receiving device 530.
  • the operation of the capsule medical device 50 shown in FIG. 52 is continued until the power of the battery 16 in the capsule medical device 50 is exhausted.
  • the receiving device 530 monitors whether image data has been received from the capsule medical device 50, for example, constantly or periodically (No in step S521).
  • the receiving device 530 temporarily buffers the received image data in the memory 134 or the like, and then stores the received image data in the portable recording medium 140 from the interface unit 137, or Then, the data is transmitted from the interface unit 137 to the display device 150 via the communication cable 159 (step S522).
  • the receiving device 530 determines whether or not to continue the operation, for example, whether or not an operation end instruction is input from the operation unit 135 (step S523), and when the operation is continued (Yes in step S523), Returning to step S521, the image data reception standby is repeated. On the other hand, when the operation is not continued (No in step S523), the operation is terminated.
  • the image data is based on the orientation of the capsule medical device 50 with respect to the reference direction Dg (gravity direction) at the time of imaging.
  • Dg gravitation direction
  • the reference direction Dg when the reference direction Dg is set in the real space, it is possible to use gravity instead of the direction detection sign. As a result, it is possible to directly detect the direction of the specified direction Ui with respect to the reference direction Dg using the gravity sensor 51 that can detect gravity, which is a substantially absolute reference that is not affected by the posture and orientation of the subject 900.
  • the configuration for detecting the orientation can be simplified, and the processing in the receiving device 530 described later can be lightened.
  • the reference direction set for the subject 900 is the same as in the first embodiment (including the modification) and the second embodiment (including the modification). It is also possible to configure so that Ds and the specified direction Ui coincide. This is because, for example, the observer manually inputs the posture of the subject 900 or automatically detects the posture of the subject 900 by providing a gravity sensor, so that the reference direction Ds and the reference direction set for the subject 900 are detected. This is realized by obtaining the inclination (rotation amount) with respect to the direction Dg and rotationally correcting the image data using the inclination (rotation amount) and the direction of the specified direction Ui with respect to the reference direction Dg (correction amount B). Is possible.
  • an image of the average color bar 60 is generated from the image data obtained by rotationally correcting the image data, and a GUI function is provided to the observer.
  • the image incorporated in the GUI screen in the present invention is not limited to the average color bar 60.
  • an image of a red detection result hereinafter referred to as a red indicator
  • the sixth embodiment will be described based on the first embodiment.
  • the present invention is not limited to this, and the present embodiment is not limited to this embodiment and any modification thereof. Needless to say, form 6 can be applied.
  • red detection means detection of a red area (width) and density in image data. Therefore, by imaging the result of red detection for each image data, it becomes possible for the observer to visually recognize the amount and density of red contained in the image data.
  • GUI red indicator
  • FIG. 54 is a block diagram illustrating a schematic configuration example of the display device 650 according to the sixth embodiment.
  • the image processing unit 154 in the display device 150 is replaced with an image processing unit 654.
  • the image processing unit 654 has a configuration similar to that of the image processing unit 154, and a red detection unit 654a and a red indicator generation unit 654b are added, and the screen generation unit 154e includes a screen generation unit (screen Generation means) 654e.
  • the red detection unit 654a functions as a red detection unit that detects a red component included in the rotation-corrected image data. That is, the red detection unit 654a determines the amount and density of the red component included in the image data after the rotation correction selected by the image selection unit 154c, and generates red data obtained by averaging the red component. Note that the determination and averaging of the amount and density of the red component can be performed using, for example, the value of the red component in the image data. Further, red detection may be performed separately for each of the divided areas (for example, divided areas A1 to A4) in the image data divided into a plurality (for example, four).
  • the red data generated by the red detection unit 654a is input to the red indicator generation unit 654b as a red detection result.
  • the red indicator generation unit 654b is a red image generation unit that generates an image (red image) for visually displaying the detection result of the red detection unit 654a.
  • a red indicator (see red indicator 66 in FIG. 56) is used as the red image. Therefore, the red indicator generation unit 654b generates an image of a red indicator using the red detection result, and inputs this to the screen generation unit 654e.
  • the screen generation unit 654e displays the rotation-corrected image data selected by the image selection unit 154c, the average color bar image input from the average color bar generation unit 154d, and the red indicator input from the red indicator generation unit 654b.
  • a GUI screen as shown in FIG. 56 is generated using the above image.
  • a GUI screen generated according to the sixth embodiment will be described later.
  • display device 650 first performs the same steps as those described in Embodiment 1 using steps S121 to S127 in FIG. Rotation correction and average color bar image generation processing are executed. Next, the display device 650 performs red detection processing in the red detection unit 654a (step S621), and subsequently executes generation processing of a red indicator from the red detection result in the red indicator generation unit 654b (step S622). .
  • the display device 650 displays the image data after rotation correction selected by the image selection unit 154c, the average color bar image input from the average color bar generation unit 154d, and the red color input from the red indicator generation unit 654b.
  • the screen generation unit 654e is caused to execute a screen generation process for generating a GUI screen as shown in FIG. 55 (step S623), and then the process ends.
  • the generated GUI screen is input to the display unit 155 via the control unit 151 and displayed to the observer.
  • the GUI function using the GUI screen and the input unit 156 is provided to the observer.
  • the GUI screen generated by the screen generation unit 654e includes patient information g11 and diagnosis information g12, similar to the GUI screen (see FIG. 8) generated by the screen generation unit 154e in each of the above embodiments.
  • the main image display area g13, the sub-image display area g14, the reproduction control button g15, and the average color bar 60 are incorporated.
  • the red indicator 66, the average color bar 60, and the red indicator 66 are linked to each other, and the slider indicating the average color bar 60 and the position on the red indicator 66 of the image being displayed in the main image display area g13. g61a is incorporated.
  • the red indicator 66 has the same length in the time axis direction as the average color bar 60 and is arranged above or below the average color bar 60 in the screen. This makes it possible to link the apparent time axes of the average color bar 60 and the red indicator 66, so that it is easy for the observer to determine which part of the average color bar 60 has more red. It can be recognized.
  • the color of the area corresponding to each image data of the red indicator 66 is shaded according to the red detection result. This makes it possible for the observer to easily recognize in which part the red color appears more.
  • FIG. 57 is a diagram illustrating an example of the average color bar 60_1 according to the modified example 6-1 of the sixth embodiment.
  • the average color bar 60_1 is obtained by superimposing an image representing a red detection result in a histogram on the average color bar 60. Therefore, in the image of the red detection result, as shown in FIG. 57, the amount and darkness of red in each image data is indicated by its height.
  • the present invention is not limited to this, and the red detection result may be expressed by a broken line or the like.
  • the image of the red detection result for the image data in which red is not detected or the average value of the red data is smaller than the first threshold value which is the minimum value is not drawn on the average color bar 60_1. Further, the image of the red detection result for the image data that is equal to or larger than the first threshold and smaller than the second threshold that is the intermediate value is superimposed on the lowermost divided area A1 of the corresponding image data portion in the average color bar 60_1. Is done. Further, the image of the red detection result for the image data in which the average value of the red data is equal to or greater than the second threshold value, which is the maximum value, is superimposed over the entire corresponding image data portion in the average color bar 60_1.
  • FIG. 58 is a diagram illustrating an example of the average color bar 60_2 according to the modification 6-2 of the sixth embodiment.
  • the average color bar 60_2 is obtained by superimposing the image of the red detection result on the average color bar 60.
  • FIG. 59 is a diagram showing an example of the average color bar 60_3 according to the modification 6-3 of the sixth embodiment.
  • the average color bar 60_3 is obtained by superimposing the image of the red detection result on the average color bar 60.
  • Embodiment 7 Further, in Embodiment 6 (including the modifications thereof), the image of the red detection result is linked to the average color bar 60 and displayed. However, in the present invention, the object to be displayed linked to the average color bar is red.
  • the rotation amount used in the rotation correction unit 154a is not limited to the detection result.
  • the seventh embodiment will be described based on the first embodiment. However, the present invention is not limited to this, and the present embodiment is not limited to this embodiment and any modification thereof. Needless to say, form 7 can be applied.
  • FIG. 60 is a block diagram illustrating a schematic configuration example of the display device 750 according to the seventh embodiment.
  • the image processing unit 154 in the display device 150 is replaced with an image processing unit 754.
  • the image processing unit 754 has a configuration similar to that of the image processing unit 154, a rotation amount indicator generating unit 754a is added, and the screen generating unit 154e is replaced with a screen generating unit (screen generating unit) 754e. Replaced.
  • the rotation correction unit 154a according to the seventh embodiment inputs the generated or specified rotation amount to the rotation amount indicator generation unit 754a.
  • the rotation amount indicator generation unit 754a is rotation amount image generation means for generating an image (rotation amount image) for visually displaying the rotation amount for each image data used at the time of rotation correction.
  • a rotation amount indicator (see the rotation amount indicator 68 in FIG. 62) is used as the rotation amount image. Therefore, the rotation amount indicator generation unit 754a generates an image of the rotation amount indicator using the input rotation amount, and inputs this to the screen generation unit 754e.
  • the screen generation unit 754e displays the rotation-corrected image data selected by the image selection unit 154c, the average color bar image input from the average color bar generation unit 154d, and the rotation input from the rotation amount indicator generation unit 754a.
  • a GUI screen as shown in FIG. 62 is generated using the image of the quantity indicator.
  • a GUI screen generated according to the seventh embodiment will be described later.
  • display device 750 first performs the same steps as those described in Embodiment 1 using steps S121 to S127 in FIG. Rotation correction and average color bar image generation processing are executed. Next, the display device 750 performs a rotation amount indicator image generation process from the rotation amount in the rotation amount indicator generation unit 754a (step S721).
  • the display device 750 receives the rotation-corrected image data selected by the image selection unit 154c, the average color bar image input from the average color bar generation unit 154d, and the rotation amount indicator generation unit 754a.
  • the screen generation unit 754e is caused to execute a screen generation process for generating a GUI screen as shown in FIG. 62 (step S722), and then the process ends.
  • the generated GUI screen is input to the display unit 155 via the control unit 151 and displayed to the observer.
  • the GUI function using the GUI screen and the input unit 156 is provided to the observer.
  • the GUI screen generated by the screen generation unit 754e will be described in detail with reference to FIG.
  • the GUI screen generated by the screen generation unit 754e includes patient information g11 and diagnosis information g12, similar to the GUI screen (see FIG. 8) generated by the screen generation unit 154e in each of the above embodiments.
  • the main image display area g13, the sub-image display area g14, the reproduction control button g15, and the average color bar 60 are incorporated.
  • a rotation amount indicator 68 is incorporated in the GUI screen.
  • the rotation amount indicator 68 has the same length in the time axis direction as the average color bar 60 and is arranged above or below the average color bar 60 in the screen. This makes it possible to link the apparent time axes of the average color bar 60 and the rotation amount indicator 68, so that the capsule medical device 10 rotates greatly at any part of the average color bar 60. Can be easily recognized.
  • the color of the area corresponding to each image data of the rotation amount indicator 68 is shaded according to the rotation amount. Therefore, it becomes possible for the observer to easily recognize at which part the capsule medical device 10 is largely rotated.
  • FIG. 63 is a diagram illustrating an example of the average color bar 60_4 according to the modified example 7-1 of the seventh embodiment.
  • the average color bar 60_4 is obtained by superimposing an image expressed by a broken line of the rotation amount on the average color bar 60. Therefore, in the image of the rotation amount, as shown in FIG. 63, the rotation amount in each image data is indicated by its height.
  • the present invention is not limited to this, and the rotation amount may be expressed by a histogram or the like.
  • the rotation amount may be averaged by the rotation amount of a predetermined number of image data before and after.
  • the observer can know the steepness of the change in the rotation amount from the broken line image of the rotation amount.
  • the observer can easily know the tendency of the change in the rotation amount from the broken line image of the rotation amount.
  • FIG. 64 is a diagram showing an example of a GUI screen according to the eighth embodiment.
  • the patient information g11, the diagnosis information g12, the main image display area g13, and the sub image are displayed in the same manner as the GUI screen according to the first embodiment (see FIG. 8).
  • An image display area g14 and a reproduction control button g15 are incorporated.
  • the average color bar 60 in FIG. 8 is replaced with the average color bar 60_5.
  • a column for selecting an index to be added to the position of the slider g16a in the average color bar 60_5 (part selection column g81) and a code for displaying the selected index are selected.
  • a registration button g83 for inputting registration of the selected index and code are incorporated.
  • the observer selects a target part as an index from the pull-down menu provided by the part selection field g81.
  • the code to be selected next is automatically selected in the code field g82 in a predetermined order.
  • the observer can change the selected code by the pull-down menu provided by the code field g82.
  • the part selection field g81 may be configured to directly input a character string. Furthermore, a code may be added in advance to an index selected in the part selection field g81.
  • the display device 150 inputs the selected part and code as an index to the screen generation unit 154e in the image processing unit 154.
  • the screen generation unit 154e adds an index to the average color bar 60_5 using the name and code of the input part and creates an image for visually displaying the index (especially the code), and uses this as the average color It is added to the corresponding part of the bar 60_5.
  • the GUI screen in which the index image is added to the average color bar 60_5 is input to the display unit 155 and displayed to the observer.
  • codes for example, a to e
  • the observer can easily know which part of the image data is currently displayed in the main image display area g13.
  • an image of a lumen inside the subject 900 (hereinafter referred to as an organ image) g84 is incorporated in the GUI screen according to the eighth embodiment.
  • an organ image a lumen inside the subject 900
  • parts such as the pylorus, cecum, liver curvature, spleen curvature, and sigmoid colon do not depend on the individual and are substantially the same in all the subjects 900.
  • an organ image g84 is created with an image of a general subject 900, and the position of the part in the image drawn by the organ image g84 is defined in advance.
  • an image (color) of a region sandwiched between the selected part and the previously selected part in the average color bar 60_5. Or texture) is pasted to the corresponding section of the lumen shape in the organ image g84. If there is no previously selected image, an image (color, texture, etc.) from the head of the average color bar 60_5 on the time axis to the corresponding part is pasted on the organ image g84.
  • a display similar to the average color bar 60_5 can be superimposed on the organ image g84 on the GUI screen according to the present embodiment. As a result, the observer can easily recognize which part has what average color.
  • the configuration is such that the index added to the average color bar 60_5 is manually selected / input.
  • the present invention is not limited to this, and for example, automatically from the color of the average color bar 60_5, etc. It is also possible to configure so that a part is identified and added to the average color bar 60_5 as an index.
  • FIG. 65 is a diagram illustrating a relationship between a site in the lumen 902 through which the capsule medical device 10 introduced into the subject 900 passes and the amount of rotation.
  • FIG. 66 is a block diagram illustrating a schematic configuration example of the display device 850 according to the modification 8-1.
  • the image processing unit 154 in the display device 150 is replaced with an image processing unit 854.
  • the image processing unit 854 has the same configuration as the image processing unit 154, and an organ determination unit (organ determination unit) 854a and an organ image generation unit (organ image generation unit) 854b are added.
  • the screen generator 154e is replaced with a screen generator (screen generator) 854e.
  • the rotation correction unit 154a according to the present modification 8-1 inputs the generated or specified rotation amount to the organ determination unit 854a.
  • the average color bar generation unit 154d inputs the generated average color data between the respective parts to the organ image generation unit 854b.
  • the organ determination unit 854a functions as an organ determination unit that determines an organ located in the vicinity of the capsule medical device 10 when each piece of image data is acquired based on the amount of rotation for each image data used for rotation correction.
  • the image data of the timing at which the capsule medical device 10 passes through each organ for example, the pylorus 907a, the cecum 907b, the liver curvature 907c, the splenic distortion 907d, the sigmoid colon 907e, etc.
  • the rotation amount is generated for each image data and is associated with each other.
  • the organ determination unit 854a determines the average color bar corresponding to the path between the organs from the image data (ID thereof) of each specified organ and the average color bar image input from the average color bar generation unit 154d. These images are identified, and the identified result is input to the organ image generation unit 854b. Note that the average color bar image is obtained by connecting the average color images of the respective image data. In addition, the average color image of each image data is associated with the ID of the corresponding image data.
  • the organ image generation unit 854b compares a previously created organ image and an index added thereto with the specific result input from the organ determination unit 854a, and corresponds to an organ image between matching parts. The average color data between the parts is specified, and this is pasted into the organ image. Thereby, an organ image similar to the organ image g84 on the GUI screen illustrated in FIG. 64 is automatically generated.
  • the organ image g84 includes not only an average color image but also a red detection result as shown in an organ image g84B incorporated in the GUI screen according to the modification 8-2 of the eighth embodiment shown in FIG. It may be superimposed.
  • the image processing unit that generates the organ image g84B can be easily conceived from the image processing unit 654 illustrated in FIG. 54 and the image processing unit 854 illustrated in FIG. 66, and thus detailed description thereof is omitted here. To do.
  • a red indicator 66 is also incorporated in the GUI screen shown in FIG.
  • the above-described rotation amount indicator 68 may be incorporated in the GUI screen (see FIG. 64) according to the present embodiment, as shown in the GUI screen according to the modified example 8-3 shown in FIG.
  • FIG. 69 is a block diagram illustrating a schematic configuration example of the image selection unit 154c according to the ninth embodiment.
  • the image selection unit 154c temporarily stores the image after rotation correction input last time, the image after rotation correction input this time, and the previous image held in the buffer 954b.
  • a similarity determination unit 954a that determines the similarity of the current image data to the immediately preceding image data from the image after rotation correction, and the image data after rotation correction based on the similarity determination result by the similarity determination unit 954a.
  • the similarity determination unit 954a functions as a similarity determination unit that determines the similarity between the preceding and succeeding image data among the plurality of rotation-corrected image data. Therefore, the similarity determination unit 954a obtains the difference between the color component values for each pixel at the same position in the image data after rotation correction for the previous time read from the buffer 954b and the image data after rotation correction for the current time. Overall, the sum of the differences between the color component values obtained for each pixel is obtained.
  • the image data after the current rotation correction is the same image data as the image data after the previous rotation correction, that is, Then, it is determined that the image data is an image of the same part, and the determination result is input to the display target image selection unit 954c.
  • the current rotation-corrected image data Is determined to be image data different from the image data after the previous rotation correction, that is, image data obtained by imaging a different part, and this determination result is input to the display target image selection unit 954c.
  • the display target image sorting unit 954c functions as an image data sorting unit that sorts image data after rotation correction satisfying a predetermined condition from a plurality of image data rotation-corrected based on the determination result by the similarity determination unit 954a. Therefore, the display target image selection unit 954c captures a part of the determination result input from the similarity determination unit 954a, where the image data after the current rotation correction is different from the image data after the previous rotation correction. This image data is sorted out. That is, this image data is input to the average color bar generator 154d and the screen generator 154e, respectively.
  • the determination result input from the similarity determination unit 954a indicates that the current rotation-corrected image data and the previous rotation-corrected image data are image data obtained by imaging the same part. If so, the display target image selection unit 954c discards the image data after the rotation correction for this time.
  • image data after rotation correction obtained by imaging a portion different from the image data after rotation correction for the previous time is selected with priority. It is possible to display. As a result, since it is possible to avoid displaying many pieces of image data of the same part continuously, it is possible for the observer to efficiently interpret the image.
  • the number of image data items to be selected can be adjusted by adjusting the threshold value used when determining the similarity between the preceding and following images. Can also be adjusted.
  • the screen generation unit (154e, 654e, 754e, or 854e) according to each of the above-described embodiments (including modifications thereof) converts the rotation-corrected image data selected by the image selection unit 154c into thumbnails, as shown in FIG.
  • a list display also referred to as an overview display
  • the screen generation unit 154e in the display device 150 may generate a GUI screen (see FIG. 70) for reducing the selected image data after rotation correction and displaying them in a list.
  • FIG. 71 is a block diagram illustrating a schematic configuration example of the display device 1150 according to the eleventh embodiment.
  • the eleventh embodiment will be described based on the first embodiment.
  • the present invention is not limited to this, and the present embodiment is not limited to this embodiment and any modification thereof. Needless to say, Form 11 can be applied.
  • the display device 1150 has the same configuration as that of the display device 150 shown in FIG. 7, and the image processing unit 154 is replaced with an image processing unit 1154.
  • the feature point extraction unit 154b is replaced with a motion vector calculation unit 1154b
  • the image selection unit 154c is replaced with an image selection unit 1154c in the same configuration as the image processing unit 154. ing.
  • the motion vector calculation unit 1154b functions as a motion vector calculation unit that calculates a motion vector between the preceding and succeeding image data among the plurality of rotation-corrected image data, and calculates a motion vector of a region in the preceding and following image data. Is input to the image selection unit 1154c.
  • the image selection unit 1154c includes a maximum scalar amount extraction unit 1154d (maximum scalar amount extraction unit) that extracts a value that maximizes the scalar amount from the motion vectors input from the motion vector calculation unit 1154b.
  • the image sorting unit 1154c functions as an image data sorting unit that sorts image data after rotation correction satisfying a predetermined condition from a plurality of image data rotation-corrected based on the extraction result by the maximum scalar quantity extraction unit 1154d.
  • the image selection unit 1154c selects different parts for the previous image data and the current image data. It is determined that the image is taken, and the image data for this time is selected. That is, this image data is input to the average color bar generator 154d and the screen generator 154e, respectively.
  • the maximum scalar amount of the motion vector extracted by the maximum scalar amount extraction unit 1154d is larger than a predetermined threshold, it is determined that the previous image data and the current image data are obtained by imaging the same part. The image data for this time is discarded.
  • image data after rotation correction obtained by imaging a portion different from the image data after rotation correction for the previous time is selected with priority. It is possible to display. As a result, since it is possible to avoid displaying many pieces of image data of the same part continuously, it is possible for the observer to efficiently interpret the image.
  • the number of image data items to be selected can be adjusted by adjusting the threshold value used when determining the similarity between the preceding and following images. Can also be adjusted.
  • FIG. 72 is a block diagram illustrating a schematic configuration example of the display device 1250 according to the twelfth embodiment.
  • Embodiment 12 will be described based on Embodiments 1 and 8 as appropriate.
  • the present invention is not limited to this, and both the above embodiment and modifications thereof are described. Needless to say, the twelfth embodiment can be applied.
  • the display device 1250 includes a position / movement route estimation unit 1257 in addition to the same configuration as the display device 150 shown in FIG.
  • the image data whose rotation is corrected by the rotation correction unit 154a in the image processing unit 154 is also input to the position / movement path estimation unit 1257.
  • the position / movement path estimation unit 1257 functions as a position estimation unit that estimates the position of the capsule medical device 10 at the time of acquiring image data based on the rotation amount used for rotation correction for each image data.
  • a similarity calculation unit 1257a that calculates the similarity between the image data input before and after the input from the unit 154a, and a capsule type while imaging the image data that is acquired based on the similarity calculated by the similarity calculation unit 1257a.
  • the movement distance estimation unit 1257b that estimates the distance that the medical device 10 has moved, and the position and movement of the capsule medical device 10 when the current image data is captured based on the movement distance estimated by the movement distance estimation unit 1257b
  • a position / route estimation unit 1257c that estimates a route.
  • the image data after the rotation input from the rotation correction unit 154a to the position / movement path estimation unit 1257 is input to the similarity calculation unit 1257a.
  • the similarity calculation unit 1257a calculates the similarity between the image data before and after the input image data after the rotation correction, and inputs this to the movement distance estimation unit 1257b. Note that the similarity between the preceding and following image data can be calculated from, for example, feature points or motion vectors of the quantity image data.
  • the travel distance estimation unit 1257b estimates the distance traveled by the capsule medical device 10 when imaging the preceding and following image data based on the input similarity, and the estimated travel distance is sent to the position / route estimation unit 1257c. input.
  • the movement distance can be estimated based on, for example, a correspondence relationship between the similarity and the distance obtained in advance through experimentation, experience, simulation, or the like.
  • the position / route estimation unit 1257c captures the current image data based on the input travel distance and the position and travel path of the capsule medical device 10 when the previous estimated image data is captured.
  • the position and movement path of the capsule type medical device 10 at that time are estimated and input to the screen generation unit 154e in the image processing unit 154.
  • information regarding the position and movement path of the capsule medical device 10 may be separately input to the position / route estimation unit 1257c from the control unit 151 or the like.
  • the position / route estimation unit 1257c includes the position of the capsule medical device 10 estimated as described above and the movement path separately input and The error is corrected according to the movement path. This error correction can be executed, for example, by convergence calculation by iterative calculation using the least square method.
  • the position and movement path at each imaging timing of the capsule medical device 10 estimated by the position / movement path estimation unit 1257 are input to the screen generation unit 154e in the image processing unit 154, for example.
  • the screen generation unit 154e generates a GUI screen as shown in FIG. 73, for example, using the position and movement path of the capsule medical device 10 at each input imaging timing.
  • the GUI screen shown in FIG. 73 is obtained by applying the present embodiment to the GUI screen according to the eighth embodiment, for example.
  • the marker g121 indicating the position of the capsule medical device 10 at the timing when the image data being displayed in the main image display area g13 is imaged and the image data are displayed.
  • a path g122 along which the capsule medical device 10 has moved before imaging is superimposed on the organ image g84.

Abstract

 本発明にかかる画像処理システムは、撮像ユニット11を備えたカプセル型医療装置10から画像データを受信装置130を経由して入力するインタフェース部152と、画像データを撮像した際のカプセル型医療装置10の基準方向Dsに対する向きを特定するCPU133と、CPU133で特定された向きに基づいて画像データを回転補正することで複数の画像データの向きを揃える回転補正部154aと、を備えた表示装置150を備えた。

Description

画像処理システム、その外部装置およびその画像処理方法
 本発明は、画像処理システム、その外部装置およびその画像処理方法に関し、特に撮像手段を備えた被検体内導入装置を備えた画像処理システム、その外部装置およびその画像処理方法に関する。
 従来、人や動物などの被検体の内部を観察する装置には、チューブ型の内視鏡やカプセル型の内視鏡(以下、単にカプセル内視鏡という)などが存在する。チューブ型の内視鏡には、先端部にCCD(Charge Coupled Device)センサが設けられた電子内視鏡やチューブ内に光ファイバの束が通されたファイバスコープなどが存在し、チューブを被検体の口や肛門等から挿入して被検体内部の画像を取得する(例えば以下に示す特許文献1参照)。一方、カプセル内視鏡は、人や動物などが飲み込める程度の大きさであり、例えば経口で被検体内に導入され、定期的に被検体内部を撮像する。また、撮像して得られた被検体内部の画像は、無線信号として外部の受信装置へ送信される(例えば以下に示す特許文献2参照)。観察者は、チューブ型の内視鏡やカプセル内視鏡で得られた複数の画像を個別または連続して再生し、これを観察することで被検体の内部を診断する。
特許第3898781号公報 特開2003-70728号公報
 ここで、チューブ型の内視鏡を用いた場合、操作者がチューブを回転させるなどの操作を行わない限り、撮像して得られた画像のある基準(被検体や地表等)に対する表示面内での上下方向の傾き(回転量)は変化しない。一方、カプセル内視鏡の被検体内での姿勢は、外部磁界などで制限する構成を備えない限り自由である。したがって、カプセル内視鏡は、様々な方向に回転しながら被検体の管腔内をこれの蠕動運動によって受動的に移動する。このため、カプセル内視鏡によって取得された画像のある基準に対する表示面内での上下方向の傾き(回転量)を一定に保つことは困難である。
 画像のある基準に対する上下方向の傾き(回転量)が一定でない場合、連続する画像間の類似度や相関度が低下してしまう。例えば先の画像の上下方向に対して後の画像の上下方向が90°回転している場合、同一の部位を撮像した画像であったとしても、画像中の被写体(以下、単に部位という)の位置が大きく変わったり画像中の部位が回転して見た目上の形状が大きく変化したりする。
 このような画像の上下方向の傾き(回転量)の変化は、目視の読影による被検体診断に要する手間を増加させたり診断結果の正確性を低下させたりなどの問題を生じさせる場合がある。また、画像をデータとして扱った場合には、各種データ処理の精度や速度などを大きく低下させてしまう場合がある。データ処理の精度や速度の低下は、データ処理結果の正確性の低下や観察者に提供する機能の利便性の低下等を引き起こす要因となる。このため、結果的に、読影による被検体診断と同様に、被検体診断に要する手間を増加させたり診断結果の正確性を低下させたりなどの問題を生じさせる場合がある。
 そこで本発明は、上記の問題に鑑みてなされたものであり、診断時の手間の軽減や診断結果の正確性の向上を可能にする画像処理システム、その外部装置およびその画像処理方法を提供することを目的とする。
 かかる目的を達成するために、本発明による画像処理システムは、被検体内部を撮像する撮像手段と、前記撮像手段で取得された画像データを外部へ出力する出力手段と、を備えた被検体内導入装置と、前記画像データを入力する入力手段と、前記画像データを撮像した際の前記被検体内導入装置の基準方向に対する向きを特定する向き特定手段と、前記向き特定手段で特定された向きに基づいて前記入力手段で入力された画像データを回転補正することで複数の画像データの向きを揃える回転補正手段と、を備えた外部装置と、を備えたことを特徴としている。
 上記した本発明による画像処理システムは、前記向き特定手段が、前記被検体の向きを基準とした前記被検体内導入装置の向きを特定することを特徴としている。
 上記した本発明による画像処理システムは、前記向き特定手段が、実空間を基準とした前記被検体内導入装置の向きを取得することを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、指向性を備えた指向性アンテナと、該指向性アンテナを介して電磁波を送信する電磁波送信手段と、を備え、前記被検体内導入装置が、複数のアンテナと、各アンテナで受信された前記電磁波の強度および位相を検出する強度/位相検出手段と、を備え、前記出力手段が、前記強度/位相検出手段で検出された前記電磁波の強度および位相を前記画像データに付加して外部へ出力し、前記入力手段が、前記画像データに付加された前記電磁波の強度および位相を前記向き特定手段に入力し、前記向き特定手段が、前記入力手段から入力された前記電磁波の強度および位相から前記被検体内導入装置の向きを特定することを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記被検体の向きを特定する被検体向き特定手段を備え、前記基準方向が、前記被検体に設定されており、前記向き特定手段が、特定した前記基準方向に対する前記被検体内導入装置の向きを前記被検体向き特定手段で特定された前記被検体の向きで回転補正することを特徴としている。
 上記した本発明による画像処理システムは、前記被検体内導入装置が、重力の方向を検出する重力方向検出手段を備え、前記出力手段が、前記重力方向検出手段で検出された前記重力の方向を前記画像データに付加して外部へ出力し、前記入力手段が、前記画像データに付加された前記重力の方向を前記向き特定手段に入力し、前記向き特定手段が、前記入力手段から入力された前記重力の方向から前記被検体内導入装置の向きを特定することを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記回転補正された画像データを表示する画面を生成する画面生成手段を備えたことを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記回転補正された画像データの平均色を算出し、前記算出した平均色のイメージを生成し、前記生成した平均色のイメージが前記画像データ間の順序性に従って繋ぎ合わされた平均色バーを生成する平均色バー生成手段を備え、前記画面生成手段が、前記平均色バー生成手段によって生成された前記平均色バーが組み込まれた前記画面を生成することを特徴としている。
 上記した本発明による画像処理システムは、前記平均色バー生成手段が、1つの前記画像データを複数の領域に分割する分割領域ごとに前記平均色を算出し、該分割領域ごとに前記平均色のイメージを生成し、前記画像データ間で対応する分割領域についての平均色のイメージが所定の軸に対して平行に配列されるように前記平均色バーを生成することを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記回転補正された画像データに含まれる赤色成分を検出する赤色検出手段と、前記赤色検出手段による検出結果を視覚的に表示する赤色イメージを生成する赤色イメージ生成手段と、を備え、前記画面生成手段が、前記赤色イメージ生成手段によって生成された前記赤色イメージが組み込まれた前記画面を生成することを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記画像データごとの前記回転補正に使用される回転量を視覚的に表示する回転量イメージを生成する回転量イメージ生成手段を備え、前記画面生成手段が、前記回転量イメージ生成手段によって生成された前記回転量イメージが組み込まれた前記画面を生成することを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記被検体内の臓器をイメージ化した臓器イメージを生成する臓器イメージ生成手段を備え、前記画面生成手段が、前記臓器イメージを前記画面に組み込むことを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記被検体内の臓器をイメージ化した臓器イメージであって前記平均色バー生成手段によって生成された前記平均色のイメージが重畳された前記臓器イメージを生成する臓器イメージ生成手段を備え、前記画面生成手段が、前記臓器イメージを前記画面に組み込むことを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記被検体内の臓器をイメージ化した臓器イメージであって前記赤色イメージ生成手段によって生成された前記検出結果のイメージが重畳された前記臓器イメージを生成する臓器イメージ生成手段を備え、前記画面生成手段が、前記臓器イメージを前記画面に組み込むことを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記画像データを取得する際の前記被検体内導入装置の位置を前記画像データごとの前記回転補正に使用される回転量に基づいて推定する位置推定手段を備えたことを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記回転補正された複数の画像データのうち前後する画像データ間の類似度を判定する類似度判定手段と、前記類似度判定手段による判定結果に基づいて前記回転補正された複数の画像データから所定条件を満たす回転補正後の画像データを選別する画像データ選別手段と、を備えたことを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記回転補正された複数の画像データのうち前後する画像データ間で動きベクトルを算出する動きベクトル算出手段と、前記動きベクトル算出手段によって算出された動きベクトルのうちスカラー量が最大となる値を抽出する最大スカラー量抽出手段と、前記最大スカラー量抽出手段による抽出結果に基づいて前記回転補正された複数の画像データから所定条件を満たす回転補正後の画像データを選別する画像データ選別手段と、を備えたことを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記回転補正された画像データを縮小した縮小画像を一覧表示する画面を生成する画面生成手段を備えたことを特徴としている。
 また、本発明による外部装置は、被検体内部を撮像する撮像手段を備えた被検体内導入装置で取得された画像データを入力する入力手段と、前記画像データを撮像した際の前記被検体内導入装置の基準方向に対する向きを特定する向き特定手段と、前記向き特定手段で特定された向きに基づいて前記画像データを回転補正することで複数の画像データの向きを揃える回転補正手段と、を備えたことを特徴としている。
 また、本発明による画像処理方法は、被検体内部を撮像する撮像手段を備えた被検体内導入装置で取得された画像データを入力する入力ステップと、前記画像データを撮像した際の前記被検体内導入装置の基準方向に対する向きを特定する向き特定ステップと、前記向き特定ステップで特定された向きに基づいて前記画像データを回転補正することで複数の画像データの向きを揃える回転補正ステップと、を含むことを特徴としている。
 本発明によれば、撮像時の被検体内導入装置の基準方向に対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする画像処理システム、その外部装置およびその画像処理方法を実現することが可能となる。
図1は、本発明の実施の形態1による医療システムの概略構成を示す模式図である。 図2は、本発明の実施の形態1によるカプセル型医療装置の概略内部構成を示すブロック図である。 図3は、本発明の実施の形態1によるカプセル型医療装置の概略外観を示す斜視図である。 図4は、本発明の実施の形態1による撮像ユニットにおけるCCDアレイの撮像面を含む面でカプセル型医療装置を切断した際の断面構造を示す断面図である。 図5は、本発明の実施の形態1による受信装置の概略構成例を示すブロック図である。 図6は、本発明の実施の形態1による受信装置側のアンテナの配列例を示す図である。 図7は、本発明の実施の形態1による表示装置の概略構成例を示すブロック図である。 図8は、本発明の実施の形態1により生成されるGUI画面の一例を示す図である。 図9は、本発明の実施の形態1においてカプセル型医療装置が被検体内の同一の部位を撮像することで得られた連続する画像データを示す図である。 図10は、本発明の実施の形態1により生成される平均色バーの一例を示す図である。 図11は、本発明の実施の形態1によるカプセル型医療装置の概略動作例を示すフローチャートである。 図12は、本発明の実施の形態1による受信装置の概略動作例を示すフローチャートである。 図13は、本発明の実施の形態1による表示装置の概略動作例を示すフローチャートである。 図14は、図13のステップS123における画像データの回転補正を説明するための図である。 図15は、図13のステップS127において回転補正後の画像データを用いて生成された平均色バーの一例を示す図である。 図16は、本発明の実施の形態1の変形例1-1による医療システムの概略構成を示す模式図である。 図17は、本発明の実施の形態1の変形例1-1によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図18は、本発明の実施の形態1による変形例1-1による受信装置の概略動作例を示すフローチャートである。 図19は、本発明の実施の形態1の変形例1-1の他の例によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図20は、本発明の実施の形態1の変形例1-2による医療システムの概略構成を示す模式図である。 図21は、本発明の実施の形態1の変形例1-2によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図22は、本発明の実施の形態1の変形例1-2によるカプセル型医療装置の概略動作例を示すフローチャートである。 図23は、本発明の実施の形態1の変形例1-2による受信装置の概略動作例を示すフローチャートである。 図24は、本発明の実施の形態2による医療システムの概略構成を示す模式図である。 図25は、本発明の実施の形態2によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図26は、本発明の実施の形態2によるカプセル型医療装置の概略動作例(その1)を示すフローチャートである。 図27は、本発明の実施の形態2によるカプセル型医療装置の概略動作例(その2)を示すフローチャートである。 図28は、本発明の実施の形態2による受信装置の概略動作例を示すフローチャートである。 図29は、本発明の実施の形態2の変形例2-1による医療システムの概略構成を示す模式図である。 図30は、本発明の実施の形態2の変形例2-1によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図31は、本発明の実施の形態2の変形例2-1によるカプセル型医療装置の概略動作例を示すフローチャートである。 図32は、本発明の実施の形態2の変形例2-1による受信装置の概略動作例を示すフローチャートである。 図33は、本発明の実施の形態2の変形例2-2による医療システムの概略構成を示す模式図である。 図34は、本発明の実施の形態2の変形例2-2によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図35は、本発明の実施の形態2の変形例2-2による受信装置の概略動作例を示すフローチャートである。 図36は、本発明の実施の形態3による医療システムの概略構成を示す模式図である。 図37は、本発明の実施の形態3によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図38は、本発明の実施の形態3による回転補正を説明するための図である。 図39は、本発明の実施の形態3による回転補正後の画像データを用いて生成された平均色バーの一例を示す図である。 図40は、本発明の実施の形態3の変形例3-1による医療システムの概略構成を示す模式図である。 図41は、本発明の実施の形態3の変形例3-1によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図42は、本発明の実施の形態3の変形例3-2による医療システムの概略構成を示す模式図である。 図43は、本発明の実施の形態3の変形例3-2によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図44は、本発明の実施の形態4による医療システムの概略構成を示す模式図である。 図45は、本発明の実施の形態4によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図46は、本発明の実施の形態4の変形例4-1による医療システムの概略構成を示す模式図である。 図47は、本発明の実施の形態4の変形例4-1によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図48は、本発明の実施の形態4の変形例4-2による医療システムの概略構成を示す模式図である。 図49は、本発明の実施の形態4の変形例4-2によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図50は、本発明の実施の形態5による医療システムの概略構成を示す模式図である。 図51は、本発明の実施の形態5によるカプセル型医療装置と受信装置との概略構成例を示すブロック図である。 図52は、本発明の実施の形態5によるカプセル型医療装置の概略動作例を示すフローチャートである。 図53は、本発明の実施の形態5による受信装置の概略動作例を示すフローチャートである。 図54は、本発明の実施の形態6による表示装置の概略構成例を示すブロック図である。 図55は、本発明の実施の形態6による表示装置650の概略動作例を示すフローチャートである。 図56は、本発明の実施の形態6による画面生成部が生成するGUI画面の一例を示す図である。 図57は、本発明の実施の形態6の変形例6-1による平均色バーの一例を示す図である。 図58は、本発明の実施の形態6の変形例6-2による平均色バーの一例を示す図である。 図59は、本発明の実施の形態6の変形例6-3による平均色バーの一例を示す図である。 図60は、本発明の実施の形態7による表示装置の概略構成例を示すブロック図である。 図61は、本発明の実施の形態7による表示装置の概略動作例を示すフローチャートである。 図62は、本発明の実施の形態7による画面生成部が生成するGUI画面の一例を示す図である。 図63は、本発明の実施の形態7の変形例7-1による平均色バーの一例を示す図である。 図64は、本発明の実施の形態8によるGUI画面の一例を示す図である。 図65は、検体内に導入されたカプセル型医療装置の通過する管腔における部位と回転量との関係を示す図である。 図66は、本発明の実施の形態8の変形例8-1による表示装置の概略構成例を示すブロック図である。 図67は、本発明の実施の形態8の変形例8-1によるGUI画面の一例を示す図である。 図68は、本発明の実施の形態8の変形例8-3によるGUI画面の一例を示す図である。 図69は、本発明の実施の形態9による画像選別部の概略構成例を示すブロック図である。 図70は、本発明の実施の形態10によるGUI画面の一例を示す図である。 図71は、本発明の実施の形態11による表示装置の概略構成例を示すブロック図である。 図72は、本発明の実施の形態12による表示装置の概略構成例を示すブロック図である。 図73は、発明の実施の形態12によるGUI画面の一例を示す図である。
 以下、本発明を実施するための最良の形態を図面と共に詳細に説明する。なお、以下の説明において、各図は本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎず、従って、本発明は各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。また、各図では、構成の明瞭化のため、断面におけるハッチングの一部が省略されている。
<実施の形態1>
 以下、本発明の実施の形態1による医療システム1の構成および動作を、図面を用いて詳細に説明する。本実施の形態1では、被検体900内に経口にて導入され、被検体900の食道から肛門にかけて管腔902(図1参照)内を移動する途中で撮像動作を実行することで被検体900内部の画像を取得するカプセル型の被検体内導入装置(以下、カプセル型医療装置という)10を用いる場合を例に挙げて説明する。ただし、本発明はこれに限定されず、被検体900の胃や小腸や大腸などに蓄えた液体に浮かぶカプセル型医療装置を用いる場合や、カプセル型医療装置内に固定した磁石に対して体外から磁場を印加して誘導するカプセル型医療装置を用いる場合など、種々変形することが可能である。
(構成)
 図1は、本実施の形態1による医療システム1の概略構成を示す模式図である。図1に示すように、医療システム1は、例えば経口で被検体900内に導入されるカプセル型医療装置10と、このカプセル型医療装置10と無線通信を行なうことでカプセル型医療装置10との間で画像データや制御命令等を送受信する受信装置130と、受信装置130がカプセル型医療装置10から受信した画像データに所定の処理を実行して観察者へ表示する表示装置150と、を備える。なお、受信装置130と表示装置150とは、被検体900外に配置される外部装置である。
 また、受信装置130には、フラッシュメモリ(登録商標)やスマートカード(登録商標)などの携帯型記録媒体140を着脱可能である。携帯型記録媒体140には、例えばカプセル型医療装置10から受信した画像データ等が蓄積される。観察者は、携帯型記録媒体140を受信装置130から表示装置150に差し替え、携帯型記録媒体140に蓄積されている画像データの再生処理や変換処理などの所定の処理を表示装置150を用いて実行する。なお、表示装置150には、パーソナルコンピュータやワークステーション等の情報処理装置または液晶ディスプレイや有機ELディスプレイ等のディスプレイなどを用いることが可能である。
・カプセル型医療装置
 ここで、カプセル型医療装置10の概略構成例を図2~図4に示す。図2は、カプセル型医療装置10の概略内部構成を示すブロック図である。図3は、カプセル型医療装置10の概略外観を示す斜視図である。図4は、撮像ユニット11におけるCCDアレイ11aの撮像面を含む面でカプセル型医療装置10を切断した際の断面構造を示す断面図である。
 図2に示すように、カプセル型医療装置10は、被検体900内部を照明および撮像する撮像ユニット11と、撮像ユニット11で生成された画像に対する処理やその他の各種処理を実行する処理ユニット12と、処理ユニット12で処理された画像データ等を格納するメモリユニット13と、受信装置130との間で信号の送受信を行う送受信ユニット14およびアンテナ15aと、カプセル型医療装置10内部へ電力を供給する1つ以上のバッテリ16と、を備える。
 撮像ユニット11、処理ユニット12、メモリユニット13、送受信ユニット14およびバッテリ16は、容器18aとキャップ18bとよりなる水密性の筐体18内部に収容される。ここで図3に示すように、容器18aは、一方の端が半球状のドーム形状をしており他方の端が開口された略円筒形状または半楕円球状の形状を有する。一方、キャップ18bは、半球形状を有し、容器18aの開口に嵌められることで筐体18内を水密に封止する。また、少なくともキャップ18bは、透明な樹脂等で形成されている。
 撮像ユニット11は、被検体900内を撮像する撮像手段であり、被検体900内部を照明するLED11cと、受光素子であるCCD(Charge Coupled Device)がマトリクス状に配列されたCCDアレイ11aと、CCDアレイ11aの受光面側に配置された対物レンズ11bと、LED11cを駆動する駆動回路(不図示)およびCCDアレイ11aを駆動する駆動回路(不図示)と、を含む。撮像ユニット11は、定期的(例えば1秒に2回)に動作することで、被検体900内部を撮像して画像データを生成する。また、生成された画像データは、駆動回路によって読み出され、処理ユニット12へ略リアルタイムに入力される。
 処理ユニット12は、入力された画像データに対して所定の信号処理を実行し、処理後の画像データを送受信ユニット14に入力する。送受信ユニット14は、主として、撮像ユニット11によって撮像された画像データを外部の受信装置130へ出力する出力手段として機能する。したがって、処理ユニット12によって所定の信号処理がなされた画像データは、その後、送受信ユニット14からアンテナ15aを介して受信装置130へ略リアルタイムに無線送信される。ただし、これに限定されず、所定の画像信号処理がなされた画像データをメモリユニット13に蓄積しておき、被検体900からカプセル型医療装置10を取り出した後に、メモリユニット13から画像データを取り出すように構成しても良い。なお、送信/蓄積される画像データには、撮像時刻や撮像タイミングなどが分かるように、例えば処理ユニット12によってタイムスタンプが付加されることが好ましい。
 LED11cおよびCCDアレイ11aは、図1、図3および図4に示すように、照明/撮像方向Drが透明なキャップ18bを介して筐体18の外へ向くように、筐体18内部に配置される。CCDアレイ11aは、筐体18の長手方向に対して垂直な断面の略中央に配置される。一方、複数のLED11cは、上記断面内でCCDアレイ11aを取り囲むように点または線対称に配置される。ここで本実施の形態1では、CCDアレイ11aの受光面と平行な面内におけるある方向をカプセル型医療装置10の規定方向Uiとする。ここでは、説明の明確化のため、ある方向を、例えばCCDアレイ11aの受光面の中心Cを通り且つこのCCDアレイ11aが生成した画像をそのまま例えば表示装置150に表示した場合に画面上で上方向となる方向とする。したがって、本説明では、CCDアレイ11aから読み出した画像データをそのまま表示装置150に表示した場合、規定方向Uiと画面(図8参照)における上方向Duとが一致する。
 また、カプセル型医療装置10のアンテナ15aには、例えば指向性を備えたアンテナが使用される。本実施の形態1では、アンテナ15aとしてループアンテナを用いる。ただし、これに限定されず、ある基準(本実施の形態1では例として被検体900の頭と足とを結ぶ方向:以下、これを基準方向Dsとする)に対するアンテナ15aの向きを信号源であるカプセル型医療装置10のアンテナ15aから発せられた電磁波(以降、電磁波には電波も含む)の各観測点であるアンテナ120での位相や強度等に基づき検出することが可能なアンテナであれば如何なるものも適用することが可能である。
 この指向性を備えたアンテナ15aは、筐体18内部に固定される。この際、アンテナ15aのループの中心線(アンテナ15aが発する電磁波の電界分布形状の対称軸に相当)とカプセル型医療装置10の長手方向とが平行とならないように、アンテナ15aが筐体18内部に固定される。これにより、カプセル型医療装置10が長手方向の中心線を軸として回転した場合でも、基準方向Dsに対するカプセル型医療装置10の規定方向Uiの向きを受信装置130に複数の観測点における電磁波の位相や強度等に基づいて特定させることが可能となる。
 なお、指向性を備えたアンテナ15aの中心線の向きは、規定方向Uiの向きと一致させることが好ましい。これにより、アンテナ15aの基準方向Dsに対する向きを規定方向Uiの基準方向Dsに対する向きとして直接的に用いることが可能となるため、後述する受信装置130における処理を軽くすることができる。
・受信装置
 また、カプセル型医療装置10から無線送信された画像データは、図1および図6に示すように、被検体900の体表に配設された複数のアンテナ120a~120i(以下、任意のアンテナ120a~120iの符号を120とする)によって受信され、被検体900外に配置された受信装置130にケーブル121を介して入力される。ここで、本実施の形態1による受信装置130の概略構成例を図5のブロック図に示す。
 図5に示すように、受信装置130は、カプセル型医療装置10との間でアンテナ120を介して信号の送受信を行う送受信回路131と、送受信回路131から入力された信号(特に画像データ)に所定の処理を実行する信号処理回路132と、所定の処理がなされた画像データ等を蓄積するメモリ134と、カプセル型医療装置10や受信装置130への各種操作や指示を観察者に入力させるGUI(Graphical User Interface)機能を実現する操作部135および表示部136と、を備える。この送受信回路131は、カプセル型医療装置10のアンテナ15aから送信された電磁波の各アンテナ120a~120iでの位相を検出する位相検出手段としての機能も備える。また、送受信回路131には、カプセル型医療装置10のアンテナ15aから送信された電磁波の各アンテナ120a~120iでの強度を検出する強度検出手段として、例えば各アンテナ120における受信電磁波の強度を検出するRSSI(Received Signal Strength Indicator)回路131aを備える。すなわち、送受信回路131は、カプセル型医療装置10のアンテナ15aから送信された電磁波の各アンテナ120a~120iでの強度および位相を検出する強度/位相検出手段としても機能する。
 また、受信装置130は、送受信回路131で検出された各アンテナ120での電磁波の位相とRSSI回路131aで検出された各アンテナ120での強度とから電磁波の空間的な広がり(電界分布)を推定してカプセル型医療装置10のアンテナ15aの基準方向Dsに対する向き(すなわち規定方向Uiの基準方向Dsに対する向き)を特定する向き特定手段として機能するCPU133を備える。
 すなわち、本実施の形態1では、カプセル型医療装置10のアンテナ15aが基準方向Dsに対するカプセル型医療装置10の向き(すなわち規定方向Uiの傾き)を特定するための向き検出用の標識(本例では電磁波)を発する信号源として機能し、アンテナ120が上記信号源(アンテナ15a)から発せられた向き検出用の標識(電磁波)を観測する観測点として機能し、受信装置130のCPU133が、上記観測点(アンテナ120)で観測された向き検出用の標識(電磁波)の強度や位相から基準方向Dsに対するカプセル型医療装置10の向き(すなわち規定方向Uiの傾き)を特定する向き特定手段として機能する。なお、電磁波を用いたカプセル型医療装置10の向きの特定には、例えば、最小二乗法を用いた反復演算による収束計算を用いることができる。
 複数のアンテナ120a~120iは、例えばダイポールアンテナやループアンテナ等で構成され、例えば図6に示すように、被検体900が着用可能なジャケット122に固定される。ただし、アンテナ120の個数および配置パターンならびにアンテナ120の固定先は、図6に示すものに限定されず、信号源であるカプセル型医療装置10のアンテナ15aから放出された電磁波(向き検出用の標識)の空間的な広がり(電界分布)を観測点であるアンテナ120で観測された電磁波(向き検出用の標識)の強度や位相等に基づいてCPU133に推定/特定させることが可能な個数および配置パターンであって、被検体900に対して実質的に固定された状態を可能にする固定対象であれば、如何様にも変形することが可能である。なお、本説明では、アンテナ120の個数を少なくとも2つとする。
 CPU133によって特定された規定方向Uiの基準方向Dsに対する向きの情報(以下、向きデータという)は、同時または同時期にカプセル型医療装置10から受信した画像データと対応付けてメモリ134に一時格納される。なお、このメモリ134は、画像データを一時的に保存するバッファとして機能する。
 メモリ134に格納された画像データおよび向きデータは、その後、インタフェース(I/F)部137を介して携帯型記録媒体140に蓄積されるか、インタフェース(I/F)部137から通信ケーブル159を介して表示装置150へ略リアルタイムに送信される。なお、インタフェース部137は、例えばUSB(Universal Serial Bus)インタフェースや、LAN(Local Area Network)等に用いられる通信インタフェースなど、データの入出力方式に応じて種々変形することが可能である。
・表示装置
 表示装置150は、上述したように、パーソナルコンピュータやワークステーション等の情報処理装置または液晶ディスプレイや有機ELディスプレイ等のディスプレイなどで構成される。表示装置150は、図1および図7に示すように、表示装置150内部の動作やデータの入出力を制御する制御部151と、携帯型記録媒体140または通信ケーブル159を介してインタフェース部152より入力された画像データおよび向きデータ等を一時格納するメモリ部153と、入力された画像データに所定の処理を実行して観察者へ提供する画面を生成する画像処理部154と、画像処理部154が生成した画面を表示する表示部155と、観察者が表示部155に表示された画面に基づいて各種指示を入力する入力部156と、を備える。なお、図7は、本実施の形態1による表示装置150の概略構成例を示すブロック図である。
 インタフェース部152は、カプセル型医療装置10から受信装置130を経由して画像データ(向きデータを含む)を入力する入力手段として機能する。インタフェース部152から入力された画像データおよび向きデータは、制御部151を介して一時的にメモリ部153に格納される。その後、画像データおよび向きデータは、画像処理部154に適宜入力され、所定の処理がなされる。処理がなされた画像データは、例えばメモリ部153に再度格納されてもよい。
 画像処理部154は、入力された画像データおよび向きデータに対して後述する所定の処理を実行し、その後、処理した画像データを用いて観察者へ提供するGUI画面を生成する。生成されたGUI画面は、制御部151を介して表示部155へ入力されて表示部155に表示される。表示部155および入力部156は、表示中のGUI画面を用いたGUI機能を観察者へ提供する。観察者は、マウスやキーボード等の入力部156から各種操作を入力して目的の機能を選択し、所望する画像を表示部155に表示/再生する。また、観察者は、表示/再生した画像を読像することで、被検体900内部を診断する。
 ここで、画像処理部154について、より詳細に説明する。図7に示すように、画像処理部154は、画像データを回転補正する回転補正部154aと、画像データの特徴点を抽出する特徴点抽出部154bと、特徴点抽出部154bが抽出した特徴点に基づいて画像データを選別する画像選別部154cと、選別された画像データを用いて平均色バー60を生成する平均色バー生成部154dと、選別された画像データおよび平均色バー60を用いてGUI画面を生成する画面生成部(画面生成手段)154eと、を含む。
 回転補正部154aは、向き特定手段であるCPU133によって特定されたカプセル型医療装置10の向きに基づいて対応する画像データを回転補正する回転補正手段であり、画面の上方向Du(図8参照)に対する各画像の基準方向Dsの表示面上での傾き(以下、単に回転量という)が複数の画像間で一致するように、画像データを回転補正する。なお、本実施の形態1では、全ての画像で基準方向Dsと画面の上方向Duとが一致するように、各画像データを回転補正する。回転補正時の補正量(すなわち回転量)は、基準方向Dsに対する各画像データの規定方向Uiの表示面上での傾きから特定することが可能である。すなわち、CCDアレイ11aの受光面と平行な面において、規定方向Uiが基準方向Dsに対してどの程度回転しているかを特定することで、回転補正に用いる回転量(補正量)を特定することができる。言い換えれば、基準方向Dsを受光面に対して投影し、投影後の基準方向Dsに対する規定方向Uiの角度を求めることで、回転補正に用いる回転量Aを特定することが可能である。回転補正部154aは、特定した回転量に従って画像データを回転補正することで、画像データ中の基準方向Dsを画面の上方向Duに一致させる。これにより、被写体として撮像された画像中の部位の向きを複数の画像間で一致させることが可能となる。なお、回転補正後の画像データは、選別されるか否かに関わらず、例えばメモリ134等に保持されてもよい。
 また、特徴点抽出部154bは、回転補正後の各画像データ(すなわち、フレームごと)の特徴点を抽出し、これを抽出結果として画像選別部154cに入力する。
 画像選別部154cには、回転補正後の画像データも入力される。画像選別部154cは、特徴点抽出部154bから入力された特徴点の抽出結果に基づいて、シーンチェンジが生じた画像データや特異な形状が含まれる画像データを選別し、これを平均色バー生成部154dおよび画面生成部154eにそれぞれ入力する。
 平均色バー生成部154dは、回転補正された画像データの平均色を算出し、算出した平均色のイメージを生成し、生成した平均色のイメージを画像データ間の順序性に従って繋ぎ合わせることで平均色バー60を生成する平均色バー生成手段として機能する。なお、本実施の形態では、平均色バー生成部154dは、画像選別部154cによって選別された画像データを用いて平均色バーを生成する。平均色バー生成部154dの動作およびこれが生成する平均色バー60の詳細については、後述において説明する。
 画面生成部154eは、例えば図8に例示するようなGUI画面を生成する。図8に示すように、画像処理部154において生成されるGUI画面には、患者情報g11と診察情報g12と主画像表示領域g13と副画像表示領域g14と再生制御ボタンg15と平均色バー60とが組み込まれる。観察者は、マウス等の入力部156を操作して再生制御ボタンg15を選択することで、主画像表示領域g13に表示される画像を切り替える。また、例えば観察者から画像再生の停止ボタン(再生制御ボタンg15中の『||』ボタン)が選択された場合、副画像表示領域g14には、主画像表示領域g13に表示中の画像を中心に、これに前後する画像の縮小画像が表示される。なお、主画像表示領域g13における矢印Du方向が、画面の上方向Duである。
 さらに、副画像表示領域g14には、スクロールバーg14sおよびスライダg14aが隣接して配置される。スクロールバーg14sは、連続して撮像された画像の撮像タイミングの時間軸とリンクしている。したがって、観察者は、スライダg14aをスクロールバーg14sに沿って移動することで、副画像表示領域g14に表示される縮小画像をスライドさせることが可能となる。
 また、平均色バー60は、各画像の特徴となる色を簡略的に示すイメージを選別された全ての画像データに亘って生成し、このイメージを時間軸t(図10または図15参照)に沿って並べることで生成されたGUIである。なお、時間軸に沿ってイメージを並べるということは、結果的に、カプセル型医療装置10の管腔902内の移動軌跡に沿ってイメージを並べるということである。各画像の特徴となる色(平均色)は、例えば対象画像を縦方向に複数(例えば4つ)に分割し、各分割領域中の特徴点の色を平均化して得ることができる。したがって、観察者は、平均色バー60を読影することで、管腔902におけるどの辺りに注目すべき部位が存在するかを目視により確認することが可能となる。
 また、平均色バー60には、主画像表示領域g13に、現在、時間軸上におけるどの位置の画像データが表示されているかを示すスライダg16aが表示される。また、観察者は、例えば入力部156におけるマウス等を用いてスライダg16aを移動させることで、主画像表示領域g13に表示する画像データを時間軸上における目的の位置の画像データに切り替えることができる。
(動作)
 ただし、上述したように、カプセル型医療装置10の被検体900体内での姿勢は自由である。したがって、カプセル型医療装置10は、様々な方向に回転しながら被検体900の管腔内をこれの蠕動運動によって受動的に移動する。例えば図9(a)~図9(c)に示す例では、第1の撮像タイミングで撮像された画像データIm11における基準方向Dsと規定方向Uiとが同一方向であったとすると、連続する次のタイミングである第2の撮像タイミングで撮像された画像データIm12における規定方向Uiが基準方向Dsに対して90°の傾きを持ち、さらに連続する次のタイミングで撮像された画像データIm13における第3の撮像タイミングでは規定方向Uiが基準方向Dsに対して180°の傾きを持つ。すなわち、図9(a)から図9(c)にかけて、カプセル型医療装置10が長手方向の対称軸を中心として90°ずつ回転している。したがって、図9(d)~図9(f)に示すように、カプセル型医療装置10によって取得された画像データIm11~Im13の規定方向Uiは、基準方向Dsに対して90°ずつ回転してしまう。この結果、図9(d)~図9(f)に示すように、画面中に表示される画像データIm11~Im13の基準方向Dsが、画面の上方向Duに対して90°ずつ回転してしまう。このように画像データの基準方向Dsが画面の上方向Duに対して任意に回転してしまうと、第1の撮像タイミングで撮像された画像データIm11では分割領域A1~A4のうち分割領域A3に含まれていた特徴となる部位p1が、第2の撮像タイミングで撮像された画像データIm12では分割領域A1およびA2の2つの領域に跨がり、第3の撮像タイミングで撮像された画像データIm13では分割領域A2に含まれるというケースが生じてしまう。なお、図9は、被検体900内の同一の部位p1をカプセル型医療装置10が撮像することで得られた時間的に連続する画像データIm11~Im13を示す図である。
 図9に例示するように同一部位p1を撮像して得られた画像データの規定方向Uiが基準方向Dsに対して互いに異なる方向を向いていると、この画像データIm11~Im13を用いて生成した平均色バー60に示される部位p1の位置が、図10に示すように、横並びの位置とならずにバラバラな位置となってしまったり(図10の領域P1~P3参照)、異なる分割領域に跨がることで色の濃さが低下してしまったり(図10の領域P2aおよびP2b参照)などのケースが生じる。なお、図10は、本実施の形態1により生成される平均色バー60の一例を示す図である。また、図10において、領域P1、P2aおよびP2b、P3は、それぞれ同一の部位p1を含む分割領域(A3、A1およびA2、A2)の特徴的な色を平均化して得られたイメージである。
 そこで、以下に、上述のようなケースの発生を解消することが可能な本実施の形態1による医療システム1の動作を、図面を用いて詳細に説明する。本実施の形態1では、上述したように、各画像の基準方向Dsを画面の上方向Duに一致するように各画像データを表示面上で2次元的に回転補正する。
 図11は、本実施の形態1によるカプセル型医療装置10の概略動作例を示すフローチャートである。図12は、本実施の形態1による受信装置130の概略動作例を示すフローチャートである。また、図13は、本実施の形態1による表示装置の概略動作例を示すフローチャートである。
 図11に示すように、カプセル型医療装置10は、起動後、定期的(例えば時間T(=0.5秒)間隔)に撮像動作を実行することで、画像データを取得する(ステップS101~S102)。続いて、カプセル型医療装置10は、画像データを取得した時刻を取得し(ステップS103)、この時刻をタイムスタンプとして画像データに付加する(ステップS104)。次にカプセル型医療装置10は、タイムスタンプが付加された画像データを無線信号として送信し(ステップS105)、ステップS101に帰還する。このように動作することで、カプセル型医療装置10から定期的に画像データが受信装置130へ無線送信される。なお、図11に示すカプセル型医療装置10の動作は、カプセル型医療装置10内のバッテリ16の電力が無くなるまで継続される。
 一方、受信装置130は、図12に示すように、例えば常時、カプセル型医療装置10から画像データを受信したか否かを監視し(ステップS111のNo)、画像データを受信した場合(ステップS111のYes)、ステップS111の画像データの受信時に送受信回路131で検出された各アンテナ120での電磁波(向き検出用の標識)の位相とRSSI回路131aで検出された各アンテナ120での強度とから電磁波の空間的な広がり(電界分布)を推定してカプセル型医療装置10の基準方向Dsに対する向き(すなわち規定方向Uiの基準方向Dsに対する向き)をCPU133において特定し、これを向きデータとして生成する(ステップS112)。
 次に受信装置130は、CPU133において生成した向きデータをステップS111で受信した画像データに付加し(ステップS113)、この結果、向きデータおよびタイムスタンプが付加された画像データをインタフェース部137より携帯型記録媒体140に保存するか、もしくは、インタフェース部137から通信ケーブル159を介して表示装置150へ送信する(ステップS114)。その後、受信装置130は、動作を継続するか否か、例えば操作部135から動作の終了指示が入力されたか否かを判定し(ステップS115)、動作を継続する場合(ステップS115のYes)、ステップS111へ帰還して、次の画像データの受信を待機する。一方、動作を継続しない場合(ステップS115のNo)、当該動作を終了する。
 また、表示装置150は、図13に示すように、受信装置130から携帯型記録媒体140または通信ケーブル159を介して1つ以上の画像データを入力すると(ステップS121)、この画像データを画像処理部154に入力する。画像処理部154は、入力された画像データを順次1つずつ選択し(ステップS122)、この画像データおよびこれに付加された向きデータを回転補正部154aに入力する。回転補正部154aは、入力された画像データに付加されている向きデータを用いて画像データを表示面上で2次元的に回転補正することで、画像データの基準方向Dsを画面の上方向Duに一致させる(ステップS123)。なお、ステップS122およびステップS123の動作は、ステップS121において入力された全ての画像データを回転補正するまで(ステップS124のYes)繰り返される(ステップS124のNo)。また、回転補正後の画像データは、順次、回転補正部154aから特徴点抽出部154bおよび画像選別部154cに入力される。
 回転補正後の画像データが入力された特徴点抽出部154bは、この画像データに含まれる特徴点を抽出する(ステップS125)。なお、抽出された特徴点は、画像選別部154cに入力される。
 画像選別部154cは、ステップS124の結果として回転補正部154aから入力された回転補正後の画像データとステップS125の結果として特徴点抽出部154bから入力された特徴点抽出結果とに基づき、複数の画像データの中から所定の条件を満たす画像データを選別する(ステップS126)。例えば画像選別部154cは、前回の画像データの特徴点に対して特徴点が大きく異なる画像データを選別する。なお、選別された画像データは、平均色バー生成部154dおよび画面生成部154eにそれぞれ入力される。また、閾値は、例えばシーンチェンジが生じた画像データや特異な形状が含まれる画像データを選別するための値である。この閾値は、経験や実験やシミュレーション等によって予め求めておくことが可能である。
 平均色バー生成部154dは、選別された回転補正後の全ての画像データから時系列に沿って各画像の概略イメージを一目可能にさせる平均色バー60のイメージを生成する(ステップS127:平均色バー生成処理)。なお、ステップS123における回転補正の一例およびステップS127において生成される平均色バー60の一例については、後述において図14および図15を用いて詳細に説明する。また、生成された平均色バー60のイメージは、画面生成部154eに入力される。
 平均色バー60のイメージおよび選別された画像データが入力された画面生成部154eは、この平均色バー60のイメージおよび選別された画像データを用いて図8に示すようなGUI画面を生成する画面生成処理を実行し(ステップS128)、その後、処理を終了する。なお、生成されたGUI画面は、制御部151を介して表示部155に入力されて、観察者へ表示される。この結果、観察者にGUI画面および入力部156を用いたGUI機能が提供される。
 ここで、図14および図15を用いて、ステップS123における回転補正の一例およびステップS127において生成される平均色バー60の一例を説明する。図14は、図13のステップS123における画像データの回転補正を説明するための図である。図15は、図13のステップS127において回転補正後の画像データを用いて生成された平均色バー60の一例を示す図である。なお、図14(a)~図14(c)に示す画像データIm11~Im13は、図9に示す画像データIm11~Im13に相当する。
 図14(a)に示すように、第1の撮像タイミングで取得された画像データIm11では、規定方向Uiと基準方向Dsとが一致する。このため、画像データIm11に対する回転補正時の回転量(補正量)Aは0°となる。また、図14(b)に示すように、第2の撮像タイミングで取得された画像データIm12では、基準方向Dsに対する規定方向Uiの角度が90°である。したがって、画像データIm12に対する回転補正時の回転量(補正量)Aは90°となる。さらに、図14(c)に示すように、第3の撮像タイミングで取得された画像データIm13では、基準方向Dsに対する規定方向Uiの角度が180°である。したがって、画像データIm13に対する回転補正時の回転量(補正量)Aは180°となる。回転補正部154aおよびステップS123では、このようにして求められた回転量(補正量)Aを用いて画像データを回転補正することで、図14(d)~図14(f)に示すように、各画像データIm21~Im23の基準方向Dsを画面の上方向Duに一致させる。
 上記のような回転補正の結果、図14(d)~図14(f)に示すように、各画像データIm21~画像データIm23中の同一の部位p1は、同一の分割領域A3に含まれるようになる。これにより、図15に示すように、回転補正後の画像データIm21~Im23を用いて生成された平均色バー60における同一の部位p1を含む領域P21~P23の位置を、分割領域A3に横並びに配置することが可能となる。なお、図14(d)は、図14(a)の画像データIm11を回転補正することで得られた画像データIm21を示し、図14(e)は、図14(b)の画像データIm12を回転補正することで得られた画像データIm22を示し、図14(f)は、図14(c)の画像データIm13を回転補正することで得られた画像データIm23を示す。
 以上のように本実施の形態1では、撮像時のカプセル型医療装置10の基準方向Dsに対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム1およびその画像処理方法を実現することが可能となる。
 なお、本実施の形態1では、画像データの回転補正(図13のステップS123参照)を表示装置150において実行したが、本発明はこれに限定されず、受信装置130において実行するなど、種々変形することが可能である。
(変形例1-1)
 また、本実施の形態1による医療システム1では、信号源に電磁波の発生源(アンテナ15a)を用いた場合を例に挙げたが、本発明はこれに限定されず、信号源を磁界の発生源とすることも可能である。以下、この場合を本発明の実施の形態1の変形例1-1として、図面を用いて詳細に説明する。ただし、以下の説明において、上記実施の形態と同様の構成については、説明の簡略化のため、同一の符号を付し、その説明を省略する。
 図16は、本変形例1-1による医療システム1Aの概略構成を示す模式図である。図17は、本変形例1-1によるカプセル型医療装置10Aと受信装置130Aとの概略構成例を示すブロック図である。
 図16に示すように、医療システム1Aは、図1に示す医療システム1と比較して、カプセル型医療装置10がカプセル型医療装置10Aに、受信装置130が受信装置130Aに、それぞれ置き換えられる。さらに、医療システム1Aは、受信装置130Aにケーブル124を介して接続された磁気センサ123aおよび123bを備える。
 カプセル型医療装置10Aは、図17に示すように、図5に示すカプセル型医療装置10と同様の構成に加え、永久磁石17aを備える。
 永久磁石17aは、被検体900外部にまで到達する磁界を形成するための磁界形成手段であり、基準方向Dsに対するカプセル型医療装置10Aの向き(すなわち規定方向Uiの傾き)を特定するための向き検出用の標識(本例では磁界)を発する信号源として機能する。この永久磁石17aは、筐体18に固定されている。ただし、永久磁石17aに限定されず、コイル等、被検体900外部にまで到達する磁界を形成することが可能なものであれば如何なるものも適用することが可能である。
 また、永久磁石17aは、その磁極の方向が規定方向Uiの向きと一致するように筐体18内に固定されることが好ましい。これにより、永久磁石17aの基準方向Dsに対する向きを規定方向Uiの基準方向Dsに対する向きとして直接的に用いることが可能となるため、後述する受信装置130Aにおける処理を軽くすることができる。
 一方、受信装置130Aは、図17に示すように、図5に示す受信装置130と同様の構成に加え、被検体900の体表(例えばジャケット122等)に固定された複数の磁気センサ123aおよび123bと、磁気センサ123aおよび123bから読み出された検出信号に所定の信号処理を実行する信号検出回路131Aと、を備える。
 磁気センサ123aおよび123bは、例えば中心軸がx軸、y軸およびz軸のそれぞれを向く3つのコイルが組み合わされた3軸磁気センサであり、信号源である永久磁石17aから発せられた向き検出用の標識(本例では磁界)を観測する磁界検出手段としての観測点として機能する。ただし、これに限定されず、例えば磁気抵抗素子や磁気インピーダンス素子(MI素子)やホール素子などよりなる3軸磁気センサで構成することも可能である。
 また、磁気センサ123aおよび123bの個数および配置パターンならびに磁気センサ123aおよび123bの固定先は、被検体900内に導入されたカプセル型医療装置10Aの永久磁石17aが形成する磁界の空間的な広がり(磁界分布)をCPU133Aに推定/特定させることが可能な個数および配置パターンであって、被検体900に対して実質的に固定された状態を可能にする固定対象であれば、如何様にも変形することが可能である。なお、本説明では、磁気センサ123aおよび123bの個数を少なくとも2つとする。
 磁気センサ123aおよび123bで検出された電位変化は、受信装置130Aの信号検出回路131Aによって検出信号としてケーブル124を介して読み出される。信号検出回路131Aは、読み出した信号にFFT(高速フーリエ変換)等の処理を施した後、これをCPU133Aに入力する。
 CPU133Aは、上記した実施の形態1におけるCPU133と同様に、上記観測点(磁気センサ123aおよび123b)で観測された向き検出用の標識(磁界)の強度や向きから基準方向Dsに対するカプセル型医療装置10Aの向き(すなわち規定方向Uiの傾き)を特定する向き特定手段として機能する。すなわち、CPU133Aは、信号検出回路131Aから入力された各磁気センサ123aおよび123bにおける検出信号の磁界強度や磁力線の向き等から磁界の空間的な広がり(磁界分布)を推定してカプセル型医療装置10Aの基準方向Dsに対する向き(すなわち規定方向Uiの基準方向Dsに対する向き)を特定する。また、CPU133Aによって特定された規定方向Uiの基準方向Dsに対する向きの情報(向きデータ)は、上記実施の形態と同様に、同時または同時期にカプセル型医療装置10Aから受信した画像データと対応付けてメモリ134に一時格納される。なお、永久磁石17aが形成した磁界の強度および向きは、例えばカプセル型医療装置10A(すなわち永久磁石17a)が移動する際の磁界分布の変化により検出することが可能である。
 このように、本変形例1-1では、信号源に永久磁石17aを用い、観測点に複数の磁気センサ123aおよび123bを用いて、規定方向Uiの基準方向Dsに対する向きを示す向きデータを生成する。なお、他の構成は、上記各実施の形態(その変形例を含む)のいずれかと同様である。
 次に、本変形例1-1による医療システム1Aの動作について、図面を用いて詳細に説明する。なお、本変形例1-1におけるカプセル型医療装置10Aおよび表示装置150の動作は、上記実施の形態1と同様であるため、本説明では、受信装置130Aの動作について、以下に説明する。図18は、本変形例1-1による受信装置130Aの概略動作例を示すフローチャートである。
 図18に示すように、受信装置130Aは、例えば常時、カプセル型医療装置10Aから画像データを受信したか否かを監視し(ステップS111-1のNo)、画像データを受信した場合(ステップS111-1のYes)、信号検出回路131Aを用いて磁気センサ123aおよび123bから検出信号を読み出して所定の信号処理を実行し(ステップS112-1)、続いて、信号処理後の検出信号の磁界強度や磁力線の向き等から磁界の空間的な広がり(磁界分布)を推定してカプセル型医療装置10Aの基準方向Dsに対する向き(すなわち規定方向Uiの基準方向Dsに対する向き)をCPU133Aにおいて特定し、これを向きデータとして生成する(ステップS113-1)。
 次に受信装置130Aは、上記実施の形態1において図12を用いて説明した動作と同様に、CPU133Aにおいて生成した向きデータをステップS111-1で受信した画像データに付加し(ステップS114-1)、この結果、向きデータおよびタイムスタンプが付加された画像データをインタフェース部137より携帯型記録媒体140に保存するか、もしくは、インタフェース部137から通信ケーブル159を介して表示装置150へ送信する(ステップS115-1)。その後、受信装置130Aは、動作を継続するか否か、例えば操作部135から動作の終了指示が入力されたか否かを判定し(ステップS116-1)、動作を継続する場合(ステップS116-1のYes)、ステップS111-1へ帰還して、次の画像データの受信を待機する。一方、動作を継続しない場合(ステップS116-1のNo)、当該動作を終了する。
 以上のように構成および動作することで、本変形例1-1では、上記実施の形態1と同様に、撮像時のカプセル型医療装置10Aの基準方向Dsに対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム10Aおよびその画像処理方法を実現することが可能となる。
 なお、本変形例1-1では、信号源に永久磁石17aを用いた場合を例に挙げたが、本発明はこれに限定されず、例えば図19のカプセル型医療装置10A’に示すように、信号源に所定の共振周波数で自発的または誘導されて誘導磁界を発生するLC共振回路17b(磁界形成手段)を用いることも可能である。なお、図19は、本変形例1-1の他の例によるカプセル型医療装置10A’と受信装置130Aとの概略構成例を示すブロック図である。
 また、例えば自発的に誘導磁界を発生する場合(これをアクティブ方式とする)、LC共振回路17bには、略共振周波数の電流信号が例えば処理ユニット12(信号生成手段)から入力される。一方、例えば外部磁界に誘導されて誘導磁界を発生する場合(これをパッシブ方式とする)、カプセル型医療装置10A’が導入される検出空間内に、LC共振回路17bの共振周波数と略等しい周波数の磁界(駆動磁界)が形成される。CPU133Aは、各磁気センサ123aおよび123bから読み出された検出信号が示す磁界の向きおよび強度(すなわち、各磁気センサ123aおよび123bの位置での磁界の向きおよび強度)に基づいて、カプセル型医療装置10A’の基準方向Dsに対する向きを特定し、これから向きデータを生成する。
(変形例1-2)
 また、上記実施の形態1における信号源には、超音波の発生源を用いることも可能である。以下、この場合を本発明の実施の形態1の変形例1-2として、図面を用いて詳細に説明する。ただし、以下の説明において、上記実施の形態およびその変形例のいずれかと同様の構成については、説明の簡略化のため、同一の符号を付し、その説明を省略する。
 図20は、本変形例1-2による医療システム1Bの概略構成を示す模式図である。図21は、本変形例1-2によるカプセル型医療装置10Bと受信装置130Bとの概略構成例を示すブロック図である。
 図20に示すように、医療システム1Bは、図1に示す医療システム1と比較して、カプセル型医療装置10がカプセル型医療装置10Bに、受信装置130が受信装置130Bに、それぞれ置き換えられる。さらに、医療システム1Bは、受信装置130Bにケーブル126を介して接続された音響センサ125aおよび125bを備える。
 図21に示すように、カプセル型医療装置10Bは、図5に示すカプセル型医療装置10と同様の構成に加え、少なくとも2つの圧電素子17cおよび17dを備える。
 圧電素子17cおよび17dは、被検体900内を伝搬して外表まで到達する超音波を発生するための超音波発生手段であり、基準方向Dsに対するカプセル型医療装置10Bの向き(すなわち規定方向Uiの傾き)を特定するための向き検出用の標識(本例では超音波)を発する信号源として機能する。
 この圧電素子17cおよび17dは、それぞれ、筐体18の水密性を維持しつつ一部が筐体18外部に露出する筐体18に固定されている。ただし、圧電素子17cおよび17dに限定されず、超音波源となり得るものであれば如何なるものも適用することが可能である。
 また、圧電素子17cおよび17dは、規定方向Uiの向きと一致するように筐体18内に固定された状態で配列されることが好ましい。これにより、圧電素子17cおよび17dの配列方向の基準方向Dsに対する向きを規定方向Uiの基準方向Dsに対する向きとして直接的に用いることが可能となるため、後述する受信装置130Bにおける処理を軽くすることができる。
 一方、受信装置130Bは、図21に示すように、図5に示す受信装置130と同様の構成に加え、被検体900の体表(例えばジャケット122等)に固定された複数の音響センサ125aおよび125bと、音響センサ125aおよび125bから読み出された検出信号に所定の信号処理を実行する信号検出回路131Bと、を備える。
 音響センサ125aおよび125bは、例えばマイクロフォンを用いて構成され、信号源である複数の圧電素子17cおよび17dから発せられた向き検出用の標識(本例では超音波)をそれぞれ観測する超音波検出手段としての観測点として機能する。ただし、これに限定されず、例えば圧電素子などで構成することも可能である。
 また、音響センサ125aおよび125bの個数および配置パターンならびに音響センサ125aおよび125bの固定先は、被検体900内に導入されたカプセル型医療装置10Bの圧電素子17cおよび17dが発生した超音波の複数の観測点(音響センサ125aおよび125b)での強度および位相よりCPU133Bにカプセル型医療装置10Bの向きを推定/特定させることが可能な個数および配置パターンであって、被検体900に対して実質的に固定された状態を可能にする固定対象であれば、如何様にも変形することが可能である。なお、本説明では、音響センサ125aおよび125bの個数を少なくとも2つとする。
 音響センサ125aおよび125bに発生した電位変化は、受信装置130Bの信号検出回路131Bによって検出信号としてケーブル126を介して読み出される。信号検出回路131Bは、読み出した信号にFFT(高速フーリエ変換)等の処理を施した後、これをCPU133Bに入力する。
 CPU133Bは、上記した実施の形態1におけるCPU133と同様に、上記観測点(音響センサ125aおよび125b)で観測された向き検出用の標識(超音波)の強度や位相から基準方向Dsに対するカプセル型医療装置10Bの向き(すなわち規定方向Uiの傾き)を特定する向き特定手段として機能する。すなわち、CPU133Bは、信号検出回路131Bから入力された各音響センサ125aおよび125bにおける検出信号の位相や強度等から超音波の空間的な広がり(超音波分布)を推定してカプセル型医療装置10Bの基準方向Dsに対する向き(すなわち規定方向Uiの基準方向Dsに対する向き)を特定する。また、CPU133Bによって特定された規定方向Uiの基準方向Dsに対する向きの情報(向きデータ)は、上記実施の形態と同様に、同時または同時期にカプセル型医療装置10Bから受信した画像データと対応付けてメモリ134に一時格納される。
 このように、本変形例1-2では、信号源に複数の圧電素子17aおよび17bを用い、観測点に複数の音響センサ125aおよび125bを用いて、規定方向Uiの基準方向Dsに対する向きを示す向きデータを生成する。なお、他の構成は、上記各実施の形態(その変形例を含む)のいずれかと同様である。
 次に、本変形例1-2による医療システム1Bの動作について、図面を用いて詳細に説明する。なお、本変形例1-2における表示装置150の動作は、上記実施の形態1と同様であるため、本説明では、カプセル型医療装置10Bおよび受信装置130Bの動作について、以下に説明する。図22は、本変形例1-2によるカプセル型医療装置10Bの概略動作例を示すフローチャートである。図23は、本変形例1-2による受信装置130Bの概略動作例を示すフローチャートである。
 図22に示すように、カプセル型医療装置10Bは、起動後、定期的(例えば時間T(=0.5秒)間隔)に撮像動作を実行することで、画像データを取得する(ステップS101-2~S102-2)。また、カプセル型医療装置10Bは、処理ユニット12において所定周波数の電圧信号を生成し、これを圧電素子17cおよび17dに入力することで、それぞれの圧電素子17cおよび17dから超音波を発生する(ステップS103-2)。続いて、カプセル型医療装置10Bは、画像データを取得した時刻を取得し(ステップS104-2)、この時刻をタイムスタンプとして画像データに付加する(ステップS105-2)。次にカプセル型医療装置10Bは、タイムスタンプが付加された画像データを無線信号として送信し(ステップS106-2)、ステップS101-2に帰還する。このように動作することで、カプセル型医療装置10Bから定期的に画像データが受信装置130Bへ無線送信されると共に、撮像タイミングでのカプセル型医療装置10Bの向きを受信装置130Bに特定させるための超音波を発生する。なお、図22に示すカプセル型医療装置10Bの動作は、カプセル型医療装置10B内のバッテリ16の電力が無くなるまで継続される。
 一方、受信装置130Bは、図23に示すように、例えば常時、カプセル型医療装置10Bから画像データを受信したか否かを監視し(ステップS111-2のNo)、画像データを受信した場合(ステップS111-2のYes)、信号検出回路131Bを用いて音響センサ125aおよび125bから検出信号を読み出して所定の信号処理を実行し(ステップS112-2)、続いて、信号処理後の検出信号の位相および強度等から超音波源である圧電素子17cおよび17dの空間位置を推定し、その配列からカプセル型医療装置10Bの基準方向Dsに対する向き(すなわち規定方向Uiの基準方向Dsに対する向き)をCPU133Bにおいて特定し、これを向きデータとして生成する(ステップS113-2)。
 次に受信装置130Bは、上記実施の形態1において図12を用いて説明した動作と同様に、CPU133Bにおいて生成した向きデータをステップS111-2で受信した画像データに付加し(ステップS114-2)、この結果、向きデータおよびタイムスタンプが付加された画像データをインタフェース部137より携帯型記録媒体140に保存するか、もしくは、インタフェース部137から通信ケーブル159を介して表示装置150へ送信する(ステップS115-2)。その後、受信装置130Bは、動作を継続するか否か、例えば操作部135から動作の終了指示が入力されたか否かを判定し(ステップS116-2)、動作を継続する場合(ステップS116-2のYes)、ステップS111-2へ帰還して、次の画像データの受信を待機する。一方、動作を継続しない場合(ステップS116-2のNo)、当該動作を終了する。
 以上のように構成および動作することで、本変形例1-2では、上記実施の形態1(その変形例を含む)と同様に、撮像時のカプセル型医療装置10Bの基準方向Dsに対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム1Bおよびその画像処理方法を実現することが可能となる。
<実施の形態2>
 また、上記実施の形態1では、信号源(アンテナ15a)をカプセル型医療装置10に配置し、観測点(アンテナ120)を被検体900の外表に固定した場合を例に挙げたが、本発明はこれに限定されず、信号源を被検体900の外表に固定し、観測点をカプセル型医療装置に配置することも可能である。以下、この場合を本発明の実施の形態2として、図面を用いて詳細に説明する。ただし、以下の説明において、上記実施の形態およびその変形例のいずれかと同様の構成については、説明の簡略化のため、同一の符号を付し、その詳細な説明を省略する。
 図24は、本実施の形態2による医療システム2の概略構成を示す模式図である。図25は、本実施の形態2によるカプセル型医療装置20と受信装置230との概略構成例を示すブロック図である。
 図24に示すように、医療システム2は、図1に示す医療システム1と比較して、カプセル型医療装置10がカプセル型医療装置20に、受信装置130が受信装置230に、それぞれ置き換えられる。さらに、医療システム2では、被検体900の体表に固定されたアンテナ120(図1参照)およびケーブル121がアンテナ220およびケーブル221に置き換えられる。
 図25に示すように、カプセル型医療装置20は、図5に示すカプセル型医療装置10と同様の構成に加え、アンテナ22aおよび22bと、アンテナ22aおよび22bでの電磁波の位相および強度を検出する信号検出ユニット21と、を備える。
 アンテナ22aおよび22bは、例えばダイポールアンテナやループアンテナ等で構成され、後述する信号源であるアンテナ220から発せられた向き検出用の標識(電磁波)を観測する観測点として機能する。なお、アンテナ22aおよび22bは、筐体18内においてできる限り離間して配置されることが好ましい。
 また、アンテナ22aおよび22bは、規定方向Uiの向きと一致するように筐体18内に固定された状態で配列されることが好ましい。これにより、アンテナ22aおよび22bの配列方向の基準方向Dsに対する向きを規定方向Uiの基準方向Dsに対する向きとして直接的に用いることが可能となるため、後述する受信装置230における処理を軽くすることができる。さらに、信号検出ユニット21は、例えばアンテナ22aおよび22bにおける受信電磁波の強度を検出するRSSI回路(不図示)を含む。
 信号検出ユニット21は、各アンテナ22aおよび22bから入力された検出信号に対し、周波数分離やアンテナ22aおよび22b間での電磁波(向き検出用の標識)の位相および各アンテナ22aおよび22bでの強度の検出処理等を含む所定の処理を実行する。また、信号検出ユニット21は、検出した各アンテナ22aおよび22bでの位相および強度を信号検出データとして、同時または同時期に取得された画像データに付加する。
 なお、信号検出データは、上記実施の形態1において受信装置130の送受信回路131が検出したアンテナ120間での電磁波(向き検出用の標識)の位相や送受信回路131のRSSI回路131aが検出した各アンテナ120での電磁波(向き検出用の標識)の強度に相当するデータを含む。また、画像データには、上記実施の形態1と同様に、タイムスタンプも付加される。信号検出データおよびタイムスタンプが付加された画像データは、処理ユニット12から送受信ユニット14を介してアンテナ15aより受信装置230へ無線送信される。
 一方、受信装置230は、図25に示すように、図5に示す受信装置130と同様の構成において、アンテナ120がアンテナ220に、送受信回路131が送受信回路231に、それぞれ置き換えられている。
 アンテナ220は、上記実施の形態1のアンテナ15aと同様に、例えば指向性を備えたアンテナであり、基準方向Dsに対するカプセル型医療装置20の向き(すなわち規定方向Uiの傾き)を特定するための向き検出用の標識(本例では電界)を発する信号源として機能する。本実施の形態2では、アンテナ220としてループアンテナを用いる。ただし、これに限定されず、基準方向Dsに対するカプセル型医療装置20の向きをアンテナ22aおよび22bでの電磁波(向き検出用の標識)の位相および強度に基づき検出することが可能なアンテナであれば如何なるものも適用することが可能である。
 この指向性を備えたアンテナ220は、被検体900の体表(例えばジャケット122等)に固定される。この際、アンテナ220のループの中心線(アンテナ15aが発する電磁波の電界分布形状の対称軸に相当)と基準方向Dsとが平行となるように、アンテナ220が被検体900の外表に固定される。これにより、カプセル型医療装置20が長手方向の中心線を軸として回転した場合でも、基準方向Dsに対するカプセル型医療装置20の規定方向Uiの向きをカプセル型医療装置20のアンテナ22aおよび22bで受信された電磁波の位相や強度に基づいて特定することが可能となる。
 送受信回路231は、送受信回路131と同様に、アンテナ220を介してカプセル型医療装置20との間で信号の送受信を行う構成である。ただし、本実施の形態2による送受信回路231は、上述したように、アンテナ220に定期的(例えば1秒に2回以上)に向き検出用の標識である電磁波を出力させる。
 また、アンテナ220から送受信回路231に入力された受信信号は、信号処理回路132に入力される。本実施の形態2では、上述したように、カプセル型医療装置20から受信した画像データに信号検出データが付加されている。信号処理回路132は、入力された信号(特に画像データ)に所定の処理を実行すると共に、この画像データに付加された信号検出データを特定し、これをCPU133に入力する。
 CPU133は、信号検出データに含まれるアンテナ22aおよび22bでの電磁波(向き検出用の標識)の位相や信号検出ユニット21のRSSI回路が検出した各アンテナ22aおよび22bでの電磁波(向き検出用の標識)の強度からアンテナ220からの電磁波(向き検出用の標識)の空間的な広がり(電界分布)を推定してカプセル型医療装置20の基準方向Dsに対する向き(すなわち規定方向Uiの基準方向Dsに対する向き)を特定する向き特定手段として機能する。なお、電界分布の推定方法は、上記実施の形態1と同様であるため、ここでは詳細な説明を省略する。
 このように、本実施の形態2では、信号源であるアンテナ220を被検体900の外表に固定し、観測点であるアンテナ22aおよび22bをカプセル型医療装置20内に配置し、アンテナ22aおよび22bで観測されたアンテナ220からの電磁波に基づいて、規定方向Uiの基準方向Dsに対する向きを示す向きデータを生成する。なお、他の構成は、上記各実施の形態(その変形例を含む)のいずれかと同様である。
 次に、本実施の形態2による医療システム2の動作について、図面を用いて詳細に説明する。なお、本実施の形態2における表示装置150の動作は、上記実施の形態1と同様であるため、本説明では、カプセル型医療装置20および受信装置230の動作について、以下に説明する。図26は、本実施の形態2によるカプセル型医療装置20の概略動作例(その1)を示すフローチャートである。図27は、本実施の形態2によるカプセル型医療装置20の概略動作例(その2)を示すフローチャートである。図28は、本実施の形態2による受信装置230の概略動作例を示すフローチャートである。
 図26に示すように、カプセル型医療装置20は、起動後、定期的(例えば時間T(=0.5秒)間隔)にアンテナ22aおよび22bを監視することで、受信装置230から定期的(例えば0.5秒間隔以内)に送信される電磁波(向き検出用の標識)を受信する(ステップS201:Yes)。続いて、カプセル型医療装置20は、受信した電磁波(向き検出用の標識)の各アンテナ22aおよび22bでの強度および位相を信号検出ユニット21から信号検出データとして取得し(ステップS202)、この信号検出データを例えばメモリユニット13や不図示のキャッシュメモリ等に一時保持しておく(ステップS203)。その後、カプセル型医療装置20は、ステップS201へ帰還して、次の電磁波(向き検出用の標識)が受信されるのを待機する(ステップS201のNo)。なお、図26に示すカプセル型医療装置20の動作は、カプセル型医療装置20内のバッテリ16の電力が無くなるまで継続される。
 また、カプセル型医療装置20は、図26に示す動作に並行して、図27に示す動作を実行する。図27に示すように、カプセル型医療装置20は、起動後、定期的(例えば時間T(=0.5秒)間隔)に撮像動作を実行することで、画像データを取得する(ステップS211~S212)。続いて、カプセル型医療装置20は、画像データを取得した時刻を取得する(ステップS213)。また、カプセル型医療装置20は、メモリユニット13またはキャッシュメモリ等に一時保持されている信号検出データを取得する(ステップS214)。続いて、カプセル型医療装置20は、取得した時刻をタイムスタンプとして画像データに付加すると共に、取得した信号検出データを画像データに付加する(ステップS215)。次にカプセル型医療装置20は、タイムスタンプおよび信号検出データが付加された画像データを無線信号として送信し(ステップS216)、ステップS211に帰還する。このように動作することで、カプセル型医療装置20から定期的にタイムスタンプおよび信号検出データが付加された画像データが受信装置230へ無線送信される。なお、図27に示すカプセル型医療装置20の動作は、カプセル型医療装置20内のバッテリ16の電力が無くなるまで継続される。
 一方、受信装置230は、図28に示すように、例えば常時または定期的に、アンテナ220から電磁波(向き検出用の標識)を出力すると共に(ステップS221)、カプセル型医療装置20から画像データを受信したか否かを監視する(ステップS222のNo)。画像データを受信した場合(ステップS222のYes)、受信装置230は、受信した画像データに含まれる信号検出データをCPU133に入力して、アンテナ220からの電磁波(向き検出用の標識)の空間的な広がり(電界分布)を推定してカプセル型医療装置20の基準方向Dsに対する向き(すなわち規定方向Uiの基準方向Dsに対する向き)をCPU133において特定し、これを向きデータとして生成する(ステップS223)。
 次に受信装置230は、上記実施の形態1において図12を用いて説明した動作と同様に、CPU133において生成した向きデータをステップS222で受信した画像データに付加し(ステップS224)、この結果、向きデータおよびタイムスタンプが付加された画像データをインタフェース部137より携帯型記録媒体140に保存するか、もしくは、インタフェース部137から通信ケーブル159を介して表示装置150へ送信する(ステップS225)。その後、受信装置230は、動作を継続するか否か、例えば操作部135から動作の終了指示が入力されたか否かを判定し(ステップS226)、動作を継続する場合(ステップS226のYes)、ステップS221へ帰還して、電磁波(向き検出用の標識)の出力と次の画像データの受信待機とを繰り返す。一方、動作を継続しない場合(ステップS226のNo)、当該動作を終了する。
 以上のように構成および動作することで、本実施の形態2では、上記実施の形態1(その変形例を含む)と同様に、撮像時のカプセル型医療装置20の基準方向Dsに対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム2およびその画像処理方法を実現することが可能となる。
(変形例2-1)
 また、本実施の形態2による医療システム2では、信号源に電磁波の発生源(アンテナ220)を用いた場合を例に挙げたが、本発明はこれに限定されず、信号源を磁界の発生源とすることが可能である。以下、この場合を本発明の実施の形態2の変形例2-1として、図面を用いて詳細に説明する。ただし、以下の説明において、上記実施の形態およびその変形例のいずれかと同様の構成については、説明の簡略化のため、同一の符号を付し、その説明を省略する。
 図29は、本変形例2-1による医療システム2Aの概略構成を示す模式図である。図30は、本変形例2-1によるカプセル型医療装置20Aと受信装置230Aとの概略構成例を示すブロック図である。
 図29に示すように、医療システム2Aは、図24に示す医療システム2と比較して、カプセル型医療装置20がカプセル型医療装置20Aに、受信装置230が受信装置230Aに、それぞれ置き換えられる。さらに、医療システム2Aは、受信装置230Aにケーブル223を介して接続されたLC共振回路222を備える。
 図30に示すように、カプセル型医療装置20Aは、図25に示すカプセル型医療装置20と同様の構成において、アンテナ22aおよび22bが磁気センサ23aおよび23bに、信号検出ユニット21が信号検出ユニット21Aに、それぞれ置き換えられている。
 磁気センサ23aおよび23bは、上記した変形例1-1の磁気センサ123aおよび123bと同様に、例えば中心軸がx軸、y軸およびz軸のそれぞれを向く3つのコイルが組み合わされた3軸磁気センサであり、信号源であるLC共振回路222から発せられた向き検出用の標識(本例では磁界)を観測する磁界検出手段としての観測点として機能する。ただし、これに限定されず、例えば磁気抵抗素子や磁気インピーダンス素子(MI素子)やホール素子などよりなる3軸磁気センサで構成することも可能である。
 また、磁気センサ23aおよび23bの個数および配置パターンは、被検体900の外表に固定されたLC共振回路222が形成する磁界の空間的な広がり(磁界分布)をCPU133Aに推定/特定させることが可能な個数および配置パターンであれば、如何様にも変形することが可能である。なお、本説明では、磁気センサ23aおよび23bの個数を少なくとも2つとする。
 また、磁気センサ23aおよび23bは、その配列方向が規定方向Uiの向きと一致するように筐体18内に固定されることが好ましい。これにより、磁気センサ23aおよび23bの基準方向Dsに対する配列向きをカプセル型医療装置20A(すなわち規定方向Ui)の基準方向Dsに対する向きとして直接的に用いることが可能となるため、後述する受信装置230Aにおける処理を軽くすることができる。
 信号検出ユニット21Aは、各磁気センサ23aおよび23bから入力された検出信号に対し、バンドパス処理や磁気センサ23aおよび23bでの磁界(向き検出用の標識)の向きおよび強度の検出処理等を含む所定の処理を実行する。また、信号検出ユニット21Aは、検出した向きおよび強度等を信号検出データとして、同時または同時期に取得された画像データに付加する。
 なお、信号検出データは、上記変形例1-1において受信装置130Aの信号検出回路131Aが検出した磁気センサ123aおよび123bでの磁界(向き検出用の標識)の向きや強度に相当するデータを含む。また、画像データには、上記変形例1-1と同様に、タイムスタンプも付加される。信号検出データおよびタイムスタンプが付加された画像データは、処理ユニット12から送受信ユニット14を介してアンテナ15aより受信装置230Aへ無線送信される。
 一方、受信装置230Aは、図30に示すように、図25に示す受信装置230と同様の構成に加え、LC共振回路222にケーブル223を介して共振周波数の信号を入力する信号生成回路224Aを備える。また、受信装置230Aは、図25に示す受信装置230と同様の構成において、アンテナ220および送受信回路231が上記実施の形態1におけるアンテナ120および送受信回路131に、CPU133が上記変形例1-1におけるCPU133Aに、それぞれ置き換えられている。
 信号生成手段である信号生成回路224Aから共振周波数の信号がケーブル223を介して入力されたLC共振回路222は、入力された共振周波数の信号によって誘導されて共振周波数の誘導磁界を形成する磁界形成手段であり、基準方向Dsに対するカプセル型医療装置20Aの向き(すなわち規定方向Uiの傾き)を特定するための向き検出用の標識(本例では磁界)を発する信号源として機能する。
 このLC共振回路222は、被検体900の外表(例えばジャケット122等)に固定される。この際、LC共振回路222を構成するインダクタの極性方向(LC共振回路222が発する磁界の磁界分布形状の対称軸に相当)と基準方向Dsとが平行となるように、LC共振回路222が被検体900の外表に固定される。これにより、カプセル型医療装置20Aが長手方向の中心線を軸として回転した場合でも、基準方向Dsに対するカプセル型医療装置20Aの規定方向Uiの向きをカプセル型医療装置20Aの磁気センサ23aおよび23bで検出された磁界の向きや強度等に基づいて特定することが可能となる。
 なお、本変形例2-1において、アンテナ120から送受信回路131に入力された受信信号は、信号処理回路132に入力される。本変形例2-1では、上述したように、カプセル型医療装置20Aから受信した画像データに信号検出データが付加されている。信号処理回路132は、入力された信号(特に画像データ)に所定の処理を実行すると共に、この画像データに付加された信号検出データを特定し、これをCPU133Aに入力する。
 CPU133Aは、信号検出データに含まれる磁気センサ23aおよび23bでの磁界(向き検出用の標識)の向きや強度からLC共振回路222からの磁界(向き検出用の標識)の空間的な広がり(磁界分布)を推定してカプセル型医療装置20Aの基準方向Dsに対する向き(すなわち規定方向Uiの基準方向Dsに対する向き)を特定する向き特定手段として機能する。なお、磁界分布の推定方法は、上記変形例1-1と同様であるため、ここでは詳細な説明を省略する。
 このように、本変形例2-1では、信号源であるLC共振回路222を被検体900の外表に固定し、観測点である磁気センサ23aおよび23bをカプセル型医療装置20A内に配置し、磁気センサ23aおよび23bで観測されたLC共振回路222からの磁界に基づいて、規定方向Uiの基準方向Dsに対する向きを示す向きデータを生成する。なお、他の構成は、上記各実施の形態(その変形例を含む)のいずれかと同様である。
 次に、本変形例2-1による医療システム2Aの動作について、図面を用いて詳細に説明する。なお、本変形例2-1における表示装置150の動作は、上記実施の形態2と同様であるため、本説明では、カプセル型医療装置20Aおよび受信装置230Aの動作について、以下に説明する。図31は、本変形例2-1によるカプセル型医療装置20Aの概略動作例を示すフローチャートである。図32は、本変形例2-1による受信装置230Aの概略動作例を示すフローチャートである。
 図31に示すように、カプセル型医療装置20Aは、起動後、定期的(例えば時間T(=0.5秒)間隔)に撮像動作を実行することで、画像データを取得する(ステップS211-1~S212-1)。続いて、カプセル型医療装置20Aは、画像データを取得した時刻を取得する(ステップS213-1)。また、カプセル型医療装置20Aは、信号検出ユニット21Aを用いて磁気センサ23aおよび23bから検出信号を読み出して所定の信号処理を実行し(ステップS214-1)、これにより得られた磁界(向き検出用の標識)の各磁気センサ23aおよび23bでの強度および向きを信号検出データとして生成する(ステップS215-1)。続いて、カプセル型医療装置20Aは、取得した時刻をタイムスタンプとして画像データに付加すると共に、生成した信号検出データを画像データに付加する(ステップS216-1)。次にカプセル型医療装置20Aは、タイムスタンプおよび信号検出データが付加された画像データを無線信号として送信し(ステップS217-1)、ステップS211-1に帰還する。このように動作することで、カプセル型医療装置20Aから定期的にタイムススタンプおよび信号検出データが付加された画像データが受信装置230Aへ無線送信される。なお、図31に示すカプセル型医療装置20Aの動作は、カプセル型医療装置20A内のバッテリ16の電力が無くなるまで継続される。
 一方、受信装置230Aは、常時、信号生成回路224Aで生成した共振周波数の信号をLC共振回路222に入力することで、LC共振回路222から向き検出用の標識としての磁界を発生させている。また、受信装置230Aは、この動作を並行して、図32に示すように、例えば常時または定期的に、カプセル型医療装置20Aから画像データを受信したか否かを監視する(ステップS221-1のNo)。画像データを受信した場合(ステップS221-1のYes)、受信装置230Aは、受信した画像データに含まれる信号検出データをCPU133Aに入力して、LC共振回路222からの磁界(向き検出用の標識)の空間的な広がり(磁界分布)を推定してカプセル型医療装置20Aの基準方向Dsに対する向き(すなわち規定方向Uiの基準方向Dsに対する向き)をCPU133Aにおいて特定し、これを向きデータとして生成する(ステップS222-1)。
 次に受信装置230Aは、上記実施の形態1において図12を用いて説明した動作と同様に、CPU133Aにおいて生成した向きデータをステップS221-1で受信した画像データに付加し(ステップS223-1)、この結果、向きデータおよびタイムスタンプが付加された画像データをインタフェース部137より携帯型記録媒体140に保存するか、もしくは、インタフェース部137から通信ケーブル159を介して表示装置150へ送信する(ステップS224-1)。その後、受信装置230Aは、動作を継続するか否か、例えば操作部135から動作の終了指示が入力されたか否かを判定し(ステップS225-1)、動作を継続する場合(ステップS225-1のYes)、ステップS221-1へ帰還して、電磁波(向き検出用の標識)の出力と次の画像データの受信待機とを繰り返す。一方、動作を継続しない場合(ステップS225-1のNo)、当該動作を終了する。
 以上のように構成および動作することで、本変形例2-1では、上記実施の形態1(その変形例を含む)または2と同様に、撮像時のカプセル型医療装置20Aの基準方向Dsに対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム2Aおよびその画像処理方法を実現することが可能となる。
(変形例2-2)
 また、上記実施の形態2における信号源には、超音波の発生源を用いることも可能である。以下、この場合を本発明の実施の形態2の変形例2-2として、図面を用いて詳細に説明する。ただし、以下の説明において、上記実施の形態およびその変形例のいずれかと同様の構成については、説明の簡略化のため、同一の符号を付し、その説明を省略する。
 図33は、本変形例2-2による医療システム2Bの概略構成を示す模式図である。図34は、本変形例2-2によるカプセル型医療装置20Bと受信装置230Bとの概略構成例を示すブロック図である。
 図33に示すように、医療システム2Bは、図24に示す医療システム2と比較して、カプセル型医療装置20がカプセル型医療装置20Bに、受信装置230が受信装置230Bに、それぞれ置き換えられる。さらに、医療システム2Bは、受信装置230Bにケーブル226を介して接続された複数の圧電素子225aおよび225bを備える。
 図34に示すように、カプセル型医療装置20Bは、図25に示すカプセル型医療装置20と同様の構成において、アンテナ22aおよび22bが複数の音響センサ24aおよび24bに、信号検出ユニット21が信号検出ユニット21Bに、それぞれ置き換えられている。
 音響センサ24aおよび24bは、上記した変形例1-2の音響センサ125aおよび125bと同様に、例えばマイクロフォンで構成され、信号源である圧電素子225aおよび225bから発せられた向き検出用の標識(本例では超音波)をそれぞれ観測する超音波検出手段としての観測点として機能する。ただし、これに限定されず、例えば圧電素子などで構成することも可能である。
 また、音響センサ24aおよび24bの個数および配置パターンは、被検体900の外表に固定された圧電素子225aおよび225bが発生した超音波の強度および位相よりCPU133Bにカプセル型医療装置20Bの向きを推定/特定させることが可能な個数および配置パターンであれば、如何様にも変形することが可能である。なお、本説明では、音響センサ24aおよび24bの個数を少なくとも2つとする。
 また、音響センサ24aおよび24bは、その配列方向が規定方向Uiの向きと一致するように筐体18内に固定されることが好ましい。これにより、音響センサ24aおよび24bの基準方向Dsに対する配列向きをカプセル型医療装置20B(すなわち規定方向Ui)の基準方向Dsに対する向きとして直接的に用いることが可能となるため、後述する受信装置230Bにおける処理を軽くすることができる。
 信号検出ユニット21Bは、各音響センサ24aおよび24bから入力された検出信号に対し、バンドパス処理や音響センサ24aおよび24bでの超音波(向き検出用の標識)の位相および強度の検出処理等を含む所定の処理を実行する。また、信号検出ユニット21Bは、検出した位相および強度等を信号検出データとして、同時または同時期に取得された画像データに付加する。
 なお、信号検出データは、上記変形例1-2において受信装置130Bの信号検出回路131Bが検出した音響センサ125aおよび125bでの超音波(向き検出用の標識)の位相や強度に相当するデータを含む。また、画像データには、上記変形例1-2と同様に、タイムスタンプも付加される。信号検出データおよびタイムスタンプが付加された画像データは、処理ユニット12から送受信ユニット14を介してアンテナ15aより受信装置230Bへ無線送信される。
 一方、受信装置230Bは、図34に示すように、図25に示す受信装置230と同様の構成に加え、圧電素子225aおよび225bにケーブル226を介して共振周波数の信号を入力する信号生成回路224Bを備える。また、受信装置230Bは、図25に示す受信装置230と同様の構成において、アンテナ220および送受信回路231が上記実施の形態1におけるアンテナ120および送受信回路131に、CPU133が上記変形例1-2におけるCPU133Bに、それぞれ置き換えられている。
 信号生成手段である信号生成回路224Bから共振周波数の信号がケーブル226を介して入力された圧電素子225aおよび225bは、入力された共振周波数の信号によって振動して超音波を発生する超音波発生手段であり、基準方向Dsに対するカプセル型医療装置20Bの向き(すなわち規定方向Uiの傾き)を特定するための向き検出用の標識(本例では超音波)を発する信号源として機能する。
 この圧電素子225aおよび225bは、被検体900の外表(例えばジャケット122等)に固定される。この際、圧電素子225aおよび225bの配列方向と基準方向Dsとが平行となるように、圧電素子225aおよび225bが被検体900の外表に固定される。これにより、カプセル型医療装置20Bが長手方向の中心線を軸として回転した場合でも、基準方向Dsに対するカプセル型医療装置20Bの規定方向Uiの向きをカプセル型医療装置20Bの音響センサ24aおよび24bで検出された超音波の位相や強度等に基づいて特定することが可能となる。
 なお、本変形例2-2において、アンテナ120から送受信回路131に入力された受信信号は、信号処理回路132に入力される。本変形例2-2では、上述したように、カプセル型医療装置20Bから受信した画像データに信号検出データが付加されている。信号処理回路132は、入力された信号(特に画像データ)に所定の処理を実行すると共に、この画像データに付加された信号検出データを特定し、これをCPU133Bに入力する。
 CPU133Bは、信号検出データに含まれる音響センサ24aおよび24bでの超音波(向き検出用の標識)の位相や強度から圧電素子225aおよび225bからの超音波(向き検出用の標識)の空間的な広がり(超音波分布)を推定してカプセル型医療装置20Bの基準方向Dsに対する向き(すなわち規定方向Uiの基準方向Dsに対する向き)を特定する向き特定手段として機能する。なお、超音波分布の推定方法は、上記変形例1-2と同様であるため、ここでは詳細な説明を省略する。
 このように、本変形例2-2では、信号源である圧電素子225aおよび225bを被検体900の外表に固定し、観測点である音響センサ24aおよび24bをカプセル型医療装置20B内に配置し、音響センサ24aおよび24bで観測された圧電素子225aおよび225bからの超音波に基づいて、規定方向Uiの基準方向Dsに対する向きを示す向きデータを生成する。なお、他の構成は、上記各実施の形態(その変形例を含む)のいずれかと同様である。
 次に、本変形例2-2による医療システム2Bの動作について、図面を用いて詳細に説明する。なお、本変形例2-2における受信装置230Bおよび表示装置150の動作は、上記実施の形態2と同様であるため、本説明では、カプセル型医療装置20Bの動作について、以下に説明する。ただし、受信装置230Bは、常時、信号生成回路224Bで生成した共振周波数の信号を圧電素子225aおよび225bに入力することで、圧電素子225aおよび225bから向き検出用の標識としての超音波を発生させている。図35は、本変形例2-2による受信装置230Bの概略動作例を示すフローチャートである。
 図35に示すように、カプセル型医療装置20Bは、起動後、定期的(例えば時間T(=0.5秒)間隔)に撮像動作を実行することで、画像データを取得する(ステップS211-2~S212-2)。続いて、カプセル型医療装置20Bは、画像データを取得した時刻を取得する(ステップS213-2)。また、カプセル型医療装置20Bは、信号検出ユニット21Bを用いて音響センサ24aおよび24bから検出信号を読み出して所定の信号処理を実行し(ステップS214-2)、これにより得られた超音波(向き検出用の標識)の各音響センサ24aおよび24bでの強度および位相を信号検出データとして生成する(ステップS215-2)。続いて、カプセル型医療装置20Bは、取得した時刻をタイムスタンプとして画像データに付加すると共に、生成した信号検出データを画像データに付加する(ステップS216-2)。次にカプセル型医療装置20Bは、タイムスタンプおよび信号検出データが付加された画像データを無線信号として送信し(ステップS217-2)、ステップS211-2に帰還する。このように動作することで、カプセル型医療装置20Bから定期的にタイムススタンプおよび信号検出データが付加された画像データが受信装置230Bへ無線送信される。なお、図35に示すカプセル型医療装置20Bの動作は、カプセル型医療装置20B内のバッテリ16の電力が無くなるまで継続される。
 以上のように構成および動作することで、本変形例2-2では、上記実施の形態1(その変形例を含む)または2と同様に、撮像時のカプセル型医療装置20Bの基準方向Dsに対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム2Bおよびその画像処理方法を実現することが可能となる。
<実施の形態3>
 また、上記各実施の形態(その変形例を含む)では、基準方向Dsを被検体900に設定した場合、被検体900との相対的な向きに依って画像データを回転補正する場合を例に挙げたが、本発明はこれに限定されず、基準方向を被検体900以外に設定してもよい。すなわち、回転補正をする際の基準方向を被検体900の向きや姿勢とは独立した系に設定してもよい。このような系には、例えば実空間がある。以下、基準方向Dsを実空間に設定した場合を本発明の実施の形態3として、図面を用いて詳細に説明する。ただし、以下の説明において、上記実施の形態およびその変形例のいずれかと同様の構成については、説明の簡略化のため、同一の符号を付し、その詳細な説明を省略する。
 図36は、本実施の形態3による医療システム3の概略構成を示す模式図である。図37は、本実施の形態3によるカプセル型医療装置10と受信装置330との概略構成例を示すブロック図である。なお、本実施の形態3では、上記実施の形態1によるカプセル型医療装置10を用いる。カプセル型医療装置10は、指向性を備えたアンテナ15aを信号源として備えている。
 図36に示すように、医療システム3は、図1に示す医療システム1と比較して、受信装置130が受信装置330に置き換えられる。受信装置330は、例えば移動しないように床などの上に設置される。なお、この床を含む空間が本実施の形態3において基準方向Dgが設定される実空間となる。
 さらに、医療システム3は、床面に対して移動しないように設置されたセンサ台320と、被検体900が乗るベッド341と、ベッド341を水平移動可能に支持する可動台340と、を備える。なお、本実施の形態では、上記実施の形態1によるカプセル型医療装置10を用いるものとする。また、ベッド341は、床面に対して移動しないように固定されていてもよい。
 図37に示すように、受信装置330は、図5に示す受信装置130と同様の構成を備える。ただし、受信装置330とケーブル121を介して接続されたアンテナ120は、床面に対して移動しないように例えば受信装置330に固定されたセンサ台320にマトリクス状に配設される。なお、センサ台320は、アンテナ120が配列された面がベッド341の裏面と向かい合うように設置される。すなわち、センサ台320は、アンテナ120が配列された面が上側を向いた状態でベッド341下に設置される。ただし、これに限定されず、アンテナ120はベッド341の載置面または裏面に沿って配列するようにベッド341内部に配設されるなど、種々変形することが可能である。
 また、ベッド341を水平移動可能、特にセンサ台320に対して水平移動可能にすることで、アンテナ120に対する被検体900の位置、すなわち、カプセル型医療装置10の位置を適宜調整することが可能となるため、より精度よくカプセル型医療装置10の向きを特定することが可能となる。
 このように、本実施の形態3では、観測点であるアンテナ120を実空間に対して固定することで、実空間に対して設定した基準方向Dgに対する規定方向Uiの向きを示す向きデータを生成する。なお、他の構成は、上記各実施の形態(その変形例を含む)のいずれかと同様である。また、本実施の形態による医療システム3の動作は、上記実施の形態1と同様であるため、ここでは詳細な説明を省略する。
 ここで、本実施の形態3による回転補正の一例、および、本実施の形態3による回転補正後の画像データを用いて生成した平均色バーの一例を、図面を用いて詳細に説明する。図38は、本実施の形態3による回転補正を説明するための図である。図39は、本実施の形態3による回転補正後の画像データを用いて生成された平均色バー60の一例を示す図である。
 図38(a)に示すように、第1の撮像タイミングで取得された画像データIm31では、規定方向Uiと基準方向Dgとが一致する。このため、画像データIm31に対する回転補正時の回転量(補正量)Bは0°となる。また、図38(b)に示すように、第2の撮像タイミングで取得された画像データIm32では、基準方向Dgに対する規定方向Uiの角度が90°である。したがって、画像データIm32に対する回転補正時の回転量(補正量)Bは90°となる。さらに、図38(c)に示すように、第3の撮像タイミングで取得された画像データIm33では、基準方向Dgに対する規定方向Uiの角度が180°である。したがって、画像データIm33に対する回転補正時の回転量(補正量)Bは180°となる。本実施の形態による表示装置150の回転補正部154aは、上記した各実施の形態(その変形例を含む)と同様に、向きデータに基づいて画像データをIm31~Im33を回転補正する。このため、回転補正後の画像データIm41~Im43は、図38(d)~図38(f)に示すように、画面の上方向Duが基準方向Dgに一致する。
 上記のような回転補正の結果、図38(d)~図38(f)に示すように、各画像データIm41~画像データIm43中の同一の部位p1は、同一の分割領域A3に含まれるようになる。これにより、図39に示すように、回転補正後の画像データIm41~Im43を用いて生成された平均色バー60における同一の部位p1を含む領域P21~P23の位置を、分割領域A3に横並びに配置することが可能となる。なお、図38(d)は、図38(a)の画像データIm31を回転補正することで得られた画像データIm41を示し、図38(e)は、図38(b)の画像データIm32を回転補正することで得られた画像データIm42を示し、図38(f)は、図38(c)の画像データIm33を回転補正することで得られた画像データIm43を示す。
 なお、本実施の形態3においても、上記した実施の形態1(これの変形例を含む)および実施の形態2(これの変形例を含む)と同様に、被検体900に設定された基準方向Dsと規定方向Uiとを一致させるように構成することも可能である。これは、例えば被検体900の姿勢を観察者が手動で入力したり、被検体900に重力センサを設けて自動的に検出したりすることで、被検体900に設定された基準方向Dsと基準方向Dgとの傾き(回転量)を取得し、この傾き(回転量)と基準方向Dgに対する規定方向Uiの向き(補正量B)とを用いて画像データを回転補正することで、実現することが可能である。
 以上のように構成および動作することで、本実施の形態3では、上記実施の形態1と同様に、撮像時のカプセル型医療装置10の基準方向Dgに対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム3およびその画像処理方法を実現することが可能となる。
 なお、本実施の形態3においても、上記した実施の形態1(これの変形例を含む)および実施の形態2(これの変形例を含む)と同様に、被検体900に設定された基準方向Dsと規定方向Uiとを一致させるように構成することも可能である。これは、例えば被検体900の姿勢を観察者が手動で入力したり、被検体900に重力センサを設けて自動的に検出したりすることで、被検体900に設定された基準方向Dsと基準方向Dgとの傾き(回転量)を取得し、この傾き(回転量)と基準方向Dgに対する規定方向Uiの向き(補正量B)とを用いて画像データを回転補正することで、実現することが可能である。
(変形例3-1)
 また、本実施の形態3による医療システム3では、信号源に電磁波の発生源(アンテナ15a)を用いた場合を例に挙げたが、本発明はこれに限定されず、信号源を磁界の発生源とすることも可能である。以下、この場合を本発明の実施の形態3の変形例3-1として、図面を用いて詳細に説明する。ただし、以下の説明では、カプセル型医療装置10A’に搭載したLC共振回路17bを外部磁界(駆動磁界)を用いて励起して誘導磁界を発生させる、いわゆるパッシブ方式で、カプセル型医療装置10A’の向きを特定する場合を例に挙げる。また、以下の説明において、上記実施の形態およびその変形例のいずれかと同様の構成については、説明の簡略化のため、同一の符号を付し、その詳細な説明を省略する。
 図40は、本変形例3-1による医療システム3Aの概略構成を示す模式図である。図41は、本変形例3-1によるカプセル型医療装置10A’と受信装置330Aとの概略構成例を示すブロック図である。なお、本変形例3-1では、上記変形例1-1によるカプセル型医療装置10A’を用いる。カプセル型医療装置10A’は、所定の共振周波数の外部磁界(駆動磁界)によって誘導されて誘導磁界を発生するLC共振回路17bを信号源として備えている。
 図40に示すように、医療システム3Aは、図36に示す医療システム3と比較して、カプセル型医療装置10がカプセル型医療装置10A’に、受信装置330が受信装置330Aに、それぞれ置き換えられる。受信装置330Aは、受信装置330と同様、例えば移動しないように床などの上に設置される。ベッド341上の被検体900が載置される空間の少なくとも一部(以下、これを検出空間Kとする)の周囲には、x軸、y軸およびz軸それぞれの軸において対向する計3組の駆動コイルDx_1およびDx_2、Dy_1およびDy_2、ならびに、Dz_1およびDz_2が配設される。以下、任意の駆動コイルの符号をDとし、任意の対の駆動コイルの符号をD_1およびD_2とする。
 さらに、医療システム3Aは、床面に対して移動しないように設置されたセンサ台320と、床面に対して移動しないように例えばセンサ台320にマトリクス状に配設された複数の磁気センサS_1~S_8と、を備える。以下、任意の磁気センサの符号をSとする。センサ台320は、磁気センサSが配列された面が検出空間Kと近接するように設置される。例えばセンサ台320は、磁気センサSが配列された面が下側を向いた状態で検出空間K上に設置される。ただし、これに限定されず、アンテナ120がベッド341の載置面または裏面に沿って配列するようにベッド341内部に配設されるなど、種々変形することが可能である。
 図41に示すように、受信装置330Aは、図37に示す受信装置330と同様の構成において、CPU133がCPU133Aに置き換えられている。さらに、受信装置330Aは、LC共振回路17bの共振周波数と略等しい駆動信号を生成してこれを駆動コイルDに入力するコイル駆動部331Aと、各磁気センサSに生じた電位変化を検出信号として読み出す信号検出部332Aと、を備える。
 駆動コイルDは、コイル駆動部331Aから入力された駆動信号によって、検出空間K内に、略共振周波数の駆動磁界を形成する。各磁気センサSは、検出空間K内に形成された駆動磁界によってカプセル型医療装置10A’のLC共振回路17bが励起することで発生した誘導磁界の影響を受けて、その電位を変化させる。なお、各磁気センサSで生じる電位変化は、各磁気センサSが配置された位置および向きとLC共振回路17bの位置および向きとに依存するものとなる。
 信号検出部332Aは、各磁気センサSに生じた電位変化をケーブル121を介して検出信号として読み出し、これに周波数分離やFFT等の所定の処理を実行した後、処理後の検出信号を向きデータとしてCPU133Aに入力する。
 CPU133Aは、上記した実施の形態1におけるCPU133と同様に、上記観測点(磁気センサS_1~S_8)で観測された向き検出用の標識(磁界)の強度や向きから基準方向Dgに対するカプセル型医療装置10A’の向き(すなわち規定方向Uiの傾き)を特定する向き特定手段として機能する。すなわち、CPU133Aは、信号検出回路332Aから入力された各磁気センサSにおける検出信号の磁界強度や磁力線の向き等から磁界の空間的な広がり(磁界分布)を推定してカプセル型医療装置10A’の基準方向Dgに対する向き(すなわち規定方向Uiの基準方向Dgに対する向き)を特定する。また、CPU133Aによって特定された規定方向Uiの基準方向Dgに対する向きの情報(向きデータ)は、上記実施の形態と同様に、同時または同時期にカプセル型医療装置10A’から受信した画像データと対応付けてメモリ134に一時格納される。
 このように、本変形例3-1では、観測点である磁気センサSを実空間に対して固定することで、実空間に対して設定した基準方向Dgに対する規定方向Uiの向きを示す向きデータを生成する。なお、他の構成は、上記各実施の形態(その変形例を含む)のいずれかと同様である。また、本実施の形態による医療システム3Aの動作は、上記変形例1-1と同様であるため、ここでは詳細な説明を省略する。
 以上のように構成および動作することで、本変形例3-1では、上記実施の形態1と同様に、撮像時のカプセル型医療装置10A’の基準方向Dgに対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム3Aおよびその画像処理方法を実現することが可能となる。
 なお、本変形例3-1においても、上記した実施の形態1(これの変形例を含む)および実施の形態2(これの変形例を含む)と同様に、被検体900に設定された基準方向Dsと規定方向Uiとを一致させるように構成することも可能である。これは、例えば被検体900の姿勢を観察者が手動で入力したり、被検体900に重力センサを設けて自動的に検出したりすることで、被検体900に設定された基準方向Dsと基準方向Dgとの傾き(回転量)を取得し、この傾き(回転量)と基準方向Dgに対する規定方向Uiの向き(補正量B)とを用いて画像データを回転補正することで、実現することが可能である。
(変形例3-2)
 また、上記実施の形態3における信号源には、超音波の発生源を用いることも可能である。以下、この場合を本発明の実施の形態3の変形例3-2として、図面を用いて詳細に説明する。ただし、以下の説明において、上記実施の形態およびその変形例のいずれかと同様の構成については、説明の簡略化のため、同一の符号を付し、その詳細な説明を省略する。
 図42は、本変形例3-2による医療システム3Bの概略構成を示す模式図である。図43は、本変形例3-2によるカプセル型医療装置10Bと受信装置330Bとの概略構成例を示すブロック図である。なお、本変形例3-2では、上記変形例1-2によるカプセル型医療装置10Bを用いる。カプセル型医療装置10Bは、被検体900内を伝搬して外表まで到達する超音波を発生する圧電素子17cおよび17dを信号源として備えている。
 図42に示すように、医療システム3Bは、図36に示す医療システム3と比較して、カプセル型医療装置10がカプセル型医療装置10Bに、受信装置330が受信装置330Bに、それぞれ置き換えられる。受信装置330Bは、受信装置330と同様、例えば移動しないように床などの上に設置される。また、ベッド341内部であって被検体900と接触する面の近傍には、受信装置330Bにケーブル126を介して接続された音響センサ125a~125iが配設されている。
 図43に示すように、受信装置330Bは、図37に示す受信装置330と同様の構成において、CPU133がCPU133Bに置き換えられている。さらに、受信装置330Bは、各音響センサ125a~125iに生じた電位変化を検出信号として読み出す信号検出部332Bを備える。
 信号検出部332Bは、各音響センサ125a~125iに生じた電位変化をケーブル126を介して検出信号として読み出し、これに周波数分離やFFT等の所定の処理を実行した後、処理後の検出信号を向きデータとしてCPU133Bに入力する。
 CPU133Bは、上記した実施の形態1におけるCPU133と同様に、上記観測点(音響センサ125a~125i)で観測された向き検出用の標識(超音波)の強度や位相から基準方向Dgに対するカプセル型医療装置10Bの向き(すなわち規定方向Uiの傾き)を特定する向き特定手段として機能する。すなわち、CPU133Bは、信号検出回路332Bから入力された各音響センサ125a~125iにおける検出信号の強度や位相等から超音波の空間的な広がり(超音波分布)を推定し、その圧電素子17cおよび17dの配列からカプセル型医療装置10Bの基準方向Dgに対する向き(すなわち規定方向Uiの基準方向Dgに対する向き)を特定する。また、CPU133Bによって特定された規定方向Uiの基準方向Dgに対する向きの情報(向きデータ)は、上記実施の形態と同様に、同時または同時期にカプセル型医療装置10Bから受信した画像データと対応付けてメモリ134に一時格納される。
 このように、本変形例3-2では、観測点である音響センサ125a~125iを実空間に対して固定することで、実空間に対して設定した基準方向Dgに対する規定方向Uiの向きを示す向きデータを生成する。なお、他の構成は、上記各実施の形態(その変形例を含む)のいずれかと同様である。また、本実施の形態による医療システム3Bの動作は、上記変形例1-2と同様であるため、ここでは詳細な説明を省略する。
 以上のように構成および動作することで、本変形例3-2では、上記実施の形態1と同様に、撮像時のカプセル型医療装置10Bの基準方向Dgに対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム3Bおよびその画像処理方法を実現することが可能となる。
 なお、本変形例3-2においても、上記した実施の形態1(これの変形例を含む)および実施の形態2(これの変形例を含む)と同様に、被検体900に設定された基準方向Dsと規定方向Uiとを一致させるように構成することも可能である。これは、例えば被検体900の姿勢を観察者が手動で入力したり、被検体900に重力センサを設けて自動的に検出したりすることで、被検体900に設定された基準方向Dsと基準方向Dgとの傾き(回転量)を取得し、この傾き(回転量)と基準方向Dgに対する規定方向Uiの向き(補正量B)とを用いて画像データを回転補正することで、実現することが可能である。
<実施の形態4>
 また、上記実施の形態3では、信号源(アンテナ15a)をカプセル型医療装置10に配置し、観測点(アンテナ120)を実空間に固定した場合を例に挙げたが、本発明はこれに限定されず、信号源を実空間に固定し、観測点をカプセル型医療装置に配置することも可能である。以下、この場合を本発明の実施の形態4として、図面を用いて詳細に説明する。ただし、以下の説明において、上記実施の形態およびその変形例のいずれかと同様の構成については、説明の簡略化のため、同一の符号を付し、その詳細な説明を省略する。
 図44は、本実施の形態4による医療システム4の概略構成を示す模式図である。図45は、本実施の形態4によるカプセル型医療装置20と受信装置430との概略構成例を示すブロック図である。なお、本実施の形態4では、上記実施の形態2によるカプセル型医療装置20を用いる。カプセル型医療装置20は、複数のアンテナ22aおよび22bを備えている。
 図44に示すように、医療システム4は、図24に示す医療システム2と比較して、受信装置230が受信装置430に置き換えられる。受信装置430は、例えば移動しないように床などの上に設置される。なお、この床を含む空間が本実施の形態4において基準方向Dgが設定される実空間となる。さらに、医療システム4は、床面に対して移動しないように設置されたセンサ台320と、被検体900が乗るベッド341と、ベッド341を水平移動可能に支持する可動台340と、を備える。なお、ベッド341は、床面に対して移動しないように固定されていてもよい。
 図45に示すように、受信装置430は、図25に示す受信装置230と同様の構成を備える。ただし、受信装置430とケーブル221を介して接続されたアンテナ220は、床面に対して移動しないように例えば受信装置430に固定されたセンサ台320に配設される。なお、センサ台320は、アンテナ220が配設された面がベッド341の裏面と向かい合うように設置される。すなわち、センサ台320は、アンテナ220が配設された面が上側を向いた状態でベッド341下に設置される。ただし、これに限定されず、アンテナ220をベッド以外の固定部材に配設するなど、種々変形することが可能である。
 また、ベッド341を水平移動可能、特にセンサ台320に対して水平移動可能にすることで、アンテナ220に対する被検体900の位置、すなわち、カプセル型医療装置20の位置を適宜調整することが可能となるため、より精度よくカプセル型医療装置20の向きを特定することが可能となる。
 このように、本実施の形態4では、信号源であるアンテナ220を実空間に対して固定することで、実空間に対して設定した基準方向Dgに対する規定方向Uiの向きを示す向きデータを生成する。なお、他の構成は、上記実施の形態1(その変形例を含む)、実施の形態2(その変形例を含む)または実施の形態3(その変形例を含む)と同様である。また、本実施の形態による医療システム4の動作は、上記実施の形態2と同様であるため、ここでは詳細な説明を省略する。
 以上のように構成および動作することで、本実施の形態4では、上記実施の形態1と同様に、撮像時のカプセル型医療装置20の基準方向Dgに対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム4およびその画像処理方法を実現することが可能となる。
 なお、本実施の形態4においても、上記した実施の形態1(これの変形例を含む)および実施の形態2(これの変形例を含む)と同様に、被検体900に設定された基準方向Dsと規定方向Uiとを一致させるように構成することも可能である。これは、例えば被検体900の姿勢を観察者が手動で入力したり、被検体900に重力センサを設けて自動的に検出したりすることで、被検体900に設定された基準方向Dsと基準方向Dgとの傾き(回転量)を取得し、この傾き(回転量)と基準方向Dgに対する規定方向Uiの向き(補正量B)とを用いて画像データを回転補正することで、実現することが可能である。
(変形例4-1)
 また、本実施の形態4による医療システム4では、信号源に電磁波の発生源(アンテナ220)を用いた場合を例に挙げたが、本発明はこれに限定されず、信号源を磁界の発生源とすることが可能である。以下、この場合を本発明の実施の形態4の変形例4-1として、図面を用いて詳細に説明する。ただし、以下の説明では、実空間に固定したLC共振回路222にこれの共振周波数の信号(駆動信号)を入力して誘導磁界を発生させる、いわゆるアクティブ方式で、カプセル型医療装置20Aの向きを特定する場合を例に挙げる。また、以下の説明において、上記実施の形態およびその変形例のいずれかと同様の構成については、説明の簡略化のため、同一の符号を付し、その説明を省略する。
 図46は、本変形例4-1による医療システム4Aの概略構成を示す模式図である。図47は、本変形例4-1によるカプセル型医療装置20Aと受信装置430Aとの概略構成例を示すブロック図である。なお、本変形例4-1では、上記変形例2-1によるカプセル型医療装置20Aを用いる。カプセル型医療装置20Aは、観測点としての複数の磁気センサ23aおよび23bを備えている。
 図46に示すように、医療システム4Aは、図44に示す医療システム4と比較して、カプセル型医療装置20がカプセル型医療装置20Aに、受信装置430が受信装置430Aに、受信装置430のアンテナ220がセンサ台320およびアンテナ120に、それぞれ置き換えられる。受信装置430Aは、例えば移動しないように床などの上に設置される。また、ベッド341には、信号源としてのLC共振回路222が固定されている。LC共振回路222は、ケーブル223を介して受信装置430Aに接続される。
 図47に示すように、受信装置430Aは、図45に示す受信装置430と同様の構成に加え、信号生成回路224Aを備える。また、受信装置430Aは、図45に示す受信装置430と同様の構成において、アンテナ220および送受信回路231がアンテナ120および送受信回路131に、CPU133がCPU133Aに、それぞれ置き換えられている。すなわち、受信装置430Aは、アンテナ120およびLC共振回路222がセンサ台320やベッド341等に固定されている点以外、上記変形例2-1による受信装置230Aと略同様の構成を備える。
 したがって、CPU133Aは、カプセル型医療装置20Aからの画像データに付加された信号検出データを用いて基準方向Dgに対するカプセル型医療装置20Aの向き(すなわち規定方向Uiの傾き)を特定する。
 このように、本変形例4-1では、信号源であるLC共振回路222を実空間に対して固定することで、実空間に対して設定した基準方向Dgに対する規定方向Uiの向きを示す向きデータを生成する。なお、他の構成は、上記各実施の形態(その変形例を含む)のいずれかと同様である。また、本変形例4-1による医療システム4Aの動作は、上記変形例2-1と同様であるため、ここでは詳細な説明を省略する。
 以上のように構成および動作することで、本変形例4-1では、上記実施の形態1と同様に、撮像時のカプセル型医療装置20Aの基準方向Dgに対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム4Aおよびその画像処理方法を実現することが可能となる。
 なお、本変形例4-1においても、上記した実施の形態1(これの変形例を含む)および実施の形態2(これの変形例を含む)と同様に、被検体900に設定された基準方向Dsと規定方向Uiとを一致させるように構成することも可能である。これは、例えば被検体900の姿勢を観察者が手動で入力したり、被検体900に重力センサを設けて自動的に検出したりすることで、被検体900に設定された基準方向Dsと基準方向Dgとの傾き(回転量)を取得し、この傾き(回転量)と基準方向Dgに対する規定方向Uiの向き(補正量B)とを用いて画像データを回転補正することで、実現することが可能である。
(変形例4-2)
 また、上記実施の形態4における信号源には、超音波の発生源を用いることも可能である。以下、この場合を本発明の実施の形態4の変形例4-2として、図面を用いて詳細に説明する。ただし、以下の説明において、上記実施の形態およびその変形例のいずれかと同様の構成については、説明の簡略化のため、同一の符号を付し、その説明を省略する。
 図48は、本変形例4-2による医療システム4Bの概略構成を示す模式図である。図49は、本変形例4-2によるカプセル型医療装置20Bと受信装置430Bとの概略構成例を示すブロック図である。なお、本変形例4-2では、上記変形例2-2によるカプセル型医療装置20Bを用いる。カプセル型医療装置20Bは、観測点としての複数の音響センサ24aおよび24bを備えている。
 図48に示すように、医療システム4Bは、図44に示す医療システム4と比較して、カプセル型医療装置20がカプセル型医療装置20Bに、受信装置430が受信装置430Bに、受信装置430のアンテナ220がセンサ台320およびアンテナ120に、それぞれ置き換えられる。受信装置430Bは、例えば移動しないように床などの上に設置される。また、ベッド341内部であって被検体900と接触する面の近傍には、受信装置430Bにケーブル226(図49参照)を介して接続された複数の圧電素子225aおよび225bが配設されている。
 図48に示すように、受信装置430Bは、図45に示す受信装置430と同様の構成に加え、信号生成回路224Bを備える。また、受信装置430Bは、図45に示す受信装置430と同様の構成において、アンテナ220および送受信回路231がアンテナ120および送受信回路131に置き換えられている。すなわち、受信装置430Bは、アンテナ120およびLC共振回路222がセンサ台320やベッド341等に固定されている点以外、上記変形例2-2による受信装置230Bと略同様の構成を備える。
 したがって、CPU133は、カプセル型医療装置20Bからの画像データに付加された信号検出データを用いて基準方向Dgに対するカプセル型医療装置20Bの向き(すなわち規定方向Uiの傾き)を特定する。
 このように、本変形例4-2では、信号源である複数の圧電素子225aおよび225bを実空間に対して固定することで、実空間に対して設定した基準方向Dgに対する規定方向Uiの向きを示す向きデータを生成する。なお、他の構成は、上記各実施の形態(その変形例を含む)のいずれかと同様である。また、本変形例4-2による医療システム4Bの動作は、上記変形例2-2と同様であるため、ここでは詳細な説明を省略する。
 以上のように構成および動作することで、本変形例4-2では、上記実施の形態1と同様に、撮像時のカプセル型医療装置20Bの基準方向Dgに対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム4Bおよびその画像処理方法を実現することが可能となる。
 なお、本変形例4-2においても、上記した実施の形態1(これの変形例を含む)および実施の形態2(これの変形例を含む)と同様に、被検体900に設定された基準方向Dsと規定方向Uiとを一致させるように構成することも可能である。これは、例えば被検体900の姿勢を観察者が手動で入力したり、被検体900に重力センサを設けて自動的に検出したりすることで、被検体900に設定された基準方向Dsと基準方向Dgとの傾き(回転量)を取得し、この傾き(回転量)と基準方向Dgに対する規定方向Uiの向き(補正量B)とを用いて画像データを回転補正することで、実現することが可能である。
<実施の形態5>
 また、上記実施の形態4(その変形例を含む)では、実空間に固定された信号源にアンテナ220やLC共振回路222や圧電素子225aおよび225bなどの、何らかの信号を発生する構成を用いたが、本発明はこれに限定されず、例えば重力や地磁気などの実空間に存在する物理現象を使用してもよい。以下、信号源の代わりに重力を用いた場合を、図面を用いて詳細に説明する。ただし、以下の説明において、上記実施の形態およびその変形例のいずれかと同様の構成については、説明の簡略化のため、同一の符号を付し、その詳細な説明を省略する。
 図50は、本実施の形態5による医療システム5の概略構成を示す模式図である。図51は、本実施の形態5によるカプセル型医療装置50と受信装置530との概略構成例を示すブロック図である。
 図50に示すように、医療システム5は、図1に示す医療システム1と比較して、カプセル型医療装置10がカプセル型医療装置50に、受信装置130が受信装置530に、それぞれ置き換えられる。
 図51に示すように、カプセル型医療装置50は、図5に示すカプセル型医療装置10と同様の構成に加え、重力センサ51を備える。
 重力センサ51は、重力の方向を検出する重力方向検出手段であり、例えばコイル、バネまたは板等を用いた機械式の加速度センサや、MEMS(Micro Electro Mechanical Systems)技術等を用いた半導体式の加速度センサなど、重力を検出することが可能であってカプセル型医療装置50内に収容可能な程度に小型な加速度センサであれば如何なるものを用いてもよい。
 処理ユニット52は、重力センサ51に生じた電圧変化を検出信号として読み出し、この検出信号に対して所定の処理を実行する。また、処理ユニット52は、信号処理後の検出信号を向きデータとして、同時または同時期に取得された画像データに付加する。
 なお、向きデータは、カプセル型医療装置50を基準とした重力の方向をベクトルで表したデータとすることができる。このように重力の方向をベクトルで表したデータ(向きデータ)を用いることで、基準方向Dgに対するカプセル型医療装置50の向き(すなわち、基準方向Dgに対する規定方向Uiの向き)を直接的に導出することが可能となる。
 ただし、本発明はこれに限定されず、例えば重力センサの3軸のうち1つの軸を受光面と垂直な方向に設定することで、この軸を省略した2軸の重力センサを重力センサ51として用いることが可能である。また、画像データには、上記実施の形態1と同様に、タイムスタンプも付加される。信号検出データおよびタイムスタンプが付加された画像データは、処理ユニット52から送受信ユニット14を介してアンテナ15aより受信装置530へ無線送信される。
 一方、受信装置530は、図51に示すように、図5に示す受信装置130と同様の構成において、信号処理回路132が信号処理回路532に置き換えられている。
 本実施の形態5では、上述したように、カプセル型医療装置50から受信した画像データに重力センサ51で検出された重力方向のベクトルが向きデータとして付加されている。したがって、本実施の形態5では、信号処理回路532が、入力された向きデータおよびタイムスタンプ付きの画像データを一時メモリ134等にバッファリングした後、これをインタフェース部137を介してそのまま表示装置150へ送るように構成することができる。
 このように、本実施の形態5では、向き検出用の標識に実空間において安定している重力を用い、これの観測点である重力センサ51をカプセル型医療装置50内に配置し、重力センサ51で観測された重力方向のベクトルに基づいて、規定方向Uiの基準方向Dsに対する向きを示す向きデータを生成する。なお、他の構成は、上記各実施の形態(その変形例を含む)のいずれかと同様である。
 次に、本実施の形態5による医療システム5の動作について、図面を用いて詳細に説明する。なお、本実施の形態5における表示装置150の動作は、上記実施の形態1と同様であるため、本説明では、カプセル型医療装置50および受信装置530の動作について、以下に説明する。図52は、本実施の形態5によるカプセル型医療装置50の概略動作例を示すフローチャートである。図53は、本実施の形態5による受信装置530の概略動作例を示すフローチャートである。
 図52に示すように、カプセル型医療装置50は、起動後、定期的(例えば時間T(=0.5秒)間隔)に撮像動作を実行することで、画像データを取得する(ステップS511~S512)。続いて、カプセル型医療装置50は、画像データを取得した時刻を取得する(ステップS513)。また、カプセル型医療装置50は、重力センサ51によって検出された値を向きデータとして取得する(ステップS514)。続いて、カプセル型医療装置50は、取得した時刻をタイムスタンプとして画像データに付加すると共に、取得した向きデータを画像データに付加する(ステップS515)。次にカプセル型医療装置50は、タイムスタンプおよび向きデータが付加された画像データを無線信号として送信し(ステップS516)、ステップS511に帰還する。このように動作することで、カプセル型医療装置50から定期的にタイムススタンプおよび向きデータが付加された画像データが受信装置530へ無線送信される。なお、図52に示すカプセル型医療装置50の動作は、カプセル型医療装置50内のバッテリ16の電力が無くなるまで継続される。
 一方、受信装置530は、図53に示すように、例えば常時または定期的に、カプセル型医療装置50から画像データを受信したか否かを監視する(ステップS521のNo)。画像データを受信した場合(ステップS521のYes)、受信装置530は、受信した画像データをメモリ134等に一時バッファリングした後、これをインタフェース部137より携帯型記録媒体140に保存するか、もしくは、インタフェース部137から通信ケーブル159を介して表示装置150へ送信する(ステップS522)。その後、受信装置530は、動作を継続するか否か、例えば操作部135から動作の終了指示が入力されたか否かを判定し(ステップS523)、動作を継続する場合(ステップS523のYes)、ステップS521へ帰還して、画像データの受信待機を繰り返す。一方、動作を継続しない場合(ステップS523のNo)、当該動作を終了する。
 以上のように構成および動作することで、本実施の形態5では、上記実施の形態1と同様に、撮像時のカプセル型医療装置50の基準方向Dg(重力方向)に対する向きに基づいて画像データを回転補正することで複数の画像データの向きを揃えることが可能となるため、診断時の手間の軽減や診断結果の正確性の向上を可能にする医療システム5およびその画像処理方法を実現することが可能となる。
 また、本実施の形態5では、基準方向Dgを実空間に設定した場合、重力を向き検出用の標識の代わりとして使用することが可能となる。この結果、被検体900の姿勢や向きに影響されない略絶対的な基準である重力を検出できる重力センサ51を用いて直接的に基準方向Dgに対する規定方向Uiの向き検出することが可能となるため、向き検出用の構成を簡略化することや、後述する受信装置530における処理を軽くすることが可能となる。
 なお、本実施の形態5においても、上記した実施の形態1(これの変形例を含む)および実施の形態2(これの変形例を含む)と同様に、被検体900に設定された基準方向Dsと規定方向Uiとを一致させるように構成することも可能である。これは、例えば被検体900の姿勢を観察者が手動で入力したり、被検体900に重力センサを設けて自動的に検出したりすることで、被検体900に設定された基準方向Dsと基準方向Dgとの傾き(回転量)を取得し、この傾き(回転量)と基準方向Dgに対する規定方向Uiの向き(補正量B)とを用いて画像データを回転補正することで、実現することが可能である。
<実施の形態6>
 また、上記各実施の形態(その変形例を含む)では、画像データを回転補正することで得られた画像データから平均色バー60のイメージを生成し、観察者へGUI機能を提供するためのGUI画面(図8参照)に生成した平均色バー60を組み込む場合を例に挙げたが、本発明においてGUI画面に組み込まれるイメージは、平均色バー60に限られるものではない。以下、その一例として赤色検出結果のイメージ(以下、赤色インジケータという)を例に挙げ、これを本発明の実施の形態6として図面を用いて詳細に説明する。ただし、以下の説明では、上記実施の形態1をベースとして本実施の形態6を説明するが、本発明はこれに限定されず、上記実施の形態およびこれの変形例のいずれについても本実施の形態6を適用することが可能であることは言うまでもない。
 ここで、赤色検出とは、画像データにおける赤色の領域(広さ)や濃さを検出することである。したがって、各画像データについての赤色検出の結果をイメージ化することで、観察者に画像データに含まれる赤色の量や濃さを目視により認識させることが可能となる。また、赤色検出結果のイメージが画像データの時系列に沿って並べられたGUI(赤色インジケータ)を生成して表示することで、観察者にどの辺りに赤色が多く出現するかを一目で把握させることが可能となる。この結果、観察者に出血や腫れなどの箇所を容易に発見させることが可能となる。
 本実施の形態6による医療システムは、図1に示す医療システム1における表示装置150(図7参照)が、図54に示す表示装置650に置き換えられる。図54は、本実施の形態6による表示装置650の概略構成例を示すブロック図である。図54と図7とを比較すると明らかなように、表示装置650は、表示装置150における画像処理部154が、画像処理部654に置き換えられている。
 図54に示すように、画像処理部654は、画像処理部154と同様の構成において、赤色検出部654aおよび赤色インジケータ生成部654bとが追加されると共に、画面生成部154eが画面生成部(画面生成手段)654eに置き換えられる。
 赤色検出部654aは、回転補正された画像データに含まれる赤色成分を検出する赤色検出手段として機能する。すなわち、赤色検出部654aは、画像選別部154cによって選別された回転補正後の画像データに含まれる赤色成分の量および濃さを判定し、これを平均化した赤色データを生成する。なお、赤色成分の量および濃さの判別および平均化は、例えば画像データにおける赤色成分の値を用いて実行することが可能である。また、赤色検出は、複数(例えば4つ)に分割された画像データにおける分割領域(例えば分割領域A1~A4)それぞれについて別個に行われてもよい。
 赤色検出部654aによって生成された赤色データは、赤色検出結果として赤色インジケータ生成部654bに入力される。赤色インジケータ生成部654bは、赤色検出部654aによる検出結果を視覚的に表示するイメージ(赤色イメージ)を生成する赤色イメージ生成手段である。本実施の形態では、赤色イメージとして、赤色インジケータ(図56の赤色インジケータ66参照)を用いる。したがって、赤色インジケータ生成部654bは、赤色検出結果を用いて赤色インジケータのイメージを生成し、これを画面生成部654eに入力する。
 画面生成部654eは、画像選別部154cにおいて選別された回転補正後の画像データと、平均色バー生成部154dから入力された平均色バーのイメージと、赤色インジケータ生成部654bから入力された赤色インジケータのイメージと、を用いて、図56に示すようなGUI画面を生成する。なお、本実施の形態6により生成されるGUI画面については、後述において触れる。
 また、図55を用いて、本実施の形態6による表示装置650の動作を詳細に説明する。図55に示すように、表示装置650は、まず、上記実施の形態1において図13のステップS121~S127を用いて説明したステップと同様のステップを経ることで、選別された全ての画像データについての回転補正と平均色バーのイメージの生成処理とを実行する。次に表示装置650は、赤色検出部654aにおいて赤色検出処理を実行し(ステップS621)、続いて、赤色インジケータ生成部654bにおいて赤色検出結果から赤色インジケータのイメージの生成処理を実行する(ステップS622)。
 次に表示装置650は、画像選別部154cにおいて選別された回転補正後の画像データと、平均色バー生成部154dから入力された平均色バーのイメージと、赤色インジケータ生成部654bから入力された赤色インジケータのイメージと、を用いて、図55に示すようなGUI画面を生成する画面生成処理を画面生成部654eに実行させ(ステップS623)、その後、処理を終了する。なお、生成されたGUI画面は、制御部151を介して表示部155に入力されて、観察者へ表示される。この結果、観察者にGUI画面および入力部156を用いたGUI機能が提供される。
 ここで、図56を用いて、画面生成部654eが生成するGUI画面を詳細に説明する。図56に示すように、画面生成部654eが生成するGUI画面には、上記各実施の形態において画面生成部154eが生成するGUI画面(図8参照)と同様に、患者情報g11と診察情報g12と主画像表示領域g13と副画像表示領域g14と再生制御ボタンg15と平均色バー60とが組み込まれる。また、GUI画面には、赤色インジケータ66と、平均色バー60と赤色インジケータ66とをリンクさせつつ主画像表示領域g13に表示中の画像の平均色バー60および赤色インジケータ66上の位置を示すスライダg61aと、が組み込まれる。
 赤色インジケータ66は、時間軸方向の長さが平均色バー60と同じであり、画面中で平均色バー60の上または下に配置される。これにより、平均色バー60と赤色インジケータ66との見た目の時間軸をリンクさせることが可能となるため、観察者に平均色バー60におけるどの辺りの部位に赤色が多く出現しているかを容易に認識させることが可能となる。
 また、赤色インジケータ66の各画像データに対応する領域の色は、赤色検出結果に応じた濃淡が付けられる。これにより、観察者にどの辺りの部位に赤色がより多く出現しているかを容易に認識させることが可能となる。
(変形例6-1)
 また、上記実施の形態6では、赤色検出結果をバー状のイメージで表現する赤色インジケータ66(図56参照)を用いて赤色検出結果を視覚的に表示する場合を例に挙げたが、本発明はこれに限定されず、例えば図57に示すように、平均色バーに赤色検出結果を重畳してもよい。なお、図57は、本実施の形態6の変形例6-1による平均色バー60_1の一例を示す図である。また、平均色バー60_1は、平均色バー60に赤色検出結果をヒストグラムで表現したイメージを重畳したものである。したがって、赤色検出結果のイメージでは、図57に示すように、各画像データにおける赤色の量や濃さがその高さで示されている。ただし、これに限らず、赤色検出結果を折れ線等で表現してもよい。
 例えば、赤色が検出されなかった、もしくは、赤色データの平均値が最小値とする第1の閾値よりも小さかった画像データについての赤色検出結果のイメージは、平均色バー60_1に描画されない。また、第1の閾値以上で中間値とする第2の閾値よりも小さかった画像データについての赤色検出結果のイメージは、平均色バー60_1における該当する画像データ部分の最下の分割領域A1に重畳される。さらに、赤色データの平均値が最大値とする第2の閾値以上であった画像データについての赤色検出結果のイメージは、平均色バー60_1における該当する画像データ部分の全体に亘って重畳される。
(変形例6-2)
 また、画像データを複数(例えば4つ)に分割した分割領域A1~A4ごとに赤色検出を実行する場合、分割領域A1~A4ごとの赤色検出結果のイメージは、図58に示すように、画像データを分割する分割領域A1~A4に対応付けて平均色バー60_2に重畳されてもよい。これにより、観察者にどの辺りの部位のどの辺りに赤色が広く検出されたかを目視により容易に認識させることが可能となる。なお、図58は、本実施の形態6の変形例6-2による平均色バー60_2の一例を示す図である。また、平均色バー60_2は、平均色バー60に赤色検出結果のイメージを重畳したものである。
(変形例6-3)
 また、画像データを複数(例えば4つ)に分割した分割領域A1~A4ごとに赤色検出を実行する場合、分割領域A1~A4ごとの赤色検出結果のイメージは、分割領域A1~A4についての赤色検出結果の濃淡を赤色の濃さで表現してもよい。さらに、この際、各分割領域A1~A4についての赤色検出結果のイメージは、図59に示すように、画像データを分割する分割領域A1~A4に対応付けて平均色バー60_3に重畳されてもよい。これにより、観察者にどの辺りの部位のどの辺りにどの程度の濃さの赤色が検出されたかを目視により容易に認識させることが可能となる。なお、図59は、本実施の形態6の変形例6-3による平均色バー60_3の一例を示す図である。また、平均色バー60_3は、平均色バー60に赤色検出結果のイメージを重畳したものである。
<実施の形態7>
 また、上記実施の形態6(その変形例を含む)では、平均色バー60に赤色検出結果のイメージをリンクさせて表示したが、本発明において平均色バーにリンクさせて表示する対象は、赤色検出結果に限らず、例えば回転補正部154aにおいて用いた回転量とすることも可能である。以下、この場合の一例を本発明の実施の形態7として、図面を用いて詳細に説明する。ただし、以下の説明では、上記実施の形態1をベースとして本実施の形態7を説明するが、本発明はこれに限定されず、上記実施の形態およびこれの変形例のいずれについても本実施の形態7を適用することが可能であることは言うまでもない。
 ここで、回転量は、画像処理部154の回転補正部154aにおいて向きデータに基づき生成または特定される。したがって、本実施の形態7による医療システムは、図1に示す医療システム1における表示装置150(図7参照)が、図60に示す表示装置750に置き換えられる。図60は、本実施の形態7による表示装置750の概略構成例を示すブロック図である。図60と図7とを比較すると明らかなように、表示装置750は、表示装置150における画像処理部154が、画像処理部754に置き換えられている。
 図60に示すように、画像処理部754は、画像処理部154と同様の構成において、回転量インジケータ生成部754aが追加されると共に、画面生成部154eが画面生成部(画面生成手段)754eに置き換えられる。ただし、本実施の形態7による回転補正部154aは、生成または特定した回転量を回転量インジケータ生成部754aに入力する。
 回転量インジケータ生成部754aは、回転補正時に使用する画像データごとの回転量を視覚的に表示するイメージ(回転量イメージ)を生成する回転量イメージ生成手段である。本実施の形態では、回転量イメージとして回転量インジケータ(図62の回転量インジケータ68参照)を用いる。したがって、回転量インジケータ生成部754aは、入力された回転量を用いて回転量インジケータのイメージを生成し、これを画面生成部754eに入力する。
 画面生成部754eは、画像選別部154cにおいて選別された回転補正後の画像データと、平均色バー生成部154dから入力された平均色バーのイメージと、回転量インジケータ生成部754aから入力された回転量インジケータのイメージと、を用いて、図62に示すようなGUI画面を生成する。なお、本実施の形態7により生成されるGUI画面については、後述において触れる。
 また、図61を用いて、本実施の形態7による表示装置750の動作を詳細に説明する。図61に示すように、表示装置750は、まず、上記実施の形態1において図13のステップS121~S127を用いて説明したステップと同様のステップを経ることで、選別された全ての画像データについての回転補正と平均色バーのイメージの生成処理とを実行する。次に表示装置750は、回転量インジケータ生成部754aにおいて回転量から回転量インジケータのイメージの生成処理を実行する(ステップS721)。
 次に表示装置750は、画像選別部154cにおいて選別された回転補正後の画像データと、平均色バー生成部154dから入力された平均色バーのイメージと、回転量インジケータ生成部754aから入力された回転量インジケータのイメージと、を用いて、図62に示すようなGUI画面を生成する画面生成処理を画面生成部754eに実行させ(ステップS722)、その後、処理を終了する。なお、生成されたGUI画面は、制御部151を介して表示部155に入力されて、観察者へ表示される。この結果、観察者にGUI画面および入力部156を用いたGUI機能が提供される。
 ここで、図62を用いて、画面生成部754eが生成するGUI画面を詳細に説明する。図62に示すように、画面生成部754eが生成するGUI画面には、上記各実施の形態において画面生成部154eが生成するGUI画面(図8参照)と同様に、患者情報g11と診察情報g12と主画像表示領域g13と副画像表示領域g14と再生制御ボタンg15と平均色バー60とが組み込まれる。また、GUI画面には、回転量インジケータ68が組み込まれる。
 回転量インジケータ68は、時間軸方向の長さが平均色バー60と同じであり、画面中で平均色バー60の上または下に配置される。これにより、平均色バー60と回転量インジケータ68との見た目の時間軸をリンクさせることが可能となるため、観察者に平均色バー60におけるどの辺りの部位でカプセル型医療装置10が大きく回転しているかを容易に認識させることが可能となる。
 また、回転量インジケータ68の各画像データに対応する領域の色は、回転量に応じた濃淡が付けられる。これにより、観察者にどの辺りの部位でカプセル型医療装置10が大きく回転しているかを容易に認識させることが可能となる。
(変形例7-1)
 また、上記実施の形態7では、回転量をバー状のイメージで表現する回転量インジケータ68(図62参照)を用いて回転量を視覚的に表示する場合を例に挙げたが、本発明はこれに限定されず、例えば図63に示すように、平均色バーに回転量を重畳してもよい。なお、図63は、本実施の形態7の変形例7-1による平均色バー60_4の一例を示す図である。また、平均色バー60_4は、平均色バー60に回転量の折れ線で表現したイメージを重畳したものである。したがって、回転量のイメージでは、図63に示すように、各画像データにおける回転量がその高さで示されている。ただし、これに限定されず、回転量をヒストグラム等で表現してもよい。
 なお、回転量は、前後する所定数の画像データについての回転量で平均化されてもよい。平均化をしない場合、観察者は、回転量の折れ線イメージから回転量の変化の急峻さを知ることができる。また、平均化をした場合、観察者は、回転量の折れ線イメージから回転量の変化の傾向を容易に知ることが可能となる。
<実施の形態8>
 次に、本発明の実施の形態8について、図面を用いて詳細に説明する。なお、以下の説明では、上記実施の形態1をベースとして本実施の形態8を説明するが、本発明はこれに限定されず、上記実施の形態およびこれの変形例のいずれについても本実施の形態8を適用することが可能であることは言うまでもない。
 被検体900内における管腔の色や形状は、その部位によって異なる。そこで、観察者は、上述した各実施の形態(その変形例を含む)で例示したような平均色バー60を目視により認識することで、GUI画面の主画像表示領域g13に現在どの部位が表示されているかを認識することができる。そこで本実施の形態8では、観察者が平均色バー60に対して任意の部位についてのインデックスを付加できるGUI機能を表示部155に表示するGUI画面(図64参照)および入力部156を用いて観察者へ提供する。図64は、本実施の形態8によるGUI画面の一例を示す図である。
 図64に示すように、本実施の形態8によるGUI画面には、上記実施の形態1によるGUI画面(図8参照)と同様に、患者情報g11と診察情報g12と主画像表示領域g13と副画像表示領域g14と再生制御ボタンg15とが組み込まれる。ただし、本実施の形態では、図8における平均色バー60が平均色バー60_5に置き換えられる。また、本実施の形態8によるGUI画面には、平均色バー60_5におけるスライダg16aの位置に付加するインデックスを選択するための欄(部位選択欄g81)と、選択したインデックスを表示する符号を選択するための欄(符号欄g82)と、選択したインデックスおよび符号の登録を入力するための登録ボタンg83と、が組み込まれる。
 観察者は、部位選択欄g81が提供するプルダウンメニューから目的とする部位をインデックスとして選択する。また、部位選択欄g81において何れかの部位が選択されると、符号欄g82には、所定の順番にしたがって次に選択すべき符号が自動的に選択される。ただし、観察者は、符号欄g82が提供するプルダウンメニューによって、選択する符号を変えることが可能である。また、部位選択欄g81は、直接文字列を入力するように構成されてもよい。さらに、部位選択欄g81において選択されるインデックスに予め符号が付されていてもよい。
 以上のようにして部位の名称および符号を選択後、観察者は、登録ボタンg83をクリックする。表示装置150は、選択された部位および符号をインデックスとして画像処理部154における画面生成部154eに入力する。画面生成部154eは、入力された部位の名称および符号を用いて平均色バー60_5にインデックスを付加すると共に、インデックス(特に符号)を視覚的に表示するためのイメージを作成し、これを平均色バー60_5の該当する個所に付加する。また、平均色バー60_5にインデックスのイメージが付加されたGUI画面は、表示部155に入力され、観察者に表示される。この結果、平均色バー60_5における該当する個所には、図64に示すように、インデックスが付加されていることを示す符号(例えばa~e)が表示される。これにより、観察者は、現在、主画像表示領域g13にどの部位の画像データが表示されているかを容易に知ることができる。
 また、本実施の形態8によるGUI画面には、被検体900内部の管腔のイメージ(以下、臓器イメージという)g84が組み込まれる。ここで、被検体900を人とした場合、幽門や盲腸や肝湾曲や脾湾曲やS状結腸などの部位は、個体に依存せず、全ての被検体900において略同じである。
 そこで本実施の形態8では、臓器イメージg84を一般的な被検体900についてのイメージで作成し、この臓器イメージg84が描画するイメージにおける部位の位置を予め定義しておく。また、観察者が図64に示すGUI画面の部位選択欄g81を用いて部位を選択すると、平均色バー60_5における選択された部位と先に選択された部位とで挟まれた領域のイメージ(色彩やテクスチャ等)を臓器イメージg84中の管腔形状における対応する区間に貼り付ける。なお、先に選択されたイメージがない場合は、平均色バー60_5の時間軸における先頭から対応する部位までのイメージ(色彩やテクスチャ等)を、臓器イメージg84に貼り付ける。
 以上のように動作することで、本実施の形態によるGUI画面の臓器イメージg84に、平均色バー60_5と同様の表示を重畳することが可能となる。この結果、観察者は、どの部位がどのような平均色となっているかを容易に認識することが可能となる。
 なお、本実施の形態8では、手動により平均色バー60_5に付加するインデックスを選択/入力するように構成したが、本発明はこれに限定されず、例えば平均色バー60_5の色彩等から自動的に部位を特定し、これをインデックスとして平均色バー60_5に付加するように構成してもよい。
(変形例8-1)
 また、被検体900内に導入されたカプセル型医療装置は、図65に示すように、通過する管腔の形状等、すなわち部位によって回転量や回転量の変化率が変化する。なお、図65は、被検体900内に導入されたカプセル型医療装置10の通過する管腔902における部位と回転量との関係を示す図である。
 そこで、回転量や回転量の変化率の変化に基づいて、自動的に部位を特定し、これをインデックスとして平均色バー60_5に付加することも可能である。以下、この場合を本実施の形態8の変形例8-1として、図面を用いて詳細に説明する。なお、以下の説明では、上記実施の形態8をベースとして本変形例8―1を説明するが、本発明はこれに限定されず、上記実施の形態およびこれの変形例のいずれについても本変形例8-1を適用することが可能であることは言うまでもない。
 本変形例8-1による医療システムは、上記実施の形態8で引用した図1に示す医療システム1における表示装置150(図7参照)が、図66に示す表示装置850に置き換えられる。図66は、本変形例8-1による表示装置850の概略構成例を示すブロック図である。図66と図7とを比較すると明らかなように、表示装置850は、表示装置150における画像処理部154が、画像処理部854に置き換えられている。
 図66に示すように、画像処理部854は、画像処理部154と同様の構成において、臓器判定部(臓器判定手段)854aおよび臓器イメージ生成部(臓器イメージ生成部)854bが追加されると共に、画面生成部154eが画面生成部(画面生成手段)854eに置き換えられている。ただし、本変形例8-1による回転補正部154aは、生成または特定した回転量を臓器判定部854aに入力する。また、平均色バー生成部154dは、生成した各部位間の平均色のデータを臓器イメージ生成部854bに入力する。
 臓器判定部854aは、回転補正に使用される画像データごとの回転量に基づいて各画像データが取得された際のカプセル型医療装置10の近傍に位置する臓器を判定する臓器判定手段として機能し、入力された回転量およびその変化率からカプセル型医療装置10が各臓器(例えば幽門907a、盲腸907b、肝湾曲907c、脾歪曲907dおよびS状結腸907e等)を通過するタイミングの画像データを特定する。なお、回転量は、画像データごとに生成され、互いに対応付けられている。
 また、臓器判定部854aは、特定した各臓器の画像データ(これのID)と平均色バー生成部154dから入力された平均色バーのイメージとから、各臓器間の経路に相当する平均色バーのイメージを特定し、この特定した結果を臓器イメージ生成部854bに入力する。なお、平均色バーのイメージは、各画像データの平均色のイメージがつなぎ合わせられたものである。また、各画像データの平均色のイメージには、該当する画像データのIDが対応付けられている。
 臓器イメージ生成部854bは、予め作成されていた臓器イメージおよびこれに付加しておいたインデックスと、臓器判定部854aから入力された特定結果とを照らし合わせ、合致する部位間の臓器イメージに該当する部位間の平均色のデータを特定し、これを臓器イメージに貼り付ける。これにより、図64に例示したGUI画面における臓器イメージg84と同様の臓器イメージが自動的に生成される。
(変形例8-2)
 また、臓器イメージg84には、平均色のイメージだけでなく、図67に示す本実施の形態8の変形例8-2によるGUI画面に組み込まれた臓器イメージg84Bに示すように、赤色検出結果が重畳されていてもよい。
 また、臓器イメージg84Bを生成する画像処理部は、図54に示す画像処理部654と図66に示す画像処理部854とから容易に想到することが可能であるため、ここでは詳細な説明を省略する。また、図67に示すGUI画面には、赤色インジケータ66も組み込まれている。
(変形例8-3)
 さらに、本実施の形態によるGUI画面(図64参照)には、図68に示す本変形例8-3によるGUI画面に示すように、例えば上述の回転量インジケータ68が組み込まれてもよい。
<実施の形態9>
 また、上記した各実施の形態(その変形例を含む)における画像選別部154cのより具体的な説明を、本発明の実施の形態9として、以下に図面を用いて詳細に説明する。図69は、本実施の形態9による画像選別部154cの概略構成例を示すブロック図である。
 図69に示すように、画像選別部154cは、前回入力された回転補正後の画像を一時保持するバッファ954bと、今回入力された回転補正後の画像とバッファ954bに保持されている前回分の回転補正後の画像とから、直前の画像データに対する今回の画像データの類似度を判定する類似度判定部954aと、類似度判定部954aによる類似度判定結果に基づいて回転補正後の画像データを選別する表示対象画像選別部954cと、を含む。
 類似度判定部954aは、回転補正された複数の画像データのうち前後する画像データ間の類似度を判定する類似度判定手段として機能する。そこで、類似度判定部954aは、バッファ954bから読み出した前回分の回転補正後の画像データと今回分の回転補正後の画像データの同じ位置にある画素ごとに色成分値の差分を求め、画面全体で、画素ごとに求めた色成分値の差分の和を求める。このとき、画面全体に対する色成分値の差分の和が所定の閾値よりも小さい場合、今回分の回転補正後の画像データが前回分の回転補正後の画像データと同様の画像データである、すなわち、同じ部位を撮像した画像データであると判定し、この判定結果を表示対象画像選別部954cに入力する。一方、前回分の回転補正後の画像データと今回分の回転補正後の画像データとの画面全体に対する色成分値の差分の和が所定の閾値以上の場合、今回分の回転補正後の画像データは前回分の回転補正後の画像データとは異なる画像データである、すなわち、異なる部位を撮像した画像データであると判定し、この判定結果を表示対象画像選別部954cに入力する。
 表示対象画像選別部954cは、類似度判定部954aによる判定結果に基づいて回転補正された複数の画像データから所定条件を満たす回転補正後の画像データを選別する画像データ選別手段として機能する。そこで、表示対象画像選別部954cは、類似度判定部954aから入力された判定結果が、今回分の回転補正後の画像データが前回分の回転補正後の画像データと異なる部位を撮像した画像データであることを示している場合、この画像データを選別する。すなわち、この画像データを平均色バー生成部154dおよび画面生成部154eにそれぞれ入力する。一方、類似度判定部954aから入力された判定結果が、今回分の回転補正後の画像データと前回分の回転補正後の画像データとが同一の部位を撮像した画像データであることを示している場合、表示対象画像選別部954cは、この今回分の回転補正後の画像データを破棄する。
 画像選別部154cを以上のように構成することで、本実施の形態9では、前回分の回転補正後の画像データとは異なる部位を撮像した回転補正後の画像データを優先して選別し、表示することが可能となる。この結果、同じ部位の画像データが何枚も連続して表示されることを回避できるため、観察者により効率的に読影をさせることが可能となる。
 なお、本実施の形態では、前後する画像の類似度を判定する際に使用する閾値を調整することで、選別される画像データの数を調節することが可能となるため、結果的に再生スピードも調節することが可能となる。
<実施の形態10>
 また、上記各実施の形態(その変形例を含む)による画面生成部(154e、654e、754eまたは854e)は、画像選別部154cで選別された回転補正後の画像データをサムネイル化して、図70の本発明の実施の形態10によるGUI画面に示すように、一覧表示(オーバビュー表示ともいう)してもよい。すなわち、表示装置150における画面生成部154eが、各選別された回転補正後の画像データを縮小して、これらを一覧に表示するGUI画面(図70参照)を生成してもよい。
<実施の形態11>
 また、上記した各実施の形態(その変形例を含む)における表示装置150の他の形態を、本発明の実施の形態11として、以下に図面を用いて詳細に説明する。図71は、本実施の形態11による表示装置1150の概略構成例を示すブロック図である。ただし、以下の説明では、上記実施の形態1をベースとして本実施の形態11を説明するが、本発明はこれに限定されず、上記実施の形態およびこれの変形例のいずれについても本実施の形態11を適用することが可能であることは言うまでもない。
 図71に示すように、表示装置1150は、図7に示す表示装置150と同様の構成において、画像処理部154が画像処理部1154に置き換えられている。
 図71に示すように、画像処理部1154は、画像処理部154と同様の構成において、特徴点抽出部154bが動きベクトル算出部1154bに、画像選別部154cが画像選別部1154cに、それぞれ置き換えられている。
 動きベクトル算出部1154bは、回転補正された複数の画像データのうち前後する画像データ間で動きベクトルを算出する動きベクトル算出手段として機能し、前後する画像データにおける領域の動きベクトルを算出し、これを画像選別部1154cに入力する。画像選別部1154cは、動きベクトル算出部1154bから入力された動きベクトルのうちスカラー量が最大となる値を抽出する最大スカラー量抽出部1154d(最大スカラー量抽出手段)を含む。画像選別部1154cは、最大スカラー量抽出部1154dによる抽出結果に基づいて回転補正された複数の画像データから所定条件を満たす回転補正後の画像データを選別する画像データ選別手段として機能する。
 例えば、画像選別部1154cは、最大スカラー量抽出部1154dで抽出された動きベクトルの最大スカラー量が所定の閾値以下である場合、前回分の画像データと今回分の画像データとがそれぞれ異なる部位を撮像したものであると判断し、この今回分の画像データを選別する。すなわち、この画像データを平均色バー生成部154dおよび画面生成部154eにそれぞれ入力する。一方、最大スカラー量抽出部1154dで抽出された動きベクトルの最大スカラー量が所定の閾値より大きい場合、前回分の画像データと今回分の画像データとが同じ部位を撮像したものであると判断し、この今回分の画像データを破棄する。
 画像選別部1154cを以上のように構成することで、本実施の形態11では、前回分の回転補正後の画像データとは異なる部位を撮像した回転補正後の画像データを優先して選別し、表示することが可能となる。この結果、同じ部位の画像データが何枚も連続して表示されることを回避できるため、観察者により効率的に読影をさせることが可能となる。
 なお、本実施の形態では、前後する画像の類似度を判定する際に使用する閾値を調整することで、選別される画像データの数を調節することが可能となるため、結果的に再生スピードも調節することが可能となる。
<実施の形態12>
 また、上記した各実施の形態(その変形例を含む)における表示装置150または1150の他の形態を、本発明の実施の形態12として、以下に図面を用いて詳細に説明する。図72は、本実施の形態12による表示装置1250の概略構成例を示すブロック図である。ただし、以下の説明では、上記実施の形態1および8を適宜ベースとして本実施の形態12を説明するが、本発明はこれに限定されず、上記実施の形態およびこれの変形例のいずれについても本実施の形態12を適用することが可能であることは言うまでもない。
 図72に示すように、表示装置1250は、図5に示す表示装置150と同様の構成に加え、位置・移動経路推定部1257を備える。ただし、本実施の形態12では、画像処理部154における回転補正部154aによって回転補正された画像データが、位置・移動経路推定部1257にも入力される。
 位置・移動経路推定部1257は、画像データを取得する際のカプセル型医療装置10の位置を画像データごとの回転補正に使用される回転量に基づいて推定する位置推定手段として機能し、回転補正部154aから前後して入力された画像データ間の類似度を算出する類似度算出部1257aと、類似度算出部1257aによって算出された類似度に基づいて前後する画像データを撮像する間にカプセル型医療装置10が移動した距離を推定する移動距離推定部1257bと、移動距離推定部1257bによって推定された移動距離に基づいて今回分の画像データを撮像した際のカプセル型医療装置10の位置および移動経路を推定する位置・経路推定部1257cと、を含む。
 回転補正部154aから位置・移動経路推定部1257に入力された回転補正後の画像データは、類似度算出部1257aに入力される。類似度算出部1257aは、入力された回転補正後の画像データのうち、前後する画像データ間の類似度を算出し、これを移動距離推定部1257bに入力する。なお、前後する画像データ間の類似度は、例えば量画像データの特徴点や動きベクトル等から算出することが可能である。
 移動距離推定部1257bは、入力された類似度に基づいて、前後する画像データを撮像する際にカプセル型医療装置10が移動した距離を推定し、推定した移動距離を位置・経路推定部1257cに入力する。なお、移動距離の推定は、例えば類似度と距離との対応関係を予め実験や経験やシミュレーション等で求めておき、これに基づいて推定することが可能である。
 位置・経路推定部1257cは、入力された移動距離と前回推定した前回分の画像データを撮像した際のカプセル型医療装置10の位置および移動経路とに基づいて、今回分の画像データを撮像した際のカプセル型医療装置10の位置および移動経路を推定し、これを画像処理部154における画面生成部154eに入力する。なお、位置・経路推定部1257cには、制御部151等からカプセル型医療装置10の位置および移動経路に関する情報が別途入力されてもよい。カプセル型医療装置10の位置および移動経路に関する情報が別途入力される場合、位置・経路推定部1257cは、以上のように推定したカプセル型医療装置10の位置および移動経路を別途入力された位置および移動経路によって誤差修正する。この誤差修正は、例えば最小二乗法を用いた反復演算による収束計算によって実行することができる。
 なお、位置・移動経路推定部1257において推定されたカプセル型医療装置10の各撮像タイミングにおける位置および移動経路は、例えば画像処理部154における画面生成部154eに入力される。画面生成部154eは、入力された各撮像タイミングにおけるカプセル型医療装置10の位置および移動経路を用いて、例えば図73に示すようなGUI画面を生成する。なお、図73に示すGUI画面は、例えば上記実施の形態8によるGUI画面に本実施の形態を適用したものである。
 図73のGUI画面に示すように、本実施の形態12では、主画像表示領域g13に表示中の画像データを撮像したタイミングでのカプセル型医療装置10の位置を示すマーカg121およびこの画像データを撮像するまでにカプセル型医療装置10が移動した経路g122が臓器イメージg84に重畳されている。これにより、観察者は、臓器イメージg84から表示中の画像データを撮像した際のカプセル型医療装置10の位置およびそれまでの移動軌跡を容易に知ることが可能となる。
 また、上記実施の形態は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施の形態が可能であることは上記記載から自明である。
 1、1A、1B、2、2A、2B、3、3A、3B、4、4A、4B、5 医療システム
 10、10A、10B、10A’、20、20A、20B、50 カプセル型医療装置
 11 撮像ユニット
 11a CCDアレイ
 11c LED
 12、52 処理ユニット
 13 メモリユニット
 14 送受信ユニット
 15a、22a、22b アンテナ
 16 バッテリ
 17a 永久磁石
 17b、222 LC共振回路
 17c、17d、225a、225b 圧電素子
 18 筐体
 18a 容器
 18b キャップ
 21、21A、21B 信号検出ユニット
 23a、23b、123a、123b 磁気センサ
 24a、24b、125a~125i 音響センサ
 51 重力センサ
 120、120a~120i、220 アンテナ
 121、124、126、221、223、226 ケーブル
 122 ジャケット
 130、130A、130B、230、230A、230B、330、330A、330B、430、430A、430B、530 受信装置
 131、231 送受信回路
 131A、131B 信号検出回路
 131a RSSI回路
 132、532 信号処理回路
 133、133A、133B CPU
 134 メモリ
 135 操作部
 136 表示部
 137 インタフェース部
 140 携帯型記録媒体
 150、650、750、850、1150、1250 表示装置
 151 制御部
 152 インタフェース部
 153 メモリ部
 154、654、754、854、1154 画像処理部
 154a 回転補正部
 154b 特徴点抽出部
 154c 画像選別部
 154d 平均色バー生成部
 154e、654e、754e、854e 画面生成部
 155 表示部
 156 入力部
 159 通信ケーブル
 224A、224B 信号生成回路
 320 センサ台
 331A コイル駆動部
 332A、332B 信号検出部
 340 可動台
 341 ベッド
 654a 赤色検出部
 654b 赤色インジケータ生成部
 754a 回転量インジケータ生成部
 854a 臓器判定部
 854b 臓器イメージ生成部
 900 被検体
 902 管腔
 954a 類似度判定部
 954b バッファ
 954c 表示対象画像選別部
 1154b 動きベクトル算出部
 1154c 画像選別部
 1154d 最大スカラー量抽出部
 1257 位置・移動経路推定部
 1257a 類似度算出部
 1257b 移動距離推定部
 1257c 位置・経路推定部
 A1~A4 分割領域
 60、60_1~60_5 平均色バー
 66 赤色インジケータ
 68 回転量インジケータ
 D、D_1、D_2、Dx_1、Dx_2、Dy_1、Dy_2、Dz_1、Dz_2 駆動コイル
 Dg、Ds 基準方向
 Du 画面の上方向
 Im11~Im13、Im21~Im23、Im31~Im33、Im41~Im43 画像データ
 K 検出空間
 P1、P2a、P3b、P3、P21~P23 領域
 S、S_1~S_8 磁気センサ
 Ui 規定方向
 g13 主画像表示領域
 g14 副画像表示領域
 g14a、g16a、g61a スライダ
 g14s スクロールバー
 g15 再生制御ボタン
 g121 マーカ
 g122 経路
 g84B 臓器イメージ
 g81 部位選択欄
 g82 符号欄
 g83 登録ボタン
 g84 臓器イメージ
 p1 部位

Claims (20)

  1.  被検体内部を撮像する撮像手段と、
     前記撮像手段で取得された画像データを外部へ出力する出力手段と、
     を備えた被検体内導入装置と、
     前記画像データを入力する入力手段と、
     前記画像データを撮像した際の前記被検体内導入装置の基準方向に対する向きを特定する向き特定手段と、
     前記向き特定手段で特定された向きに基づいて前記入力手段で入力された画像データを回転補正することで複数の画像データの向きを揃える回転補正手段と、
     を備えた外部装置と、
     を備えたことを特徴とする画像処理システム。
  2.  前記向き特定手段は、前記被検体の向きを基準とした前記被検体内導入装置の向きを特定することを特徴とする請求項1記載の画像処理システム。
  3.  前記向き特定手段は、実空間を基準とした前記被検体内導入装置の向きを取得することを特徴とする請求項1記載の画像処理システム。
  4.  前記外部装置は、指向性を備えた指向性アンテナと、該指向性アンテナを介して電磁波を送信する電磁波送信手段と、を備え、
     前記被検体内導入装置は、複数のアンテナと、各アンテナで受信された前記電磁波の強度および位相を検出する強度/位相検出手段と、を備え、
     前記出力手段は、前記強度/位相検出手段で検出された前記電磁波の強度および位相を前記画像データに付加して外部へ出力し、
     前記入力手段は、前記画像データに付加された前記電磁波の強度および位相を前記向き特定手段に入力し、
     前記向き特定手段は、前記入力手段から入力された前記電磁波の強度および位相から前記被検体内導入装置の向きを特定することを特徴とする請求項1記載の画像処理システム。
  5.  前記外部装置は、前記被検体の向きを特定する被検体向き特定手段を備え、
     前記基準方向は、前記被検体に設定されており、
     前記向き特定手段は、特定した前記基準方向に対する前記被検体内導入装置の向きを前記被検体向き特定手段で特定された前記被検体の向きで回転補正することを特徴とする請求項4記載の画像処理システム。
  6.  前記被検体内導入装置は、重力の方向を検出する重力方向検出手段を備え、
     前記出力手段は、前記重力方向検出手段で検出された前記重力の方向を前記画像データに付加して外部へ出力し、
     前記入力手段は、前記画像データに付加された前記重力の方向を前記向き特定手段に入力し、
     前記向き特定手段は、前記入力手段から入力された前記重力の方向から前記被検体内導入装置の向きを特定することを特徴とする請求項1に記載の画像処理システム。
  7.  前記外部装置は、前記回転補正された画像データを表示する画面を生成する画面生成手段を備えたことを特徴とする請求項1記載の画像処理システム。
  8.  前記外部装置は、前記回転補正された画像データの平均色を算出し、前記算出した平均色のイメージを生成し、前記生成した平均色のイメージが前記画像データ間の順序性に従って繋ぎ合わされた平均色バーを生成する平均色バー生成手段を備え、
     前記画面生成手段は、前記平均色バー生成手段によって生成された前記平均色バーが組み込まれた前記画面を生成することを特徴とする請求項7記載の画像処理システム。
  9.  前記平均色バー生成手段は、1つの前記画像データを複数の領域に分割する分割領域ごとに前記平均色を算出し、該分割領域ごとに前記平均色のイメージを生成し、前記画像データ間で対応する分割領域についての平均色のイメージが所定の軸に対して平行に配列されるように前記平均色バーを生成することを特徴とする請求項8記載の画像処理システム。
  10.  前記外部装置は、前記回転補正された画像データに含まれる赤色成分を検出する赤色検出手段と、前記赤色検出手段による検出結果を視覚的に表示する赤色イメージを生成する赤色イメージ生成手段と、を備え、
     前記画面生成手段は、前記赤色イメージ生成手段によって生成された前記赤色イメージが組み込まれた前記画面を生成することを特徴とする請求項7記載の画像処理システム。
  11.  前記外部装置は、前記画像データごとの前記回転補正に使用される回転量を視覚的に表示する回転量イメージを生成する回転量イメージ生成手段を備え、
     前記画面生成手段は、前記回転量イメージ生成手段によって生成された前記回転量イメージが組み込まれた前記画面を生成することを特徴とする請求項7記載の画像処理システム。
  12.  前記外部装置は、前記被検体内の臓器をイメージ化した臓器イメージを生成する臓器イメージ生成手段を備え、
     前記画面生成手段は、前記臓器イメージを前記画面に組み込むことを特徴とする請求項7記載の画像処理システム。
  13.  前記外部装置は、前記被検体内の臓器をイメージ化した臓器イメージであって前記平均色バー生成手段によって生成された前記平均色のイメージが重畳された前記臓器イメージを生成する臓器イメージ生成手段を備え、
     前記画面生成手段は、前記臓器イメージを前記画面に組み込むことを特徴とする請求項8記載の画像処理システム。
  14.  前記外部装置は、前記被検体内の臓器をイメージ化した臓器イメージであって前記赤色イメージ生成手段によって生成された前記検出結果のイメージが重畳された前記臓器イメージを生成する臓器イメージ生成手段を備え、
     前記画面生成手段は、前記臓器イメージを前記画面に組み込むことを特徴とする請求項10記載の画像処理システム。
  15.  前記外部装置は、前記画像データを取得する際の前記被検体内導入装置の位置を前記画像データごとの前記回転補正に使用される回転量に基づいて推定する位置推定手段を備えたことを特徴とする請求項1記載の画像処理システム。
  16.  前記外部装置は、前記回転補正された複数の画像データのうち前後する画像データ間の類似度を判定する類似度判定手段と、前記類似度判定手段による判定結果に基づいて前記回転補正された複数の画像データから所定条件を満たす回転補正後の画像データを選別する画像データ選別手段と、を備えたことを特徴とする請求項1記載の画像処理システム。
  17.  前記外部装置は、前記回転補正された複数の画像データのうち前後する画像データ間で動きベクトルを算出する動きベクトル算出手段と、前記動きベクトル算出手段によって算出された動きベクトルのうちスカラー量が最大となる値を抽出する最大スカラー量抽出手段と、前記最大スカラー量抽出手段による抽出結果に基づいて前記回転補正された複数の画像データから所定条件を満たす回転補正後の画像データを選別する画像データ選別手段と、を備えたことを特徴とする請求項1記載の画像処理システム。
  18.  前記外部装置は、前記回転補正された画像データを縮小した縮小画像を一覧表示する画面を生成する画面生成手段を備えたことを特徴とする請求項1に記載の画像処理システム。
  19.  被検体内部を撮像する撮像手段を備えた被検体内導入装置で取得された画像データを入力する入力手段と、
     前記画像データを撮像した際の前記被検体内導入装置の基準方向に対する向きを特定する向き特定手段と、
     前記向き特定手段で特定された向きに基づいて前記画像データを回転補正することで複数の画像データの向きを揃える回転補正手段と、
     を備えたことを特徴とする外部装置。
  20.  被検体内部を撮像する撮像手段を備えた被検体内導入装置で取得された画像データを入力する入力ステップと、
     前記画像データを撮像した際の前記被検体内導入装置の基準方向に対する向きを特定する向き特定ステップと、
     前記向き特定ステップで特定された向きに基づいて前記画像データを回転補正することで複数の画像データの向きを揃える回転補正ステップと、
     を含むことを特徴とする画像処理方法。
PCT/JP2010/050556 2009-03-11 2010-01-19 画像処理システム、その外部装置およびその画像処理方法 WO2010103868A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010536256A JP4642940B2 (ja) 2009-03-11 2010-01-19 画像処理システム、その外部装置およびその画像処理方法
CN201080020662.5A CN102421350B (zh) 2009-03-11 2010-01-19 图像处理系统、其外部装置及其图像处理方法
EP10750624.8A EP2407082B1 (en) 2009-03-11 2010-01-19 Image processing system, external device and image processing method
US12/879,402 US8167789B2 (en) 2009-03-11 2010-09-10 Image processing system and method for body-insertable apparatus
US13/428,377 US20120238809A1 (en) 2009-03-11 2012-03-23 Image processing system, external device, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009058657 2009-03-11
JP2009-058657 2009-03-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/879,402 Continuation US8167789B2 (en) 2009-03-11 2010-09-10 Image processing system and method for body-insertable apparatus

Publications (1)

Publication Number Publication Date
WO2010103868A1 true WO2010103868A1 (ja) 2010-09-16

Family

ID=42728163

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/050556 WO2010103868A1 (ja) 2009-03-11 2010-01-19 画像処理システム、その外部装置およびその画像処理方法

Country Status (5)

Country Link
US (2) US8167789B2 (ja)
EP (1) EP2407082B1 (ja)
JP (1) JP4642940B2 (ja)
CN (1) CN102421350B (ja)
WO (1) WO2010103868A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039171A1 (ja) * 2010-09-24 2012-03-29 オリンパスメディカルシステムズ株式会社 画像表示装置及びカプセル型内視鏡システム
WO2012042987A1 (ja) * 2010-09-28 2012-04-05 オリンパスメディカルシステムズ株式会社 画像表示装置及びカプセル型内視鏡システム
JP2012249936A (ja) * 2011-06-06 2012-12-20 Toshiba Corp 医用画像処理システム
WO2017158901A1 (ja) * 2016-03-18 2017-09-21 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP2019097137A (ja) * 2017-11-28 2019-06-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 生成装置、生成システム、撮像システム、移動体、生成方法、及びプログラム
WO2023228659A1 (ja) * 2022-05-24 2023-11-30 富士フイルム株式会社 画像処理装置及び内視鏡システム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102781303A (zh) * 2010-02-01 2012-11-14 塞拉芬·尼盖茨·伊图瓦 球形胶囊视频内窥镜检查
JP5362636B2 (ja) * 2010-03-31 2013-12-11 富士フイルム株式会社 医療用送気システム
DK2802660T3 (da) 2012-01-10 2020-05-18 Aptarion Biotech Ag Nye C5A-bindende nucleinsyrer
KR20140026978A (ko) * 2012-08-24 2014-03-06 삼성전자주식회사 콘텐트에 포함된 이미지를 이용해 영상을 디스플레이 하는 전자 기기 및 그 전자 기기의 영상 디스플레이 방법
JP5568196B1 (ja) * 2012-10-18 2014-08-06 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
US9280804B2 (en) 2012-11-16 2016-03-08 Google Inc. Rotation of an image based on image content to correct image orientation
WO2014111147A1 (en) * 2013-01-18 2014-07-24 Brainlab Ag Navigated induction detector
WO2015004960A1 (ja) * 2013-07-12 2015-01-15 オリンパスメディカルシステムズ株式会社 内視鏡システム
TWI526976B (zh) * 2013-11-21 2016-03-21 動聯國際股份有限公司 監控系統、方法及醫療監控系統
JP5970137B2 (ja) 2014-08-08 2016-08-17 オリンパス株式会社 カプセル型医療装置誘導システム
CN106455947A (zh) * 2014-09-22 2017-02-22 奥林巴斯株式会社 图像显示装置、图像显示方法以及图像显示程序
WO2016080331A1 (ja) * 2014-11-17 2016-05-26 オリンパス株式会社 医療装置
JP6271038B2 (ja) * 2014-11-20 2018-01-31 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、カプセル内視鏡の無線通信方法、およびプログラム
EP3235417A4 (en) * 2014-12-19 2018-09-12 Olympus Corporation Endoscope system
CN104473611B (zh) * 2015-01-19 2018-01-30 吉林大学 具有超声波定位功能的胶囊内窥镜系统
US20160274752A1 (en) * 2015-03-19 2016-09-22 Boston Scientific Neuromodulation Corporation Optical Head-Mounted Display for Controlling an Implantable Medical Device and Communication Accessory Attachable Thereto
US11141043B2 (en) 2015-05-20 2021-10-12 Sony Olympus Medical Solutions Inc. Signal processing device and medical observation system
US10143364B2 (en) * 2015-07-23 2018-12-04 Ankon Technologies Co., Ltd Controlled image capturing method including position tracking and system used therein
DE102016121668A1 (de) * 2016-11-11 2018-05-17 Karl Storz Se & Co. Kg Automatische Identifizierung medizinisch relevanter Videoelemente
CN109671131B (zh) * 2018-12-28 2023-12-22 上海联影智能医疗科技有限公司 影像校正方法、装置、医疗影像设备及存储介质
CN112070840B (zh) * 2020-09-11 2023-10-10 上海幻维数码创意科技股份有限公司 一种多深度相机融合的人体空间定位与跟踪方法
US20230218146A1 (en) * 2022-01-10 2023-07-13 Endoluxe Inc. Systems, apparatuses, and methods for endoscopy

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001017388A (ja) * 1999-07-09 2001-01-23 Olympus Optical Co Ltd 内視鏡用撮像装置
JP2003070728A (ja) 2001-06-20 2003-03-11 Olympus Optical Co Ltd カプセル式内視鏡
JP2004154176A (ja) * 2002-11-01 2004-06-03 Olympus Corp 内視鏡撮像装置
JP2004321603A (ja) * 2003-04-25 2004-11-18 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2005168524A (ja) * 2003-12-05 2005-06-30 Olympus Corp カプセル型内視鏡撮像画像ファイリング装置
JP2006280792A (ja) * 2005-04-04 2006-10-19 Olympus Corp 画像表示装置
WO2007023771A1 (ja) * 2005-08-22 2007-03-01 Olympus Corporation 画像表示装置
JP3898781B2 (ja) 1996-07-01 2007-03-28 オリンパス株式会社 内視鏡
WO2008059773A1 (fr) * 2006-11-13 2008-05-22 Olympus Medical Systems Corp. Système pour détecter la position d'un dispositif médical, système de guidage de dispositif médical, procédé de détection de position pour un système de guidage de dispositif médical et procédé de guidage de système de guidage de dispositif médical

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5445150A (en) * 1991-11-18 1995-08-29 General Electric Company Invasive system employing a radiofrequency tracking system
JPH11104072A (ja) 1997-10-03 1999-04-20 Mitsubishi Electric Corp 医療支援システム
JP3917885B2 (ja) * 2002-04-08 2007-05-23 オリンパス株式会社 カプセル内視鏡システム
US7195588B2 (en) * 2004-03-01 2007-03-27 Olympus Corporation Endoscope image pick-up apparatus
CN100431475C (zh) * 2003-04-25 2008-11-12 奥林巴斯株式会社 图像显示装置、图像显示方法以及图像显示程序
ES2360701T3 (es) * 2003-10-02 2011-06-08 Given Imaging Ltd. Sistema y procedimiento para la presentación de flujos de datos.
WO2005053518A1 (ja) * 2003-12-05 2005-06-16 Olympus Corporation 表示処理装置
US20050123179A1 (en) * 2003-12-05 2005-06-09 Eastman Kodak Company Method and system for automatic axial rotation correction in vivo images
JP2006288612A (ja) * 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
JP4813190B2 (ja) 2005-05-26 2011-11-09 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
IL177045A (en) * 2005-07-25 2012-12-31 Daniel Gat Device, system and method for receiving, recording and displaying in-body information with user-entered information
US8169472B2 (en) * 2005-08-22 2012-05-01 Olympus Corporation Image display apparatus with interactive database
JP4464894B2 (ja) 2005-09-09 2010-05-19 オリンパスメディカルシステムズ株式会社 画像表示装置
US8406489B2 (en) * 2005-09-09 2013-03-26 Olympus Medical Systems Corp Image display apparatus
JP2008043466A (ja) 2006-08-11 2008-02-28 Pentax Corp カプセル内視鏡、カプセル内視鏡カバー、カプセル内視鏡プロセッサ、およびカプセル内視鏡姿勢検出システム
US8248414B2 (en) * 2006-09-18 2012-08-21 Stryker Corporation Multi-dimensional navigation of endoscopic video
EP2158834A4 (en) * 2007-06-20 2012-12-05 Olympus Medical Systems Corp ENDOSCOPIC SYSTEM, IMAGING SYSTEM, AND IMAGE PROCESSING DEVICE

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3898781B2 (ja) 1996-07-01 2007-03-28 オリンパス株式会社 内視鏡
JP2001017388A (ja) * 1999-07-09 2001-01-23 Olympus Optical Co Ltd 内視鏡用撮像装置
JP2003070728A (ja) 2001-06-20 2003-03-11 Olympus Optical Co Ltd カプセル式内視鏡
JP2004154176A (ja) * 2002-11-01 2004-06-03 Olympus Corp 内視鏡撮像装置
JP2004321603A (ja) * 2003-04-25 2004-11-18 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2005168524A (ja) * 2003-12-05 2005-06-30 Olympus Corp カプセル型内視鏡撮像画像ファイリング装置
JP2006280792A (ja) * 2005-04-04 2006-10-19 Olympus Corp 画像表示装置
WO2007023771A1 (ja) * 2005-08-22 2007-03-01 Olympus Corporation 画像表示装置
WO2008059773A1 (fr) * 2006-11-13 2008-05-22 Olympus Medical Systems Corp. Système pour détecter la position d'un dispositif médical, système de guidage de dispositif médical, procédé de détection de position pour un système de guidage de dispositif médical et procédé de guidage de système de guidage de dispositif médical

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2407082A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102753078B (zh) * 2010-09-24 2015-03-18 奥林巴斯医疗株式会社 图像显示装置以及胶囊型内窥镜系统
JP5015363B2 (ja) * 2010-09-24 2012-08-29 オリンパスメディカルシステムズ株式会社 画像表示装置及びカプセル型内視鏡システム
CN102753078A (zh) * 2010-09-24 2012-10-24 奥林巴斯医疗株式会社 图像显示装置以及胶囊型内窥镜系统
WO2012039171A1 (ja) * 2010-09-24 2012-03-29 オリンパスメディカルシステムズ株式会社 画像表示装置及びカプセル型内視鏡システム
WO2012042987A1 (ja) * 2010-09-28 2012-04-05 オリンパスメディカルシステムズ株式会社 画像表示装置及びカプセル型内視鏡システム
JP5242852B2 (ja) * 2010-09-28 2013-07-24 オリンパスメディカルシステムズ株式会社 画像表示装置及びカプセル型内視鏡システム
US8986198B2 (en) 2010-09-28 2015-03-24 Olympus Medical Systems Corp. Image display apparatus and capsule endoscope system
JP2012249936A (ja) * 2011-06-06 2012-12-20 Toshiba Corp 医用画像処理システム
WO2017158901A1 (ja) * 2016-03-18 2017-09-21 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JPWO2017158901A1 (ja) * 2016-03-18 2018-03-22 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP2019097137A (ja) * 2017-11-28 2019-06-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 生成装置、生成システム、撮像システム、移動体、生成方法、及びプログラム
US11340772B2 (en) 2017-11-28 2022-05-24 SZ DJI Technology Co., Ltd. Generation device, generation system, image capturing system, moving body, and generation method
WO2023228659A1 (ja) * 2022-05-24 2023-11-30 富士フイルム株式会社 画像処理装置及び内視鏡システム

Also Published As

Publication number Publication date
EP2407082A4 (en) 2015-11-18
EP2407082B1 (en) 2017-04-26
JPWO2010103868A1 (ja) 2012-09-13
US20110196201A1 (en) 2011-08-11
US20120238809A1 (en) 2012-09-20
JP4642940B2 (ja) 2011-03-02
CN102421350B (zh) 2014-12-17
US8167789B2 (en) 2012-05-01
EP2407082A1 (en) 2012-01-18
CN102421350A (zh) 2012-04-18

Similar Documents

Publication Publication Date Title
JP4642940B2 (ja) 画像処理システム、その外部装置およびその画像処理方法
JP4914634B2 (ja) カプセル型医療装置
EP1704812B1 (en) Capsule endoscope system
KR100954650B1 (ko) 캡슐형 의료 장치
JP5313689B2 (ja) 生体内検知デバイスの位置を決定するためのシステムおよびシステムの作動方法
US8328712B2 (en) Image processing system, external device and image processing method
CN102860810B (zh) 一种医用磁性胶囊内窥镜系统
EP2351513B1 (en) Capsule medical device guidance system
JPWO2010122823A1 (ja) 被検体内検査システム
JP5537744B2 (ja) アンテナ接続ユニット、受信強度補正装置およびカプセル型内視鏡システム
JP5165161B2 (ja) 位置情報推定システム
US20130225981A1 (en) Position detecting apparatus of capsule endoscope, capsule endoscope system and computer readable recording medium
WO2012117815A1 (ja) カプセル型内視鏡の位置検出装置、カプセル型内視鏡システムおよびカプセル型内視鏡の位置決定プログラム
JP4554301B2 (ja) 位置検出装置および被検体内導入システム
JP5502248B1 (ja) 位置検出装置、カプセル型内視鏡システム、及び位置検出プログラム
CN109862820B (zh) 接收天线、接收天线单元以及接收系统
JP5622605B2 (ja) 受信ユニット
CN112075912A (zh) 胶囊内窥镜、内窥镜系统和用于内窥镜的图像获取方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080020662.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010536256

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10750624

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2010750624

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010750624

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE