WO2014157746A1 - Picture sharing system for searching for picture by keyword and method therefor - Google Patents

Picture sharing system for searching for picture by keyword and method therefor Download PDF

Info

Publication number
WO2014157746A1
WO2014157746A1 PCT/KR2013/002533 KR2013002533W WO2014157746A1 WO 2014157746 A1 WO2014157746 A1 WO 2014157746A1 KR 2013002533 W KR2013002533 W KR 2013002533W WO 2014157746 A1 WO2014157746 A1 WO 2014157746A1
Authority
WO
WIPO (PCT)
Prior art keywords
photo
keyword
semantic
picture
search
Prior art date
Application number
PCT/KR2013/002533
Other languages
French (fr)
Korean (ko)
Inventor
김동욱
김석
권춘오
Original Assignee
㈜네오넷코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ㈜네오넷코리아 filed Critical ㈜네오넷코리아
Publication of WO2014157746A1 publication Critical patent/WO2014157746A1/en

Links

Images

Classifications

    • G06Q50/40
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Definitions

  • the present invention relates to a photo-sharing system and a photo-sharing method that enables photo retrieval through keyword retrieval. Through keyword retrieval, a keyword can be automatically assigned to facilitate retrieval of a registered photo in sharing a photo online.
  • the present invention relates to a photo sharing system and a photo sharing method capable of searching for a photo.
  • MMS multimedia messaging system
  • a photograph is treated as a photographic work and is protected by the copyright of the photograph. Therefore, the use of some or all of the protected work of another person without the permission of the copyright holder, or beyond the scope of permission, constitutes an infringement of the copyright of the photograph, regardless of whether the purpose is for profit or the kind of the work and the subject. do.
  • the automatic picture uploading system and method disclosed in Korean Patent Laid-Open Publication No. 2005-0011277 discloses a method of registering a picture on a specific bulletin board when an e-mail is sent. Suggesting technology to share with others.
  • the method and system for image sharing through the network disclosed in Korean Patent Laid-Open No. 2006-0082033 discloses a technology for transmitting a photo of a suitable size in a P2P manner according to the screen resolution.
  • the prior art as described above is to register a picture in a P2P method or a one-way registration process, it is practically difficult to search for a picture desired by the user from various pictures. For example, in the case of a publisher who publishes a book using a landscape photograph or a portrait photograph, there is a high demand for obtaining a photograph suitable for his publication, but it is difficult to obtain a legal and appropriate photograph.
  • the present invention has been made to solve the above problems, the user uploads a photo file to share for free through online, and the user who wants to use the photo to download and use it, the registered photo
  • An object of the present invention is to provide a photo sharing system and a photo sharing method capable of searching a photo through a keyword search in which a keyword can be automatically assigned to facilitate a search of a.
  • a keyword search based on the meaning of the word may be provided only for a search result for another language having the same meaning as the word corresponding to the search word.
  • Another object is to provide a photo sharing system and a photo sharing method capable of retrieving a photo.
  • a picture sharing system capable of picture searching through keyword search, comprising: a communication unit connected to a communication network; A picture database in which picture files are stored; When a photo file is uploaded from a user terminal through the communication network, at least one photo file having a predetermined similarity or more is extracted by comparing the similarity between the photo file stored in the photo database and the uploaded photo file through a content-based image retrieval technique.
  • a CBIR module A main controller configured to determine a keyword of the uploaded photo file based on the registered keyword for at least one photo file extracted by the CBIR module, and to register the uploaded photo file and the determined keyword in the photo database; It is achieved by a picture sharing system capable of picture searching through keyword search, characterized in that it comprises.
  • a semantic-based word database storing a plurality of semantic groups in which words of different languages are grouped and registered according to the meaning of each word;
  • a multilingual search word extracting unit configured to extract words of each language in a semantic group to which the input search word belongs among the plurality of semantic groups when a search word of a specific language is input from the user terminal; Based on the words of each language extracted by the multilingual search word extracting unit, a photo file in which a keyword corresponding to the extracted words of each language is registered is searched from the picture database and provided to the user terminal through the communication network.
  • the multilingual search unit may be further included.
  • the main controller extracts a keyword registered for at least one photo file extracted by the CBIR module, checks the degree of redundancy of the semantic group to which the extracted keyword belongs, and at least has a high degree of redundancy of the semantic group.
  • One keyword may be determined as a keyword of the uploaded photo file.
  • the semantic-based word database stores semantic selection content corresponding to each semantic group to intuitively recognize meanings of words belonging to the semantic groups;
  • the search word extractor may select one of the semantic selection contents corresponding to the semantic groups when the input search word belongs to two or more semantic groups from the plurality of semantic groups, and select the one or more selected semantic contents through the communication network. Words of each language in the semantic group corresponding to any one selected from the semantic selection content may be extracted.
  • the meaning selection content may include an image corresponding to the meaning of a word.
  • the above object is, according to another embodiment of the present invention, in the picture sharing method that can be searched through the keyword search, comprising the steps of: (a) providing a photo database in which the picture file is stored; (b) connecting a user terminal to a photo sharing system provided with the photo database through a communication network; (c) uploading a photo file from the user terminal to the photo sharing system; (d) comparing the similarity between the photo file stored in the photo database and the uploaded photo file by a content-based image retrieval method in the photo sharing system to extract at least one photo file having a predetermined similarity or more; (e) determining a keyword of the uploaded photo file based on the registered keyword for the extracted photo file; (f) registering the uploaded photo file and the determined keyword in the photo database.
  • (G) constructing a semantic based word database in which the plurality of semantic groups in which a plurality of words of different languages are grouped and registered according to the meaning of each word are stored in the picture sharing system; (h) inputting a search word of a specific language from the user terminal through the communication network; (i) extracting words of each language in a semantic group to which the input search word belongs among the plurality of semantic groups from the semantic based word database; (j) searching for a picture file in which a keyword corresponding to the words of each extracted language is registered based on the words of each extracted language is retrieved from the picture database and provided to the user terminal through the communication network; It may include.
  • step (e) comprises the steps of: extracting a keyword registered for the extracted picture file; Checking redundancy of the semantic group to which the extracted keyword belongs; The method may include determining at least one keyword having a high redundancy of the semantic group as a keyword of the uploaded photo file.
  • the step (g) further includes the step of registering content for selecting semantics for intuitively recognizing the meanings of words belonging to each of the semantic groups in correspondence with the semantic groups;
  • the step (i) may include (i1) determining whether the input search word belongs to two or more semantic groups among the plurality of semantic groups, and (i2) belonging to two or more semantic groups in the (i1) step. If it is determined, any one of the semantic selection contents corresponding to corresponding semantic groups is provided to be selected through the communication network; (i3) extracting words of each language in a semantic group corresponding to any one selected from the provided semantic selection contents.
  • the meaning selection content may include an image corresponding to the meaning of a word.
  • a picture sharing service that can be used to register the pictures available for free through online, the user who wants to use the pictures can be downloaded and used.
  • a keyword associated with the picture is automatically assigned when the picture is registered, thereby enabling a more accurate picture search.
  • search word When a word of a specific language is input as a search word, only search results for other languages having the same meaning as a word corresponding to the search word may be provided.
  • FIG. 1 is a diagram illustrating a structure of a photo sharing service to which a photo sharing system according to the present invention is applied;
  • FIG. 2 is a diagram illustrating a configuration of a photo sharing system according to the present invention.
  • FIG. 3 is a view for explaining a photo registration process of the photo sharing system according to the present invention.
  • FIG. 4 is a diagram illustrating an example of a configuration of a search module of a photo sharing system according to the present invention
  • FIG. 5 is a diagram illustrating an example of a semantic group stored in a semantic based word database of a photo sharing system according to the present invention
  • FIG. 6 is a view showing an example of a search box provided in the picture sharing system according to the present invention.
  • FIG. 7 is a diagram illustrating a photo retrieval process of the photo sharing system according to the present invention.
  • photo sharing system 110 main control unit
  • the present invention relates to a photo sharing system capable of searching a picture through keyword search, comprising: a communication unit connected to a communication network; A picture database in which picture files are stored; When a photo file is uploaded from a user terminal through the communication network, at least one photo file having a predetermined similarity or more is extracted by comparing the similarity between the photo file stored in the photo database and the uploaded photo file through a content-based image retrieval technique.
  • a CBIR module A main controller configured to determine a keyword of the uploaded photo file based on the registered keyword for at least one photo file extracted by the CBIR module, and to register the uploaded photo file and the determined keyword in the photo database; Include.
  • FIG. 1 is a diagram illustrating a structure of a photo sharing service to which a photo sharing system according to the present invention is applied.
  • the photo sharing system according to the present invention stores a photo uploaded by a user in a photo sharing service, and provides a search service for searching for a photo desired by another user so that a desired photo can be downloaded.
  • a user uploads a photo by accessing through various types of user terminals 310, 320, 330, for example, a laptop 310, a desktop computer, a smartphone 320, a tablet 330, and the like, connected through the communication network 500.
  • the photo sharing system 100 and the user terminals 310, 320, 330 are connected through a communication network 500, which may be interconnected through various types of communication networks 500, such as a wired Internet such as the Internet, and a wireless Internet such as 3G or 4G. Can be.
  • the photo sharing system 100 includes a communication network 500, a photo database 120, a CBIR module 130, and a main controller 110.
  • the photo sharing system 100 according to the present invention may include a search module 160.
  • the communication unit 140 is connected to the communication network 500 and connected to the user terminals 310, 320, and 330.
  • the photo file is stored in the photo database 120.
  • the main controller 110 stores the photos uploaded from the user terminals 310, 320, 330 through the communication unit 140 in the photo database 120, and the search module 160 according to a search word input through the user terminals 310, 320, 330.
  • the search results are provided to the user terminals 310, 320, and 330 through the communication unit 140.
  • the main control unit 110 may store and manage information on the member registered in the photo sharing system 100 according to the present invention in the member database 150, and only the members subscribed to the photo sharing service according to the present invention. Photo sharing service can be provided.
  • the CBIR module 130 stores the photo files stored in the photo database 120 through a content-based image retrieval (CBIR) technique. And similarity between the uploaded photo files.
  • CBIR content-based image retrieval
  • the CBIR module 130 extracts at least one photo file having a predetermined similarity level from the similarity search through the content-based image retrieval (CBIR) technique.
  • the CBIR module 130 may extract a photo file having a similarity greater than a preset value from the photo database 120, and may extract a preset number of photo files having a high similarity from the photo data station.
  • the main controller 110 determines the keyword of the uploaded photo file based on the keyword registered for the photo file extracted by the CBIR module 130.
  • the main controller 110 registers the keyword in the photo database 120 together with the uploaded photo file.
  • the main controller 110 extracts a keyword registered for at least one photo file extracted by the CBIR module 130 and determines a keyword of a newly uploaded photo file based on the extracted keyword. In this case, when there are a plurality of extracted keywords, the main controller 110 may determine any one of the high degree of redundancy of the extracted keywords as a keyword of the uploaded photo file.
  • keywords of the ten photo files are extracted. Then, if the extracted keyword is unified into one keyword, the keyword is determined as the keyword of the uploaded picture file. On the other hand, if there are a plurality of extracted keywords, it is determined as the keyword of the uploaded picture file in the order of high redundancy.
  • a keyword is automatically input to the newly uploaded photo files.
  • the keyword of the photo files having a high similarity to the already registered photo file is determined as the keyword of the newly uploaded photo file. Determination of keywords according to the similarity of the picture is automatically enabled. Therefore, a desired picture can be searched through a keyword search to be described later through the keyword registered with the picture file.
  • the picture file is uploaded to the picture sharing system 100 through the communication network 500 (S32).
  • a user when a picture is uploaded, a user may provide a selection screen for selecting whether to input a keyword of the uploaded picture (S33), and the user inputs a keyword.
  • the keyword is selected and input (S40)
  • the input keyword and the picture file are registered in the photo database 120 (S39).
  • step S34 the CBIR module 130 and the photo and photo database 120 uploaded through the content-based image retrieval (CBIR) technique The similarity is compared by comparing the pictures stored in the step S34.
  • CBIR content-based image retrieval
  • keywords are extracted from the high similarity photo files through the content-based image retrieval (CBIR) technique (S35).
  • CBIR content-based image retrieval
  • picture files of a certain similarity or more may be extracted.
  • One keyword may be registered in one picture file, and a plurality of keywords may be registered. All registered keywords are extracted. Also, the extracted keywords may include languages of various countries.
  • the overlapping degree of the extracted keyword is searched as described above (S37), and the keyword of the uploaded picture file is determined as the keyword of the highest degree of overlapping (S38). Then, the determined keyword and the picture file are matched and registered in the picture database 120, thereby completing the automatic input of the keyword.
  • the search module 160 of the photo sharing system 100 includes a semantic-based word database 161, a multilingual search term extractor 162, and a multilingual searcher 163. do.
  • the semantic-based word database 161 stores words of a plurality of different languages. For example, words belonging to different languages such as Korean, English, Japanese, Chinese, and German are stored.
  • words stored in the semantic based word database 161 according to the present invention are grouped and stored in a plurality of semantic groups, and one semantic group is divided according to the meaning of the word. That is, words of a plurality of different languages are grouped into respective semantic groups according to the meaning of each word.
  • FIG. 5 is a diagram illustrating an example of a semantic group stored in the semantic based word database 161 of the photo sharing system 100 according to the present invention.
  • the semantic group 1 shows an example in which words representing a ship carrying a person or a cargo are grouped, and an example in which a ship and a boat in Korean and a ship, boat, and vessel in English are grouped. .
  • Meaning group 2 shows an example in which words representing a pear, which is one of fruits, are grouped, and shows an example of pear grouping in Korean and pear in English.
  • Meaning group 3 means a pear that is part of a body such as a person. It shows an example in which words are grouped, and an abdomen and belly are grouped in Korean in abdomen and abdomen and in English.
  • the semantic group N shows an example in which words representing an arm of a person and the like are grouped, and shows an example in which arm in Korean and arm in English are grouped.
  • the words of each language are not linked based on the words belonging to a specific language, but the meanings of the words, that is, as shown in FIG.
  • the meaning-based word database 161 is a group of meanings in which words of each language are grouped based on the meaning of words regardless of language, such as a pear, a pear that is one of fruits, and an arm of a person. It is registered.
  • the multilingual search word extractor 162 extracts words of each language in a semantic group to which the corresponding search word belongs among semantic groups registered in the semantic based word database 161. .
  • the multilingual search unit 163 performs a search based on each word extracted by the multilingual search word extractor 162, that is, words of each language in the semantic group to which the search word belongs.
  • the picture file registered with the keywords corresponding to the words is searched from the picture database 120 and provided to the user terminals 310, 320, and 330 through the communication network 500.
  • semantic selection content corresponding to each semantic group may be stored.
  • the semantic selection content corresponding to each semantic group includes content that can intuitively recognize the meaning of words belonging to each semantic group.
  • 5 illustrates an example in which an image corresponding to a meaning of a word is applied to the meaning selection content. That is, the meaning selection content of semantic group 1 is an image of a pear with a person or cargo, and the meaning selection content of meaning group 2 is an image of a pear that is one of fruits. An image of 'abdomen such as a person' may be used as the meaning selection content, and an image of 'arm such as a person' may be used as the meaning selection content of the semantic group N.
  • the search word input from the user terminals 310, 320, 330 belongs to two or more semantic groups among a plurality of semantic groups, for example, as shown in FIG. And select one of the semantic selection contents corresponding to the corresponding semantic groups to the user terminals 310, 320, and 330 through the communication network 500.
  • FIG. 6 is a diagram illustrating an example of a search box SW provided in the photo sharing system 100 according to the present invention.
  • the multilingual search word extractor 162 is a semantic group to which the search word 'pear' belongs.
  • the semantic group 1, the semantic group 2, and the semantic group 3 shown in FIG. 3 are searched.
  • the multilingual search word extractor 162 displays each image, which is a content for selecting meanings corresponding to the searched semantic group 1, the semantic group 2, and the semantic group 3, in the selection window SNW as shown in FIG. Make it user selectable.
  • the search word extracting unit extracts words of each language in the semantic group corresponding to the selected semantic selection content.
  • the multi-language searcher 163 searches the hatched languages with search terms and provides the search results to the user terminals 310, 320, and 330.
  • the translation process of the search word is selected by selecting a semantic group of meanings that need to be searched among various semantic groups. Undesired search results that occur at can be excluded, thereby improving the accuracy of the search results.
  • the multilingual search word extractor 162 searches for a semantic group to which the input search word belongs from the semantic based word database 161 (S72).
  • the multilingual search word extractor 162 determines whether the input search word belongs to two or more semantic groups (S73). That is, when there are a plurality of semantic groups searched in step S72, that is, two or more, the semantic selection content is extracted for each semantic group (S74).
  • the multilingual search word extractor 162 displays the extracted semantic selection content on the selection window SNW
  • the user may select one of the semantic selection contents displayed on the selection window SNW.
  • One is selected (S75).
  • the multilingual search word extractor 162 extracts words in a semantic group corresponding to the semantic selection content selected by the user (S76). Then, the multilingual search unit 163 performs a search using the words extracted by the multilingual search term extractor 162 and provides the search results to the user terminals 310, 320, and 330 (S77).
  • the multilingual search unit 163 searches a photo file having a keyword corresponding to the extracted words from the photo database 120, and provides an image of the retrieved photo file to the user terminals 310, 320, and 330 through the communication network 500. Done.
  • the redundancy check in step S37 of FIG. 3 may be performed based on the semantic group.
  • CBIR content-based image retrieval
  • the degree of overlap of keywords the degree of overlap of the semantic group to which each keyword belongs is checked.
  • the keyword extracted from one photo file is 'ship'
  • the keywords extracted from another photo file are 'ship' and 'sea'
  • the keyword extracted from another photo file is 'port'.
  • the degree of redundancy in keyword units does not exist.
  • the semantic group 1 illustrated in FIG. 5 overlaps, and thus a keyword belonging to the semantic group may be registered as a keyword of the uploaded picture file.
  • one or a plurality of keywords may be automatically registered as keywords of the uploaded photo file.
  • the present invention is applied to a photo sharing service for uploading and sharing pictures taken by a user.

Abstract

The present invention relates to a picture sharing system for searching for a picture by keyword and a method therefor. A picture sharing system according to the present invention is characterized by including: a communication part connected to a communications network; a picture database for storing pictures; a CBIR module for extracting at least one picture file with a similarity equal to or higher than a predetermined similarity by comparing a picture file uploaded from a user terminal through the communications network with the picture files stored in the picture database; and a main control unit for determining a keyword for the uploaded picture file based on the keyword registered for the picture file extracted by the CBIR module so as to register the uploaded picture file and the determined keyword in the picture database. Thus, if the user inputs text to the picture sharing system for searching for a picture, the keyword connected to the picture registered is automatically given for a correct search.

Description

키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템 및 사진 공유 방법Photo sharing system that enables you to search photos by keyword search and how to share photos
본 발명은 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템 및 사진 공유 방법에 관한 것으로서, 온라인을 통해 사진을 공유하는데 있어 등록되 사진의 검색이 용이하게 키워드가 자동으로 부여될 수 있는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템 및 사진 공유 방법에 관한 것이다.The present invention relates to a photo-sharing system and a photo-sharing method that enables photo retrieval through keyword retrieval. Through keyword retrieval, a keyword can be automatically assigned to facilitate retrieval of a registered photo in sharing a photo online. The present invention relates to a photo sharing system and a photo sharing method capable of searching for a photo.
디지털 카메라, 스마트폰 등의 보급에 따라 사용자들이 휴대용 기기를 이용하여 사진을 촬영하고, 이를 보거나 공유하는 행위가 늘어나고 있으며, 특히, 유무선 연동을 통하여 자신의 사진을 타인과 공유하는 일이 많아지고 있다.With the spread of digital cameras and smartphones, users are increasingly taking pictures by using portable devices, and viewing or sharing them. In particular, the sharing of their photos with others through wired and wireless interworking is increasing. .
기존의 유무선 연동을 통해서 자신의 사진을 타인과 공유하는 방법으로는, 블로그를 생성하여 사진을 공유하는 방법이나, MMS(Multimedia Messaging System)를 이용하여 타인에게 사진을 전송하는 방법들이 이용되고 있다.As a method of sharing one's own photo with others through wired and wireless interworking, a method of creating a blog and sharing a photo or transmitting a photo to another person using a multimedia messaging system (MMS) has been used.
근래에는 다양한 형태의 SNS(Social Network Service)를 이용하여 사진을 공유하는 다양한 형태의 서비스가 제공되고 있는 실정이다.Recently, various types of services for sharing pictures using various types of social network services (SNS) have been provided.
일반적으로 사진은 사진 저작물로 취급되어 사진 저작권의 보호를 받게 된다. 따라서, 목적의 영리성 여부나, 저작물 및 이용 주체의 종류와 상관없이 타인의 보호되는 저작물의 일부 또는 전부를 해당 저작권자의 허락없이 이용하거나 허락의 범위를 넘어서 이용하는 행위는 해당 사진 저작권의 침해를 구성하게 된다.In general, a photograph is treated as a photographic work and is protected by the copyright of the photograph. Therefore, the use of some or all of the protected work of another person without the permission of the copyright holder, or beyond the scope of permission, constitutes an infringement of the copyright of the photograph, regardless of whether the purpose is for profit or the kind of the work and the subject. do.
따라서, 인터넷 상에 유포되어 있는 임의의 사진을 다운로드받아 이를 이용하는 경우, 자칫 해당 사진의 저작권을 침해하는 행위가 될 수 있으므로 해당 사진의 저작권 유무를 확인하는 것이 바람직하다.Therefore, in the case of downloading and using any photo distributed on the Internet, it may be an act of infringing the copyright of the photo, so it is preferable to check the copyright of the photo.
그러나, 인터넷 상에 올라와 있는 사진들을 사용하고자 할 때, 해당 사진을 무상으로 사용하여도 무방한지, 아니면 해당 사진의 저작권자의 동의를 득하고 사용하여야 하는지를 일일이 확인하기는 현실적으로 어렵다. 또한, 저작권자의 동의를 구하는 것 또한 쉬운 일이 아니다.However, when you want to use the pictures on the Internet, it is difficult to check whether it is safe to use the pictures for free or to obtain the consent of the copyright holder of the pictures. Also, seeking consent from a copyright owner is not easy.
이에, 한국공개특허공보 제2005-0011277호에 개시된 사진 자동 업로드 시스템 및 방법에서는 e-메일을 발송하면 특정 게시판에 사진이 등록되도록 하는 방법이 개시되어 있어, 사진을 네트워크를 통해 기록매체에 등록하거나 타인과 공유하는 기술을 제안하고 있다.Accordingly, the automatic picture uploading system and method disclosed in Korean Patent Laid-Open Publication No. 2005-0011277 discloses a method of registering a picture on a specific bulletin board when an e-mail is sent. Suggesting technology to share with others.
또한, 한국공개특허공보 제2006-0082033호에 개시된 네트워크를 통한 이미지 공유를 위한 방법 및 시스템은 화면 해상도에 맞춰 적당한 크기의 사진을 P2P 방식으로 전송해주는 기술이 개시되어 있다.In addition, the method and system for image sharing through the network disclosed in Korean Patent Laid-Open No. 2006-0082033 discloses a technology for transmitting a photo of a suitable size in a P2P manner according to the screen resolution.
상기와 같은 종래기술들은 P2P 방식이나 일방적인 등록 절차로 사진을 등록하고 있어, 여러 가지 사진에서 사용자가 원하는 사진을 검색하기는 현실적으로 어렵다. 일 예로, 풍경 사진이나 인물 사진 등을 이용하여 책을 출판하는 출판사의 경우, 자신의 출판물에 적합한 사진을 구하고자 하는 수요가 많으나, 적법하고 적합한 사진을 구하기는 어려운 실정이다.The prior art as described above is to register a picture in a P2P method or a one-way registration process, it is practically difficult to search for a picture desired by the user from various pictures. For example, in the case of a publisher who publishes a book using a landscape photograph or a portrait photograph, there is a high demand for obtaining a photograph suitable for his publication, but it is difficult to obtain a legal and appropriate photograph.
또한, 사진 파일이 갖는 검색의 어려움, 즉, 사진 파일의 경우 일반 텍스트 검색으로는 사진 자체의 특징을 검색하기 어려운 점에서, 사진 공유에 있어 해당 사진에 대한 정확한 정보가 함께 등록되지 않는 경우, 원하는 사진을 검색을 통해 얻기는 어려워진다.In addition, since it is difficult to search a photo file, that is, it is difficult to search the characteristics of the photo itself by a general text search in the case of a photo file, if the correct information about the photo is not registered together in a photo sharing, It's hard to get photos through search.
이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 온라인을 통해 사용자가 무상으로 공유하고자 하는 사진 파일을 업로드하고, 사진을 활용하고자 하는 사용자가 이를 다운로드받아 이용함에 있어, 등록된 사진의 검색이 용이하게 키워드가 자동으로 부여될 수 있는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템 및 사진 공유 방법을 제공하는데 그 목적이 있다.Accordingly, the present invention has been made to solve the above problems, the user uploads a photo file to share for free through online, and the user who wants to use the photo to download and use it, the registered photo An object of the present invention is to provide a photo sharing system and a photo sharing method capable of searching a photo through a keyword search in which a keyword can be automatically assigned to facilitate a search of a.
또한, 본 발명은 특정 언어의 단어를 검색어로 입력하는 경우, 해당 검색어에 해당하는 단어와 같은 의미를 갖는 다른 언어에 대한 검색 결과만이 제공될 수 있는 단어의 의미를 기반으로 하는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템 및 사진 공유 방법을 제공하는데 또 다른 목적이 있다.In addition, in the present invention, when a word of a specific language is entered as a search word, a keyword search based on the meaning of the word may be provided only for a search result for another language having the same meaning as the word corresponding to the search word. Another object is to provide a photo sharing system and a photo sharing method capable of retrieving a photo.
상기 목적은 본 발명에 따라, 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템에 있어서, 통신망에 연결되는 통신부와; 사진 파일이 저장되는 사진 데이터베이스와; 상기 통신망을 통해 사용자 단말기로부터 사진 파일이 업로드되는 경우, 내용 기반 이미지 검색 기법을 통해 상기 사진 데이터베이스에 저장된 사진 파일과 상기 업로드된 사진 파일 간의 유사도를 비교하여 기 설정된 유사도 이상의 적어도 하나의 사진 파일을 추출하는 CBIR 모듈과; 상기 CBIR 모듈에 의해 추출된 적어도 하나의 사진 파일에 대해 등록된 키워드에 기초하여 상기 업로드된 사진 파일의 키워드를 결정하고, 상기 업로드된 사진 파일과 상기 결정된 키워드를 상기 사진 데이터베이스에 등록하는 메인 제어부를 포함하는 것을 특징으로 하는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템에 의해서 달성된다.In accordance with the present invention, there is provided a picture sharing system capable of picture searching through keyword search, comprising: a communication unit connected to a communication network; A picture database in which picture files are stored; When a photo file is uploaded from a user terminal through the communication network, at least one photo file having a predetermined similarity or more is extracted by comparing the similarity between the photo file stored in the photo database and the uploaded photo file through a content-based image retrieval technique. A CBIR module; A main controller configured to determine a keyword of the uploaded photo file based on the registered keyword for at least one photo file extracted by the CBIR module, and to register the uploaded photo file and the determined keyword in the photo database; It is achieved by a picture sharing system capable of picture searching through keyword search, characterized in that it comprises.
여기서, 서로 다른 복수의 언어의 단어들이 각 단어가 갖는 의미에 따라 그룹핑되어 등록된 복수의 의미 그룹이 저장된 의미 기반 단어 데이터베이스와; 상기 사용자 단말기로부터 상기 통신망을 통해 특정 언어의 검색어가 입력되는 경우, 상기 복수의 의미 그룹 중 상기 입력된 검색어가 속한 의미 그룹 내의 각 언어의 단어들을 추출하는 다국어 검색어 추출부와; 상기 다국어 검색어 추출부에 의해 추출된 각 언어의 단어들에 기초하여 상기 추출된 각 언어의 단어들에 대응하는 키워드가 등록된 사진 파일을 상기 사진 데이터베이스로부터 검색하여 상기 통신망을 통해 상기 사용자 단말기로 제공하는 다국어 검색부를 더 포함할 수 있다.A semantic-based word database storing a plurality of semantic groups in which words of different languages are grouped and registered according to the meaning of each word; A multilingual search word extracting unit configured to extract words of each language in a semantic group to which the input search word belongs among the plurality of semantic groups when a search word of a specific language is input from the user terminal; Based on the words of each language extracted by the multilingual search word extracting unit, a photo file in which a keyword corresponding to the extracted words of each language is registered is searched from the picture database and provided to the user terminal through the communication network. The multilingual search unit may be further included.
또한, 상기 메인 제어부는 상기 CBIR 모듈에 의해 추출된 적어도 하나의 사진 파일에 대해 등록된 키워드를 추출하고, 상기 추출된 키워드가 속한 의미 그룹이 중복도를 체크하여, 의미 그룹의 중복도가 높은 적어도 하나의 키워드를 상기 업로드된 사진 파일의 키워드로 결정할 수 있다.The main controller extracts a keyword registered for at least one photo file extracted by the CBIR module, checks the degree of redundancy of the semantic group to which the extracted keyword belongs, and at least has a high degree of redundancy of the semantic group. One keyword may be determined as a keyword of the uploaded photo file.
그리고, 상기 의미 기반 단어 데이터베이스에는 상기 각 의미 그룹에 속한 단어들의 의미를 직관적으로 인식 가능하게 하는 의미 선택용 콘텐츠가 상기 각 의미 그룹에 대응하여 저장되며; 상기 검색어 추출부는 상기 입력된 검색어가 상기 복수의 의미 그룹 중 2 이상의 의미 그룹에 속하는 경우 해당 의미 그룹들에 대응하는 상기 의미 선택용 콘텐츠 중 어느 하나를 선택 가능하게 상기 통신망을 통해 제공하고, 상기 제공된 의미 선택용 콘텐츠 중 선택된 어느 하나에 대응하는 의미 그룹 내의 각 언어의 단어들을 추출할 수 있다.The semantic-based word database stores semantic selection content corresponding to each semantic group to intuitively recognize meanings of words belonging to the semantic groups; The search word extractor may select one of the semantic selection contents corresponding to the semantic groups when the input search word belongs to two or more semantic groups from the plurality of semantic groups, and select the one or more selected semantic contents through the communication network. Words of each language in the semantic group corresponding to any one selected from the semantic selection content may be extracted.
그리고, 상기 의미 선택용 콘텐츠는 단어의 의미에 해당하는 이미지를 포함할 수 있다.The meaning selection content may include an image corresponding to the meaning of a word.
한편, 상기 목적은 본 발명의 다른 실시 형태에 따라, 키워드 검색을 통해 사진 검색이 가능한 사진 공유 방법에 있어서, (a) 사진 파일이 저장되는 사진 데이터베이스가 마련되는 단계와; (b) 통신망을 통해 사용자 단말기가 상기 사진 데이터베이스가 마련된 사진 공유 시스템에 접속하는 단계와; (c) 사진 파일이 상기 사용자 단말기로부터 상기 사진 공유 시스템으로 업로드되는 단계와; (d) 상기 사진 공유 시스템에서 내용 기반 이미지 검색 기법을 통해 상기 사진 데이터베이스에 저장된 사진 파일과 상기 업로드된 사진 파일 간의 유사도가 비교되어 기 설정된 유사도 이상의 적어도 하나의 사진 파일이 추출되는 단계와; (e) 상기 추출된 사진 파일에 대해 등록된 키워드에 기초하여 상기 업로드된 사진 파일의 키워드가 결정되는 단계와; (f) 상기 업로드된 사진 파일과 상기 결정된 키워드가 상기 사진 데이터베이스에 등록되는 단계를 포함할 수 있다.On the other hand, the above object is, according to another embodiment of the present invention, in the picture sharing method that can be searched through the keyword search, comprising the steps of: (a) providing a photo database in which the picture file is stored; (b) connecting a user terminal to a photo sharing system provided with the photo database through a communication network; (c) uploading a photo file from the user terminal to the photo sharing system; (d) comparing the similarity between the photo file stored in the photo database and the uploaded photo file by a content-based image retrieval method in the photo sharing system to extract at least one photo file having a predetermined similarity or more; (e) determining a keyword of the uploaded photo file based on the registered keyword for the extracted photo file; (f) registering the uploaded photo file and the determined keyword in the photo database.
여기서, (g) 서로 다른 복수의 언어의 단어들이 각 단어가 갖는 의미에 따라 그룹핑되어 등록된 복수의 의미 그룹이 저장된 의미 기반 단어 데이터베이스가 상기 사진 공유 시스템에 구축되는 단계와; (h) 상기 통신망을 통해 상기 사용자 단말기로부터 특정 언어의 검색어가 입력되는 단계와; (i) 상기 의미 기반 단어 데이터베이스로부터 상기 복수의 의미 그룹 중 상기 입력된 검색어가 속한 의미 그룹 내의 각 언어의 단어들이 추출되는 단계와; (j) 상기 추출된 각 언어의 단어들에 기초하여 상기 추출된 각 언어의 단어들에 대응하는 키워드가 등록된 사진 파일이 상기 사진 데이터베이스로부터 검색되어 상기 통신망을 통해 상기 사용자 단말기로 제공되는 단계를 포함할 수 있다.(G) constructing a semantic based word database in which the plurality of semantic groups in which a plurality of words of different languages are grouped and registered according to the meaning of each word are stored in the picture sharing system; (h) inputting a search word of a specific language from the user terminal through the communication network; (i) extracting words of each language in a semantic group to which the input search word belongs among the plurality of semantic groups from the semantic based word database; (j) searching for a picture file in which a keyword corresponding to the words of each extracted language is registered based on the words of each extracted language is retrieved from the picture database and provided to the user terminal through the communication network; It may include.
또한, 상기 (e) 단계는 상기 추출된 사진 파일에 대해 등록된 키워드를 추출하는 단계와; 상기 추출된 키워드가 속한 의미 그룹이 중복도를 체크하는 단계와; 의미 그룹의 중복도가 높은 적어도 하나의 키워드를 상기 업로드된 사진 파일의 키워드로 결정하는 단계를 포함할 수 있다.In addition, the step (e) comprises the steps of: extracting a keyword registered for the extracted picture file; Checking redundancy of the semantic group to which the extracted keyword belongs; The method may include determining at least one keyword having a high redundancy of the semantic group as a keyword of the uploaded photo file.
그리고, 상기 (g) 단계는 상기 각 의미 그룹에 속한 단어들의 의미를 직관적으로 인식 가능하게 하는 의미 선택용 콘텐츠가 상기 각 의미 그룹에 대응하여 등록되는 단계를 더 포함하며; 상기 (i) 단계는 (i1) 상기 입력된 검색어가 상기 복수의 의미 그룹 중 2 이상의 의미 그룹에 속하는지 여부를 판단하는 단계와, (i2) 상기 (i1) 단계에서 2 이상의 의미 그룹에 속하는 것으로 판단되는 경우, 해당 의미 그룹들에 대응하는 상기 의미 선택용 콘텐츠 중 어느 하나가 선택 가능하게 상기 통신망을 통해 제공되는 단계와; (i3) 상기 제공된 의미 선택용 콘텐츠 중 선택된 어느 하나에 대응하는 의미 그룹 내의 각 언어의 단어들이 추출되는 단계를 포함할 수 있다.The step (g) further includes the step of registering content for selecting semantics for intuitively recognizing the meanings of words belonging to each of the semantic groups in correspondence with the semantic groups; The step (i) may include (i1) determining whether the input search word belongs to two or more semantic groups among the plurality of semantic groups, and (i2) belonging to two or more semantic groups in the (i1) step. If it is determined, any one of the semantic selection contents corresponding to corresponding semantic groups is provided to be selected through the communication network; (i3) extracting words of each language in a semantic group corresponding to any one selected from the provided semantic selection contents.
그리고, 상기 의미 선택용 콘텐츠는 단어의 의미에 해당하는 이미지를 포함할 수 있다.The meaning selection content may include an image corresponding to the meaning of a word.
상기와 같은 구성에 따라 본 발명에 따르면, 온라인을 통해 무상으로 사용 가능한 사진들을 등록하고, 사진의 사용을 원하는 사용자가 이를 다운로드받아 사용할 수 있는 사진 공유 서비스가 제공될 수 있다.According to the present invention according to the configuration as described above, a picture sharing service that can be used to register the pictures available for free through online, the user who wants to use the pictures can be downloaded and used.
또한, 사진 공유 서비스에서 사용자가 원하는 사진을 텍스트로 정확하게 검색하기 위해, 사진의 등록시 사진과 연관된 키워드가 자동으로 부여되어, 보다 정확한 사진 검색이 가능하게 된다.In addition, in order to accurately search for a picture desired by the user in the picture sharing service, a keyword associated with the picture is automatically assigned when the picture is registered, thereby enabling a more accurate picture search.
그리고, 특정 언어의 단어를 검색어로 입력하는 경우, 해당 검색어에 해당하는 단어와 같은 의미를 갖는 다른 언어에 대한 검색 결과만이 제공될 수 있다.When a word of a specific language is input as a search word, only search results for other languages having the same meaning as a word corresponding to the search word may be provided.
도 1은 본 발명에 따른 사진 공유 시스템이 적용된 사진 공유 서비스의 구조를 나타낸 도면이고,1 is a diagram illustrating a structure of a photo sharing service to which a photo sharing system according to the present invention is applied;
도 2는 본 발명에 따른 사진 공유 시스템의 구성을 도시한 도면이고,2 is a diagram illustrating a configuration of a photo sharing system according to the present invention;
도 3은 본 발명에 따른 사진 공유 시스템의 사진 등록 과정을 설명하기 위한 도면이고,3 is a view for explaining a photo registration process of the photo sharing system according to the present invention,
도 4는 본 발명에 따른 사진 공유 시스템의 검색 모듈의 구성의 예를 도시한 도면이고,4 is a diagram illustrating an example of a configuration of a search module of a photo sharing system according to the present invention;
도 5는 본 발명에 따른 사진 공유 시스템의 의미 기반 단어 데이터베이스에 저장된 의미 그룹의 예를 도시한 도면이고,5 is a diagram illustrating an example of a semantic group stored in a semantic based word database of a photo sharing system according to the present invention;
도 6은 본 발명에 따른 사진 공유 시스템에서 제공되는 검색창의 예를 나타낸 도면이고,6 is a view showing an example of a search box provided in the picture sharing system according to the present invention,
도 7는 본 발명에 따른 사진 공유 시스템의 사진 검색 과정을 설명하기 위한 도면이다.7 is a diagram illustrating a photo retrieval process of the photo sharing system according to the present invention.
<부호의 설명><Description of the code>
100 : 사진 공유 시스템 110 : 메인 제어부100: photo sharing system 110: main control unit
120 : 사진 데이터베이스 130 : CBIR 모듈120: Photo Database 130: CBIR Module
140 : 통신부 150 : 회원 데이터베이스140: communication unit 150: member database
160 : 검색 모듈 161 : 의미 기반 단어 데이터베이스160: Search Module 161: Semantic Based Word Database
162 : 다국어 검색어 추출부 163 : 다국어 검색부162: multilingual search unit 163: multilingual search unit
310,320,330 : 사용자 단말기 500 : 통신망310,320,330: user terminal 500: communication network
본 발명은 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템에 관한 것으로, 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템에 있어서, 통신망에 연결되는 통신부와; 사진 파일이 저장되는 사진 데이터베이스와; 상기 통신망을 통해 사용자 단말기로부터 사진 파일이 업로드되는 경우, 내용 기반 이미지 검색 기법을 통해 상기 사진 데이터베이스에 저장된 사진 파일과 상기 업로드된 사진 파일 간의 유사도를 비교하여 기 설정된 유사도 이상의 적어도 하나의 사진 파일을 추출하는 CBIR 모듈과; 상기 CBIR 모듈에 의해 추출된 적어도 하나의 사진 파일에 대해 등록된 키워드에 기초하여 상기 업로드된 사진 파일의 키워드를 결정하고, 상기 업로드된 사진 파일과 상기 결정된 키워드를 상기 사진 데이터베이스에 등록하는 메인 제어부를 포함한다.The present invention relates to a photo sharing system capable of searching a picture through keyword search, comprising: a communication unit connected to a communication network; A picture database in which picture files are stored; When a photo file is uploaded from a user terminal through the communication network, at least one photo file having a predetermined similarity or more is extracted by comparing the similarity between the photo file stored in the photo database and the uploaded photo file through a content-based image retrieval technique. A CBIR module; A main controller configured to determine a keyword of the uploaded photo file based on the registered keyword for at least one photo file extracted by the CBIR module, and to register the uploaded photo file and the determined keyword in the photo database; Include.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described embodiments of the present invention;
도 1은 본 발명에 따른 사진 공유 시스템이 적용된 사진 공유 서비스의 구조를 나타낸 도면이다. 본 발명에 따른 사진 공유 시스템은 사진 공유 서비스에서 사용자가 업로드하는 사진을 저장하고, 다른 사용자가 원하는 사진을 검색할 수 있는 검색 서비스를 제공하여 원하는 사진을 다운로드 받을 수 있게 된다.1 is a diagram illustrating a structure of a photo sharing service to which a photo sharing system according to the present invention is applied. The photo sharing system according to the present invention stores a photo uploaded by a user in a photo sharing service, and provides a search service for searching for a photo desired by another user so that a desired photo can be downloaded.
사용자는 통신망(500)을 통해 연결되는 여러 유형의 사용자 단말기(310,320,330), 예를 들어, 노트북(310)이나 데스크탑 컴퓨터, 스마트폰(320), 태블릿(330) 등을 통해 접속하여 사진을 업로드하거나, 사진을 검색 및 다운로드할 수 있다. 여기서, 사진 공유 시스템(100)과 사용자 단말기(310,320,330)는 통신망(500)을 통해 연결되는데, 인터넷과 같은 유선 인터넷, 3G나 4G 등과 같은 무선 인터넷 등과 같이 다양한 형태의 통신망(500)을 통해 상호 연결될 수 있다.A user uploads a photo by accessing through various types of user terminals 310, 320, 330, for example, a laptop 310, a desktop computer, a smartphone 320, a tablet 330, and the like, connected through the communication network 500. , Search and download photos. Here, the photo sharing system 100 and the user terminals 310, 320, 330 are connected through a communication network 500, which may be interconnected through various types of communication networks 500, such as a wired Internet such as the Internet, and a wireless Internet such as 3G or 4G. Can be.
도 2는 본 발명에 따른 사진 공유 시스템(100)의 구성을 도시한 도면이다. 도 2를 참조하여 설명하면, 본 발명에 따른 사진 공유 시스템(100)은 통신망(500), 사진 데이터베이스(120), CBIR 모듈(130) 및 메인 제어부(110)를 포함한다. 또한, 본 발명에 따른 사진 공유 시스템(100)은 검색 모듈(160)을 포함할 수 있다.2 is a diagram illustrating a configuration of a photo sharing system 100 according to the present invention. Referring to FIG. 2, the photo sharing system 100 according to the present invention includes a communication network 500, a photo database 120, a CBIR module 130, and a main controller 110. In addition, the photo sharing system 100 according to the present invention may include a search module 160.
통신부(140)는 통신망(500)에 연결되어 사용자 단말기(310,320,330)와 접속된다. 그리고, 사진 데이터베이스(120)에는 사진 파일이 저장된다. 여기서, 메인 제어부(110)는 통신부(140)를 통해 사용자 단말기(310,320,330)로부터 업로드되는 사진을 사진 데이터베이스(120)에 저장하고, 사용자 단말기(310,320,330)를 통해 입력되는 검색어에 따라 검색 모듈(160)에 의해 검색된 결과를 통신부(140)를 통해 사용자 단말기(310,320,330)로 제공한다.The communication unit 140 is connected to the communication network 500 and connected to the user terminals 310, 320, and 330. The photo file is stored in the photo database 120. Here, the main controller 110 stores the photos uploaded from the user terminals 310, 320, 330 through the communication unit 140 in the photo database 120, and the search module 160 according to a search word input through the user terminals 310, 320, 330. The search results are provided to the user terminals 310, 320, and 330 through the communication unit 140.
여기서, 메인 제어부(110)는 본 발명에 따른 사진 공유 시스템(100)에 등록한 회원에 대한 정보를 회원 데이터베이스(150)에 저장하여 관리할 수 있으며, 본 발명에 따른 사진 공유 서비스에 가입된 회원 만이 사진 공유 서비스를 제공받도록 할 수 있다.Here, the main control unit 110 may store and manage information on the member registered in the photo sharing system 100 according to the present invention in the member database 150, and only the members subscribed to the photo sharing service according to the present invention. Photo sharing service can be provided.
CBIR 모듈(130)은 통신망(500)을 통해 사용자 단말기(310,320,330)로부터 사진 파일이 업로드되는 경우, 내용 기반 이미지 검색(Content-Based Image Retrieval : CBIR) 기법을 통해 사진 데이터베이스(120)에 저장된 사진 파일과 업로드된 사진 파일 간의 유사도를 비교한다.When the photo files are uploaded from the user terminals 310, 320, and 330 through the communication network 500, the CBIR module 130 stores the photo files stored in the photo database 120 through a content-based image retrieval (CBIR) technique. And similarity between the uploaded photo files.
그리고, CBIR 모듈(130)은 내용 기반 이미지 검색(Content-Based Image Retrieval : CBIR) 기법을 통한 유사도 검색에서, 기 설정된 유사도 이상의 적어도 하나의 사진 파일을 추출하게 된다. 예를 들어, CBIR 모듈(130)은 유사도가 기 설정된 값보다 큰 사진 파일을 사진 데이터베이스(120)에서 추출할 수 있고, 유사도가 높은 기 설정된 개수의 사진 파일을 사진 데이터에비스로부터 추출할 수 있다.In addition, the CBIR module 130 extracts at least one photo file having a predetermined similarity level from the similarity search through the content-based image retrieval (CBIR) technique. For example, the CBIR module 130 may extract a photo file having a similarity greater than a preset value from the photo database 120, and may extract a preset number of photo files having a high similarity from the photo data station.
이 때, 메인 제어부(110)는 CBIR 모듈(130)에 의해 추출된 사진 파일에 대해 등록된 키워드에 기초하여 업로드된 사진 파일의 키워드로 결정하게 된다. 그리고, 메인 제어부(110)는 업로드된 사진 파일과 함께 해당 키워드를 사진 데이터베이스(120)에 등록하게 된다.At this time, the main controller 110 determines the keyword of the uploaded photo file based on the keyword registered for the photo file extracted by the CBIR module 130. The main controller 110 registers the keyword in the photo database 120 together with the uploaded photo file.
여기서, 메인 제어부(110)는 CBIR 모듈(130)에 의해 추출된 적어도 하나의 사진 파일에 대해 등록된 키워드를 추출하여, 추출된 키워드를 기준으로 새로이 업로드된 사진 파일의 키워드를 결정하게 된다. 이 때, 추출된 키워드가 복수인 경우, 메인 제어부(110)는 추출된 키워드들의 중복도가 높은 어느 하나를 업로드된 사진 파일의 키워드로 결정할 수 있다.Here, the main controller 110 extracts a keyword registered for at least one photo file extracted by the CBIR module 130 and determines a keyword of a newly uploaded photo file based on the extracted keyword. In this case, when there are a plurality of extracted keywords, the main controller 110 may determine any one of the high degree of redundancy of the extracted keywords as a keyword of the uploaded photo file.
예를 들어, 업로드된 사진 파일과 유사도가 높은 사진 파일로 10개의 사진 파일이 추출되면, 해당 10개의 사진 파일의 키워드들이 추출된다. 그런 다음, 추출된 키워드가 하나의 키워드로 통일되면 해당 키워드가 업로드된 사진 파일의 키워드로 결정된다. 반면, 추출된 키워드가 복수가 되면, 중복도가 높은 키워드 순으로 업로드된 사진 파일의 키워드로 결정된다.For example, if ten photo files are extracted as a photo file having a high similarity to the uploaded photo file, keywords of the ten photo files are extracted. Then, if the extracted keyword is unified into one keyword, the keyword is determined as the keyword of the uploaded picture file. On the other hand, if there are a plurality of extracted keywords, it is determined as the keyword of the uploaded picture file in the order of high redundancy.
상기와 같은 과정을 통해, 사용자가 새로이 업로드되는 사진 파일들에 대해서는 자동으로 키워드가 입력되는데, 이미 등록되어 있는 사진 파일과 유사도가 높은 사진 파일들의 키워드가 새로이 업로드된 사진 파일의 키워드로 결정됨으로써, 사진의 유사도에 따른 키워드들의 결정이 자동으로 가능하게 된다. 따라서, 사진 파일과 함께 등록되는 키워드를 통해 후술할 키워드 검색을 통해 원하는 사진을 검색할 수 있게 된다.Through the above process, a keyword is automatically input to the newly uploaded photo files. The keyword of the photo files having a high similarity to the already registered photo file is determined as the keyword of the newly uploaded photo file. Determination of keywords according to the similarity of the picture is automatically enabled. Therefore, a desired picture can be searched through a keyword search to be described later through the keyword registered with the picture file.
이하에서는, 도 3을 참조하여, 상기와 같은 구성을 통해 본 발명에 따른 사진 공유 시스템(100)에 사진 파일을 업로드하는 과정에 대해 설명한다.Hereinafter, a process of uploading a photo file to the photo sharing system 100 according to the present invention through the above configuration will be described with reference to FIG. 3.
먼저, 사용자가 사용자 단말기(310,320,330)를 통해 사진 공유 시스템(100)에 접속하여(S30) 사진 등록을 위한 등록 페이지로의 전환 등의 방법으로 사진 등록을 실행하게 되면(S31), 사진 등록을 위한 화면이 사용자 단말기(310,320,330)에 제공된다.First, when the user accesses the photo sharing system 100 through the user terminals 310, 320, 330 (S30) and executes photo registration by switching to a registration page for registering a photo (S31), Screens are provided to the user terminals 310, 320, 330.
그런 다음, 사용자가 사용자 단말기(310,320,330)를 통해 업로드하고자 하는 사진 파일을 선택하게 되면, 해당 사진 파일은 통신망(500)을 통해 사진 공유 시스템(100)으로 업로드된다(S32).Then, when the user selects a picture file to upload through the user terminal (310, 320, 330), the picture file is uploaded to the picture sharing system 100 through the communication network 500 (S32).
여기서, 본 발명에 따른 사진 공유 시스템(100)에서는 사진이 업로드되는 경우, 사용자에게 업로드된 사진의 키워드를 입력할지 여부를 선택할 수 있는 선택 화면을 제공할 수 있으며(S33), 사용자가 키워드 입력을 선택하여 키워드를 입력하면(S40), 입력된 키워드와 사진 파일을 사진 데이터베이스(120)에 등록하게 된다(S39).Here, in the picture sharing system 100 according to the present invention, when a picture is uploaded, a user may provide a selection screen for selecting whether to input a keyword of the uploaded picture (S33), and the user inputs a keyword. When the keyword is selected and input (S40), the input keyword and the picture file are registered in the photo database 120 (S39).
반면, S33 단계에서 사용자가 키워드 입력을 선택하기 않으면, 상술한 바와 같이, CBIR 모듈(130)이 내용 기반 이미지 검색(Content-Based Image Retrieval : CBIR) 기법을 통해 업로드된 사진과 사진 데이터베이스(120)에 저장된 사진을 비교하여 유사도를 비교하게 된다(S34).On the other hand, if the user does not select a keyword input in step S33, as described above, the CBIR module 130 and the photo and photo database 120 uploaded through the content-based image retrieval (CBIR) technique The similarity is compared by comparing the pictures stored in the step S34.
그런 다음, 내용 기반 이미지 검색(Content-Based Image Retrieval : CBIR) 기법을 통해 유사도가 높은 사진 파일들로부터 키워드가 추출된다(S35).Then, keywords are extracted from the high similarity photo files through the content-based image retrieval (CBIR) technique (S35).
여기서, 사진 파일들의 추출에 있어서, 일정한 유사도 이상의 사진 파일들이 추출될 수 있는데 하나의 사진 파일에 하나의 키워드가 등록될 수도 있고, 복수의 키워드가 등록될 수 있는 바, 추출된 사진 파일들에 대해 등록된 모든 키워드가 추출된다. 또한, 추출된 키워드는 여러 국가의 언어를 포함할 수도 있다.Here, in the extraction of the picture files, picture files of a certain similarity or more may be extracted. One keyword may be registered in one picture file, and a plurality of keywords may be registered. All registered keywords are extracted. Also, the extracted keywords may include languages of various countries.
그런 다음, 추출된 키워드의 중복도가 상술한 바와 같이 검색되며(S37), 중복도가 높은 키워드 순으로 업로드된 사진 파일의 키워드로 결정된다(S38). 그리고, 결정된 키워드와 사진 파일이 매칭되어 사진 데이터베이스(120)에 등록됨으로써, 키워드의 자동 입력이 완료된다.Then, the overlapping degree of the extracted keyword is searched as described above (S37), and the keyword of the uploaded picture file is determined as the keyword of the highest degree of overlapping (S38). Then, the determined keyword and the picture file are matched and registered in the picture database 120, thereby completing the automatic input of the keyword.
이하에서는, 도 4를 참조하여 본 발명에 따른 사진 공유 시스템(100)의 검색 모듈(160)의 구성에 대해 상세히 설명하면,Hereinafter, referring to FIG. 4, the configuration of the search module 160 of the photo sharing system 100 according to the present invention will be described in detail.
본 발명에 따른 사진 공유 시스템(100)의 검색 모듈(160)은, 도 4에 도시된 바와 같이, 의미 기반 단어 데이터베이스(161), 다국어 검색어 추출부(162) 및 다국어 검색부(163)을 포함한다.The search module 160 of the photo sharing system 100 according to the present invention, as shown in FIG. 4, includes a semantic-based word database 161, a multilingual search term extractor 162, and a multilingual searcher 163. do.
의미 기반 단어 데이터베이스(161)에는 서로 다른 복수의 언어의 단어들이 저장된다. 예를 들어, 한국어, 영어, 일어, 중국어, 독일어와 같은 서로 다른 언어들에 속하는 단어들이 저장된다.The semantic-based word database 161 stores words of a plurality of different languages. For example, words belonging to different languages such as Korean, English, Japanese, Chinese, and German are stored.
여기서, 본 발명에 따른 의미 기반 단어 데이터베이스(161)에 저장되는 단어들은 복수의 의미 그룹에 그룹핑되어 저장되는데, 하나의 의미 그룹은 단어가 갖는 의미에 따라 구분된다. 즉, 서로 다른 복수의 언어의 단어들이 각 단어가 갖는 의미에 따라 각각의 의미 그룹으로 그룹핑된다.Here, words stored in the semantic based word database 161 according to the present invention are grouped and stored in a plurality of semantic groups, and one semantic group is divided according to the meaning of the word. That is, words of a plurality of different languages are grouped into respective semantic groups according to the meaning of each word.
도 5는 본 발명에 따른 사진 공유 시스템(100)의 의미 기반 단어 데이터베이스(161)에 저장된 의미 그룹의 예를 도시한 도면이다.5 is a diagram illustrating an example of a semantic group stored in the semantic based word database 161 of the photo sharing system 100 according to the present invention.
도 5를 참조하여 설명하면, 의미 그룹 1은 사람이나 화물을 실은 배를 의미하는 단어들이 그룹핑되는 예를 나타낸 것으로, 한국어로 배와 선박, 영어로 ship, boat, vessel이 그룹핑된 예를 나타내고 있다.Referring to FIG. 5, the semantic group 1 shows an example in which words representing a ship carrying a person or a cargo are grouped, and an example in which a ship and a boat in Korean and a ship, boat, and vessel in English are grouped. .
의미 그룹 2는 과일 중의 하나인 먹는 배를 의미하는 단어들이 그룹핑되는 예를 나타낸 것으로, 한국어로 배, 영어로 pear가 그룹핑된 예를 나타낸 것이고, 의미 그룹 3은 사람 등의 신체의 일부인 배를 의미하는 단어들이 그룹핑되는 예를 나타낸 것으로, 한국어로 배와 복부, 영어로 abdomen, belly가 그룹핑된 예를 나타내고 있다.Meaning group 2 shows an example in which words representing a pear, which is one of fruits, are grouped, and shows an example of pear grouping in Korean and pear in English. Meaning group 3 means a pear that is part of a body such as a person. It shows an example in which words are grouped, and an abdomen and belly are grouped in Korean in abdomen and abdomen and in English.
동일한 방법으로, 의미 그룹 N은 사람 등의 팔을 의미하는 단어들이 그룹핑되는 예를 나타낸 것으로, 한국어로 팔, 영어로 arm이 그룹핑된 예를 나타내고 있다.In the same manner, the semantic group N shows an example in which words representing an arm of a person and the like are grouped, and shows an example in which arm in Korean and arm in English are grouped.
이와 같이, 본 발명에 따른 사진 공유 시스템(100)에서는 특정 언어에 속하는 단어를 기준으로 각국 언어의 단어들이 연계되는 것이 아니라 단어가 갖는 의미, 즉, 도 5에서와 같이, '사람이나 화물을 실은 배', '과일 중의 하나인 먹는 배', '사람 등의 팔' 등과 같이 언어와 무관하게 단어가 갖는 의미를 기준으로 각국의 언어의 단어들이 그룹핑된 의미 그룹으로 의미 기반 단어 데이터베이스(161)에 등록된다.As described above, in the photo sharing system 100 according to the present invention, the words of each language are not linked based on the words belonging to a specific language, but the meanings of the words, that is, as shown in FIG. The meaning-based word database 161 is a group of meanings in which words of each language are grouped based on the meaning of words regardless of language, such as a pear, a pear that is one of fruits, and an arm of a person. It is registered.
다국어 검색어 추출부(162)는 통신망(500)을 통해 특정 언어의 검색어가 입력되면, 의미 기반 단어 데이터베이스(161)에 등록되어 있는 의미 그룹 중 해당 검색어가 속한 의미 그룹 내의 각 언어의 단어들을 추출한다.When a search word of a specific language is input through the communication network 500, the multilingual search word extractor 162 extracts words of each language in a semantic group to which the corresponding search word belongs among semantic groups registered in the semantic based word database 161. .
이 때, 다국어 검색부(163)은 다국어 검색어 추출부(162)에 의해 추출된 각 단어, 즉 검색어가 속한 의미 그룹 내의 각 언어의 단어들에 기초하여 검색을 수행하게 되는데, 추출된 각 언어의 단어들에 해당하는 키워드가 등록된 사진 파일을 사진 데이터베이스(120)로부터 검색하여 통신망(500)을 통해 사용자 단말기(310,320,330)로 제공하게 된다.At this time, the multilingual search unit 163 performs a search based on each word extracted by the multilingual search word extractor 162, that is, words of each language in the semantic group to which the search word belongs. The picture file registered with the keywords corresponding to the words is searched from the picture database 120 and provided to the user terminals 310, 320, and 330 through the communication network 500.
여기서, 본 발명에 따른 의미 기반 단어 데이터베이스(161)에는, 도 5에 도시된 바와 같이, 각 의미 그룹에 대응하는 의미 선택용 콘텐츠가 저장될 수 있다.Here, in the semantic based word database 161 according to the present invention, as shown in FIG. 5, semantic selection content corresponding to each semantic group may be stored.
각 의미 그룹에 대응하는 의미 선택용 콘텐츠는 각 의미 그룹에 속한 단어들의 의미를 직관적으로 인식할 수 있는 콘텐츠를 포함하게 된다. 도 5에서는 의미 선택용 콘텐츠로 단어의 의미에 해당하는 이미지가 적용되는 예를 나타내고 있다. 즉, 의미 그룹 1의 의미 선택용 콘텐츠로는 '사람이나 화물을 실은 배'의 이미지가, 의미 그룹 2의 의미 선택용 콘텐츠로는 '과일 중의 하나인 먹는 배'의 이미지가, 의미 그룹 3의 의미 선택용 콘텐츠로는 '사람 등의 복부'의 이미지가, 의미 그룹 N의 의미 선택용 콘텐츠로는 '사람 등의 팔'의 이미지가 적용될 수 있다.The semantic selection content corresponding to each semantic group includes content that can intuitively recognize the meaning of words belonging to each semantic group. 5 illustrates an example in which an image corresponding to a meaning of a word is applied to the meaning selection content. That is, the meaning selection content of semantic group 1 is an image of a pear with a person or cargo, and the meaning selection content of meaning group 2 is an image of a pear that is one of fruits. An image of 'abdomen such as a person' may be used as the meaning selection content, and an image of 'arm such as a person' may be used as the meaning selection content of the semantic group N. FIG.
여기서, 다국어 검색어 추출부(162)는 사용자 단말기(310,320,330)로부터 입력되는 검색어가 복수의 의미 그룹 중 2 이상의 의미 그룹에 속하는 경우, 예컨대, 도 5에 도시된 바와 같이, 검색어로 다의어가 입력되는 경우, 해당 의미 그룹들에 대응하는 의미 선택용 콘텐츠 중 어느 하나를 선택 가능하게 통신망(500)을 통해 사용자 단말기(310,320,330)로 제공한다.Here, when the search word input from the user terminals 310, 320, 330 belongs to two or more semantic groups among a plurality of semantic groups, for example, as shown in FIG. And select one of the semantic selection contents corresponding to the corresponding semantic groups to the user terminals 310, 320, and 330 through the communication network 500.
도 6은 본 발명에 따른 사진 공유 시스템(100)에서 제공되는 검색창(SW)의 예를 나타낸 도면이다. 도 6을 참조하여 구체적으로 설명하면, 사용자가 사용자 단말기(310,320,330)를 통해 검색어로 '배'를 입력하게 되면, 다국어 검색어 추출부(162)는 의미 그룹 중 검색어 '배'가 속한 의미 그룹으로, 도 3에 도시된 의미 그룹 1, 의미 그룹 2, 의미 그룹 3을 검색하게 된다.6 is a diagram illustrating an example of a search box SW provided in the photo sharing system 100 according to the present invention. Referring to FIG. 6, when the user inputs 'pear' as a search word through the user terminals 310, 320 and 330, the multilingual search word extractor 162 is a semantic group to which the search word 'pear' belongs. The semantic group 1, the semantic group 2, and the semantic group 3 shown in FIG. 3 are searched.
그리고, 다국어 검색어 추출부(162)는 검색된 의미 그룹 1, 의미 그룹 2, 의미 그룹 3에 해당하는 의미 선택용 콘텐츠인 각 이미지를, 도 6에 도시된 바와 같이, 선택창(SNW)에 표시하여 사용자가 선택 가능하게 한다.In addition, the multilingual search word extractor 162 displays each image, which is a content for selecting meanings corresponding to the searched semantic group 1, the semantic group 2, and the semantic group 3, in the selection window SNW as shown in FIG. Make it user selectable.
이 때, 사용자가 도 6에 도시된 선택창(SNW)에서 의미 선택용 콘텐츠 중 어느 하나를 선택하게 되면, 검색어 추출부는 선택된 의미 선택용 콘텐츠에 대응하는 의미 그룹 내의 각 언어의 단어들을 추출하게 되고, 다국어 검색부(163)은 해댕 언어들을 검색어로 검색을 진행하여 검색 결과를 사용자 단말기(310,320,330)로 제공하게 된다.At this time, if the user selects any one of the semantic selection content in the selection window SNW shown in FIG. 6, the search word extracting unit extracts words of each language in the semantic group corresponding to the selected semantic selection content. The multi-language searcher 163 searches the hatched languages with search terms and provides the search results to the user terminals 310, 320, and 330.
상기와 같은 구성에 따라, 특정 언어로 검색어를 작성하여 검색하여도 다른 국가의 언어에 대한 검색 결과를 함께 제공하면서도, 여러 의미 그룹 중 검색을 요하는 의미의 의미 그룹을 선택함으로써, 검색어의 번역 과정에서 발생하는 원하지 않은 검색 결과를 배제할 수 있어, 검색 결과의 정확도를 보다 향상시킬 수 있게 된다.According to the above configuration, while providing a search result for a language of another country even though a search word is written in a specific language, the translation process of the search word is selected by selecting a semantic group of meanings that need to be searched among various semantic groups. Undesired search results that occur at can be excluded, thereby improving the accuracy of the search results.
예를 들어, 도 5에 도시된 예에서, 검색어로 '배'를 입력하게 되면, 종래의 검색 방법에서와 같이 단어의 번역을 통해 검색하게 되면, 한국어 '배', 영어, 'ship', 'boat', 'vessel' 외에도 'pear', 'abdomen', 'belly'도 검색어에 추가되어 검색되는데, 본 발명에 따른 검색에서는 의미 선택용 콘텐츠의 선택에 따라 'pear', 'abdomen', 'belly'의 검색을 배제시킬 수 있게 된다.For example, in the example shown in Figure 5, if you enter 'ship' as a search word, if you search through the translation of words as in the conventional search method, Korean 'ship', English, 'ship', ' 'pear', 'abdomen' and 'belly' are also added to the search term in addition to boat 'and' vessel '. In the search according to the present invention,' pear ',' abdomen 'and' belly 'are selected according to the selection of the content for meaning selection. 'Can be excluded.
이하에서는 도 7을 참조하여 본 발명에 따른 사진 공유 시스템(100)의 사진 검색 과정에 대해 상세히 설명한다.Hereinafter, a photo search process of the photo sharing system 100 according to the present invention will be described in detail with reference to FIG. 7.
먼저, 사진 공유 시스템(100)에 상술한 바와 같이, 의미 기반 단어 데이터베이스(161)이 등록된 상태(S70)에서, 사용자가 사용자 단말기(310,320,330)를 통해 사진 공유 시스템(100)에 접속한 후, 도 6에 도시된 바와 같이, 검색어를 입력하면(S71), 다국어 검색어 추출부(162)가 입력된 검색어가 속한 의미 그룹을 의미 기반 단어 데이터베이스(161)로부터 검색한다(S72).First, as described above in the photo sharing system 100, in a state in which the semantic based word database 161 is registered (S70), after the user accesses the photo sharing system 100 through the user terminals 310, 320, and 330, As shown in FIG. 6, when a search word is input (S71), the multilingual search word extractor 162 searches for a semantic group to which the input search word belongs from the semantic based word database 161 (S72).
여기서, 다국어 검색어 추출부(162)는 입력된 검색어가 2 이상의 의미 그룹에 속하는지 여부를 판단하게 된다(S73). 즉, S72 단계에서 검색된 의미 그룹이 복수, 즉 2 이상인 경우, 해당 의미 그룹별로 의미 선택용 콘텐츠를 추출한다(S74).Here, the multilingual search word extractor 162 determines whether the input search word belongs to two or more semantic groups (S73). That is, when there are a plurality of semantic groups searched in step S72, that is, two or more, the semantic selection content is extracted for each semantic group (S74).
그런 다음, 도 6에 도시된 바와 같이, 다국어 검색어 추출부(162)는 추출된 의미 선택용 콘텐츠를 선택창(SNW)에 표시하게 되면, 사용자는 선택창(SNW)에 표시된 의미 선택용 콘텐츠 중 어느 하나를 선택하게 된다(S75).Then, as illustrated in FIG. 6, when the multilingual search word extractor 162 displays the extracted semantic selection content on the selection window SNW, the user may select one of the semantic selection contents displayed on the selection window SNW. One is selected (S75).
그리고, 다국어 검색어 추출부(162)는 사용자가 선택한 의미 선택용 콘텐츠에 해당하는 의미 그룹 내의 단어들을 추출한다(S76). 그런 다음, 다국어 검색부(163)은 다국어 검색어 추출부(162)에 의해 추출된 단어들을 이용하여 검색을 수행하고, 검색 결과를 사용자 단말기(310,320,330)로 제공하게 된다(S77).The multilingual search word extractor 162 extracts words in a semantic group corresponding to the semantic selection content selected by the user (S76). Then, the multilingual search unit 163 performs a search using the words extracted by the multilingual search term extractor 162 and provides the search results to the user terminals 310, 320, and 330 (S77).
즉, 다국어 검색부(163)은 추출된 단어들에 대응한 키워드를 갖는 사진 파일을 사진 데이터베이스(120)로부터 검색하고, 검색된 사진 파일의 이미지를 통신망(500)을 통해 사용자 단말기(310,320,330)로 제공하게 된다.That is, the multilingual search unit 163 searches a photo file having a keyword corresponding to the extracted words from the photo database 120, and provides an image of the retrieved photo file to the user terminals 310, 320, and 330 through the communication network 500. Done.
한편, 도 3의 S37 단계에서의 중복도 검사는 상기의 의미 그룹 기반으로 수행될 수 있다. 보다 구체적으로 설명하면, 내용 기반 이미지 검색(Content-Based Image Retrieval : CBIR) 기법을 통해 일정 유사도 이상의 사진 파일들이 사진 데이터베이스(120)로부터 추출되면, 추출된 사진 파일들에 등록된 키워드들이 모두 추출된다.Meanwhile, the redundancy check in step S37 of FIG. 3 may be performed based on the semantic group. In more detail, when photo files of a certain similarity or more are extracted from the photo database 120 through a content-based image retrieval (CBIR) technique, all keywords registered in the extracted photo files are extracted. .
그리고, 키워드의 중복도 체크에 있어, 각 키워드들이 속하는 의미 그룹의 중복도를 체크하게 된다. 예를 들어, 하나의 사진 파일에서 추출된 키워드가 '배'이고, 다른 하나의 사진 파일에서 추출된 키워드가 'ship'과 'sea'이고, 또 다른 하나의 사진 파일에서 추출된 키워드가 '항구'와 '선박'인 경우, 키워드 단위로의 중복도는 존재하지 않게 된다.Then, in checking the degree of overlap of keywords, the degree of overlap of the semantic group to which each keyword belongs is checked. For example, the keyword extracted from one photo file is 'ship', the keywords extracted from another photo file are 'ship' and 'sea', and the keyword extracted from another photo file is 'port'. In the case of 'and' the ship, the degree of redundancy in keyword units does not exist.
그러나, 의미 그룹의 중복도를 체크하게 되면, 도 5에 도시된 의미 그룹 1이 중복되는 바, 해당 의미 그룹에 속하는 키워드가 업로드된 사진 파일의 키워드로 등록될 수 있다.However, if the degree of redundancy of the semantic group is checked, the semantic group 1 illustrated in FIG. 5 overlaps, and thus a keyword belonging to the semantic group may be registered as a keyword of the uploaded picture file.
즉, 본 발명에서는 업로드된 사진 파일의 키워드로 하나 또는 복수의 키워드가 자동으로 등록될 수 있다.That is, in the present invention, one or a plurality of keywords may be automatically registered as keywords of the uploaded photo file.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.Although some embodiments of the invention have been shown and described, it will be apparent to those skilled in the art that modifications may be made to the embodiment without departing from the spirit or spirit of the invention. . It is intended that the scope of the invention be defined by the claims appended hereto and their equivalents.
본 발명은 사용자가 직접 찍은 사진을 업로드하여 공유하는 사진 공유 서비스에 적용된다.The present invention is applied to a photo sharing service for uploading and sharing pictures taken by a user.

Claims (10)

  1. 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템에 있어서,In the photo sharing system that can search photos by keyword search,
    통신망에 연결되는 통신부와;A communication unit connected to a communication network;
    사진 파일이 저장되는 사진 데이터베이스와;A picture database in which picture files are stored;
    상기 통신망을 통해 사용자 단말기로부터 사진 파일이 업로드되는 경우, 내용 기반 이미지 검색 기법을 통해 상기 사진 데이터베이스에 저장된 사진 파일과 상기 업로드된 사진 파일 간의 유사도를 비교하여 기 설정된 유사도 이상의 적어도 하나의 사진 파일을 추출하는 CBIR 모듈과;When a photo file is uploaded from a user terminal through the communication network, at least one photo file having a predetermined similarity or more is extracted by comparing the similarity between the photo file stored in the photo database and the uploaded photo file through a content-based image retrieval technique. A CBIR module;
    상기 CBIR 모듈에 의해 추출된 적어도 하나의 사진 파일에 대해 등록된 키워드에 기초하여 상기 업로드된 사진 파일의 키워드를 결정하고, 상기 업로드된 사진 파일과 상기 결정된 키워드를 상기 사진 데이터베이스에 등록하는 메인 제어부를 포함하는 것을 특징으로 하는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템.A main controller configured to determine a keyword of the uploaded photo file based on the registered keyword for at least one photo file extracted by the CBIR module, and to register the uploaded photo file and the determined keyword in the photo database; Photo sharing system that can be searched through the keyword search, characterized in that it comprises a.
  2. 제1항에 있어서,The method of claim 1,
    서로 다른 복수의 언어의 단어들이 각 단어가 갖는 의미에 따라 그룹핑되어 등록된 복수의 의미 그룹이 저장된 의미 기반 단어 데이터베이스와;A semantic-based word database storing a plurality of semantic groups in which words of different languages are grouped and registered according to the meaning of each word;
    상기 사용자 단말기로부터 상기 통신망을 통해 특정 언어의 검색어가 입력되는 경우, 상기 복수의 의미 그룹 중 상기 입력된 검색어가 속한 의미 그룹 내의 각 언어의 단어들을 추출하는 다국어 검색어 추출부와;A multilingual search word extracting unit configured to extract words of each language in a semantic group to which the input search word belongs among the plurality of semantic groups when a search word of a specific language is input from the user terminal;
    상기 다국어 검색어 추출부에 의해 추출된 각 언어의 단어들에 기초하여 상기 추출된 각 언어의 단어들에 대응하는 키워드가 등록된 사진 파일을 상기 사진 데이터베이스로부터 검색하여 상기 통신망을 통해 상기 사용자 단말기로 제공하는 다국어 검색부를 더 포함하는 것을 특징으로 하는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템.Based on the words of each language extracted by the multilingual search word extracting unit, a photo file in which a keyword corresponding to the extracted words of each language is registered is searched from the picture database and provided to the user terminal through the communication network. Photo-sharing system that can be searched through the keyword search, characterized in that it further comprises a multilingual search unit.
  3. 제2항에 있어서,The method of claim 2,
    상기 메인 제어부는The main control unit
    상기 CBIR 모듈에 의해 추출된 적어도 하나의 사진 파일에 대해 등록된 키워드를 추출하고,Extract registered keywords for at least one photo file extracted by the CBIR module,
    상기 추출된 키워드가 속한 의미 그룹이 중복도를 체크하여, 의미 그룹의 중복도가 높은 적어도 하나의 키워드를 상기 업로드된 사진 파일의 키워드로 결정하는 것을 특징으로 하는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템.A picture searchable through a keyword search, wherein the semantic group to which the extracted keyword belongs checks the degree of redundancy and determines at least one keyword having a high degree of redundancy of the semantic group as a keyword of the uploaded picture file. Shared system.
  4. 제2항에 있어서,The method of claim 2,
    상기 의미 기반 단어 데이터베이스에는 상기 각 의미 그룹에 속한 단어들의 의미를 직관적으로 인식 가능하게 하는 의미 선택용 콘텐츠가 상기 각 의미 그룹에 대응하여 저장되며;The semantic word database stores semantic selection content corresponding to each semantic group to intuitively recognize meanings of words belonging to the semantic groups;
    상기 검색어 추출부는The search term extractor
    상기 입력된 검색어가 상기 복수의 의미 그룹 중 2 이상의 의미 그룹에 속하는 경우 해당 의미 그룹들에 대응하는 상기 의미 선택용 콘텐츠 중 어느 하나를 선택 가능하게 상기 통신망을 통해 제공하고,When the input search word belongs to two or more semantic groups among the plurality of semantic groups, any one of the semantic selection contents corresponding to the semantic groups may be provided through the communication network.
    상기 제공된 의미 선택용 콘텐츠 중 선택된 어느 하나에 대응하는 의미 그룹 내의 각 언어의 단어들을 추출하는 것을 특징으로 하는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템.And a word search of each language in a semantic group corresponding to any one selected from the provided semantic selection contents.
  5. 제4항에 있어서,The method of claim 4, wherein
    상기 의미 선택용 콘텐츠는 단어의 의미에 해당하는 이미지를 포함하는 것을 특징으로 하는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 시스템.And the content selection means includes an image corresponding to the meaning of a word.
  6. 키워드 검색을 통해 사진 검색이 가능한 사진 공유 방법에 있어서,Here's how to share photos that let you search for photos via keyword search:
    (a) 사진 파일이 저장되는 사진 데이터베이스가 마련되는 단계와;(a) providing a photo database in which the photo file is stored;
    (b) 통신망을 통해 사용자 단말기가 상기 사진 데이터베이스가 마련된 사진 공유 시스템에 접속하는 단계와;(b) connecting a user terminal to a photo sharing system provided with the photo database through a communication network;
    (c) 사진 파일이 상기 사용자 단말기로부터 상기 사진 공유 시스템으로 업로드되는 단계와;(c) uploading a photo file from the user terminal to the photo sharing system;
    (d) 상기 사진 공유 시스템에서 내용 기반 이미지 검색 기법을 통해 상기 사진 데이터베이스에 저장된 사진 파일과 상기 업로드된 사진 파일 간의 유사도가 비교되어 기 설정된 유사도 이상의 적어도 하나의 사진 파일이 추출되는 단계와;(d) comparing the similarity between the photo file stored in the photo database and the uploaded photo file by a content-based image retrieval method in the photo sharing system to extract at least one photo file having a predetermined similarity or more;
    (e) 상기 추출된 사진 파일에 대해 등록된 키워드에 기초하여 상기 업로드된 사진 파일의 키워드가 결정되는 단계와;(e) determining a keyword of the uploaded photo file based on the registered keyword for the extracted photo file;
    (f) 상기 업로드된 사진 파일과 상기 결정된 키워드가 상기 사진 데이터베이스에 등록되는 단계를 포함하는 것을 특징으로 하는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 방법.and (f) registering the uploaded photo file and the determined keyword in the photo database.
  7. 제6항에 있어서,The method of claim 6,
    (g) 서로 다른 복수의 언어의 단어들이 각 단어가 갖는 의미에 따라 그룹핑되어 등록된 복수의 의미 그룹이 저장된 의미 기반 단어 데이터베이스가 상기 사진 공유 시스템에 구축되는 단계와;(g) constructing a semantic-based word database in the picture sharing system, in which a plurality of different language words are grouped according to the meaning of each word and stored in a plurality of registered semantic groups;
    (h) 상기 통신망을 통해 상기 사용자 단말기로부터 특정 언어의 검색어가 입력되는 단계와;(h) inputting a search word of a specific language from the user terminal through the communication network;
    (i) 상기 의미 기반 단어 데이터베이스로부터 상기 복수의 의미 그룹 중 상기 입력된 검색어가 속한 의미 그룹 내의 각 언어의 단어들이 추출되는 단계와;(i) extracting words of each language in a semantic group to which the input search word belongs among the plurality of semantic groups from the semantic based word database;
    (j) 상기 추출된 각 언어의 단어들에 기초하여 상기 추출된 각 언어의 단어들에 대응하는 키워드가 등록된 사진 파일이 상기 사진 데이터베이스로부터 검색되어 상기 통신망을 통해 상기 사용자 단말기로 제공되는 단계를 포함하는 것을 특징으로 하는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 방법.(j) searching for a picture file in which a keyword corresponding to the extracted words of each language is registered based on the words of each extracted language is retrieved from the picture database and provided to the user terminal through the communication network; Photo sharing method that can be searched through the keyword search, characterized in that it comprises a.
  8. 제6항에 있어서,The method of claim 6,
    상기 (e) 단계는Step (e) is
    상기 추출된 사진 파일에 대해 등록된 키워드를 추출하는 단계와;Extracting a keyword registered for the extracted photo file;
    상기 추출된 키워드가 속한 의미 그룹이 중복도를 체크하는 단계와;Checking redundancy of the semantic group to which the extracted keyword belongs;
    의미 그룹의 중복도가 높은 적어도 하나의 키워드를 상기 업로드된 사진 파일의 키워드로 결정하는 단계를 포함하는 것을 특징으로 하는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 방법.And determining at least one keyword having a high degree of redundancy of a semantic group as a keyword of the uploaded photo file.
  9. 제6항에 있어서,The method of claim 6,
    상기 (g) 단계는Step (g)
    상기 각 의미 그룹에 속한 단어들의 의미를 직관적으로 인식 가능하게 하는 의미 선택용 콘텐츠가 상기 각 의미 그룹에 대응하여 등록되는 단계를 더 포함하며;A step of registering content for selecting meanings to enable intuitively recognizing the meanings of the words belonging to each of the meaning groups;
    상기 (i) 단계는Step (i) is
    (i1) 상기 입력된 검색어가 상기 복수의 의미 그룹 중 2 이상의 의미 그룹에 속하는지 여부를 판단하는 단계와,(i1) determining whether the input search word belongs to two or more semantic groups among the plurality of semantic groups;
    (i2) 상기 (i1) 단계에서 2 이상의 의미 그룹에 속하는 것으로 판단되는 경우, 해당 의미 그룹들에 대응하는 상기 의미 선택용 콘텐츠 중 어느 하나가 선택 가능하게 상기 통신망을 통해 제공되는 단계와;(i2) if it is determined that the semantic group belongs to two or more semantic groups in step (i1), any one of the semantic selection contents corresponding to the semantic groups may be selectively provided through the communication network;
    (i3) 상기 제공된 의미 선택용 콘텐츠 중 선택된 어느 하나에 대응하는 의미 그룹 내의 각 언어의 단어들이 추출되는 단계를 포함하는 것을 특징으로 하는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 방법.and (i3) extracting words of each language in a semantic group corresponding to any one selected from among the provided semantic selection contents.
  10. 제9항에 있어서,The method of claim 9,
    상기 의미 선택용 콘텐츠는 단어의 의미에 해당하는 이미지를 포함하는 것을 특징으로 하는 키워드 검색을 통해 사진 검색이 가능한 사진 공유 방법.The picture sharing method of claim 1, wherein the content for selecting meanings includes an image corresponding to the meaning of a word.
PCT/KR2013/002533 2013-03-27 2013-03-27 Picture sharing system for searching for picture by keyword and method therefor WO2014157746A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0032551 2013-03-27
KR1020130032551A KR20140119217A (en) 2013-03-27 2013-03-27 Photo sharing system and photo sharing method for searching photo by keyword search

Publications (1)

Publication Number Publication Date
WO2014157746A1 true WO2014157746A1 (en) 2014-10-02

Family

ID=51624699

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/002533 WO2014157746A1 (en) 2013-03-27 2013-03-27 Picture sharing system for searching for picture by keyword and method therefor

Country Status (2)

Country Link
KR (1) KR20140119217A (en)
WO (1) WO2014157746A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951477A (en) * 2017-03-08 2017-07-14 深圳市赛亿科技开发有限公司 A kind of picture recognition and extracting method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623523B1 (en) 2015-01-06 2016-05-23 (주)퍼셉션 Method for identifying user's needs based on image word interpretation
KR102129345B1 (en) 2018-09-17 2020-07-08 조명환 Picture search system and method for specific hierarchical

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050055344A1 (en) * 2000-10-30 2005-03-10 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
KR20070105722A (en) * 2006-04-27 2007-10-31 인하대학교 산학협력단 Automatic generation method of the initial query set for image search on the mobile web
US20070271226A1 (en) * 2006-05-19 2007-11-22 Microsoft Corporation Annotation by Search
US20090171783A1 (en) * 2008-01-02 2009-07-02 Raju Ruta S Method and system for managing digital photos
US20090222409A1 (en) * 2008-02-28 2009-09-03 Peoples Bruce E Conceptual Reverse Query Expander
KR20100067285A (en) * 2008-12-11 2010-06-21 주식회사 네오패드 Method for searching information based on user's intention and method for providing information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050055344A1 (en) * 2000-10-30 2005-03-10 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
KR20070105722A (en) * 2006-04-27 2007-10-31 인하대학교 산학협력단 Automatic generation method of the initial query set for image search on the mobile web
US20070271226A1 (en) * 2006-05-19 2007-11-22 Microsoft Corporation Annotation by Search
US20090171783A1 (en) * 2008-01-02 2009-07-02 Raju Ruta S Method and system for managing digital photos
US20090222409A1 (en) * 2008-02-28 2009-09-03 Peoples Bruce E Conceptual Reverse Query Expander
KR20100067285A (en) * 2008-12-11 2010-06-21 주식회사 네오패드 Method for searching information based on user's intention and method for providing information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951477A (en) * 2017-03-08 2017-07-14 深圳市赛亿科技开发有限公司 A kind of picture recognition and extracting method

Also Published As

Publication number Publication date
KR20140119217A (en) 2014-10-10

Similar Documents

Publication Publication Date Title
WO2016208916A1 (en) Method and system for context based tab management
WO2010011026A2 (en) Search system using image
WO2016093552A2 (en) Terminal device and data processing method thereof
WO2013165227A1 (en) Icon password setting apparatus and icon password setting method using keyword of icon
JP2008192055A (en) Content search method and content search apparatus
KR20060083102A (en) Image file management system having location information and method thereof, mobile terminal apparatus
WO2016126018A1 (en) Method, system, and recording medium for managing conversation contents in messenger
WO2020141961A1 (en) Method and apparatus for retrieving intelligent information from electronic device
WO2017138766A1 (en) Hybrid-based image clustering method and server for operating same
JP2006235910A (en) Picture image retrieving device, picture image retrieving method, recording medium and program
WO2018080228A1 (en) Server for translation and translation method
WO2018062901A1 (en) Method for designating and tagging album of stored photographs in touchscreen terminal, computer-readable recording medium, and terminal
WO2017160133A2 (en) Method for configuring ranking of posts and service server therefor
WO2019156543A2 (en) Method for determining representative image of video, and electronic device for processing method
WO2014157746A1 (en) Picture sharing system for searching for picture by keyword and method therefor
WO2017115994A1 (en) Method and device for providing notes by using artificial intelligence-based correlation calculation
WO2013048184A1 (en) Screen scraping method and scraping management server
WO2014148664A1 (en) Multi-language search system, multi-language search method, and image search system, based on meaning of word
US10412455B2 (en) Image management device
JP2004038840A (en) Device, system, and method for managing memorandum image
WO2015102125A1 (en) Text message conversation system and method
WO2020045909A1 (en) Apparatus and method for user interface framework for multi-selection and operation of non-consecutive segmented information
WO2023018150A1 (en) Method and device for personalized search of visual media
WO2018008861A1 (en) Html control system and method using user server
WO2009126012A2 (en) Search system and method for same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13880513

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13880513

Country of ref document: EP

Kind code of ref document: A1