WO2005122134A1

WO2005122134A1 - 楽音生成装置、楽音生成方法、楽音生成プログラムおよび記憶媒体

Info

Publication number: WO2005122134A1
Application number: PCT/JP2004/008037
Authority: WO
Inventors: Shunsuke Nakamura
Original assignee: Toyota Motor Kyushu Inc.
Priority date: 2004-06-09
Filing date: 2004-06-09
Publication date: 2005-12-22
Also published as: EP1760689B1; US7655856B2; EP1760689A1; US20080289482A1; EP1760689A4

Abstract

　演奏情報などを予め準備することなく、入力した画像データから簡易な手法で動きデータを算出することにより、この算出データに基づいて楽音を生成することを目的とすることを課題とする。　そこで、本発明では、フレーム毎の画像データを入力として複数フレームの画像データの対応する各ピクセルの差分から動きを示す動きデータを抽出する動作部特定手段と、この動作部特定手段により特定された前記動きデータに応じた音源、音階、音量をもつ楽音データを生成する楽音生成手段と、この楽音生成手段により生成された楽音データを出力する出力手段とを備えた楽音生成装置において、パターンを登録した画像ＤＢと画像マッチング手段とを設け、前記楽音生成手段に楽音合成手段を設け、この楽音合成手段で前記楽音データと他の音データとを合成した楽音データを生成する。

Description

明細書

楽音生成装置、楽音生成方法、楽音生成プログラムおよび記憶媒体技術分野

[0001] 本発明は、画像データに対応した楽音データを自動生成する楽音生成装置、楽音生成方法、楽音生成プログラムおよび記憶媒体に関する。

背景技術

[0002] 画像に対応して演奏の制御を行う技術として、例えば日本特許第 2629740号公報には、被写体の輪郭を利用してテンポ等を制御する技術が開示されている。この技術では、入力されたビデオ信号から R (赤）、 G (緑）、 B (青）の各色信号を分離し、各色毎にディジタルデータとして階調を表す階調データを生成する。そして、各色の階調データと予め定めた閾値データとに基づいて被写体を特定し、当該被写体の輪郭を検出し、この検出した「輪郭の複雑さ」に応じて演奏を制御する。

[0003] 移動する操作物体の位置を検出して楽音を生成する技術として日本特開 2000— 2 76138号公報があり、それは形状の定まった特定の操作物体の位置を検出しておき、この操作物体の任意位置から現在位置までの移動時間と現在位置の両要素に応じて楽音生成するものである。詳しくは、被写体の特定部分の位置を検出し、画像表示面上に設定した発音領域に発音させる楽音を割り当て、特定部分が画像表示面上の、ある 1つの領域に存在しなくなつたと判定されてから所定時間経過後に、異なる画像表示面上の他の領域に存在すると判定され、かつ、その判定された他の領域が発音領域に属するときに、発音領域に割り当てられた楽音を生成する。

[0004] 一方、モノの動きを捉えて楽音を生成する問題を解決する技術として、例えば日本特開 2000—276139号公報には、供給された画像の各ブロックで複数の動きべタトルを抽出し、この複数の動きベクトルから一つの制御べクトノレを算出し、この算出した制御ベクトルに基づいて楽音を生成する技術が開示されている。

[0005] 画像の各ブロックから複数の動きベクトルを抽出する方法は、特定の画像フレームとそれに続く画像フレームの対応する各ブロック（16X16ピクセル）中で、最も色の違いの少ないピクセル同士を捕らえ、その位置の違いを動きベクトルとした。 [0006] し力ながら、この日本特許第 2629740号公報に開示の技術では、静止画像を対象として、その色信号を分解し、色毎の閾値検査により被写体を特定し、輪郭を検出し、その複雑さを判定する必要があり、処理の負荷が増大する欠点と、輪郭の複雑さから既存の音データを修飾する技術であり楽音を生成するという考えは想定されていない欠点がある。

[0007] 日本特開 2000—276138号公報に開示された技術では、登録された特定の操作子を追う動きの判定であり、楽音の生成は達成している力任意の動画フレームから楽音を生成する事は考えられてレ、なレ、欠点がある。

[0008] 日本特開 2000—276139号公報に開示された技術では、動きの解析から楽音の生成という問題に挑戦しており、解析負荷を減らすために特定の領域に限定してその中だけの解析で動きベクトルを検出する方法も開発してはいるが、根本的に動きべタトルの算出に大きな負荷が掛かることを回避できない技術である。

[0009] 本発明は、連続する動画フレームを対象として、簡易な方法で動きデータを取出し、この取り出した動きデータにより楽音データを生成することを目的とする。またこのように生成される楽音データを更に既存の技術と組み合わせることにより、独特な応用分野を構築することを目的とする。

[0010] そこで、本発明においては演奏情報などを予め準備することなぐ入力した画像データから簡易な手法で動きデータを算出することにより、楽音データを自動生成する楽音生成装置、楽音生成方法、楽音生成プログラムおよび記憶媒体を提供する。発明の開示

[0011] 前記課題を解決するために、本願の請求項 1に係る発明は、フレーム毎の画像データを入力として複数フレームの画像データの対応する各ピクセルの差分から動きを示す動きデータを抽出する動作部特定手段と、この動作部特定手段により特定された前記動きデータに応じた音源、音階、音量をもつ楽音データを生成する楽音生成手段と、この楽音生成手段により生成された楽音データを出力する出力手段とを備えた楽音生成装置にぉレ、て、

楽音合成手段を設け、この楽音合成手段で前記楽音データと他の音データと合成した楽音データを生成することを特徴とする。 [0012] 本願の請求項 2に係る発明は、請求項 1記載の楽音生成手段に、リズム制御手段を設け、このリズム制御手段で前記楽音データを加工することを特徴とする。

[0013] 本願の請求項 3に係る発明は、請求項 1記載の楽音生成手段に、反復制御手段を設け、この反復制御手段により前記楽音データを加工することを特徴とする。

[0014] 本願の請求項 4に係る発明は、請求項 1記載の楽音生成手段にパターンを登録した画像データベース（以下、画像 DBと略称する）と画像マッチング手段とを設け、この画像マッチング手段が前記画像データ中の図形をキーとして前記画像 DBからマツチングパターンを検出し、このマッチングパターンと前記動きデータとから、前記楽音生成手段が楽音データを生成することを特徴とする。

[0015] 本願の請求項 5に係る発明は、請求項 1記載の楽音生成装置に発光手段を設け、この発光手段は前記楽音データに基づき発光することを特徴とする。

[0016] 本願の請求項 6に係る発明は、請求項 1記載の楽音生成装置に画像処理手段を設け、この画像処理手段は前記楽音データに基づき画像処理することを特徴とする

[0017] 本願の請求項 7に係る発明は、フレームの画像データを入力単位として複数フレームの画像データの対応する各ピクセルの差分力動きを示す動きデータを算出し、この動きデータに応じた音源、音階、音量をもつ楽音データを生成する楽音生成方法において、

楽音合成手段を設け、この楽音合成手段で前記楽音データと他の音データと合成した楽音データを生成することを特徴とする。

[0018] 本願の請求項 8に係る発明は、フレームの画像データを入力単位として複数フレームの画像データの対応する各ピクセルの差分から動きを示す動きデータを抽出する動作部特定ステップと、この動作部特定ステップにより特定された前記動きデータに応じた音源、音階、音量をもつ楽音データを生成する楽音生成ステップと、この楽音生成ステップにより生成された楽音データを出力する出力ステップとを備えた楽音生成プログラムにおいて、

前記楽音生成ステップに楽音合成ステップを設け、この楽音合成ステップで前記楽音データと他の音データと合成した楽音データを生成することを特徴とする。 [0019] 本願の請求項 9に関する発明は、請求項 8記載のプログラムを記録したコンビユータ読取り可能な記録媒体であることを特徴とする。

図面の簡単な説明

[0020] [図 1]本発明に係わる楽音生成装置の構成図である。

[図 2]本発明に係わる楽音生成プログラムの動作特定を行うフローチャートである。

[図 3]本発明に係わるマッチング処理のフローチャートである。

[図 4]本発明に係わる音タスクのフローチャートである。

[図 5]本発明に係わる図タスクのフローチャートである。

[図 6]本発明に係わる光タスクのフローチャートである。

[図 7]差分リストと履歴スタックの一構成例の図である。

[図 8]本発明に係わる楽音生成プログラムを格納する記憶媒体の図である。

発明を実施するための最良の形態

[0021] 以下図面を用いて本発明を詳細に説明する。図 1は本発明に係わる第 1の実施例であり、楽音生成装置の構成図である。

[0022] 図 1において、 100は本発明に係わる楽音生成手段としての楽音生成装置である。

110は撮像手段であり、連続した画像データをフレームとして楽音生成装置 100に入力する。 120は他の装置からの連続したフレーム単位の画像データであり、例えばカメラやパソコンや記憶媒体等からフレーム単位で出力される動画像そのものである

[0023] 楽音生成装置 100に備えられた 10は動作特定手段であり、撮像手段 110から送出される画像データや他の装置からの画像データ 120を対象とし、入力された画像データをもとに動きを検出する機能を有する。連続する動画には 10から 30フレーム/ s ecのコマ数で入力されるのが現在一般的である。この動作特定手段 10は連続するフレームを読み込む第 1バッファ 12と、一つ前の読み込みフレームを記憶する第 2バッファ 13とがある。第 1バッファ 12にまず動画データのフレームが読み込まれ、その内容は第 2バッファ 13に送られるとともに、第 1バッファには次のフレームが読み込まれる。この繰り返しにより、第 2バッファのフレームに続く画像フレームが常に第 1バッファに読み込まれ、第 1バッファと第 2バッファの両フレームの比較が連続して行われることとなる。

[0024] 第 1バッファ 12に読み込まれた画像データのフレーム情報はマッチング手段 11により登録した図形が含まれるかの抽出をへて、第 2バッファ 13へと送られる。マッチング手段 11は第 1バッファ 12の中にパターンデータベース（以下パターン DBと略称する )に登録された図形があるかをマッチングにより取出し楽音生成手段 60に送る。この時、パターンマッチング手段 11はまず第 1バッファ 12の画像データの解析から輪郭を抽出し、その輪郭図形に拡大、縮小、回転の変形を加えたパターンを生成し、それがパターンデータベース（以下、パターン DBと略称する）に登録されている登録図形の中にあるかを検查する。

[0025] 第 1バッファ 12の画像データと第 2バッファ 13の画像データは連続したフレームであり、両画像の各ピクセルの差分が差分バッファ 14に抽出され、その差分に基づき動き検出部 15がフレーム間の動きデータを抽出する。第 1バッファの画像データと第 2バッファの画像データの各ピクセル値に関し、全てのピクセルが異なる時は全体に光が当たったのか、全てが動いたのか、互いに無関係な画像なのかの区別が付かないので、動きの区別ができず次のフレームへコマ送りをする。全てのピクセル差がゼ口の場合も、静止画像力もしくは動きが検出されないので、次ぎの動きがあるフレームまでコマ送りを行う。差の検出は、両フレームで R、 G、 Bの各色値差が一定の閾値以上を持つピクセルを差が有るとして抽出し、差の有るピクセルのグノレープを「島」として取出し、取出した各島の大きさを、この差を持つピクセル数で代用した面積値として扱い、面積値が閾値以下の島は無視する。差分の抽出には、明るさの差分のほかに色の差分があり、色の差分を得ることで色毎に動きを拾うことが可能である。

[0026] 動き検出部 15は両フレームの差を示す各島の重心の X座標， Y座標と面積値をリストにして楽音生成手段 60へ出力する。

[0027] 楽音生成手段 60は画素、音階、和音を登録した音データベース（以下、音 DBと略称する） 40を有し、動作特定手段 10から送られてきたフレームデータの各島の位置と面積から対応する音を取出し、楽音データとして楽音データをやり取りする規格 Ml DI (Musical Instruments Digital Interface)に合わせたに楽音データのパラメータを出力する。 [0028] 楽音生成手段 60の中の合成手段 61は既存の小節、メロディ、曲等を格納した曲データベース（以下、曲 DBと略称する） 50からアナログデータ、もしくはディジタルデータとして読み込み、アナログデータは一度ディジタルデータに変換し、ディジタルデータの場合はそのまま引き出して、動き検出部から出力された MIDIデータによる楽音データと合成し、合成されたディジタルデータが MIDIのパラメータとして生成される。

[0029] 楽音生成手段 60の中のリズム制御手段 62は、生成された楽音データで曲等のリズムゃテンポを修飾したり変更した場合に用レ、るものである。動作特定手段 10の MIDI で表現された動きデータから時間要素を取り出し、フレーム間にある繰り返しの周期を使って、以上のリズムやテンポを速くしたり遅くしたりする機能である。

[0030] 楽音生成手段 60の中の反復制御手段 63は、動作特定手段 10の MIDIで表現された動きデータから時間要素を取り出し、フレーム間にある繰り返しの周期を使って、生成した楽音データを繰り返し発しさせる機能である。

[0031] 以上のデータは音声出力手段 65で音声として出力されるか、画像処理手段 80で特定の画像を生成して出力する力、、発光手段 90により光の点滅等の出力が行われる。

[0032] 図 2から図 7は本発明に関わるプログラムによる第 2の実施例であり、楽音生成プログラムに関し、以下その説明を行う。図 2はプログラム処理全体のフローチャートである。図 2のプログラムは、オペレーティングシステムの制御下で 1つのタスクとして実行される実施例である。ステップ P210では、音声出力、画像出力、光出力用の各タスクを起動する。本実施例では各々の出力タスクを別々に生成し、続く差分による楽音データを「事象待ち」として受ける構成とする。具体的には、独立平行して処理を遂行する音タスク、画像タスク、光タスク等の子タスク群が、別々に起動されてはいるが、処理する具体的な事象、本件の場合は楽音データの事象発生を待つ状態となっている。親タスクとしての本動作特定のプログラムが、楽音データを生成し、具体的に処理事象が発生すると、各子タスクに対しこの楽音データを伴って子タスクに起動をかけることとなる。従って、楽音データの発生と同時に各子タスクに送られ、各タスクが平行して各出力処理を行う。ただし、音と画像と光を同期させた効果を出力したい場合は、例えば画像の動きに一定の遅れた音声を付加する等、それらを単一タスクで処理したり、同期命令を用いて各タスクが出力の同期を取ったりするよう構成することも可能である。また、各タスクの起動は別の初期設定時に必要に応じて行ったり、別々に起動してもよい。

[0033] 続いてステップ P211では楽音生成のための第 1フレームを第 1バッファへ読込む。

ステップ P212では続けて第 2フレームを読込むために、読込んだ第 1バッファの内容を第 2バッファへ移し、再びステップ P214で第 1バッファへ次ぎの新フレームを読込む。以上は、常に最新フレームを第 1バッファへ格納し、その直前のフレーム内容を第 2バッファへと格納する手順であり、以下この 2つのバッファを使ってステップ P216 にて連続した入力フレームの各画像のピクセルを比較し差異を取出す。

[0034] ステップ P216での両フレームの差を求める処理としては、まずフレームの対応する各ピクセルを対象として、各ピクセルの色毎の差を算出し、周囲から一定値以上の差を持つピクセル群を「島」として取出す。この島は差の値が全く同一のピクセルばかりでなぐ多少の値の幅を持っているピクセルからなるグループである。そして各島の面積値として、その島を構成するピクセル数をカウントする。

[0035] ステップ P218では、比較した両画像の各ピクセルの色値が全て一定の値以下の時は、静止画像もしくは動きのない連続したフレームの場合であり、全ピクセルの差がゼロで、このときはステップ P240に進み登録した図形を含むかのマッチング処理に進む。比較した画像のピクセル間に一定値以上の異なりがある時、ステップ P220 では全てのピクセルの値が一定の値以上に異なっているかの判定を行う。両画像が全く異なる画像である場合や、全体に光が当たり同じ色値をもつピクセルが存在しない場合、もしくは細かな柄の図形が高速に移動した場合は、画像の中の動きとしてこれらを検出できないケースである。この両画像の対応するピクセルの色値が全て一定の値以上に異なる場合もステップ P240に進む。従って、ステップ P222に達する条件は以上の選択により、フレーム中で対応する各ピクセルの中に色値が一定値以上に異なる部分と、色値が一定値以下の同じ部分が存在することであり、これを前提に動きがあるかを判定することとなる。

[0036] ステップ P222は差の値の近いピクセル同士の作るグループを「島」として次々と島を検出する。取出す島がなくなればステップ P224の島取出しの終了処理力ステツプ P232へ進む。一つの島を取出すと、ステップ P226でその島の面積と、その島を構成するピクセルの重心を算出する。面積値が一定の閾値に達しない物は、ステツプ P228で検査し、些事な島として無視してしまい、次ぎの島を取出して検査するステップ P222へと戻る。島の面積が一定の閾値を越える場合は、ステップ P228で楽音生成のための差分リストにこの島の重心位置を有するエントリを登録し、面積と各ドットの平均の色値を追加し、次ぎの島を取出す処理ステップ P222に戻る。

[0037] 図 7は履歴スタツ力 80と差分リスト 70の一実施例構成図であり、検出した各島を差分リスト 70に登録する。履歴スタツ力 80がそれらを時系列的にスタックする。差分リスト 70には解析対象となったフレーム毎に検出した島の数を記録するエントリ数欄 71と、そのときの時刻を記録するタイムスタンプ欄 72とを持っておる。差分リストは各島の X座標 73と、 Y座標 74を対とするエントリが島毎に生成され、その島の面積と平均の色値がその欄に面積欄 75と平均色値欄 76としてステップ P230で格納される。

[0038] 島の抽出が終了すると、ステップ P232で差分リスト 70のタイムスタンプ欄 72に処理時刻を記入し、最終欄数をエントリ数欄 71に格納し、ステップ P234でこの差分リストを履歴スタツ力 80に追加して、パターンマッチング処理であるステップ P240へ進む。ステップ P240は第 1バッファの内容に登録されたパターンが存在するかのパターンマッチング処理であり、詳細は図 3で説明する。ステップ P246のパターンマッチング処理では登録した図形が見つかると、履歴スタツ力 80の登録図形欄 83に記録されているか、登録図形が単独のフレームで見つ力り図形リスとしてのパラメータ値を伴って戻ってくる。

[0039] 履歴スタツ力 80は、エントリの最終を表示する終わり表示欄 81と各島の差分リスト 7 0をエントリとする差分リスト欄 82とその島が登録された図形であると判断されたときにその登録図形が記入される登録図形欄 83とからなる。

[0040] ステップ P246は各出力タスクへデータを受け渡す処理であり、動きを示す差分リストを含む履歴スタツ力 80の最新欄をパラメータとして事象発生通知コマンドをォペレ一ティングシステムに対して送出する。各タスクとしての出力処理は図 4、図 5、図 6にて示す。ステップ P248では次ぎのフレームがあればそのフレームを新フレームとして読込むステップ P212に戻る。ステップ P248の判定で最終フレームの処理であれば、ステップ P250で履歴スタツ力 80に保存された一連の差分や検出した図形と、図形リストがあればその図形リストを消去し、ステップ P252で各出力タスクを消去して、本動作特定の処理を終了する。タスクの消去に関して本実施例では、入力フレームの終了に合わせて起動されているタスクを全て終了させたが、入力画像の停止以降も続けて実行させる反復モードや、緊急状況の検出により警告出力を継続させたり、曲などの合成や編集のための継続モードを続けたり等、必ずしもフレーム入力の終わりで同期して全タスクを終了させる必要がなぐ各タスクが処理条件の検出により独自に個々に消滅する方式としてもよぐ出力タスクは自由に構成することができる。

[0041] 図 3は図 2のステップ P240で示したマッチング処理のフローチャートである。ステツプ P300は第 1バッファの内容を取込み、マッチング図形の登録されたパターン DBのアクセス準備を行う。ステップ P310では第 1バッファの内容を対象として、例えば色値の違レ、を計算して図形の輪郭を一般的な手法で取出す。ステップ P320では取出した輪郭の中に閉ループが有るか次々と半 IJ定し、閉ループがあればステップ P330でこの図形を拡張等の処理にてノーマライズして、パターン DBに登録された図形の中に類似の図形があるかのマッチングを行う。

[0042] ステップ P340の検査でマッチングデータが見つからなければ、再び閉図形を取出すステップ P320に戻る。マッチングデータが見つかれば、ステップ P350にてマッチングした図形の名前 (図形 ID)を取出す。次にステップ P360では、図形の名前に加えて、図形の中心位置と図形の色とを取出し、図形リスト（図示せず）に追加する。図形リストはフレームに含まれる登録図形の情報を格納したリストであり、履歴スタツ力 80 の登録図形欄 83に追加される。ステップ P320で検査対象となった最新フレームの登録図形抽出が全て終了すると、ステップ P370で図形リストの履歴スッタカ 80の最終欄 83へ終了表示を付け、タイムスタンプ欄に当該処理時刻を格納して、これをパラメ一タリストとして呼び出し元に復帰する。

[0043] 図 4は音タスクのフローチャートである。図 2のステップ P210で生成された音タスクは、まずステップ P410で事象待ちコマンドをオペレーティングシステムに対して発して、図 2で示したステップ P246から音声データ付きで呼び出されるのを待機する。音タスクが呼び出しコマンドで呼び出されると、呼び出しパラメータは履歴リストもしくは図形リストを指しており、履歴スタツ力の終表示欄 81もしくは図形リストの最終エントリ表示を終了条件として差分リスト 70、登録図形の取出しをステップ P412で行う。ステップ P414ではまず音 DBを読み出し、取出した差分リスト 70と登録図形を元に、 X座標をキーとして楽器の種別を、 Y座標をキーとして音階を、 XY座標をキーとして音量バランスを、面積をキーとして音エフヱクタの種別を、登録図形をキーとして特殊音をおのおの選択する。以上は，ステップ P416で MIDIの基準に従ってパラメータを調整する。

[0044] ステップ P418では生成された音データを他の音データと合成要求があるかを判定し、音データの合成要求があれば、ステップ P420で曲 DBから、合成すべき曲、小節、メロディ、等を読込み合成を行うが、この合成にはディジタル 'シグナル 'プロセッサを利用しても良い。

[0045] ステップ P422では生成された曲、小節、メロディ、等のテンポの変更要求があるかを判定する。テンポの変更要求があるときには、例えば、特に同じ登録図形のタイムスタンプを取り出し、その繰り返し間隔に対象となる曲の間隔を徐々に合わせていく等の処理を行う。曲のリズムを急激に検出したタイムスタンプの周期に合わせて変える手法ちある。

[0046] ステップ P426は反復要求があるかの判定であり、もし反復の指定があれば、ステツプ P428で反復の周期と、反復の終了条件を設定する。ここで、履歴スタック 80に登録された差分リスト 70のタイムスタンプ 72の値を取り出して差を取れば、これを元に図形の変化の周期を取出すことができる。

[0047] ステップ P430は音声出力処理であり、以上のディジタルな音声信号をアナログの音声信号に変えてスピーカ等から出力させる。

[0048] ステップ P432では、ステップ P428で設定した反復条件を満たしているかを判定し、満たしていなければステップ P430に戻って音声出力処理を再開し、反復条件が終了していれば、再び次ぎフレームの動きに応じた音声の生成のために、事象待ちのステップ P410に戻る。

[0049] 図 5は図タスクのフローチャートである。図 2のステップ P210で生成された図タスクは、まずステップ P510で事象待ちコマンドをオペレーティングシステムに対して発して、図 2で示したステップ P246から音データ付きで呼び出されるのを待機する。図タスクが呼び出しコマンドで呼び出されると、呼び出しパラメータは履歴リストもしくは図形リストを指しており、履歴スタツ力の終表示欄 81もしくは図形リストの最終エントリ表示を終了条件として差分リスト 70、登録図形の取出しをステップ P512で行う。ステツプ P514ではまず画素の登録された画像データベース（以下、画像 DBと略称する）を読み出し、取出した差分リスト 70と登録図形を元に、 X座標をキーとして図形の種別を、 Y座標をキーとして明度を、 XY座標をキーとして配色を、面積をキーとして図形ェフエクタの種別を、登録図形をキーとして特殊図形をおのおの選択する。ステップ P516では登録図形が履歴リストにあるかを判定し、登録図形があればステップ P51 8で登録図形に対応した各種図形描画の約束に従って図形の変更や、色の変更を行う。ステップ P520では生成された音データを他の音データと合成要求があるかを判定し、音データの合成要求があれば、ステップ P522で画像 DBから、合成すべき図案、写真、等を読込み合成を行うが、この合成には各種画像処理のアプリケーションプログラムを利用しても良レ、。

[0050] ステップ P524は画像出力処理であり、各種の表示装置へ画像データを表示させる

[0051] 図 6は光タスクのフローチャートである。図 2のステップ P210で生成された光タスクは、まずステップ P610で事象待ちコマンドを発して、図 2で示したステップ P246から音データ付きで呼び出されるのを待機する。光タスクが呼び出しコマンドで呼び出されると、呼び出しパラメータは履歴リストもしくは図形リストを指しており、履歴スタツ力の終表示欄 81もしくは図形リストの最終エントリを表示を終了条件として差分リスト 70 、登録図形の取出しをステップ P612で行う。ステップ P614ではまず光に関する色や色彩や明度に関する一覧や選択規則を登録した光データベース (以下、光 DBと略称する）を読み出し、取出した差分リストと登録図形を元に、 X座標をキーとして発行色を、 Y座標をキーとして明度を、 XY座標をキーとして色彩を、面積をキーとして光ェフエクタの種別を、登録図形をキーとして特殊発光をおのおの選択する。ステップ P616では登録図形が履歴リストにあるかを判定し、登録図形があればステップ P61 8で発光ビームの強度を波状にしたり、発光ビームの軌跡を動かしたり等の変化をつける。ステップ P620では生成された光データの反復要求があるかを判定し、光データの反復要求があれば、ステップ P622で反復時間を設定し、ステップ P624で発行装置への点灯を出力する。ステップ P626では、ステップ P622で設定した反復条件を満たしているかを判定し、満たしていなければステップ P620に戻って光出力処理を再開し、反復条件が終了していれば、再び次ぎフレームの動きに応じた光の生成のために、事象待ちのステップ P610に戻る。

[0052] 以上に示した座標値等に対応して選択する要素、及び選択対象となる各種 DBからの要素は一実施例であり、それらに限定されるものではなぐ選択する対象として各種 DBに種々の要素を登録することも可能で、また応用する対象と目的に応じて種々の異なる選択も可能であって、選択対象の要素や各種 DB登録要素の取替え、変更、組み合わせはすべて本願権利範囲に含まれるものとする。

[0053] また、以上の実施例では、発光手段や画像処理手段を出力手段として設けた例を示したが、本発明はこれに限られるものではなぐフレーム差から検出した動きデータをもとに、広くはフレーム解析センサとしての応用が可能であり、発振手段、発電手段、及び各種駆動手段、を出力手段とすることも本願の権利範囲に含まれるものとする

[0054] 図 8は本発明に関する楽音生成プログラムを格納した記憶媒体に関する説明図である。

[0055] 900は本発明を実施する予定の端末装置である。 910はバスであり、これに論理演算装置（CPU) 920、主記憶装置 930、入出力手段 940がある。この入出力手段 94 0中には表示手段 941、キイボード 942を備えている。記憶媒体（CD) 990には本発明に基づくプログラムが実行形式の楽音生成プログラム（GP) 932として格納されており、このプログラムを主記憶 930にインストールするローダ 931が同じく記憶媒体（C D) 990に格納されている。まず、記憶媒体 (CD) 931が主記憶装置 930に読み込まれ、このローダ 931により楽音生成プログラム（GP) 932が主記憶装置 930にインスト一ノレされる。このインストールにより端末装置 900は図 1に示した楽音生成装置 100として機能する。

[0056] 本発明に関する楽音生成装置 100として動作させるにはこれに限るものではなぐ LANインターフェイス LANI/F911を介して LAN950に接続されたサーバ 971に内蔵する大記憶装置 973から本発明に基づく楽音生成プログラム（GP) 932を端末装置 100にローデイングすることもできる。この場合は、記憶媒体 990の時と同じくサーバ 971に格納された楽音生成プログラム（GP) 932をインストールするプログラム口ーダ 931をまず LAN950経由で主記憶装置 930に読み込み、しかる後にこのローダを用いて大記憶 973中の実行形式の楽音生成プログラム（GP) 932を主記憶装置 9 30にインス卜一ノレすることとなる。

[0057] 更に、インターネット 960を介して接続されたサーバ 981に内蔵された大記憶装置

983に格納された本発明に関する楽音生成プログラム（GP) 932をリモートローダ 98 2により主記憶装置 930の作業領域を使って直接インストールすることもできる。インターネット 960を介してインストールする時は、 LAN950に接続された大記憶装置 97 3の場合と同じぐローダ 931を付随した形式をとることもできる。

産業上の利用可能性

[0058] (1)請求項 1に係る発明は、複数フレームの画像データの対応する各ピクセルの差分から動きを示す動きデータを抽出し、この動きデータに基づいて生成された楽音データと他の音データと合成した楽音データを生成するので、例えば既存の曲を踊りの仕草で変化させたり、自動車からの景色の移り変わりで変化させたりすることができる

[0059] (2)請求項 2に係る発明は、請求項 1の発明において楽音生成手段に楽音リズム制御手段を設けて、このリズム制御手段で前記楽音データを加工するので、例えば画像の動きに合わせたリズムで楽音を伴奏させたり、風にはためく鯉のぼりの動きに合わせて揺らぎのある心地よいリズムで曲を聞くことができる。

[0060] (3)請求項 3に係る発明は、請求項 1記載の楽音生成手段に反復制御手段を設け、この反復制御手段により楽音データを加工するので、例えば楽音にエコーを付けたり、危険な動きを検出すると警戒音を反復して告知したりすることができる。

[0061] (4)請求項 4に係る発明は、請求項 1記載の楽音生成手段に画像マッチング手段を設け、画像データ中の図形をキーとして登録された画像データベースから抽出されたマッチングパターンとによって楽音データを生成するので、類似形のものでも動きの違いで異なる楽音データが生成されることとなり、例えば、自動車や自動機械や器具に搭載して安全を見越して用意された類似物が予期しない動き等で危険となる状態の検出が簡易な算出で可能となる。

[0062] (5)請求項 5に係る発明は、請求項 1記載の楽音生成装置に発光手段を設け、この発光手段は前記動きデータに基づき発光するので、例えば、ステージで動きに合わせて照明を変化させたり、自動車等が危険な動きを検出すると発光して告知したりすること力 Sできる。

[0063] (6)請求項 6に係る発明は、請求項 1記載の楽音生成装置に画像処理手段を設け、この画像処理手段は前記楽音データに基づき画像処理するので、ものの動きをデフオルムした画像を鑑賞したり、例えば俳優や動物の動きを強調した画像を楽しんだりすること力 Sできる。

[0064] (7)請求項 7に係る発明においては、画像データの対応する各ピクセルの差分から動きを示す動きデータを算出し、この動きデータと、他の音データと合成した楽音データを生成する方法により、例えば既存の曲を踊りの仕草で変化させたり、車からの景色の移り変わりで変化させたりすることができる。

[0065] (8)請求項 8に係る発明は、画像データの対応する各ピクセルの差分から動きを示す動きデータを算出し、この動きデータと他の音データと合成した楽音データを生成するプログラムによって、例えば既存の曲を踊りの仕草で変化させたり、車からの景色の移り変わりで変化させたりすることができる。

[0066] (9)請求項 9に係る発明においては、請求項 8記載のプログラムを記録したコンビュータ読取り可能な記録媒体とすることにより、一般のコンピュータを容易に楽音生成装置とすることができるようになる。

Claims

請求の範囲

[1] フレーム毎の画像データを入力として複数フレームの画像データの対応する各ピクセルの差分から動きを示す動きデータを抽出する動作部特定手段と、

この動作部特定手段により特定された前記動きデータに応じた音源、音階、音量等をもつ楽音データを生成する楽音生成手段と、

この楽音生成手段により生成された楽音データを出力する出力手段とを備えた楽音生成装置において、

前記楽音生成手段に楽音合成手段を設け、この楽音合成手段で前記楽音データと他の音データとを合成した楽音データを生成することを特徴とする楽音生成装置。

[2] 前記楽音生成装置に、リズム制御手段を設け、このリズム制御手段で前記楽音データを加工することを特徴とする請求項 1記載の楽音生成装置。

[3] 前記楽音生成装置に、反復制御手段を設け、この反復制御手段により前記楽音データを加工することを特徴とする請求項 1記載の楽音生成装置。

[4] 前記楽音生成装置に、パターンを登録した画像データベース (以下画像 DBと略称する)と、画像マッチング手段とを設け、この画像マッチング手段が前記画像データ中の図形をキーとして前記画像 DBからマッチングパターンを検出し、このマッチングパターンと前記動きデータとから、前記楽音生成手段が楽音データを生成することを特徴とする請求項 1記載の楽音生成装置。

[5] 前記楽音生成装置に発光手段を設け、この発光手段は前記楽音データに基づき発光することを特徴とする請求項 1記載の楽音生成装置。

[6] 前記楽音生成装置に画像処理手段を設け、この画像処理手段は前記楽音データに基づき画像処理することを特徴とする請求項 1記載の楽音生成装置。

[7] フレーム毎の画像データを入力単位として複数フレームの画像データの対応する各ピクセルの差分力動きを示す動きデータを算出し、この動きデータに応じた音源、音階、音量をもつ楽音データを生成する楽音生成方法にぉレ、て、

前記楽音データと他の音データと合成した楽音データを生成することを特徴とする楽音生成方法。

[8] フレーム毎の画像データを入力単位として複数フレームの画像データの対応する各ピクセルの差分から動きを示す動きデータを抽出する動作部特定ステップと、この動作部特定ステップにより特定された前記動きデータに応じた音源、音階、音量等をもつ楽音データを生成する楽音生成ステップと、

この楽音生成ステップにより生成された楽音データを出力する出力ステップとを備えた楽音生成装置にぉレ、て、

前記楽音生成ステップに楽音合成ステップを設け、この楽音合成ステップで前記楽音データと他の音データとを合成した楽音データを生成することを特徴とする楽音生成プログラム。

請求項 8記載のプログラムを記録したコンピュータ読取り可能な記録媒体。