理化学研究所（理研）革新知能統合研究センター目的指向基盤技術研究グループ音楽情報知能チームの浜中雅俊チームリーダーらは、2021年から公開している音楽アプリ「サウンドスコープフォン」に、国立環境研究所 生物多様性領域/福島地域協働研究拠点の協力により野鳥の声の聴き分けが楽しめる機能を追加しました。また、理研音楽情報知能チームは他に三つの無料音楽アプリを新しく公開しました。
今回新しく公開した三つのうち、iPad用アプリ「サウンドスコープパッド」「ミュージックスコープパッド」では、AIで利用者のポーズを認識し、仮想現実（VR）空間での音楽鑑賞や映像探索を楽しめます。また、iPhone用アプリ「メロディスロットマシンHD」では、スロットゲームを楽しみながらさまざまなメロディを作ることができます。
下記ウェブサイトから、各アプリのダウンロードおよび紹介映像の視聴が可能です。
サウンドスコープフォン（iPhone用アプリ）に野鳥の声を追加
理研音楽情報知能チームは、利用者の顔画像やジェスチャーをAIで認識し、楽器のパートごとに音の聴き分けを楽しめるiPhone用アプリ「サウンドスコープフォン（Sound Scope Phone）」を開発し、2021年5月に公開しました注1）。一方、国立環境研究所 生物多様性領域/福島地域協働研究拠点は、福島県内の避難指示区域とその周辺で野鳥の声を録音し、その声から種を判別する市民参加型イベント「バードデータチャレンジ」を2015～2018年に開催しました注2）。
今回、バードデータチャレンジにも使用された野鳥の声データセットの一部をサウンドスコープフォンに追加し、野鳥の声の聴き分けを体験できるようになりました（図1）。また、ギタリストのDaisuke Hashimoto氏による提供曲「鋼鉄魂2022」も追加しました。これらの音声はサウンドスコープフォンアプリの更新または新規インストールによって聴くことができます。
図1 サウンドスコープフォンによる野鳥の声の聴き分けのイメージ
- 注1）2021年5月11日プレスリリース「AIがかなえる未来の音楽体験」
- 注2）2018年7月27日国立環境研究所プレスリリース「「市民参加型イベント「バードデータチャレンジ in いわき2018」－開催のお知らせ－」」
サウンドスコープパッド（iPad用アプリ）を公開
「サウンドスコープパット（Sound Scope Pad）」は、VRによるコンサート体験を提供します。iPadの方向に応じて、画面上に利用者を取り囲むように奏者が現れます。特定の楽器の方向へ耳を澄ませるようなポーズをすると、AIが利用者のポーズを認識してそのパートがより強調され、空間音響技術による能動的な音楽鑑賞を体験できます（図2）。
図2 サウンドスコープパッドによるコンサート体験のイメージ
ミュージックスコープパッド（iPad用アプリ）を公開
「ミュージックスコープパッド（Music Scope Pad）」は、VR空間で目的の映像を素早く見つけられるアプリです。映像検索ワードを入力すると、対応する10の音楽映像のサンプルがiTunesから抽出され、iPadの方向に応じて利用者を囲むように提示されます。見たい映像を探し、その方向へ耳を澄ませるようなポーズをすると、AIがそれを認識し、映像が選択されます（図3）。
図3 ミュージックスコープパッドによる映像探索のイメージ
メロディスロットマシンHD（iPad用アプリ）を公開
「メロディスロットマシンHD（Melody Slot Machine HD）」は、スロットマシンを楽しみながらメロディを生成できるアプリです。スロットマシンで複数のバリエーションから短いメロディを選ぶと、新しいメロディが生成されます。また、新しいメロディを演奏する映像も見ることができます（図4）。
図4 メロディスロットマシンHDによるメロディ生成のイメージ
発表者
理化学研究所
革新知能統合研究センター 目的指向基盤技術研究グループ 音楽情報知能チーム
チームリーダー 浜中 雅俊（はまなか まさとし）
浜中 雅俊
報道担当
理化学研究所 広報室 報道担当
お問い合わせフォーム
国立環境研究所企画部広報室
Email: kouhou0 [at] nies.go.jp
※[at]は@に置き換えてください。