About

Outline

生成AIの活用が広がるなかで、私たちは、大量生成によって変化する表現の質に着目し、既存とは異なるアプローチからAIクリエイティブの可能性を探ってきました。人の感性をより豊かにするためにAIを活用できないか。その問いから生まれたのが、“raw AI”です。raw AIは、「演出を拡張するAI」として、これからのシーンに新たな体験と表現の可能性をもたらします。

raw AI

raw AIは、入力された情報をリアルタイムに変換し、空間演出を拡張するAIです。感性を豊かにする想像力を支えながら、情景描写の可能性を大きく広げます。音、光、振動、香りなどが持つ固有の印象を抽出し、人によりダイレクトに伝わる演出へと変換します。

Lighting

照明

Music

音楽

Vibration

振動

Video

映像

Scent

香り

Real-Time Input

リアルタイム インプット

raw AI

インプットに合わせ
適切な空間演出を創出する

Real-Time Output

リアルタイム アウトプット

Lighting

照明

Music

音楽

Vibration

振動

Video

映像

Scent

香り

Case Study

実際に音楽を学習し、映像で演出する場合のCaseStudyを紹介します。

raw AIは、音 / 光 / 振動 / 香り などが持つ特異の印象を抽出し、人間に対してよりダイレクトに伝わる演出として活躍します。

当日フロー
入力

Music

音楽

コンテンツの変換

入力パラメーター

Input parameters

変換

出力パラメーター

Output parameters

出力

Video

映像

リアルタイムな音楽情報が入力されると、要素を抽出してパラメータ化し、異なる演出へ変換を行います。

落合陽一 × 日本フィルプロジェクト VOL.8「変幻する音楽会」

落合陽一 × 日本フィルプロジェクト VOL.8「変幻する音楽会」ステージ写真1

算出されたデータを基に、裏側ではリアルタイムなパラメータ変動を観測できます。 事前に用意した演出を選択し出力されています。 以下は、音楽ジャンルによって変動する出力デモです。

Sample Movie
パターンA -Classic-
パターンA -Classic- 写真

落合陽一 × 日本フィルプロジェクト「変幻する音楽会」 「芥川也寸志:弦楽のためのトリプティーク」

Sample Movie
パターンB -Jpop-
パターンB -Jpop- グラフィック1

理想と現実の狭間で / Co-ichi

Sample Movie
パターンB -Jpop- グラフィック2

19city / YENZ

Sample Movie
事前フロー
調査
技術選定
開発機材選定
本番機材選定
プロトタイプ開発
リーガルチェック
学習 / テスト

データセットの調整 / 追加

精度が上がるまで繰り返し実施
学習 / テスト
リハーサル
最終確認

演出の決定後、適切な開発環境を整備するための調査を実施、プロトタイプ開発を経てAI基盤を決定いたします。

学習用音楽が学習用途として適切か、リーガルチェックも実施いたします。

AI基盤完成後、深層学習とテストを繰り返し演出精度を上げ、本番に挑みます。

感受性を増幅させるMission

音楽を聴いて、想像を膨らませる。光を浴びて、香りを感じる。振動を受けて、映像で感じる。

さまざまな演出が、さまざまなフィールドで体験いただけます。

視覚から体験を拡大させたい演奏会に

音楽
変換
映像

参加者の没入感を高めたいイベントに

照明
変換
香り

動きのあるライブシーンに

振動
変換
映像

私たちはAIを用いて、演出を拡張させるミッションに挑戦していきます。

今後もアップデートをし続けて、AIがミックスされた新しいクリエイティブシーンを開拓し続けます。

お問い合わせはContact Usまでご連絡ください。