DanceTribe! — アプリ概要まとめ

📌 コンセプト

DanceTribe! は、 「ダンス動画から感情を読み取り、そのダンスに"最適な音楽"を自動生成する」 新しい音楽体験アプリです。

ユーザーが撮影 or アップロードしたダンス動画を解析し、 動き・感情・強弱などのパラメータを抽出。 そのデータを元にAIが楽曲生成し、最終的にダンス映像 × 生成音楽の合成動画を出力します。

ウェブアプリとして実装予定。

---

🧩 全体フロー（想定）

1. ダンス動画を撮影 or アップロード

   • カメラ撮影機能
   • ファイルアップロードにも対応

2. 動画解析

   • モーションキャプチャ（姿勢推定）
   • 表情解析（感情推定）
   • 動きの激しさ・リズム傾向などの抽出
   • ※可能であれば 時系列の連続パラメータ を生成（例：00:12 の感情スコア）

3. パラメータ生成

   • 感情（喜／怒／哀／楽）
   • 動きの強弱・スピード
   • 身体のダイナミクス
   • リズム性
   • その他特徴量（未定）

4. GPTで音楽生成用プロンプトを作成

   • 解析結果 → "音楽生成に最適化したプロンプト"に変換
   • 曲調、テンポ、楽器構成、ムードなどを自動設計

5. 音楽生成AIへ送信

   • Suno AI 等の外部音楽生成モデルを利用
   • 生成された音楽ファイル（wav/mp3など）を取得

6. 合成動画の生成

   • 元のダンス動画に生成曲を合成
   • 軽いエフェクト付与も検討（発光・リズム同期など）
   • ユーザーがダウンロード可能

---

🧪 技術・モデル（未定・検討中）

• モーションキャプチャ
  • MediaPipe / OpenPose / moveNet / DeepMotion 等
• 表情解析
  • Face API / MediaPipe Face / Affectiva など
• 音楽生成AI
  • Suno AI
  • Udio
  • Riffusion など
• プロンプト生成
  • OpenAI GPT 系（モデル未定）
• 動画合成処理
  • FFmpeg ベースの処理を想定

---

🚧 今後の検証ポイント

• 連続パラメータの抽出精度
• Suno など外部APIのレート制限・料金
• 動画合成（音合わせ・エフェクト）のパフォーマンス最適化
• ユーザー体験（撮影UI、プレビュー、エクスポートなど）

---

🎯 最終イメージ

「踊る → 感情を解析 → その場で曲ができる」 動画クリエイションの新しい形。

ユーザーはただ踊るだけで、 世界に一つの"自分専用の曲 × ダンス動画"を作れる体験を提供する。

---

開発環境の設定

.env.local を作成し、.env.example を参考に以下を設定してください。

• NEXT_PUBLIC_SERVER_BASE (必要に応じて)
• SERVER_BASE
• INTERNAL_API_KEY (サーバーサイドのみ利用)
• ELEVENLABS_API_KEY (任意。ユーザー入力キー優先)

INTERNAL_API_KEY はクライアントへ公開しないでください。

---

License

このリポジトリは LICENSE に記載の条件で公開されています。