普通 USB 摄像头 · 多视角动捕构想

从几个角度,
看懂一个动作。

多台摄像头观察同一个人,融合动作信息,还原三维骨架,再把动作交给虚拟角色。

概念演示 · 模拟数据
USB 机位
台
📹
多路机位
→人
同一组动作
→骨架→角色
同步跟随

正在打开动作摄影棚。多台摄像头从不同角度观察同一个人,再将动作交给虚拟角色。

01多路观察同一个被观察者
02三维骨架动作信息
03角色跟随虚拟角色同步跟随
4 台 · 加入右侧,绕一圈看动作。
拖动旋转 · 方向键
同一个动作,四种视角点击画面切换机位

挥一挥手,看右侧角色同步跟随。

01 / THE IDEA

动作多一点,
穿戴少一点。

想在虚拟空间里转身、跳舞或做一段表演,往往先要考虑追踪设备。

MotionWeave 想用手边的普通 USB 摄像头做动捕:把观察交给房间里的摄像头,让身体少一些穿戴负担。

硬件成本、USB 带宽与多机位同步仍待验证。
02 / THE PATH

画面怎么变成动作?

接下来要验证的技术路线。

  1. 01

    对齐画面

    先让不同机位
    看到同一时刻。

  2. 02

    找到关节

    识别每个视角中的
    身体关键点。

  3. 03

    合并观察

    利用不同角度,
    估计关节的三维位置。

  4. 04

    带动角色

    把骨架动作
    映射到虚拟角色。

03 / STILL EXPLORING

接下来,
用真实动作验证。

机位怎么放、光线如何影响识别、转身后会遮住哪里,以及同步、抖动和延迟,都需要用实际动作来测。平台接入放在这条链路跑通之后。

项目进度:交互概念阶段

页面用预设动作展示多机位与虚拟角色的关系,尚未接入摄像头或实现多视角重建。四机位示意 · 不代表设备上限。遮挡示意不包含骨骼补全。

各机位画面由同一组三维关节投影生成,不进行真实图像推理。

展开技术路线与模拟边界 +

拟定路线:相机摆位与标定 → 时间对齐 → 二维关键点 → 多视角估计 → 时序处理 → 骨骼重定向。

VMC / OSC 是候选输出方向;VRChat / Blender / Unity、BVH / FBX 是待验证用途,尚未接入。

此页不请求摄像头或麦克风权限,不调用模型服务,不采集个人数据。演示无后端,前端依赖已随网页附带。