下一代空间计算：AR与VR创新理论与实践

序言xv

前言xvii

第 1 部分　跨越数字和现实的设计与艺术

第 1 章　人类与计算机的交互3

常用术语 3

概述 4

历代的人机交互模态 ：20 世纪之前 4

历代的人机交互模态 ：第二次世界大战期间 6

历代的人机交互模态 ：第二次世界大战之后 7

历代的人机交互模态 ：个人计算机崛起的时代 10

历代的人机交互模态 ：计算机微型化的时代 11

为何要回顾这些历史 13

常见的 HCI 模式 13

新的人机交互模态 18

空间计算设备的人机交互模态现状 19

沉浸式计算系统当前所用的控制器 19

身体追踪技术 21

关于手追踪和手势识别的注记 22

下一代语音输入、手势输入和硬件输入 22

第 2 章　为感官而设计，不要为设备而设计 26

展望未来 26

感知技术概览 27

我们为谁打造这样的未来 29

女性在 AI 中扮演的角色 32

感官设计 33

感官设计概述 33

五项感官设计原则 35

1 直觉体验是多感官的 35

2 3D 将会触手可及 36

3 设计要自然而符合物理原理 37

4 设计无法完全可控 37

5 释放空间协作的力量 38

Adobe 的 AR 故事 38

结语 39

第 2 部分　扩展现实如何改变数字艺术

第 3 章　VR 艺术 43

一种更自然的 3D 艺术创作方式 43

VR 动画 49

第 4 章　3D 艺术优化52

概述 52

建议 53

理想的解决方案 54

拓扑结构 55

烘焙 58

绘制调用 63

使用 VR 工具进行 3D 艺术创作 63

使用现成的 3D 模型与重新制作 64

结语 64

第 3 部分　硬件、SLAM、追踪

第 5 章　计算机视觉如何让 AR 成为可能67

我们是谁 67

AR 简史 68

为何以及如何选择 AR 平台 70

作为开发者，我应该选择哪个平台，为何要如此选择 70

AR 效果具有不确定性 70

软硬件集成 72

光学校准 73

惯性校准 74

追踪技术的未来展望 76

AR 计算机视觉技术的未来展望 78

地图 80

多人 AR 的工作原理 84

最具挑战性的部分 85

重定位的工作原理 86

AR 中重定位的研究现状 87

重定位问题会有消费级的解决方案吗 88

难道谷歌公司或苹果公司无法给出消费级的解决方案吗 89

重定位不等于多人 AR 90

当前 App 的重定位实际是怎么做的 91

AR 平台 94

苹果的 ARKit 94

解密一些谜团 95

ARCore 是不是轻量级的 Tango 96

应该开始基于 ARCore 构建 AR 应用吗 98

Tango、HoloLens、Vuforia 以及其他 AR 平台 98

其他开发建议 99

光照 99

多人 AR — 到底难在何处 100

用户通过 AR 进行社交活动 101

AR 应用如何连接现实世界并确定自身位置 101

AR 应用如何理解现实世界的事物并与之连接 102

AR 云 103

我所想象的 AR 云 104

AR 云有多重要 104

AR 云到底是什么 104

为什么媒体对 ARKit 和 ARCore“不感冒” 105

构建出色的 AR 应用还缺少什么 105

今天的移动云能否胜任这项工作 106

离开 AR 云，ARKit/ARCore 是否毫无用处 106

AR 云的黎明 106

更大的图景 — 隐私数据和 AR 云数据 108

术语表 111

第 4 部分　创建跨平台的 VR/AR 应用

第 6 章　VR/AR 跨平台方法论115

为什么需要跨平台 115

游戏引擎的作用 117

理解 3D 图形 118

虚拟相机 118

自由度 119

游戏设计的可移植性教程 121

简化控制器的输入 123

开发步骤 1 ：设计基本界面 123

开发步骤 2 ：平台集成 125

总结 128

第 7 章　VRTK ：社区开源框架130

什么是 VRTK，为什么大家会使用 VRTK 130

VRTK 的历史 131

SteamVR Unity Toolkit 的诞生 131

VRTK v4 133

VRTK 的未来 133

VRTK 的成功 134

开始使用 VRTK v4 135

第 8 章　三项 VR/AR 最佳开发实践140

VR/AR 开发的难度大 140

处理移动 141

VR 中的移动机制 142

AR 中的移动机制 147

有效地利用音效 149

VR 中的音效 150

AR 中的音效 152

常见的交互范式 153

VR 背包系统 153

AR 射线检测 156

结语 158

第 5 部分　增强数据表示 ：空间计算中的数据可视化与人工智能

第 9 章　数据与机器学习可视化在空间计算中的开发与设计161

概述 161

理解数据的可视化 162

空间计算中数据与机器学习的可视化法则 163

为什么数据与机器学习的可视化能在空间计算中发挥作用 164

数据可视化设计随着 XR 的出现而发展 164

在 XR 中呈现 2D 数据与 3D 数据 166

空间计算中的 2D 数据可视化 VS 3D 数据可视化 166

空间计算中的数据可视化交互 167

动画 168

失败的数据可视化设计 169

良好的数据可视化设计能够优化 3D 空间 169

“节省时间感觉就像一切变得简单了” 170

数据表示、信息图表与交互 170

什么是数据可视化 171

数据可视化与大数据或机器学习可视化之间的区别 171

如何创建数据可视化 ：数据可视化的构建流程 172

WebXR ：在 Web 端构建数据可视化 172

数据可视化在 XR 中遭遇的挑战 173

数据可视化的行业案例 174

3D 重建与直接操作真实数据 ：XR 中的解剖结构 176

近距离了解 Glass Brain 176

TVA Surg 医学成像 VR 模块 177

人人都能做数据可视化 ：XR 中的开源数据可视化 177

生物大分子数据的可视化 179

实践教程 ：如何在空间计算中创建数据可视化 179

如何创建数据可视化 ：资源 181

结语 182

参考资料 182

资源 183

数据可视化工具 184

机器学习可视化工具 184

数据新闻的可视化 184

术语表 184

第 10 章　AI 角色与行为186

概述 186

行为 189

现状 ：响应式 AI 191

适应性 192

复杂性与普遍性 193

可行性 193

赋予系统更高的智能 ：慎思式 AI 194

机器学习 200

强化学习 201

深度强化学习 202

模仿学习 203

自动规划与机器学习相结合 204

应用 204

结语 205

参考资料 206

第 6 部分　体验现实的应用案例

第 11 章　VR 与 AR 医疗保健生态系统213

VR/AR 医疗保健技术应用设计 214

标准用户体验并不直观 215

布置安定的环境 216

便利性 216

指导案例 ：帕金森综合征项目 Insight 216

Insight 的做法 217

Insight 的构建 217

企业 221

医疗规划与指导 222

与医疗教育相关的体验 222

与患者相关的体验 224

主动式医疗保健 226

前沿学术机构的研究案例 226

第 12 章　体育爱好者的 XR 体验231

概述 231

第 1 部分 ：体育 AR 与 VR 的五大关键法则 234

没有绝对的实时 235

第 2 部分 ：体育领域产品体验的进一步发展 238

第 3 部分 ：打造未来 240

所有权 243

忠告 245

结语 246

第 13 章　VR 企业培训案例 247

概述 ：企业培训的重要性 247

VR 培训有用吗 248

案例 ：洪水屋培训 250

VR 培训适合什么场景？“RIDE”准则 253

什么是良好的 VR 培训 254

3D 全景视频 255

3D 全景视频的优势 256

3D 全景视频面临的挑战 256

3D 全景视频的交互 256

案例 ：工厂车间培训 260

叙事的重要性 261

案例 ：商店反抢劫应急培训 261

XR 培训的未来 ：超越 3D 全景视频 263

计算机图形 263

案例 ：职场软技能培训 263

展望 ：摄影测量技术 265

展望 ：光场 266

展望 ：AR 培训 266

展望 ：语音识别 267

展望 ：最理想的培训体验 267

参考资料 268

后记269

关于作者271

关于封面274

......(更多)