NrealFrameSource Class¶
Description¶
在场景中将Nreal的输出连接到EasyAR输入的自定义frame source。通过EasyAR Sense的自定义相机功能提供Nreal支持。
这个frame source是一种运动跟踪设备，在 ARSession 中会输出运动数据。
为了使用这个frame source， Nreal SDK For Unity 是必需的。你需要根据官方文档配置Nreal SDK For Unity。
在可用性检查中， NrealFrameSource.CameraRigCandidate 是需要的，如果没有事先设置，会自动从场景物体中选择。
MonoBehaviour Messages¶
private void OnEnable() |
private void OnDisable() |
protected virtual void Awake() |
protected virtual void OnApplicationPause(bool pause) |
protected virtual void OnDestroy() |
Fields¶
EnableColorInput¶
- C#
public bool EnableColorInput
是否使用彩色图像作为frame输入。彩色图像在需要录制彩色eif文件的时候可以使用。所有EasyAR算法都不需要使用彩色图像。
Properties¶
CameraRigCandidate¶
- C#
public NRKernal.NRHMDPoseTracker CameraRigCandidate { get; set; }
Nreal CameraRig。
IsHMD¶
- C#
protected override bool IsHMD { get; }
仅当创建一个新的frame source时提供。它仅会在 ARSession.Assemble 过程中被访问。
当前frame source是否是头显。如果是头显，诊断信息将显示在相机前的3D板子上。
部分frame filter在设备上运行会有不同。
Camera¶
- C#
protected override Camera Camera { get; }
仅当创建一个新的frame source时提供。它仅会在 ARSession.Assemble 过程中被访问。
在桌面设备或手机上，该相机代表现实环境中相机设备在虚拟世界中对应的 Camera ，其投影矩阵和位置都将与真实相机对应，受EasyAR控制。在头显上，该相机仅用于将一些诊断文字展示在眼前，不用于画面渲染，相机也不受EasyAR控制。
Display¶
- C#
protected override IDisplay Display { get; }
仅当创建一个新的frame source时提供。它仅会在 ARSession.Assemble 过程中被访问。
提供显示系统信息。你可以使用 Display.DefaultSystemDisplay 或 Display.DefaultHMDDisplay 来获取默认的显示信息。
IsAvailable¶
- C#
protected override Optional<bool> IsAvailable { get; }
仅当创建一个新的frame source时提供。它仅会在 ARSession.Assemble 过程中被访问。
当前frame source是否可用。
如果数值等于null， FrameSource.CheckAvailability 会被调用，数值将在 Coroutine 结束后获取。
OriginType¶
- C#
protected override ExternalDeviceFrameSource.DeviceOriginType OriginType { get; }
设备原点类型。
OriginCandidate¶
- C#
public MonoBehaviour OriginCandidate { get; set; }
ExternalDeviceFrameSource.Origin 的备选，如果没设置，将会自动从场景中获取或生成。
AvailableCenterMode¶
- C#
internal protected override IReadOnlyList< ARSession.ARCenterMode > AvailableCenterMode { }
仅当创建一个新的frame source时提供。它仅会在 ARSession.Assemble 过程中被访问。
所有可以使用的中心模式。
IsCameraUnderControl¶
- C#
internal protected override bool IsCameraUnderControl { }
仅当创建一个新的frame source时提供。它仅会在 ARSession.Assemble 过程中被访问。
当值为ture时，session 会更新相机的transform，且会渲染相机图像.
在创建头显扩展时，它应为false。你应该完全控制场景中的3D相机。你应该处理相机渲染，尤其是在VST模式下。
Origin¶
- C#
protected virtual GameObject Origin { get; }
设备原点。你需要在 ExternalDeviceFrameSource.OriginType 为 ExternalDeviceFrameSource.DeviceOriginType.Custom 时定义自己的原点，其它时候不需要重新定义。
ReceivedFrameCount¶
- C#
public int ReceivedFrameCount { get; }
获取到的帧计数。通常在debug中使用。如果这个数值停止增长，通常是硬件问题，某些设备（比如Nreal）重新插拔可能能解决。
Methods¶
OnSessionStart¶
- C#
protected override void OnSessionStart( ARSession session)
仅当创建一个新的frame source时提供。它仅会在 ARSession.StartSession 过程中被访问。
处理session启动，如果这个frame source已经组装进 ARSession.Assembly 。这个方法设计上是用来做延迟初始化的，你可以在这个方法中做AR独有的初始化工作。
OnSessionStop¶
- C#
protected override void OnSessionStop()
仅当创建一个新的frame source时提供。它会在 ARSession.StopSession 或其它session停止/损坏过程中被访问。
处理session停止，如果这个frame source已经组装进 ARSession.Assembly 。你可以使用这个方法销毁 ARSession.StartSession 以及session运行中创建的资源并恢复内部状态。在session销毁之前这个方法会被保证调用。如果frame source在sessino之前销毁，它将不会被调用，且session将损坏。
HandleRenderFrameData¶
- C#
protected void HandleRenderFrameData(double timestamp, Pose pose, MotionTrackingStatus trackingStatus)
输入渲染帧数据。
请确保在设备数据准备好之后每帧调用，不能跳帧。这些数据需要与驱动同一帧内当前Unity渲染相机的数据一致。
HandleCameraFrameData¶
- C#
protected bool HandleCameraFrameData(double timestamp, Image image, CameraParameters cameraParameters, ExternalDeviceFrameSource.Extrinsics extrinsics, Pose deviceToOriginTransform, MotionTrackingStatus trackingStatus)
输入相机帧数据。
建议输入30或60fps的数据。最小可接受帧率 = 2，但部分算法响应时间会受影响。它可以在任何线程调用，只要你的API都是线程安全的即可。这些数据需要与相机传感器曝光时的数据一致。只要可以获取，建议输入色彩数据到EasyAR Sense，这对EasyAR Mega的效果是有帮助的。为实现最佳效率，你可以设计整个数据链条让原始YUV数据直接通过共享内存透传，并直接使用数据指针传入EasyAR Sense。请注意数据所有权。
TryAcquireBuffer¶
- C#
protected Optional< Buffer > TryAcquireBuffer(int size)
尝试从内存池中获取内存块。
CheckAvailability¶
- C#
private virtual System.Collections.IEnumerator CheckAvailability()
仅当创建一个新的frame source时提供。它仅会在 ARSession.Assemble 过程中被访问。
FrameSource.IsAvailable 等于null时用于检查frame source是否可用的 Coroutine 。