原标题：驾驶员监控系统不仅仅是漂亮的图片

　　随着驾驶人员越来越容易受到分心、困倦和损伤的影响，驾驶员监控系统 (DMS) 被认为是预防事故的关键。但是，我们是否过度设计了这些系统核心的传感器?使用新的传感器建模工具和深度神经网络(DNN)进行的模拟表明，我们很可能是合理的。这意味着汽车传感器行业有机会在不牺牲关键性能的情况下大幅降低DMS功耗和成本。

　　时间至关重要。截至 2024 年，在欧盟境内销售的所有新车都必须配备 DMS。同时，其他功能，如占用监控和视频会议，必须集成在同一摄像系统中。

　　DMS 设计从传感器级别开始。当前的传感器裁剪设计具有完整的功能，因此它们可以在各种操作和照明条件下拍摄非常“漂亮的照片”。但是我们需要漂亮的图片吗?或者我们是在做相当于用消防水带放火柴的工程?

　　DMS 必须检测面部特征，例如嘴巴、鼻子和眼睛，以确定驾驶员的警觉性(图1).我们能否简化传感器的设计，使其即使在恶劣的环境条件下也能清晰地捕获相关信息，并优化这些功能的功耗-性能面积(PPA)预算，同时降低成本?

　　图1 DMS必须检测面部特征，如嘴巴，鼻子和眼睛，以确定驾驶员的警觉性。源： 豪威

　　在豪威，我们开发了一种供内部使用的仿真工具，以研究如何针对其他应用优化传感器PPA。然后，我们与一些客户分享了它，看看它是否也可以用于DMS传感器。基本测试表明，优化潜力巨大。

　　当足够好就足够了

　　我们希望使用我们的工具来帮助确定最适用的DMS规格，并提出我们可以制作的最简化的图像传感器，这些传感器仍然可以工作。最简化的图像传感器?是的，确实如此。我们不想过度设计，因为这会增加成本和能源消耗。我们希望为DMS制造合适的产品：首先要知道什么是“足够好”，并从那里磨练它。

　　DMS 系统使用 940 nm 红外 (IR) 照明以短小的高功率脉冲巧妙地照亮驾驶员的面部。这需要全局快门(GS)成像器，而不是您在手机中找到的卷帘快门。然而，DMS GS规范的模板仍然主要针对拍摄“漂亮照片”的目标。

　　虽然DMS系统当然可以使用过度设计的传感器运行，但随着像素的缩小以及成本和性能要求的发展，或者需要添加新功能，它们需要更多定制的，特定于应用的解决方案。

　　关键规格 — 还是不是?

　　在DMS传感器中，关键的GS规格是噪声性能、快门效率、模数转换(ADC)、高动态范围和暗电流。我们的经验和用户反馈表明，虽然这些规范很重要，但对于DMS来说，它们与它们起源的工业视觉应用并不相同。

　　例如，低光不是DMS的主要问题。更重要的是设计对阳光的抗扰度，因为它会掩盖 940 nm 的红外脉冲。此外，ADC分辨率对于DMS并不像工业视觉应用那样重要。了解不同的DMS要求为我们提供了优化的机会。

　　为什么是最坏的?

　　今天，推导出传感器优化规范的流程是拍照和优化算法，如顶行所示 图2.摄像机抓取场景的图像并处理场景。接下来，计算视线方向自适应光学(AO)精度的关键性能指标(KPI)，并将信息反馈到算法开发中。

　　图2 以下是通过闭环仿真实现的传感器规格推导视图。来源：豪威

　　探索过度设计的一种方法是构建传感器性能较差的传感器，看看它是否足够好。但这显然不是微不足道的。相反，我们希望发展到一种状态，即我们可以在不需要传感器芯片的情况下引入新的传感器特性。.

　　我们的建议是在闭环中添加仿真。我们仍将使用相同的相机拍摄相同的图像。但是现在通过模拟，我们将通过使这些图像变得更糟来测试我们的传感器。

　　豪威的传感器仿真工具虽然是为更广泛的用途而开发的，但可以达到这一目的。该工具涵盖了从基本场景生成到图像处理的所有方面。场景生成后，在传感器表面上创建光学图像，对光电性能进行建模，并对输出图像进行图像处理。

　　光电模型还可用于拦截和后处理捕获的图像。这使我们能够通过模拟来降低图像质量。通过仿真滤色阵列(CFA)和量子效率(QE)性能，并引入任何像素架构和性能，我们可以将光信号转换为电信号。然后可以在任何适当的增益下处理电信号，同时引入响应和暗电平不均匀性。在这里，我们可以引入时间噪声、暗电流和闪烁噪声以及像素串扰。

　　从广义上讲，我们可以在开发新的像素概念时使用模拟工具。它使我们能够对任何类型的像素架构或性能特征进行“假设”分析，并评估其对系统性能的影响。

　　尝试一下

　　我们使用受人眼模型启发的眼动追踪神经网络在实验中测试了我们的传感器仿真工具。目标是确定凝视方向检测的准确性。虽然与实际的DMS用例相比，条件得到了简化，但我们认为高层次的结论仍然适用。提议的 型 从眼睛的图像中提取典型特征(例如瞳孔)以创建分割图，因此每个卷积层的输入仅取决于前一层的输出，并删除了串联步骤以减少内存需求。这些简化使网络能够实现低成本实施。

　　作为参考出版物中介绍的工作的一部分，作者已经训练了一个神经网络。使用人眼的库存图像(上图 3)，我们使用这个经过训练的神经网络来获得“基本事实”，以便进一步用于我们的分析。

　　图3 我们在 8 位刻度上运行了两个 7 和 10 DN 的案例，这远远超出了任何传感器真正需要做的事情，我们引入了 RN、Hnoise 和 VFPN 以及所有组合。来源：豪威

　　接下来，我们使用我们的工具将不同噪声水平的随机传感器噪声添加到数据集中(图 3，如下).这些降级的图像再次通过作者训练的网络运行，并通过将这些与我们的基本事实进行比较，我们可以得出由于噪声而引入的错误。不出所料，性能并不好(图4).视线检测的准确率低于5%，并且经常完全失败。畸形的眼部分割会产生错误，如果分割中根本没有瞳孔，则计算失败;这些情况下的错误被裁剪为 20%。

　　图4 注视方向的错误百分比超过5%，许多病例在分割过程中未能检测到瞳孔(20%误差)。来源：豪威

　　由于添加噪声会使网络失败，我们决定重新训练网络。我们再次向图像添加噪声，但随后我们在使用传感器模拟工具创建的噪声图像上重新训练神经网络，本质上是教网络如何处理噪声图像。

　　在下一步中，我们再次向图像添加噪声，并通过新重新训练的网络运行它们。这次的错误一般是<2%的失败，分割失败非常罕见(图5).用噪声进行再训练确保了稳健的分割，这表明我们得到了准确的瞳孔位置。从那里我们可以分解各种类型的噪声的性能。

　　图5 在对噪声进行训练时，凝视检测的误差大大改善(<2%)，并且几乎没有任何分割失败。来源：豪威

　　这里演示的系统绝不是专业的DMS。我们使用的图像不能代表DMS用例中的挑战。然而，这个使用非常基本的神经网络进行的实验表明，眼睛凝视检测从根本上说对噪声的敏感性较低。虽然 DNN 很可能在嘈杂的图像上失败，但训练网络进行噪声处理非常有效。

　　它需要一个生态系统

　　我们简单的例子表明，今天的DMS传感器被过度设计是合理的。然而，我们需要整个汽车行业的协作，使用更先进、更专业的眼动追踪算法构建可靠的系统模型，并考虑通常会降低精度的各种环境条件。我们的传感器仿真工具可以由我们整个行业的合作伙伴集成到神经网络训练或手动算法开发流程中。从他们的结果中，我们可以确定“刚刚好”。这是使系统运行绝对需要的优化性能。不多也不少。

　　我们开发的工具支持神经网络或传统算法开发的闭环需求分析，并提供一个框架来引入物理一致的噪声和其他非理想性来模拟现实生活或合成图像。这些图像可以引入系统模型中，以评估传感器噪声、QE和调制传递函数的影响。

　　有了这类数据，传感器行业就可以在新的、更高效的设计中考虑“假设”场景。这为改进和优化系统性能以及构建更强大的解决方案提供了机会。如果我们针对比现场通常遇到的条件更糟糕的条件训练我们的网络或开发算法，那么在处理更好的条件时，它们也会更加健壮。它们还将降低功耗并降低成本。

　　然而，问题的复杂性需要整个设计供应链的参与者参与：从汽车制造商和一级到算法提供商和传感器公司。通过分享结果并向供应链开放我们的传感器仿真工具的一部分，我们希望激发该开发链中不同参与者之间更广泛的合作。

　　Tomas Geurts是OmniVision首席技术官办公室的高级总监。

　　编者按： 作者特别感谢OmniVision的Kevin Johnson和Steve Wang，他们为本文做出了贡献。