Tesla FSD通过跳过图像信号处理器,直接处理传感器记录的原始光子计数数据,而非传统相机处理后的人眼可见RGB图像。光子计数保留了完整的光强信息,神经网络据此重建出细节清晰的场景。这使得FSD在夜间或强眩光等极端视觉条件下,能超越人眼感知,从一片白茫茫中识别出路、树、车辆等关键信息,实现更优的视觉感知能力。
Tesla 的 FSD 的对比还是挺震撼的,左边人眼看到的完全是一片白茫茫的眩光,右边AI重建出来的画面却清晰可辨。
简单科普一下这个技术: 你手机拍太阳方向会一片白对吧?这是因为相机要把光信号处理成人看得懂的照片,亮的地方直接爆掉了。
但传感器本身其实记录了每个像素接收到多少光子,这些数据还在,只是被 ISP 直接给扔掉了。
Tesla的做法是跳过ISP,把传感器的原始光子计数直接喂给神经网络。 光子计数保留了完整的光强信息,AI从中重建出场景细节,所以右图能在一片白里看到路、树、车。
一个不恰当的比喻,把一本学术论文改写成通俗读物,普通人更容易读了,但专家反而觉得关键细节被删了。