新しい暗視技術により、AI は真っ暗闇でも白昼のように見えるようになります

夜行性の捕食者は、根深いスーパーパワーを持っています。真っ暗な暗闇の中でも、容易に周囲を調査し、モノクロの風景の中に隠れているおいしい獲物を狙うことができます。

暗闇の中で物を見ることの楽しみは、次の夕食を探すことだけではありません。 月のない夜に田舎の未舗装の道路を運転しているとします。 木々や茂みは活気と質感を失います。 道路を横切って飛び回る動物は影のような汚れになります。 日中は洗​​練されているにもかかわらず、私たちの目は、薄暗い照明の中で深さ、質感、さらには物体を処理するのに苦労します。

機械にも同じ問題があるのも不思議ではありません。 自動運転車は無数のセンサーを装備していますが、依然としてその名に恥じない努力を続けています。 完璧な気象条件や車線のない道路では良好なパフォーマンスを発揮します。 しかし、大雨や霧の中、山火事の煙の中、街灯のない道路を走行するよう車に依頼すると、車は苦戦します。

今月、パデュー大学のチームが視界不良の問題に正面から取り組みました。 熱画像、物理学、機械学習を組み合わせた同社のテクノロジーにより、視覚 AI システムが暗闇でも日光のように見えるようになりました。

このシステムの中核となるのは赤外線カメラと AI で、画像のカスタム データベースでトレーニングされ、特定の環境から詳細な情報を抽出します。つまり、熱信号を使用して世界を地図に描くように学習します。 以前のシステムとは異なり、HADAR (Heat-Assisted Detection and Ranging) と呼ばれるこの技術は、悪名高い障害である「ゴースト効果」を克服しました。ゴースト効果とは、通常、ナビゲーションにはほとんど役に立たない不鮮明なゴーストのような画像を引き起こします。

機械に暗視機能を与えることは、自動運転車に役立つだけではありません。 同様のアプローチは、保護のために野生動物を追跡する取り組みを強化したり、公衆衛生対策として混雑した港での体温の長距離監視にも役立つ可能性があります。

「HADAR は、目に見えないものを見るのに役立つ特別なテクノロジーです」と研究著者の Xueji Wang 氏は述べています。

私たちは自動運転車を訓練するために自然から多くのインスピレーションを得てきました。 以前の世代では、センサーとしてソナーとエコーロケーションが採用されていました。 次に、レーザーを使用して複数の方向にスキャンする Lidar スキャンが登場し、物体を見つけて、光が跳ね返る速度に基づいて距離を計算します。

これらの検出方法は強力ですが、スケールアップが難しいという大きな障害があります。 これらのテクノロジーは「アクティブ」です。つまり、自律走行車やロボットなどの各 AI エージェントは、周囲の情報を常にスキャンして収集する必要があります。 道路上や作業場に複数のマシンがあると、信号が相互に干渉し、歪みが生じる可能性があります。 放出される信号の全体的なレベルによっては、人間の目に損傷を与える可能性もあります。

科学者たちは長い間、消極的な代替手段を探してきました。 ここで赤外線信号が登場します。生体、冷たいセメント、人の段ボールの切り抜きなど、あらゆる物質が熱の兆候を発します。 これらは、野生動物を監視するために屋外で、または科学博物館で赤外線カメラで容易に捕捉されます。 あなたも以前に試したことがあるかもしれません。ステップアップすると、カメラはあなたの二次元の塊と、体のさまざまな部分が明るい色のスケールでどのように熱を発するかを示します。

残念ながら、結果として得られる画像はあなたには似ていません。 ボディのエッジは汚れており、質感や 3D 空間の感覚はほとんどありません。

「人の顔の赤外線写真には、輪郭と温度コントラストのみが表示されます。 何の特徴もなく、まるで幽霊を見たかのようだ」と研究著者のファンリン・バオ博士は語った。 「この情報、質感、特徴の損失は、熱放射を使用した機械の認識にとって障害となります。」

このゴースト効果は、物理的な理由により、最も高性能なサーマル カメラでも発生します。

ご存知のとおり、生体から冷たいセメントに至るまで、すべての物質は熱信号を発します。 同様に、環境全体からも熱放射が発生します。 熱信号のみに基づいて画像をキャプチャしようとすると、周囲の熱ノイズが物体から発せられる音と混ざり合い、画像がぼやけてしまいます。