AI算法檢查為什么會使反射變得與眾不同

文字向后。時鐘逆時針運行。汽車在錯誤的道路上行駛。右手變成左手。

康奈爾大學的一個研究小組對反射如何以微妙而不是那么微妙的方式改變圖像產生了興趣，他們使用人工智能研究了將原稿與反射區分開的原因。他們的算法學會了從意想不到的線索(例如頭發部位，凝視方向以及令人驚訝的胡須)中發現-這些發現對于訓練機器學習模型和檢測偽造圖像具有啟示意義。

“宇宙不對稱。如果您翻轉圖像，也有差別，”諾厄·斯納夫利，在康奈爾大學科技計算機科學副教授和研究的資深作者說，“視覺手性在6月14日至19日舉行的2020年計算機視覺和模式識別會議上發表。“我對通過收集信息的新方法所能發現的發現很感興趣。”

林志奎'20是該論文的第一作者;合著者是計算機科學助理教授安倍·戴維斯(Abe Davis)和康奈爾科技大學的博士后研究員JinSun。

Snavely說，區分原始圖像和反射圖像對于AI來說是一件非常容易的任務-基本的深度學習算法可以快速學習如何分類圖像是否以60%到90%的準確度進行翻轉，具體取決于所用圖像的種類。訓練算法。人們難以察覺到的許多線索。

在這項研究中，研究小組開發了創建熱圖的技術，該熱圖指示了算法感興趣的圖像部分，從而深入了解了如何做出這些決策。

他們毫不奇怪地發現，最常用的線索是文本，在每種書面語言中向后看起來都不同。為了了解更多信息，他們從數據集中刪除了帶有文本的圖像，并發現該模型關注的下一組特征包括手表，襯衫領(按鈕通常在左側)，面部和電話-大多數人往往掌握右手–以及其他顯示右撇子的因素。

該算法傾向于集中于人臉，這似乎并不對稱，這引起了研究人員的興趣。“在某些方面，它留下的問題多于答案，” Snavely說。

然后，他們進行了另一項針對面部的研究，發現熱量圖在包括頭發部位，眼睛凝視在內的區域照亮了(由于研究人員不知道的原因，大多數人凝視肖像照片中的左側)和胡須。

Snavely說他和他的團隊成員不知道該算法在胡須中發現了什么信息，但是他們假設人們梳理或刮臉的方式可以顯示出慣用的手感。

“這是視覺發現的一種形式，” Snavely說。“如果您可以在數百萬個圖像上大規模運行機器學習，也許您可??以開始發現有關世界的新事實。”

結果表明，這些線索中的每一個可能都不可靠，但是該算法可以通過組合多個線索來建立更大的置信度。研究人員還發現，該算法使用源自相機處理圖像的方式的低電平信號來做出決策。

盡管需要進行更多的研究，但是這些發現可能會影響機器學習模型的訓練方式。這些模型需要大量的圖像才能學習如何對圖片進行分類和識別，因此計算機科學家經常使用現有圖像的反射來有效地將其數據集加倍。

Snavely說，檢查這些反射圖像與原始圖像的不同之處可能會揭示有關機器學習中可能導致結果不準確的偏見的信息。