使用AI根據(jù)姓名識別性別的服務(wù)看起來異常偏頗

一些科技公司在成立之初就引起了轟動，而另一些公司似乎則大跌眼鏡。

Genderify是一項(xiàng)新服務(wù)，承諾通過幫助AI通過分析某人的姓名，電子郵件地址或用戶名來識別某人的性別，該服務(wù)肯定會進(jìn)入后者。該公司上周在Product Hunt上啟動，但由于用戶發(fā)現(xiàn)其算法中存在偏見和不準(zhǔn)確之處，因此在社交媒體上引起了很多關(guān)注。

例如，在Genderify中輸入名稱“ Meghan Smith”，該服務(wù)將提供評估：“男性：39.60%，女性：60.40%。” 將該名稱更改為“ Dr. 但是，梅根·史密斯(Meghan Smith)的評估改為：“男性：75.90%，女性：24.10%。” 以“ Dr”開頭的其他名稱也會產(chǎn)生相似的結(jié)果，而輸入似乎通常會使男性傾斜。例如，“ [email protected]”是男性的96.90%，而“ Joan smith太太”是男性的94.10%。

對該服務(wù)的強(qiáng)烈抗議令Genderify告訴The Verge它已完全關(guān)閉。“如果社區(qū)不想要它，也許這很公平，”一位代表通過電子郵件說。Genderify.com已脫機(jī)，其免費(fèi)API不再可用。

盡管這類偏見經(jīng)常出現(xiàn)在機(jī)器學(xué)習(xí)系統(tǒng)中，但是Genderify的輕率性似乎使該領(lǐng)域的許多專家感到驚訝。AI Now Institute的聯(lián)合創(chuàng)始人梅雷迪思·惠特克(Meredith Whittaker)的回應(yīng)有些典型，它研究了人工智能對社會的影響。“我們被巨魔了嗎?” 她問。“這是一種意念，旨在分散技術(shù)+正義世界的注意力嗎?現(xiàn)在是愚蠢的高科技愚人節(jié)嗎?”

對人們的性別進(jìn)行大規(guī)模假設(shè)可能有害

問題不在于Genderify根據(jù)某人的名字對某人的性別做出假設(shè)。人們一直在這樣做，有時會在過程中犯錯。這就是為什么禮貌地找出人們?nèi)绾巫晕易R別以及如何應(yīng)對他們的原因。Genderify的問題在于它會自動執(zhí)行這些假設(shè)。在將個體分類為男性/女性二進(jìn)制數(shù)(從而忽略識別為非二進(jìn)制數(shù)的個體)的同時大規(guī)模應(yīng)用它們，同時在此過程中加強(qiáng)性別定型觀念(例如：如果您是醫(yī)生，您可能是男人)。

這樣做的潛在危害取決于使用Genderify的方式和位置。例如，如果將服務(wù)集成到醫(yī)療聊天機(jī)器人中，則其關(guān)于用戶性別的假設(shè)可能導(dǎo)致聊天機(jī)器人發(fā)布誤導(dǎo)性的醫(yī)療建議。

值得慶幸的是，Genderify似乎并非旨在實(shí)現(xiàn)這種系統(tǒng)的自動化，而是主要被設(shè)計(jì)為一種營銷工具。正如Genderify的創(chuàng)建者Arevik Gasparyan在Product Hunt上所說：“ Genderify可以獲得的數(shù)據(jù)將有助于您進(jìn)行分析，增強(qiáng)客戶數(shù)據(jù)，細(xì)分營銷數(shù)據(jù)庫，人口統(tǒng)計(jì)數(shù)據(jù)等。”

在同一評論節(jié)中，Gasparyan承認(rèn)一些用戶對偏見和無雙數(shù)個人的關(guān)注，但未提供任何具體答案。

一位用戶問：“假設(shè)我選擇不識別男性還是女性，您如何處理?您如何避免性別歧視?您如何應(yīng)對性別偏見?” Gasparyan回答說，該服務(wù)基于“已經(jīng)存在的二進(jìn)制名稱/性別數(shù)據(jù)庫”做出決定，并且該公司正在“通過分離“概念”來“積極尋找改善跨性別和非二進(jìn)制訪問者體驗(yàn)的方法”。性別身份的姓名/用戶名/電子郵件。” 鑒于Genderify的整個前提是該數(shù)據(jù)是性別身份的可靠代表，所以這是一個令人困惑的答案。

該公司告訴The Verge，該服務(wù)與使用名稱數(shù)據(jù)庫猜測一個人的性別的現(xiàn)有公司非常相似，盡管它們都沒有使用AI。

一位代表通過電子郵件表示：“我們知道我們的模型永遠(yuǎn)無法提供理想的結(jié)果，并且算法需要進(jìn)行重大改進(jìn)，但我們的目標(biāo)是構(gòu)建一種不會像任何現(xiàn)有解決方案一樣受到偏見的自學(xué)習(xí)AI。” “并且要使其發(fā)揮作用，我們非常依賴跨性別和非二進(jìn)制訪問者的反饋，以幫助我們?yōu)長GBTQ +社區(qū)盡最大可能改善我們的性別檢測算法。”