大蕭條時期，美國聯(lián)邦政府成立了Home Owners’ Loan Corporation（HOLC）來提供低息房屋貸款，聯(lián)邦住房管理局（FHA）為私人銀行的抵押貸款提供擔保。由于HOLC的運營人員不了解當?shù)刭J款者的情況，所以他們構(gòu)建了“住宅安全地圖”，將街區(qū)按A到D等級進行分級，D等級的街區(qū)采用紅色標記，表示這一區(qū)域?qū)儆诓涣几唢L險等級。這些“紅線”地圖也被FHA和私人企業(yè)所使用，并逐漸蔓延至銀行、保險公司和零售商店，從而導(dǎo)致了服務(wù)受限和街區(qū)惡化的惡性循環(huán)。

許多私人銀行都有自己的紅線地圖。例如，在加州，Security First National Bank創(chuàng)建了洛杉磯街區(qū)評級系統(tǒng)。洛杉磯市中心的大多數(shù)街區(qū)都被標有紅線，通常還會有關(guān)于“日本人和黑人集中地”的明確標記。Boyle Heights被標記為“充滿了各種顛覆分子的蜂巢”。Watts也被標記為紅色，因為它不僅是黑人和日本人的聚集地，德國人、希臘人、意大利人和蘇格蘭人都集中在這一區(qū)域。

1968年的《公平住房法》禁止了紅線劃分行為。然而，在大數(shù)據(jù)時代，就業(yè)、保險和貸款申請越來越多地受到數(shù)據(jù)挖掘模型的評估，這些模型并不公開，但卻可能產(chǎn)生更為有害的影響，因為它們不受地理邊界的限制，而且公眾也無法得知其內(nèi)部原理。

即使是編寫代碼的程序員，也無法確切知道黑盒算法是如何進行評估的，但是幾乎可以肯定的是，這些算法直接或間接地考慮了性別、種族和性取向等因素，這就是我們所稱的高科技紅線。因為一個人具有黑盒算法發(fā)現(xiàn)的與行為統(tǒng)計相關(guān)的群體特征，就對他進行懲罰，是不道德的。

許多評估求職者的算法會識別當前員工特征的統(tǒng)計模式。一家公司的首席科學家承認其軟件選擇的一些因素是沒有意義的。例如，該軟件發(fā)現(xiàn)其數(shù)據(jù)庫中有幾個優(yōu)秀的程序員經(jīng)常訪問一個特定的日本漫畫網(wǎng)站，所以它認定訪問這個網(wǎng)站的人可能是優(yōu)秀的程序員。這名首席科學家說，“顯然，這不是因果關(guān)系”，但他認為這仍然有用，因為這一結(jié)果具有很強的統(tǒng)計相關(guān)性。這是一個令人感到痛苦的例子，向我們展示了一種沒有根據(jù)的想法，即使是那些應(yīng)該更了解統(tǒng)計模式的人，也會認為統(tǒng)計模式比常識更為重要。

這家公司的首席執(zhí)行官還表示，公司的算法考慮了幾十個因素，并且隨著相關(guān)性的不斷變化，不斷改變被認為重要的變量。她認為不斷變化的變量列表顯示了模型的強大和靈活性。她還提出了一個似乎更令人信服的解釋，即該算法捕捉了短暫存在的巧合相關(guān)，即是這些相關(guān)沒有什么價值。如果存在因果關(guān)系，它們是不會短暫存在的，它們會持續(xù)存在且有用。一種利用巧合的相關(guān)性來評估求職者的算法幾乎肯定是有偏見的。如果一名墨西哥裔美國女性并不喜歡受白人男性軟件工程師歡迎的日本漫畫網(wǎng)站，那她還是否會被判定為優(yōu)秀的程序員？

同樣，亞馬遜最近放棄了開發(fā)定制算法來評估申請人簡歷的嘗試。在過去十年里，亞馬遜利用求職者簡歷對這些算法進行了訓練，結(jié)果顯示算法更偏向亞馬遜過去雇傭的求職者（其中大多數(shù)都是男性）。來自女子學院的申請人會被降級，因為在亞馬遜工作的男性沒有去過這些學院。來自女性運動隊的申請人也會遇到同樣的情況。

一種評估貸款申請的中國算法著重關(guān)注手機使用情況，例如來話和去話的應(yīng)答頻率，以及用戶是否保持手機滿電。但問題是，這些指標中哪一個可以成為電話用戶信用風險良好的標志？你所能感受到的不確定性都表明了這些標記存在任意性。

這些巧合關(guān)聯(lián)都是暫時和無意義的，但卻可能存在歧視。當這種信用評級系統(tǒng)首次在中國披露時，接聽所有來電被認為是一種良好信用風險的信號。但這很可能也有偏見，比如某些宗教會規(guī)定不應(yīng)該在某天或某個時間段接聽電話。

社交媒體平臺上收集的數(shù)據(jù)為公司提供了一種新的可疑定性見解。英國最大的汽車保險公司Admiral Insurance曾計劃推出第一次汽車報價服務(wù)，該報價將基于對申請人Facebook帖子的計算分析。例如詞匯選擇，以及他喜歡邁克爾·喬丹還是倫納德·科恩。然后，像其他黑盒算法一樣，它們會隱藏在黑盒中進行分析。Facebook帖子中肯定存在偏見。一個黑人男性喜歡邁克爾·喬丹，而一個白人女性喜歡倫納德·科恩，這之間的公平如何決定？如果Facebook上與性別、種族、族裔或性取向相關(guān)的詞匯選擇碰巧與汽車保險索賠相關(guān)呢？

在審前保釋決定、審后判決和定罪后假釋決定中，算法審判越來越普遍。一名開發(fā)人員寫道，“這種方法完全就是黑箱操作，也沒有人為此負責�！睘榱吮硎緡乐爻潭龋�他舉了一個令人震驚的例子：“如果我選用不同大小的預(yù)測值，它會給出你沒有預(yù)料到的結(jié)果�！蔽覀儫o法預(yù)料到的事情是沒有意義的，但它們卻巧合相關(guān)了。

一些預(yù)測因素很可能代表了性別、種族、性取向和其他不應(yīng)該考慮的參數(shù)。人們不應(yīng)該因為性別、種族或性取向而被重罰保釋金，或被判不合理的徒刑，或被拒絕假釋。

算法問題可能導(dǎo)致的未來可以在中國看到，中國政府正在實施一個全國性的社會信用評分系統(tǒng)，旨在跟蹤人們買什么、去哪里、做什么，以及其他任何可能表明一個人不值得信任的事情。該國的安全部門也在大力投資人臉識別技術(shù)，從而給信用評分類工具帶來新的數(shù)據(jù)。兩位中國研究人員最近報告說，他們可以通過將計算算法應(yīng)用于掃描的面部照片，以89．5％的準確率預(yù)測一個人是否是罪犯。他們的項目發(fā)現(xiàn)了一些用于預(yù)測犯罪的鑒別性結(jié)構(gòu)特征，如嘴唇曲率、眼睛內(nèi)角距離和所謂的鼻口角度。

如果他們只是把那些看起來像罪犯的人關(guān)進拘留所呢？這會有什么害處？他們將不得不呆在那里，直到他們通過長期的康復(fù)項目。但是有些人會是無辜的，那么從長遠來看，這將如何對他們產(chǎn)生不利影響？

我們能做些什么來監(jiān)管這些系統(tǒng)？可以通過法律要求提高透明度。公民應(yīng)該能夠檢查算法使用數(shù)據(jù)的準確性，并且應(yīng)該能夠獲得足夠的信息來測試算法是否有非法的不同影響。

幸運的是，人們越來越認識到算法對我們生活的影響。皮尤研究中心上周公布的一項調(diào)查顯示，許多美國人擔心當計算機用數(shù)學來做決定時會存在偏見和不公平，比如分配個人財務(wù)數(shù)字，進行犯罪風險評估，或者篩選求職者的簡歷和面試。皮尤的調(diào)查還發(fā)現(xiàn)公眾對人工智能評分的關(guān)注在很大程度上取決于環(huán)境：大約30％的人認為公司可以根據(jù)顧客的個人和行為數(shù)據(jù)提供交易和折扣。但是大約50％的人認為刑事司法系統(tǒng)可以使用算法來預(yù)測假釋犯是否會犯下另一項罪行。

我們對計算機的信心是如此地盲目，以至于我們愿意讓算法來拒絕工作申請和貸款申請，設(shè)定保險費率，決定刑期，并把人關(guān)進拘留所？只因他們碰巧具有算法選擇的不相關(guān)特征，就偏袒一些人，卻虐待其他人。這根本不是進步，這是過去那個存在不合理歧視時代的回歸。