人工智慧專家長期以來一直警告說，可以使用演算法決策系統中可能存在歧視。現在，一份洩漏的備忘錄揭示了美國住房和城市發展部（HUD）提出的一項新規則，該規則將使銀行、保險公司和房東更容易使用歧視性演算法，而不會受到訴訟威脅。
新規則針對的是2015年最高法院的一項裁決。該裁決裁定，消費者可以根據1968年《公平住房法》提出“差別性影響索賠”，以打擊住房歧視性商業行為。在差別性影響索賠中，如果人們發現商業慣例對某些人群的影響不成比例，那麼可以追究該商業責任，即使這是意料之外的後果。因此，索賠人不僅可以挑戰歧視性住房做法，而且可以使用過去行為的統計分析來證明歧視正在發生並對某些群體有害。
例如，如果人們發現黑人的住房貸款申請被拒絕，但同一社會經濟類別的白人的住房申請被接受，則可以提出“差別性影響索賠”。如果與白人群體處於同一社會經濟類別的黑人群體不斷被收取更高的利率，更高的租金或更高的保險費，則適用相同的規則。
HUD的新規則將引入巨大漏洞，以防止企業在被指責其演算法存在歧視時免於承擔責任，從而將所有問題排除在外。正如《 Reveal News》報道的那樣，“例如，假設一家銀行拒絕非洲裔美華人提交的每筆貸款申請，並批准白人提交的每筆貸款，則只需要證明種族等並未直接用於其構建的計算機模型”。但是有大量證據表明，即使沒有特別考慮種族因素，種族偏見還是從根本上融入了這些演算法及其資料集的構建方式。
引入該規則的另一個漏洞將使企業證明有關演算法是由第三方建立的，或者由“中立的第三方”審查過的，從而可以擊敗差別性影響索賠。
研究演算法歧視的華盛頓大學的博士生Os Keyes表示：“如果新的HUD規則的後果不那麼令人恐懼，但它將非常可笑。”他認為：“這給遭受歧視的受害者帶來了不可能和矛盾的負擔，不僅表明演算法的結果在種族上具有歧視性，而且演算法並沒有在預測‘有效目標"。”“有效目標”意味著企業需要就貸款、利率、保險費或租金做出決定的指標。
在洩漏的備忘錄中，一個證明該新規則合理的示例是信用等級，因為信用等級表面上是基於人們的信用，而不是種族、性別、性取向或其他受保護的特徵。但是Keyes表示，問題在於“信用評級是種族主義的。由於他們依賴家庭信用（取決於代際財富），收入（有種族偏見）和地理位置（由於美國持續的種族隔離而要收取種族費用），因此對於非洲裔美華人、美洲原住民和其他邊緣人群而言將是完全不同的。”
鑑於今年3月HUD曾宣佈起訴Facebook，以尋求有意和無意讓廣告商區分誰看到了他們的房屋廣告的演算法，因此擬議的規則可能會讓人感到意外。
作為房地產大亨，特朗普和他的父親均因違反《公平住房法》而被HUD起訴，而新規則將使住房市場中的這種歧視進一步制度化。這在機器學習系統中尤其合理，機器學習系統通常是由私人公司建立的“黑匣子”，它們對演算法的決策方式幾乎不透明甚至不透明。
人工智慧專家長期以來一直警告說，可以使用演算法決策系統中可能存在歧視。現在，一份洩漏的備忘錄揭示了美國住房和城市發展部（HUD）提出的一項新規則，該規則將使銀行、保險公司和房東更容易使用歧視性演算法，而不會受到訴訟威脅。
新規則針對的是2015年最高法院的一項裁決。該裁決裁定，消費者可以根據1968年《公平住房法》提出“差別性影響索賠”，以打擊住房歧視性商業行為。在差別性影響索賠中，如果人們發現商業慣例對某些人群的影響不成比例，那麼可以追究該商業責任，即使這是意料之外的後果。因此，索賠人不僅可以挑戰歧視性住房做法，而且可以使用過去行為的統計分析來證明歧視正在發生並對某些群體有害。
例如，如果人們發現黑人的住房貸款申請被拒絕，但同一社會經濟類別的白人的住房申請被接受，則可以提出“差別性影響索賠”。如果與白人群體處於同一社會經濟類別的黑人群體不斷被收取更高的利率，更高的租金或更高的保險費，則適用相同的規則。
HUD的新規則將引入巨大漏洞，以防止企業在被指責其演算法存在歧視時免於承擔責任，從而將所有問題排除在外。正如《 Reveal News》報道的那樣，“例如，假設一家銀行拒絕非洲裔美華人提交的每筆貸款申請，並批准白人提交的每筆貸款，則只需要證明種族等並未直接用於其構建的計算機模型”。但是有大量證據表明，即使沒有特別考慮種族因素，種族偏見還是從根本上融入了這些演算法及其資料集的構建方式。
引入該規則的另一個漏洞將使企業證明有關演算法是由第三方建立的，或者由“中立的第三方”審查過的，從而可以擊敗差別性影響索賠。
研究演算法歧視的華盛頓大學的博士生Os Keyes表示：“如果新的HUD規則的後果不那麼令人恐懼，但它將非常可笑。”他認為：“這給遭受歧視的受害者帶來了不可能和矛盾的負擔，不僅表明演算法的結果在種族上具有歧視性，而且演算法並沒有在預測‘有效目標"。”“有效目標”意味著企業需要就貸款、利率、保險費或租金做出決定的指標。
在洩漏的備忘錄中，一個證明該新規則合理的示例是信用等級，因為信用等級表面上是基於人們的信用，而不是種族、性別、性取向或其他受保護的特徵。但是Keyes表示，問題在於“信用評級是種族主義的。由於他們依賴家庭信用（取決於代際財富），收入（有種族偏見）和地理位置（由於美國持續的種族隔離而要收取種族費用），因此對於非洲裔美華人、美洲原住民和其他邊緣人群而言將是完全不同的。”
鑑於今年3月HUD曾宣佈起訴Facebook，以尋求有意和無意讓廣告商區分誰看到了他們的房屋廣告的演算法，因此擬議的規則可能會讓人感到意外。
作為房地產大亨，特朗普和他的父親均因違反《公平住房法》而被HUD起訴，而新規則將使住房市場中的這種歧視進一步制度化。這在機器學習系統中尤其合理，機器學習系統通常是由私人公司建立的“黑匣子”，它們對演算法的決策方式幾乎不透明甚至不透明。