谷歌“審核員”大揭秘：時薪15美元，還會被淘汰

　　據(jù)外媒報道，在美國有這樣一群人，他們每天都在查看Youtube視頻中是否含有暴力、仇恨言論等內(nèi)容，并以此對這些視頻作出不同的評級。這些人就是谷歌所謂的“廣告質量評級員”，也是幫助谷歌彌補機器算法不足的臨時工！然而他們的待遇卻從未得到過提升，一直拿著15美元的時薪，還要時時面對被人工智能淘汰的風險。

　　谷歌旗下的視頻網(wǎng)站Youtube每天投放數(shù)百萬條廣告。谷歌用自動化的系統(tǒng)安排廣告投放，廣告客戶并不知曉也不能決定自己廣告伴隨哪些視頻展示。不過，最近這種不確定性給谷歌帶來麻煩。許多報告顯示Youtube竟然會在宣傳仇恨和恐怖主義的視頻上投放廣告。由于這個原因，沃爾瑪、百事可樂和Verizon等廣告客戶紛紛拋棄這個平臺，谷歌更廣泛的廣告網(wǎng)絡也遭遇信任危機。

　　谷歌回應稱媒體夸大了廣告丑聞。公司發(fā)言人表示，伴隨極端視頻展示的廣告不到廣告主總展示次數(shù)的千分之一。谷歌全球銷售與運營副總裁菲利普·辛德勒（Philipp Schindler）也稱廣告問題只涉及到非常非常小的一部分視頻。但廣告評級員透露谷歌正通過加大人工評級員隊伍建設來防治問題惡化。

　　廣告收入占到谷歌總收入的九成，因此找到問題視頻，杜絕廣告丑聞顯得尤為關鍵。但每天有將近60萬小時的新視頻被上傳到Youtube，需要一個城市的人口全天候觀看才能保證完全的人工審查。這顯然不現(xiàn)實。谷歌稱正在努力開發(fā)用人工智能來幫助識別問題視頻。“這一問題無法用人力解決，也不應該由人力解決。”辛德勒在最近接受彭博社采訪時說。

　　問題是，AI的訓練離不開人工。因此，谷歌在現(xiàn)階段仍然依賴人工分級來識別并標記令人反感的視頻，從而構建數(shù)據(jù)庫用于AI學習。八名現(xiàn)職和前評級員對《連線》雜志表示谷歌一度變得越來越依賴人工評級員的工作，與谷歌公司溝通不足以及工作缺乏穩(wěn)定性都損害了他們做好自己工作的能力。

　　人工評級

　　科技企業(yè)一直以來都有雇傭內(nèi)容管理員的傳統(tǒng)。隨著人們在網(wǎng)上上傳和分享的內(nèi)容越來越多，這一職位對互聯(lián)網(wǎng)巨頭而言也變得越來越重要。《連線》采訪到的評級員表示，除了對視頻進行審查，他們還會檢視評論區(qū)，標記言辭粗魯?shù)幕�動留言。評級員們檢查谷歌廣告網(wǎng)絡涵蓋的各種網(wǎng)站，以確保他們符合公司的質量標準。他們按類別（比如“零售”或“新聞”）給網(wǎng)站分類，然后點擊頁面廣告中的鏈接，看其是否運行正常。而且，正如“廣告質量評級員”這一名稱所示，他們還對廣告本身的質量進行評級。

　　在三月份的廣告丑聞招致客戶抵制之后，谷歌要求評級員們暫緩其他工作，集中人手處理“高優(yōu)先級評級項目”。這一新項目意味著幾乎完全專注于Youtube上，根據(jù)客戶投訴檢查視頻乃至整個播放列表。“這是一個巨大轉變。”一位廣告評級員說。

　　評級員表示龐大的工作量意味著數(shù)量和速度被放到比精確度更優(yōu)先度位置。某些情況下，系統(tǒng)會要求在不到兩分鐘內(nèi)審查完幾小時長度的視頻。不堪重負的評級者們紛紛在匿名論壇上交流各種增效法門。比如查看RapMV的歌詞以快速檢索褻瀆詞語，或以10s快進速覽全片。谷歌使用計時器監(jiān)督每個視頻的審查時間，這也增加了評級員的壓力。“我擔心如果我一下子審查太多視頻，會被解雇。”一位評級員告訴《連線》雜志。

　　除了簡單標記視頻良莠，評級員還被要求對視頻標題和內(nèi)容做更細致的評級，并進行分類，例如包含“褻瀆”、“仇恨言論”或“其他”等“不適當言論”。又或包含“恐怖主義”、“戰(zhàn)爭與沖突”、“死亡悲劇”或“其他”等“暴力”內(nèi)容。此外的分類還有“毒品”和“性/裸露”（具體分類為“虐待”、“裸體”和“其他”）。系統(tǒng)還為評級員提供了“其他敏感內(nèi)容”選項，宣揚極端政治觀點的視頻即可歸為此類。（AdAge最近報道稱，谷歌現(xiàn)在允許客戶拒絕在“性暗示”和“聳人聽聞”的視頻上投放廣告。）

　　不過評級員表示，并非所有的材料都能被恰當?shù)胤珠T別類。在這種時候，評級者就將視頻標注為“無法評級”。比如一名評級員因不懂西班牙語而將一段西語Rap標為“無法評級”，不過他同時盡責地附上一句評論，表示對話內(nèi)容有可能帶有侮辱性。（最近的評級員招募顯示，谷歌正在優(yōu)先聘用雙語應聘者。并在評級系統(tǒng)中提供“未知語言”的選項。）

　　多位評級員表示他們被要求觀看令人震驚的視頻。一位評級員談到一個男人在卡車里殺狗的視頻，視頻中的人將卡車點燃，然后走出卡車朝自己腦袋開了一槍。在評級員論壇上，還有更多聳人聽聞的視頻內(nèi)容，包括虐待婦女、兒童和動物的視頻。有人表示他們每看幾個視頻就得休息一下才能緩過勁兒來。評級員無從得知谷歌如何分發(fā)每個人的任務內(nèi)容，每個人都是在評級之前才能看到視頻的標題和縮略圖。其他一些評級員經(jīng)�？吹降囊曨l還包括談論電子游戲、政治和陰謀論的視頻。

　　總而言之，極盡其詳?shù)墓ぷ鞣秶�和分級的微妙差別都顯示谷歌仍然需要人工協(xié)助來處理Youtube的廣告問題。“我們的信息來源眾多，但你們是我們最重要的來源之一。”谷歌在給評級員的文件中如此說道。谷歌高管和代表多次強調只有機器智能才能解決Youtube這種規(guī)模的問題，但在谷歌實現(xiàn)真正實用的機器算法之前，這些工作仍然依賴人工完成。

　　“我們一直依靠技術和人工評級的結合來分析被標記給我們的內(nèi)容，因為對視頻內(nèi)容的理解可能因人而異。”谷歌發(fā)言人Chi Hea Cho說。“近來，我們增加了人手來加速評級工作。人工評級幫助訓練我們的算法，使之隨時間推移而不斷改進。”

　　人力資源

　　人工廣告評級員項目始于2004年，效仿谷歌搜索引擎的搜索質量改進項目而設立。廣告評級最初服務于谷歌的核心廣告業(yè)務：AdWords。AdWords負責生成與用戶搜索結果和AdSense相匹配的廣告。AdSense是谷歌面向網(wǎng)站站長的廣告服務，讓客戶在第三方網(wǎng)站上投放廣告。最初代理招聘的機構ABE支付給廣告評級員每小時20美元的薪酬。評級員可以一天干8小時，還可以加班賺錢。2006年，WorkForceLogic收購了ABE之后，有評級員表示工作待遇略有下降。之后另一家名叫ZeroChaos的公司在2012年吞并了WorkForceLogic，如今所有的廣告評級員都歸ZeroChaos管理。

　　沒有時間限制的廣告評級工作對那些喜歡靈活工作條件的人群很有吸引力，其中包括剛開始工作的大學畢業(yè)生、退休工、閑居的老人和殘障人士。評級員只需要一臺臺式電腦和移動設備就可隨時隨地進行工作，每周最低工時不得低于10小時。

　　但這份工作本質上的不穩(wěn)定性可能會給許多從業(yè)者帶來風險。“我們大多數(shù)人都喜歡這份工作，但我們沒有機會成為永久的全職員工。”一位廣告評級員告訴《連線》雜志。

　　ZeroChaos是數(shù)家專門向科技企業(yè)提供臨時工的機構之一，《連線》所采訪到的員工便來自于它。ZeroChaos以一年期合同簽員工，連續(xù)工作兩年后不得留職。（今年4月，ZeroChaos已經(jīng)廢除了最長兩年的連續(xù)雇傭期限。）評級員待遇沒有指望得到提升，永遠都是15美元的時薪。每周工時上限為29個小時，無帶薪休假。每周工作超過25小時的員工可申請公司福利，但另一方面公司又無法保證有足夠多的任務讓他們干滿這么長時間。公司經(jīng)常毫無預兆地突然終止合同，沒有事先警告也沒有解雇理由。有員工才入職一周便收到解雇郵件。

　　“谷歌努力與提供良好工作條件的供應商合作。”Cho說。“當問題引起我們的注意時，我們會就員工的憂慮向供應商提出警告，并同他們合作解決任何問題。我們會進一步研究這個問題。”ZeroChaos則拒絕就此置評。

　　評級員稱與谷歌缺乏溝通加劇了評級員的工作不安全感。評級員們無緣得見他們所服務的幕后雇主，即便在面試環(huán)節(jié)也是如此。谷歌會向“谷歌廣告評級管理小組”發(fā)送例行郵件，告之評級員僅將其用于與任務相關的問題。員工發(fā)往谷歌郵箱的郵件只會收到自動回復。“由于收到的報告數(shù)量龐大，管理員不會回復單獨的問題報告。不過我們對收到的報告進行監(jiān)控，以盡快發(fā)現(xiàn)系統(tǒng)級別的問題。”谷歌回復道。“如果您需要個性化的回復，或對你的帳戶采取特定行動，請聯(lián)系您的合同管理員。”

　　“來自谷歌的交流完全不存在。”一位前評級員說。“谷歌是出了名的難溝通。”

　　“位于網(wǎng)絡另一頭的山景城的人就像幕后的巫師。我們非常希望與他們溝通，成為真正的同事，但不可能。”另一位評級員說。

　　另一方面，谷歌只是通知評級員他們在做重要工作，此外便沒有更詳細說明。

　　“我們無法對每個任務的目的都作出解釋，但這些任務對我們而言的重要性是毋庸置疑的。”谷歌在給評級員們的培訓材料中說。“你不會經(jīng)常能聽到你工作的結果。實際上，有時你的工作看起來可能仿佛一個黑洞……不過即便你不總是能看到工作的成效，你的工作確實非常重要，并且許多谷歌員工會十分十分密切地檢查它。”

　　有時候這些檢查也會密切地讓評級員吃不消。谷歌會將評級員審查過的材料偽裝成未分級材料，分配給評級員進二次審查，以衡量其績效。“我們用測試來評估你的表現(xiàn)。分數(shù)過低可能導致您的任務終止。”

　　根據(jù)佐治亞理工大學研究員馬克·里德爾（Mark Riedl）的說法，將已知問題經(jīng)過偽裝“明知故問”是眾包研究中的常見做法。研究人員通過這種手段排除那些不負責任的蒙混過關者或機器作弊行為。這種做法經(jīng)常被戲稱為圖靈測試。

　　里德爾認為在真人團體中使用這種手法存在不妥：“工人不是機器。我們需要認識到那些員工是人類，我們有倫理和道德責任來設計任務以尊重工作者的尊嚴。”

　　同時也需要指出的是并非所有評級員都對待遇心有不滿。15美元的時薪仍然比大多數(shù)城市的最低工資要高。一位員工感謝ZeroChaos給他工作的機會，此前他曾因犯罪前科被麥當勞拒聘。許多評級員在窮困潦倒接近無家可歸，要靠食品補助券度日的時候得到這份工作，并對此心存感激。

　　其他人表示，評級員工作的靈活性并不意味著能被充分利用。隨時隨地在家工作確實是極大的便利，但ZeroChaos FAQ禁止員工同時為其他公司工作。一名前評級員希望在從事當前工作的業(yè)余時間重拾廣告評審的工作補貼家用，卻被ZeroChaos拒絕。“如果我可以同時做兩份工作，收入會很可觀。現(xiàn)在我每周比失業(yè)階段多掙40美元，不過這是不可持續(xù)的。”

　　人機關系

　　《連線》雜志采訪到的廣告評級員表示，雇傭臨時工來承擔培訓AI系統(tǒng)所需的重復性任務，是整個科技行業(yè)的大公司都在采用的做法。一位評級員講述了早些年自己參與微軟Bing搜索引擎的評估工作，當時的人工評審員需要每小時瀏覽多達80多頁的搜索結果。評級人員透露，LinkedIn（數(shù)據(jù)注解）和Facebook（評估粉絲頁面贊助商的帖子）也雇傭臨時工進行類似的任務。

　　（微軟拒絕對此置評。LinkedIn無法確認存在此類項目，F(xiàn)acebook沒有回復置評請求。）

　　評級員工作整體的不穩(wěn)定性和普遍的非自愿解雇現(xiàn)象讓許多現(xiàn)職和離職工人感到不滿，他們表示自己工作的不穩(wěn)定性也會讓谷歌等幕后雇主失去熟練員工的積累。“他們白花時間訓練新員工，然后又趕他們出門。”一位前雇員說。

　　不過，對科技公司而言，不斷使用新的臨時工做人工評估反而可能是提升AI智能的最佳做法。AI專家稱定期更換人工數(shù)據(jù)來源更適合培訓AI。“AI需要眾多觀察事情的角度，特別是在引人反感的內(nèi)容等方面。”人工智能創(chuàng)業(yè)公司NaraLogicsCEO亞娜·艾格斯（Jana Eggers）說。她還引用最高法院和色情的著名故事。聯(lián)邦法官稱自己不知道如何界定色情，但“讓我看一眼我就知道了”（I know it when I seeit）。同理，給機器更多的視角會得到更好的結果。

　　盡管AI研究人員普遍認為，訓練人員的不良習氣不會隨著訓練數(shù)據(jù)一同傳染給AI。但工作環(huán)境和個人經(jīng)驗之外，一些更微妙的影響實難控制。“人們經(jīng)常聽到的觀點講大量不同的數(shù)據(jù)是培訓AI模型的途徑。”康奈爾大學AI教授巴特·塞爾曼（Bart Selman）說。“這是一個很好的指導方針，但當涉及道德判斷時，群體中根深蒂固的偏見也是需要注意的。”例如，人們往往認為男人比女人更能勝任某些工作（或相反）。“如果使用來自一個特定群體的數(shù)據(jù)來訓練AI，人群中隱藏的偏見也會一并被AI習得。”同理，使用一群焦慮的臨時工來訓練AI，臨時工特有的偏見也可能被吸收到系統(tǒng)中。

　　“你不會想通過讓機器觀察普通人在日常生活中的做法來訓練AI倫理模塊。”塞爾曼說。“你想從那些對偏見和倫理問題有更深入思考的人身上獲得數(shù)據(jù)。”

　　眾所周知，谷歌山景城總部向來以待遇優(yōu)越著稱，從風景如畫的園區(qū)內(nèi)設免費自助餐廳，到游泳池和桌球室可謂是應有盡有。這些廣告評級員們的待遇與之形成了最鮮明的對比，而他們存在的意義似乎只是在培訓公司的機器并取代自己！

上一篇：乘公交也可掃描二維碼支付，支付寶與羊…
下一篇：難以置信！美國五角大樓中的電腦系統(tǒng)竟…