Introducing Collaboration in Competitive Crowdsourcing Markets論文筆記

摘要

衆包是一種在一定時間內以分佈式方式解決問題的有效方法。衆包平臺的工作原理可以是競爭性的或協作性的。在這兩種情況下,羣體工作者(解決者)通過競標或由請求者(任務提供者)預先通知獲得報酬。即使這種形式是方便的,競爭力的詛咒也常常減少工人的參與。我們強調,通過在競爭激烈的衆包市場引入協作,我們可以有效地處理可分解類型的任務。爲此,我們提出了一種新的機制。如果任務是可分解的,那麼工作人員可能會有興趣在子任務上進行協作。這增加了獲得更多具有成本效益的解決方案的機會。該機制鼓勵工人通過思考分享報酬,進行合作。因此,請求者和羣體工作者都從系統中受益。本文通過實證分析驗證了該機制的有效性。

介紹

隨着衆包等在線問題解決模式的出現,在衆包工作者的幫助下以一種經濟有效的方式解決各種複雜的任務成爲可能,這也爲新的具有重大經濟影響的分佈式商業模式開闢了空間。有些公司僅僅是通過讓人羣參與在線平臺完成微任務,就可以獲得數十億美元的收入。通過這樣的平臺,用報酬換取大量的人(不一定是專家)的幫助,可以在互聯網上輕易地完成工作。

相反,傳統的離線問題解決模型有必要將領域專家作爲工作者。衆包的力量在於將機器智能與羣體智能相結合。在衆包市場中,請求者(發佈任務)和羣體工作者(以協作方式或競爭方式解決給定任務)都獲得了並行優勢。衆包環境可以大致分爲兩類:協作型和競爭型。處理競爭環境具有挑戰性,因爲工人總是以競爭的方式參與,並試圖隱瞞他們的真實成本。競爭模型可以基於拍賣或公佈價格(定義爲報酬)機制。

Amazon Mechanical Turk(https://www.mturk.com(mturk))是一個著名的協作衆包平臺,員工可以在該平臺上解決一項任務並獲得報酬。在最近的一項工作的啓發下,我們認爲通過在PostedPrice競爭模型中引入協作可以更好地處理可分解任務。如果任務可以進一步細分爲具有非負成本的子任務,則該任務是可分解的。在這裏,我們提出了一種新的機制,在競爭性衆包市場引入合作。我們考慮一個限制性的環境,其中報酬已經確定,任務可以分解。該機制還假定請求者完成一個或多個任務的預算有限。

在所提出的機制中,羣體工作者(專家和非專家)競爭特定的任務,並找出最佳的解決方案。最初設定爲固定值的薪酬會根據工人的表現動態增加。爲了產生更好的解決方案,任何兩個工人都可以協作並組合他們的模塊,以找到請求者可接受的更低的成本。在這種環境下,同構的可分解任務可以由羣體工作人員解決,請求者和工作人員都可以從系統中受益。該機制鼓勵羣體工作者協作,從而產生請求者所尋求的新的更好的解決方案。同時,它也增加了向合作的人羣工人提供更好報酬的機會。當工人公佈他們的成本時,只會將一個任務的總成本顯示給所有人。子任務的成本仍然對其他工人隱藏。根據該機制,如果一個工人有興趣瞭解另一個工人的子任務成本,他需要與其他人協商。

動機和挑戰

任何衆包業務模式的主要動機是獲得給定任務的真實成本(原始成本或可能的最佳成本)。對於不可分解的任務,我們選擇一個發佈最佳(最低)成本的工人作爲獲勝者。但在可分解任務中,它可以進一步細分爲多個子任務,其中每個子任務都有一個非零成本。所以,如果我們選擇一個贏家,我們可能得不到真實成本。因此,我們選擇聯合獲勝者,他們共同公佈了最好的成本,這可能比個別工人公佈的成本要好。

我們在圖1中突出顯示了我們的模型,其中一個請求者R發佈了一個帶有預算B的任務T。請求者期望該任務將在固定的期限內完成(預先聲明)。實際上,請求者可以發佈單獨預算的單個或多個任務。然而,爲了簡單的解釋,我們假設請求者發佈了一個任務。此外,一組工人w1;w2;…WMG與多個任務t1;t2;…關聯。在給定時間內;tkg。在每個任務都有固定期限的任何時間段內,工人可以參與單個或多個任務。我們設計了一種新的協作機制,明智地引入協作,以管理這種競爭性的衆包環境。在這裏,單工或聯合工將根據他們發佈的解決方案被宣佈爲獲勝者。

在這裏插入圖片描述

我們考慮一個具有競爭力的標價衆包平臺,其中解決方案的成本和贏家的獎勵是分開定義的。例如,FlightFox是一個受歡迎的衆包平臺,在該平臺上,請求者發佈一個與尋找低成本路線相關的競賽。這將關聯有限成本(航班票價本身)和報酬(對於在邊界成本內找到合適航班的獲勝者)。因此,請求者的總預算成爲邊界成本和報酬的結合。

在競爭性衆包市場引入合作的主要挑戰之一是管理任務和報酬的平衡。當子任務之間存在依賴關係,並且我們必須得到一個經濟有效的解決方案時,這就變得更加苛刻。在任務依賴的情況下,即使我們中斷一個任務並將子任務分配給多個工作人員,就像在最先進的方法中偶爾做的那樣,請求者也需要僱傭另一個工作人員來處理提交的解決方案之間的依賴關係。這需要額外付款。爲了解決這個問題,在我們的模型中,工作人員在協作過程中會自己加入子任務的解決方案。另一個挑戰是在不影響總成本的情況下激勵合作的工人。我們的模型確保了協作能夠促進進一步提交具有成本效益的解決方案。作爲另一個挑戰,在一些現有的模型中,請求者自己分解任務。在這種情況下,他可能無法理解並適當地將報酬分配給各個子任務。因此,部分子任務可能涉及(不合理的)低報酬,阻礙工人蔘與。建議的方法是通過允許工人自己分解任務來解決這個問題。

提出模型

在這一部分中,我們正式描述了我們感興趣的環境,介紹了模型及其基本特徵,然後詳細介紹了提出的機制。

初步細節

我們採用了一個競爭性的衆包環境,可分解的任務可以由衆包工人解決。該模型對請求者具有預算可行性,也有利於羣體工作者。在這個模型中,我們考慮一組請求程序r1;r2;…;rn 發佈一組完整的或可分解的任務,用t1;t2;表示…;tk,請求者可以發佈一個或多個任務(k>= n)。對於每項任務,最低公佈成本由c1;c2;…;ck,表示,時間限制s1;s2;…;sk分別表示。另一方面,把所有的工人都看成是w1;w2;…參與解決任務的WM。他們致力於找出最好的結果(以最低的成本)。能夠獨立或協作找出最佳結果的羣體工作者被選爲相應任務的獲勝者。獲勝者得到的報酬表示爲z1;z2;…;zk,用於所有與任務對應的i。並非所有任務的報酬都是固定的,可以根據工人的表現增加報酬。

發佈任務時,還將公佈該特定任務的薪酬(獎勵)金額。然而,這可能會增加,取決於羣衆工人的表現。

每個請求者都有有限的預算,因此我們設計了一個真實的機制,其中邊界成本和報酬的總和不超過預算。該模型如圖1所示,其中請求者的目標是通過減少過賬成本來最小化預算。另一方面,通過降低單個任務的已發佈最低成本,羣體工作者可以最大限度地提高他們的報酬。本文所用術語的正式定義如下所示,註釋見表1。

在這裏插入圖片描述

真實成本:工人完成某項特定任務的實際支出被定義爲真實成本。
過賬成本:工人爲完成特定任務而申報的支出定義爲過賬成本。
邊界成本:特定任務的邊界成本是爲工人分配的最大PostedCost。
獲勝者:獲勝者是被選爲給定任務最佳(最低)成本的工人。
報酬:報酬是給予獲勝者的獎勵金額。
獎勵:獎勵是從一個共同獲勝者中扣除的金額,當另一個共同獲勝者成爲共同獲勝者時,再加上該金額。請注意,獎勵是薪酬的一個靈活組成部分。
預算:預算是請求者完成任務所能負擔的總估計成本。
可分解任務:如果任務可分解爲k個非空子任務(k>=2),則該任務是可分解的,該子任務消耗正的投標值,並且總成本不變

擬議機制

在這一部分中,我們討論了一種新的機制,該機制對於請求者來說是預算可行的,並且對羣體工作者也是有益的。該機制以分佈式方式工作。在這裏,輸入參數是邊界成本(cc)和報酬(z),用於在時間限制(t)內完成相應的任務(T)。一開始,每個工人都會選擇一個或多個任務,並試圖估計將其解決到其最佳能力所需的最低成本。因此,它們獨立地聲明已過賬的成本(用於完成任務)。如果成本低於邊界成本,則工人被視爲潛在的贏家候選人。獨立承擔最低費用的勞動者,可以直接選擇爲優勝者並給予報酬。然而,他們有機會合作。在不公佈個別成本的情況下,工人可以協作並公佈合併成本。直觀地說,可以理解的是,即使是第一輪最佳解決方案的單獨提交者,也會傾向於在假設其他人也可能在合作的情況下進行協作。

讓我們現在正式確定方法。當一個任務最初是由被提出並有限制時間時,所有工作人員都被允許自由參加任務,以便獨立地完成任務。獨立的過賬成本和時間消耗將被存儲在可分解的成本矩陣裏,如圖2.
在這裏插入圖片描述

任務可以分解,工人可以將任務分成一對子任務,每一次任務都包含一個非零值。每一個工人都在討論總的成本,但其子任務的成本卻對其他人隱藏。爲了獲得最好的結果,工人們可以合作,重新考慮其他人的子任務的費用。因此,他們通過一個進程(討論的晚些時候)進一步合作,並根據具體情況更新可分解成本矩陣。談判過程在時間限制或穩定性到達之前完成。在邊緣時間過後,請求者從可分解成本矩陣中找到最小成本。找到最小成本後,找到優勝者,計算最終預算(最小過賬成本+報酬)
最後,我們檢查是一個工人還是一對工人贏得了任務。如果這是一個共同的勝利,那麼報酬將根據合作者的表現在他們之間分享。因此,報酬在他們之間進行分配。在擬議的談判過程中,如果一名工人向另一名工人提出請求,而他接受了該請求,則從請求的工人中扣除一小部分作爲報酬一部分的金錢(獎勵),並將其添加到接受的工人中。獎勵D是根據之前最低成本的減少部分來計算的。如果是獨立贏款,則無需進一步計算,Z被定義爲最終的贏款報酬。如果最小過賬成本高於邊界成本,則不會選擇任何人作爲任務的勝利者。

協商過程描述了通過協商加入工人的方法。工人可以自由地協作並驗證合併成本是否比其公佈的成本更好。
在談判過程中,一名工人(WK)將子任務的成本保存在信封中,並要求另一名工人(WL)打開它。接受請求後,兩個工作人員都可以打開信封並選擇最佳子任務(基於成本),以創建更好的組合解決方案(具有最小的已發佈成本),並通過更新子任務的成本來更新可分解成本矩陣。如果任何工作人員拒絕了請求,那麼可分解成本矩陣將更新爲空值。當時間限制耗盡時,可以從可分解成本矩陣中獲得最小的過賬成本。請求者從可分解矩陣中選擇最小的已過賬成本,並將其與邊界成本進行比較。然後,爲任務選擇最佳解決方案。我們從可分解矩陣中找出工人(k,l)的索引,以聲明獲勝者。如果這兩個指數不相等(即K不等於L,表示合作成本),則選擇聯合工人作爲贏家。報酬由合營者按其出資比例分配。如果兩個索引值相等(即k=l),則選擇一名工人作爲獲勝者。他得到了全部報酬。

在建議的模型中,當玩家發佈與任務對應的個人最佳解決方案(作爲已發佈成本)時,只有總成本顯示給每個人,子成本保持隱藏狀態。如果一個工人單獨贏得了任務,那麼他將獲得報酬。相反,如果工人與其他人共同贏得任務,則報酬由聯合工人分享。因此,對於工人來說,後一種選擇比前一種更具競爭力。在傳統的競爭環境中,選擇在獲得最佳結果(最低公佈成本)方面取得成就的單個工人作爲獲勝者。一旦其他人開始合作,每一輪的明顯贏家(包括第一輪)都會被迫合作。當然,更好的結果會讓他們獲得更多的報酬,但同時也會帶來競爭性的利益。從請求者的角度來看,這種心理行爲是有益的。

在網絡市場上,工人的主要動機是賺錢。因此,我們鼓勵工人們相互協商,瞭解其他工人的子任務成本,這樣他們就可以通過合作進一步改進他們的解決方案,獲得一些額外的報酬。這個談判過程類似於零和博弈的概念,其中一個工人的總損失等於另一個工人的總收益。如果一個工人要求另一個工人打開他的信封並顯示子任務的成本,則請求工人將損失一定百分比的錢,接受工人將獲得扣除的金額。

這裏有一個決定D值的重要問題。如果一對工人蔘與談判過程,他們會打開信封合併他們的工作,以最小化與任務相對應的張貼成本。如果聯合工人將成本降到最低,如果他們贏了,獎勵將根據他們將先前最低成本降到最低的程度來計算。因此,我們可以從第二低成本中找出成本最小化的百分比。因此,D基本上是成本最小化的百分比。

實證分析

爲了驗證該機制的有效性,我們進行了基於仿真的分析。我們的目標是模仿由合作引發的競爭性衆包環境。協作將由協商過程控制(基本上是協商的概率),並分析其對系統的影響。爲此,我們考慮一項固定任務,該任務的邊界成本和報酬是固定的。所有工人將任務細分爲一對子任務,並公佈相應的成本。這些值是通過設置邏輯邊界隨機生成的。然後,允許工人協商並組合他們的子任務併發布解決方案。爲了進行包含分析,我們調整了連接概率的值,並研究了相應的收斂時間。

爲了進行實驗,我們分別將邊界成本和初始報酬的值設置爲1000和100。現在,我們模擬一個允許50名工人獨立參與任務的環境。在第一步中,他們最多可以將任務分解爲2個子任務,並提交相應的子任務。由於邊界成本爲1000,每個子任務的成本保持在範圍[1,999]。爲了模擬這種情況,工作人員通過選擇1到999之間的任意值來聲明第一個子任務的成本。對於第二個子任務,成本從1到(1000 -N)隨機選擇。
在第一次迭代中,工作人員通過自己的獨立工作找到了可能的最佳解決方案,併發布相同的解決方案。在連續的迭代過程中,工作人員可以發佈其單獨的解決方案,也可以與其他工作人員協作併發布組合的解決方案。這些值基本上存儲在可分解矩陣中(見圖2)。

在每個迭代中,我們從可分解成本矩陣中找到最小的已發佈成本,並將其存儲在最小成本矩陣中。最後,我們選擇了最低過賬成本,並計算了薪酬。完成任務所需的迭代次數被視爲模擬時間。
在這裏插入圖片描述
在我們這裏考慮的情況下,最低成本爲41。獲勝者的最終報酬爲195.90。在這項任務中,只有當工人們互相合作時,他們才能獲勝。由於第二個最低成本爲42,額外獎勵按1.82計算。因此,請求者的總預算爲(41+195.90)=236.90,遠低於(1000+100)=1100的原始預算。現在的薪酬是195.90,從工人的角度來看,已經超過了100。因此,請求者和羣體工作者都從這個機制中受益。

我們分析了在迭代過程中(允許協商)最低公佈成本和報酬的變化率。圖3表示不同的圖形圖,其中最小的過賬成本總是降低,直到獲得最佳結果。在公佈結果之前,工人們有一定的合作可能性。在每個圖中,當工作人員單獨發佈解決方案時,初始值表示任務的最佳解決方案(最小發布成本)。但當工人們合作並加入他們的工作時,價值就會下降,直到時間結束或達到穩定爲止。如果加入工人(通過協商)的概率增加(從0.02增加到0.08,如圖3所示增加0.02),獲得最佳結果所需的迭代次數就會減少。因此,我們可以通過控制工人的加入概率來加快這一過程(以儘量縮短所涉及的時間)。這突出了擬議機制中的協作(通過協商)能力。另一方面,也觀察到報酬在迭代過程中增加,因此也鼓勵了工人。因此,該模型對雙方都有利。

爲了進一步驗證工人蔘與某項任務如何影響加入(協作期間)的可能性,我們通過調整工人數量來模擬多個環境。如圖4所示,隨着工人數量的增長(與特定任務相關),在涉及較少加入概率的最小迭代中獲得最佳結果。也可以理解,邊界成本和報酬對工人的合作有一定的影響。更多的報酬(相對於邊界成本)工人將自動被吸引到任務,從而增加合作的可能性。另一方面,邊界成本(相對於報酬)越高,工人就越不願意承擔這項任務,從而減少了他們之間的協作。

在這裏插入圖片描述

總結

在本文中,我們提出了一種新的協作機制,以更好地管理競爭性衆包市場,其中可分解的任務可以由衆包工作者解決。我們採用的談判過程類似於兩人重複博弈。在每一輪中,信封都包含子任務的信息。在協商的啓發下,工作人員將提議模型中子任務的成本隱藏起來,不讓其他工作人員看到,只公開任務的總成本。我們的模擬結果表明,如果工人在上述競爭系統中進行合作,那麼對雙方(即羣體工人和請求者)都有利。衆包工人會被吸引,因爲如果他們能找到更好的結果,那麼報酬也會隨着他們的表現而增加。另一方面,它非常適合請求者,因爲他們在有限的成本內獲得最佳的結果。這一機制很容易實施,預算可行。在未來,探索我們如何激勵/懲罰工人,使他們不得不報告他們真正的次級成本,這是很有趣的。在這裏,我們主要關注成本最小化,並假設所有工人都具有同等的專業知識。但是,請求者可以在檢查工人提交的任務的解決方案後分配質量分數。這個分數可以幫助工人在合作中選擇同事。該模型也適用於競爭性衆包市場,該市場處理創造性任務,其中協作可能發揮主要作用。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章