NLP比賽推送

1 CCL漢語學習者文本糾錯比賽

比賽簡介

(Chinese Learner Text Correction,CLTC)旨在自動檢測並修改漢語學習者文本中的標點、拼寫、語法、語義等錯誤,從而獲得符合原意的正確句子。近年來,該任務越來越受到關注,也出現了一些具有商業價值的應用。

現有的評測數據集存在着數據量小,領域單一,參考答案數目少的缺陷。針對上述問題,蘇州大學、阿里巴巴達摩院聯合發佈了MuCGEC(Multi-Reference Multi-Source Evaluation Dataset for Chinese Grammatical Error Correction)多源多參考中文語法糾錯評測數據集,並依託CCL2022會議展開評測

比賽鏈接

比賽鏈接:https://tianchi.aliyun.com/dataset/dataDetail?dataId=131328

CCL2022評測官網 :http://cips-cl.org/static/CCL2022/cclEval/taskEvaluation/index.html

2 新聞文本數據的語義檢索與智能問答

賽題背景

文本檢索系統是針對海量文本數據的基本分析工具,用於根據用戶信息需求在大規模文檔集中精準定位特定文本。近年來,基於深度神經網絡的文本檢索技術取得了突出進展,但仍然存在語義理解水平低、推理能力不足、依賴大規模標註數據等問題,難以充分滿足實際業務應用需求。

本賽題面向大規模英語新聞數據的智能分析業務場景,針對現有文本檢索技術存在的不足,設置語義檢索和智能問答兩類賽題任務:語義檢索任務主要考察參賽系統篇章級語義理解能力;智能問答任務僅提供少量訓練樣本,不允許參賽者使用外部數據,重點考察參賽系統在小樣本或遷移學習條件下的語義理解和推理能力。

賽題任務

給定一個包含約200萬篇英文新聞的正文集。

初賽任務: 面向新聞數據的篇章級語義檢索
給定一個查詢,參賽系統的任務是從新聞正文集中找出與該查詢語義最相關的前100篇文章,並按相關程度由高到低排序。查詢的示例數據如下:

| 示例查詢1 | NASA Says Saturn's Icy Moon Enceladus Could Harbor Alien Life |
| 示例查詢2 | S.Korean stocks edge lower, biopharma shares top drag |

出於數據敏感性等方面考慮,所有發佈數據均已進行轉碼處理。
因此,上述2條示例數據的實際呈現形式如下:

| 轉碼後示例查詢1 | 39355 1205 47380 203 10109 9602 401097 731 12004 2470 325 |
| 轉碼後示例查詢2 | 1175747 18201 8181 8735 , 259500 478 1895 4498 |

複賽任務:小樣本條件下新聞數據智能問答

(初賽排行榜TOP30團隊晉級複賽,複賽任務詳情複賽前公佈)

比賽鏈接

https://www.datafountain.cn/competitions/567

3 高魯棒性要求下的領域事件檢測任務

賽題背景

文本事件抽取旨在將非結構化文本中的事件信息進行結構化,是自然語言處理的重要研究領域。事件檢測作爲事件抽取的子任務之一,旨在從給定文本中識別事件觸發詞(trigger)並將其分類到正確的事件類型,觸發詞指的是標記事件出現的核心詞語或短語,事件類型爲數據集中預先定義的類型。

近年來,雖然基於深度神經網絡的模型在事件檢測問題上取得了良好的效果,但同樣受限於深度學習方法對訓練數據集的高質量要求,在數據集存在樣本分佈不均衡、數據標註質量欠佳、對抗數據污染等問題時,模型有效性往往難以得到保證,缺乏魯棒性。

針對上述問題,本次競賽將基於中文領域新聞事件檢測數據集(Field News for Event Detection,FNED)發佈高魯棒性要求下的領域事件檢測挑戰,旨在通過競賽促進領域事件檢測模型魯棒性的研究,支撐事件抽取相關技術的落地,並推動相關領域人工智能應用的發展。

賽題任務

本賽題的任務爲基於FNED新聞文本數據集實現高魯棒的領域事件檢測,通過機器學習、深度學習等模型開發事件檢測算法,使得模型在樣本分佈不均衡、數據標註質量欠佳、存在數據污染時仍具有良好的性能。
  輸入:一個具有事件信息的句子。
  輸出:句子的事件觸發詞和事件類型。

示例
  輸入
  “除了無人機,無人戰鬥車的爆發式展示也是本屆珠海航展的最大亮點之一。在今年珠海航展上,各大軍工集團紛紛推出了多款具有世界先進水平的無人戰鬥車,讓人目不暇接。珠海航展上展示的無人戰鬥車,炮塔上集成了機槍、反坦克導彈和煙幕彈發射器。”
  輸出
  “event_mention”: {
    “event_type”: “Exhibit”,
    “trigger”: {
      “text”: “展示”,
      “offset”: [12, 13]
      }
    }

賽題鏈接

https://www.datafountain.cn/competitions/561

4 Feedback Prize - Predicting Effective Arguments【多分類】

評價 6-12 年級學生議論文寫作元素的有效性

比賽鏈接

https://www.kaggle.com/competitions/feedback-prize-effectiveness/data

第二屆中國情感計算大會(CCAC 2022)技術評測任務發佈

任務1:第二屆智慧論辯評測

論辯是人類智慧的一項重要技能,在諸多人類活動中承擔着不可或缺的作用。計算論辯技術關注於機器對人類論辯過程的理解和模仿,廣泛應用於決策輔助、寫作支持和邏輯審查等場景。近年來逐漸成爲人工智能研究的新興重要分支。本屆評測關注中、英文辯論賽場景下的論辯挖掘任務,鼓勵參賽者使用計算論辯相關技術對辯論陳詞中的論辯要點等成分進行識別或生成,旨在推動計算論辯相關研究的發展,並試圖爲學術界和工業界的研究者以及相關產業的從業者提供良好的溝通交流平臺。在本屆大會中,我們將舉辦第二屆智慧論辯評測項目。

任務2 :論據發現

給定一個論點和一個候選句子,參賽模型須判斷當前句子是否爲支持當前論點的論據。我們也會提供辯題作爲輔助參考。輸出有兩種標籤:1表示是論據,0表示非論據。

任務3:互動論點對識別

提供一對具有互動關係的正、反方單環節辯稿。針對一方的一個論點,從5個候選論點中選擇出與給定論點有直接互動關係的一個。候選集由1個人工標註的互動論點,和同一辯稿中採樣得到的4個無關論點組成。其中,一個論點可能包含1個或多個句子。

–評價指標:最高預測的平均準確度 (average accuracy of the top predictions, A) 和平均倒數排名 (average mean reciprocal rank, M)。

任務4 :論點生成

針對既定的辯題,由參賽模型自動生成貼合辯題的5個論點。

–評價指標:混淆度(Perplexity),BLUE,ROUGE

–評價指標:論據類別上的F1。

報名方式

http://www.fudan-disc.com/sharedtask/AIDebater22/index.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章