大家好，我是爲人造的智能操碎了心的智能禪師。
眼看雙十一要到，各路電商又要開始開闢激情戰場來絕地求生了。所以今天禪師特意找來一篇課程，由被稱爲“外貿電商平臺鼻祖”eBay 的數據科學家李睿分享，NLP 在 eBay 的技術實踐。
李睿於 University of California, Riverside 獲得模式識別，圖像處理博士之後，一直舊金山灣區公司裏從事圖像，視頻，文字分類的研發工作。
順便提一句，今天 CSDN AI 大會正式開始了。禪師會出現在現場，歡迎大家捕捉。
全文大約1500字。讀完可能需要好幾首下面這首歌的時間
?
eBay 用到 NLP 的領域
在電商這個領域，我們處理的對象不外乎是賣家提供的商品和買家的需求。商品是由文字描述和圖片構成的，而需求則通常是用文字表達的（搜索關鍵字）。
eBay 每天都有數億的新商品上架和數億次的搜索，產生的文字數據是海量的。因此，eBay 對自然語言處理（NLP）的需求是不言而喻的。那麼 NLP 都影響到了電商的哪些領域呢？
作爲電商企業，搜索功能是其重中之重。這是買家進行購買的最便捷有效的途徑。因此我們的搜索引擎也是公司最重要的產品（沒有之一）。
文檔索引的祖師爺算法稱爲 TF-IDF。這是 NLP 中一種用於信息檢索與文本挖掘的常用加權技術。
傳統的網頁搜索把它作爲網頁與用戶查詢之間相關程度的度量或評級，從而推薦相關的網頁和文章。
在電商的應用場景中，我們就會把它作爲買家搜索關鍵字和商品相關程度的度量，從而推薦相關的商品。
NLP 在電商中的的另一個重大應用是機器翻譯。eBay 在全世界 30 多個國家都有網站，大多的網站都支持跨境電商。
我們希望在俄國能夠讓消費者用俄語進行搜索，並且看到我們的商品用俄語描述。美國的網站每天有上億個新商品上架，如果沒有機器翻譯，這是完全不可能實現的。
搜索引擎和機器翻譯背後有各式各樣的其它的 NLP 技術做支撐，比如命名實體識別技術（Name Entity Recognition，縮寫爲 NER） 和各式文字分類器（Text Classifier）。
命名實體識別（NER）
在電商中，命名實體識別有着非常特殊的地位。下面這張圖就是一個電商中 NER 的例子：
NER 還能夠提高搜索準確度。
分類器
正如前面提到的，搜索引擎和機器翻譯是被各式分類器支撐的。下面這張圖裏介紹了一些電商中用到的典型分類器：
第一種稱爲產品類別推薦。eBay 在美國的網站上有一萬六千個產品門類，一個新的賣家而言他不知道放在哪一個門類下面，如果他放錯了，他的東西就被買家找不到
第二種是產品／附件／套裝分類器。
第三種分類器：商品類型分類器。
第四種分類器稱爲評價分類器。
產品／附件／套裝分類器詳解
我剛纔提到的第二種分類器是如何把這個產品分辨出它是產品本身，附件，還是套裝。從下面的圖中，大家就能夠清楚地這個爲什麼要做這個分類器。
總結
剛纔我講到了命名實體識別，各種基於 NLP 的分類器在 eBay 的實踐，希望能起到一個拋磚引玉的作用。
但凡有文字處理需要自動化的地方，都需要用到 NLP 技術，所以掌握了些基本技術，你就可以應用在各行各業裏邊，解決各種實際問題。