如何高效的完成中文分詞？

在說分詞之前，筆者先來介紹下何爲分詞：分詞就是將連續的字序列按照一定的規範重新組合成詞序列的過程。英文中，單詞之間是以空格作爲自然分界符的，但是中文的分詞就複雜多了，要涉及一些算法，對於初學者來說，還是有很多難度的。這裏筆者只介紹一種最簡單的方式，有興趣的朋友可以看下，直接上代碼：

python實現方式

# -*- coding: utf-8 -*-
# flake8: noqa
__author__ = 'wukong'

import urllib
from urllib import urlencode

#配置您申請的appKey和openId
app_key="***"
open_id="***"

"""
request_url 請求地址
params 請求參數
method 請求方法

"""
def request_content(request_url,params,method):
    params = urlencode(params)
    
    if method and method.lower() =="get":
        f = urllib.urlopen("%s?%s" % (request_url, params))
    else:
        f = urllib.urlopen(request_url, params)
 
    content = f.read()
    print content

   
def main():
    
    domain="http://api.xiaocongjisuan.com/"
    servlet="data/chinesekeyword/analysis"
    method="get"
    request_url=domain+servlet
    
    #字典
    params ={}
    params["appKey"]=app_key
    params["openId"]=open_id
    
    #變動部分
    params["content"]="我是一箇中國人，你知道嘛"
    
    request_content(request_url,params,method)
    
if __name__ == '__main__':
    main()

php實現方式

<meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>
<?php

/**
 * @author 
 * @copyright 2019
 */
 
header("content-type:text/html;charset=utf-8");         //設置編碼
 
//配置您申請的appKey和openId
$app_key = "***";
$open_id = "***";

/**
$url 請求地址
$params 請求參數
$ispost 請求方法
*/

function http_curl($url,$params=false,$ispost=false){
   
    $httpInfo = array();
    $ch = curl_init();

    curl_setopt( $ch, CURLOPT_HTTP_VERSION , CURL_HTTP_VERSION_1_1 );
    curl_setopt( $ch, CURLOPT_USERAGENT , "xiaocongjisuan");
    curl_setopt( $ch, CURLOPT_CONNECTTIMEOUT , 60 );
    curl_setopt( $ch, CURLOPT_TIMEOUT , 60);
    curl_setopt( $ch, CURLOPT_RETURNTRANSFER , true );
    
    if( $ispost )
    {
        curl_setopt( $ch , CURLOPT_POST , true );
        curl_setopt( $ch , CURLOPT_POSTFIELDS , $params );
        curl_setopt( $ch , CURLOPT_URL , $url );
    }
    else
    {
        if($params){
            curl_setopt( $ch , CURLOPT_URL , $url.'?'.$params );
        }else{
            curl_setopt( $ch , CURLOPT_URL , $url);
        }
    }
    
    $response = curl_exec( $ch );
    if ($response === FALSE) {
        //echo "cURL Error: " . curl_error($ch);
        return false;
    }
    $httpCode = curl_getinfo( $ch , CURLINFO_HTTP_CODE );
    $httpInfo = array_merge( $httpInfo , curl_getinfo( $ch ) );
    curl_close( $ch );
    
    return $response;
}

function main(){
    
    global $app_key;
    global $open_id;
    
    $domain="http://api.xiaocongjisuan.com/";
    $servlet="data/chinesekeyword/analysis";
    $method="get";
    
    $url=$domain."".$servlet;
    
    $params['appKey']=$app_key;
    $params['openId']=$open_id;
    
    //變動部分
    $params["content"]="我是一箇中國人，你知道嘛";
    
    //編碼轉換
    foreach ($params as $key=>$value) {
        $params[$key]=mb_convert_encoding($value, "UTF-8", "GBK");
    }

    $paramstring = http_build_query($params);
    $content = http_curl($url,$paramstring,true);
    
    return $content;
}

echo main();
?>

原理主要是調用接口，直接輸入一串字符串，然後接口會自動把結果以json或者xml的形式返回，具體文檔可以點我查看。這種實現方式很簡單，省去了大量的開發時間，屏蔽了語言之間的差異性，值得推薦。