使用百度AI开放平台进行财经语料用户情感分析

目录

一、实现过程操作步骤

二、遇到的问题与解决

三、详细代码

一、实现过程操作步骤

1、百度AI开放平台上创建应用

    详细过程比较简单， 不详细描述

1）到http://ai.baidu.com/上一步步注册账号

2）创建一个自然语言分析下语料情感分析的应用。（根据步骤创建模型、训练、创建即可。其中涉及相关预料的获取，可以写个爬虫弄一下。 具体可以参考  https://blog.csdn.net/ebzxw/article/details/101853610  的第三部分“scrapy框架基本使用及完整案例”的案例代码）

结果是这样子的：

2、获取通过API调用的token

官方文档最详细。百度AIP开放平台使用OAuth2.0授权调用开放API，调用API时必须在URL中带上access_token参数，获取Access Token的流程如下。

方式一鉴权使用的Access_token必须通过API Key和Secret Key获取。

请求URL数据格式

向授权服务地址https://aip.baidubce.com/oauth/2.0/token发送请求（推荐使用POST），并在URL中带上以下参数：

• grant_type： 必须参数，固定为client_credentials；
• client_id： 必须参数，应用的API Key；
• client_secret： 必须参数，应用的Secret Key；

例如：

https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=Va5yQRHlA4Fq5eR3LT0vuXV4&client_secret=0rDSjzQ20XUj5itV6WRtznPQSzr5pVw2&

服务器返回的JSON文本参数如下：

• access_token： 要获取的Access Token；
• expires_in： Access Token的有效期(秒为单位，一般为1个月)；
• 其他参数忽略，暂时不用;

例如：

{
  "refresh_token": "25.b55fe1d287227ca97aab219bb249b8ab.315360000.1798284651.282335-8574074",
  "expires_in": 2592000,
  "scope": "public wise_adapt",
  "session_key": "9mzdDZXu3dENdFZQurfg0Vz8slgSgvvOAUebNFzyzcpQ5EnbxbF+hfG9DQkpUVQdh4p6HbQcAiz5RmuBAja1JJGgIdJI",
  "access_token": "24.6c5e1ff107f0e8bcef8c46d3424a0e78.2592000.1485516651.282335-8574074",
  "session_secret": "dfac94a3489fe9fca7c3221cbf7525ff"
}

若请求错误，服务器将返回的JSON文本包含以下参数：

• error： 错误码；关于错误码的详细信息请参考下方鉴权认证错误码。

• error_description： 错误描述信息，帮助理解和解决发生的错误。

使用Access Key ID/Secret Access Key的开发者注意

如果您使用的是“安全认证/Access Key ”中的Access Key ID 和 Secret Access Key的开发者，则不能使用获取Access Token的方式鉴权，具体鉴权认证机制参考“百度云鉴权认证机制”。

3、情感倾向分析接口调用

情感倾向分析接口（通用版）：自动对包含主观信息的文本进行情感倾向性判断（积极、消极、中性），并给出相应的置信度。为口碑分析、话题监控、舆情分析等应用提供基础技术支持，同时支持用户自行定制模型效果调优。

情感倾向分析接口（定制版）：用户在控制台中的【个性化定制】中选择【情感倾向分析定制】，通过上传特定应用场景的正负情感语料来训练模型，满足用户多样场景的精度要求。

定制版接口的详细使用教程，请您在论坛查看教学帖，帖子链接：http://ai.baidu.com/forum/topic/show/942825

请求说明

请求示例

（情感分析通用版）

HTTP方法: POST 请求URL: https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify

（情感分析定制版，注意需要先保证定制模型生效成功再调用，否则接口会报错）

HTTP方法: POST 请求URL: https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify_custom

URL参数：

参数	值
access_token	通过API Key和Secret Key获取的access_token,参考“Access Token获取”

Header如下：

参数	值
Content-Type	application/json

Body请求示例:

{ "text": "光大是一家伟大的公司" }

请求格式

POST方式调用

注意：要求使用JSON格式的结构体来描述一个请求的具体内容。

body整体文本内容可以支持GBK和UTF-8两种格式的编码。

1、GBK支持：默认按GBK进行编码，输入内容为GBK编码，输出内容为GBK编码，否则会接口报错编码错误

2、UTF-8支持：若文本需要使用UTF-8编码，请在url参数中添加charset=UTF-8 （大小写敏感） 例如 https://aip.baidubce.com/rpc/2.0/nlp/v1/lexer?charset=UTF-8&access_token=24.f9ba9c5241b67688bb4adbed8bc91dec.2592000.1485570332.282335-8574074

请求参数

参数	类型	描述
text	string	文本内容，最大2048字节

返回格式

JSON格式

默认返回内容为GBK编码，若用户指定输入为UTF-8编码（通过指定charset参数），则返回内容为UTF-8编码

返回说明

返回参数

参数	说明	描述
log_id	uint64	请求唯一标识码
sentiment	int	表示情感极性分类结果，0:负向，1:中性，2:正向
confidence	float	表示分类的置信度，取值范围[0,1]
positive_prob	float	表示属于积极类别的概率 ，取值范围[0,1]
negative_prob	float	表示属于消极类别的概率，取值范围[0,1]

返回示例

{
    "text":"光大是一家伟大的公司",
    "items":[
        {
            "sentiment":2,    //表示情感极性分类结果
            "confidence":0.40, //表示分类的置信度
            "positive_prob":0.73, //表示属于积极类别的概率
            "negative_prob":0.27  //表示属于消极类别的概率
        }
    ]
}

二、遇到的问题与解决

1、error_code': 110, 'error_msg': 'Access token invalid or no longer valid'

网上搜了一堆，都对不上号。

后仔细看了下官方文档，发现开始漏过了流程的第二步，要通过api key和secret key 来获取 access_token ，用access_token 来访问才行。 

看来凡是要按方法，急了自己乱整不行，折腾浪费了半小时。

2、'error_code': 282004, 'error_msg': 'invalid parameter(s)'

原因与解决：代码问题。因为传入数据是字典需要进行编码。
                 encode_data=json.dumps(data).encode('GBK')

三、详细代码

import json,csv,sys
from urllib.request import urlopen, quote

def getToken():
    # client_id 为官网获取的AK， client_secret 为官网获取的SK
    host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=rqw416K1e80V9IId888G1HUl&client_secret=q5kLRfP9lxdC83QBe5gIsoMXPmkZ6xcT'
    response = urlopen(host)
    content = response.read()
    if (content):
        #print(type(content))     #<class 'bytes'>
        content_str=str(content, encoding="utf-8")
    content_dir = eval(content_str)
    access_token = content_dir['access_token']
    return access_token

def getBaiduNlpMotion():
    ak = getToken()
    url = 'https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify?access_token=' +ak    
    print('请求:' + url)    
    data = {"text":sys.argv[1]}
    encode_data=json.dumps(data).encode('GBK')
    req = urlopen(url,encode_data)
    res = req.read()             # content是一个utf-8格式的<class 'bytes'>
                                             #bytes ⇒ str：str(b, encoding='utf-8')
    content_str = str(res, encoding="gbk")   #content被编码为gbk格式的字节串，赋给content_str
    if (content_str):
        return content_str  
 
file = open(r'files\\baiduapi_nlp1.json','w')
print('\r\n参数:' + sys.argv[1])
rt = getBaiduNlpMotion()
print('\r\n百度返回结果：'+ rt +'\r\n')
file.write(rt) 
file.close() 

成功的执行结果如下：

输出items的各个结果含义参照第一部分内容，不重复。