1.关于多分类,如果是每个数据点只能被划分到一个类别,那他就是单标签,多分类问题,反之,如果每个数据点可以被分到多个类别,那他就是一个多标签,多分类的问题。关于新闻主题分类,就是典型的单标签,多分类问题。
2.路透社数据集也是keras内置的数据集,包含46个不同的主题,每个主题有至少十个样本,共有8982个训练样本和2246个测试样本。
3.引入数据集
from keras.datasets import reuters
# 取频率最高的前一万字
(train_datas,train_labels),(test_datas,test_labels) = reuters.load_data(num_words=10000)
# 将数据反向解码为新闻文本查看
word_index = reuters.get_word_index()
reverse_word_index = dict([(value,key) for (key,value) in word_index.items()])
text = ' '.join([reverse_word_index.get(i-3,'?') for i in train_datas[0]])
4.将数据集转化为one-hot型(也可以不转使用embedding)
import numpy as np
def seq_to_one_hot(sequences,dimention):
'''
此函数输入为不同新闻文本词下标向量所组成的二维张量,故第一维为样本数,
第二维为one_hot对应维度。
'''
results = np.zeros((len(sequences),dimention))
for i,sequence in enumerate(sequences):
results[i,sequence] = 1
return results
x_train = seq_to_one_hot(train_datas,10000)
x_test = seq_to_one_hot(test_datas,10000)
5.类标转换为one_hot
y_train = seq_to_one_hot(train_labels,46)
y_test = seq_to_one_hot(test_labels,46)
当然,这里也可以使用util内置的to_categorical
6.构建神经网络
这里构建的神经网络与上节类似,只不过最后一层的激活函数应为softmax,编译时损失函数应为categorical_crossentropy