3. 常見問題
3.1 val_loss曲線或val_acc曲線震盪不平滑
原因可能如下:
- 學習率可能太大
- batch size太小
- 樣本分佈不均勻
- 缺少加入正則化
- 數據規模較小
3.2 val_acc幾乎爲0
一種很重要的原因是數據split的時候沒有shuffle
import numpy as np
index = np.arange(data.shape[0])
np.random.seed(1024)
np.random.shuffle(index)
data=data[index]
labels=labels[index]
3.3 訓練過程中loss數值爲負數?
原因:輸入的訓練數據沒有歸一化造成
解決方法:把輸入數值通過下面的函數過濾一遍,進行歸一化
#數據歸一化
def data_in_one(inputdata):
inputdata = (inputdata-inputdata.min())/(inputdata.max()-inputdata.min())
return inputdata
3.4 怎麼看loss和acc的變化(loss幾回合就不變了怎麼辦?)
- train loss 不斷下降,test loss不斷下降,說明網絡仍在學習;
- train loss 不斷下降,test loss趨於不變,說明網絡過擬合;
- train loss 趨於不變,test loss不斷下降,說明數據集100%有問題;
- train loss 趨於不變,test loss趨於不變,說明學習遇到瓶頸,需要減小學習率或批量數目;
- train loss 不斷上升,test loss不斷上升,說明網絡結構設計不當,訓練超參數設置不當,數據集經過清洗等問題。
3.5 訓練中發現loss的值爲NAN,這時可能的原因如下:
- 學習率太高
- 如果是自己定義的損失函數,這時候可能是你設計的損失函數有問題
一般來說,較高的acc對應的loss較低,但這不是絕對,畢竟他們是兩個不同的東西,所以在實際實現中,我們可以對兩者進行一個微調。
3.6 epoch輪數/BN/dropout/
關於epoch設置問題,我們可以設置回調函數,選擇驗證集最高的acc作爲最優模型。
關於BN和dropout,其實這兩個是兩個完全不同的東西,BN針對數據分佈,dropout是從模型結構方面優化,所以他們兩個可以一起使用,對於BN來說其不但可以防止過擬合,還可以防止梯度消失等問題,並且可以加快模型的收斂速度,但是加了BN,模型訓練往往會變得慢些。
3.7 深度網絡的過擬合問題討論
3.7.1 加入Dropout層
代碼示意:
……
from keras.layers import Concatenate,Dropout
……
concatenate = Concatenate(axis=2)([blstm,embedding_layer])
concatenate=Dropout(rate=0.1)(concatenate)
3.7.2 檢查數據集是否過小(Data Augmentation)
下面這段代碼是我對自己實驗數據做的augmentation,可以給大家提供一個參考。首先,我的數據集如圖所示:
我的數據庫中的essays表中有7列,每一行爲一個數據樣本,其中第一列AUTHID爲樣本編號,TEXT爲文本內容,後面爲文本的標記。對於文本的augmentation,一個比較合理的擴增數據集的方法就是將每一個文本的句子循環移位,這樣可以最大限度地保證文本整體的穩定。下面的代碼讀取essays表格中的樣本信息,對文本進行循環移位後存入到table_augment表中。
代碼示意:
#!/usr/bin/python
# -*- coding:utf8 -*-
from sqlalchemy import create_engine # mysql orm interface,better than mysqldb
import pandas as pd
import spacy # a NLP model like NLTK,but more industrial.
import json
TO_SQL='table_augment'
READ_SQL_TABLE='essays'
def cut_sentences(df):
all_text_name = df["AUTHID"] # type pandas.Series:get all text name(match the "#AUTHID" in essays)
all_text = df["TEXT"] # type pandas.Series:get all text(match the "TEXT" in essays)
all_label_cEXT=df["cEXT"]
all_label_cNEU=df["cNEU"]
all_label_cAGR=df["cAGR"]
all_label_cCON=df["cCON"]
all_label_cOPN=df["cOPN"]
all_number = all_text_name.index[-1] # from 0 to len(all_text_name)-1
for i in xrange(0,all_number+1,1):
print("start to deal with text ", i ," ...")
text = all_text[i] # type str:one of text in all_text
text_name = all_text_name[i] # type str:one of text_name in all_text_name
nlp = spacy.load('en')
test_doc = nlp(text)#.decode('utf8'))
cut_sentence = []
for sent in test_doc.sents: # get each line in the text
cut_sentence.append(sent.text)
"""
type sent is spacy.tokens.span.Span, not a string,
so, we call the member function Span.text to get its unicode form
"""
line_number = len(cut_sentence)
for itertor in range(line_number):
if itertor !=0:
cut_sentence=cut_sentence[1:]+cut_sentence[:1]
cut_sentence_json = json.dumps(cut_sentence)
input_data_dic = {'text_name': str(itertor)+"_"+text_name,
'line_number':line_number,
'line_text': cut_sentence_json,
'cEXT': all_label_cEXT[i],
'cNEU': all_label_cNEU[i],
'cAGR': all_label_cAGR[i],
'cCON': all_label_cCON[i],
'cOPN': all_label_cOPN[i]
}
input_data = pd.DataFrame(input_data_dic,index=[i],columns=['text_name',
'line_number',
'line_text',
'cEXT',
'cNEU',
'cAGR',
'cCON',
'cOPN'])
input_data.to_sql(TO_SQL, engine, if_exists='append', index=False, chunksize=100)
"""
DataFrame.index will be insert to table by default. We don't want it, so we set the
index = False(True default)
"""
print("text ", i ," finished")
if __name__ =='__main__':
engine = create_engine('mysql+pymysql://root:root@localhost:3306/personality_1?charset=utf8', echo=True,convert_unicode=True)
df = pd.read_sql_table(READ_SQL_TABLE, engine,chunksize=5) # read essays
for df_iter in df:
cut_sentences(df_iter)
3.7.3 用一用遷移學習的思想
具體來講就是model.load人家訓練好的weight.hdf5,然後在這個基礎上繼續訓練。具體可以見之後的博文中的斷點訓練。
3.7.4 調參小tricks.
調小學習速率(Learning Rate)之前已經講過不在贅述
適當增大batch_size。之前已經講過不在贅述
試一試別的優化器(optimizer)之前已經講過不在贅述
Keras的回調函數EarlyStopping() 之前已經講過,不再贅述
3.7.5 正則化方法
正則化方法是指在進行目標函數或代價函數優化時,在目標函數或代價函數後面加上一個正則項,一般有L1正則與L2正則等。
代碼片段示意:
from keras import regularizers
……
out = TimeDistributed(Dense(hidden_dim_2,
activation="relu",
kernel_regularizer=regularizers.l1_l2(0.01,0.01),
activity_regularizer=regularizers.l1_l2(0.01,0.01)
)
)(concatenate)
……
dense=Dense(200,
activation="relu",
kernel_regularizer=regularizers.l1_l2(0.01,0.01),
activity_regularizer=regularizers.l1_l2(0.01,0.01)
)(dense)
更多參考信息:
https://blog.csdn.net/mrgiovanni/article/details/52167016