我使用的是MxNetCpp.h的API。
1.在cpu()下使用多線程預測能夠正常運行並返回正確結果，gpu()多線程下時，使用NDrray進行圖片的歸一化和標準化出現內存泄漏，其他涉及到我自己寫的NDArry運算也都造成了內存泄露。
2.我向通過自己編寫邏輯來代替NDArray的操作，但是在圖片的轉置這邊出現了問題，我打印出預處理後的圖片數組和使用NDArray的運算結果相比，數字基本一樣，但是數字的位置變了，代碼在下方。
3.gpu下家在一個模型使用了1689M的顯存，計算一個模型時顯存到了3072M，加載兩個模型並計算顯存穩定在4234M計算第三個模型時out of memory程序退出，我在使用C API測試時發現計算三個模型也沒有超過2g顯存。
4.使用C API預測模型時，得到的置信度時10多，座標大部分都是0
這是預處理部分代碼
https://discuss.gluon.ai/t/topic/17336