原创 Torch、Java、Milvus快速搭建以圖搜圖系統

Torch、Java、Milvus快速搭建以圖搜圖系統 1 原理概述 以圖搜圖大致原理(口水話版) 以圖搜圖,即通過一張圖片去匹配數據庫中的圖片,找到最相似的N張圖。在我們普通的搜索系統中,文字匹配的搜索單純的MySQL數據庫就能

原创 torch多GPU模型的訓練與保存

使用多gpu訓練時 model = torch.nn.DataParallel(model, device_ids=[1, 2, 3, 4]) 若模型採用多GPU訓練,則在模型保存時: torch.save(model.modu

原创 opencv清除文件夾中空圖片或損壞圖片

import os import cv2 import numpy as np path = "/raid/data/jianhuang_test/jpg" imgList = os.listdir(path) for i in

原创 HTTP相關基礎和請求、響應

HTTP: * 概念:Hyper Text Transfer Protocol 超文本傳輸協議 * 傳輸協議:定義了,客戶端和服務器端通信時,發送數據的格式 * 特點: 1. 基於TCP/IP的高級協議 2. 默認端口

原创 白話Focal loss

1、標準交叉熵損失函數如下: 其中,p爲預測爲正樣本的概率,因爲二分類,故預測爲負樣本概率即爲(1-p)。 當label爲1時,p應當接近於1使得loss儘可能小; 當label爲-1時,p應當接近於0,即(1-p)接近於1使得

原创 Redis數據類型及數據結構

文章目錄1 Redis數據類型1.1 五大基本數據類型1.1.1 String類型1.1.2 List類型1.1.3 Set類型1.1.4 Zset類型1.1.5 Hash類型1.2 三種特殊類型1.2.1 geospatial

原创 Integer類詳解

問題一: 一直很好奇一件事,類似於Integer i = 15; String s = “aa”;之類的代碼是怎麼實現的? Integer和String是一個類,i,s是對應的對象,對象的創建需要new出來(不討論反射),但是

原创 基於Socket簡單實現RPC

RPC簡單實現 RPC是什麼? RPC(Remote Procedure Call)遠程過程調用,所謂遠程調用,就是一個結點需要通過網絡通信來進行調用另一個結點。 RPC服務端如何搭建? 首先,你要客戶端能訪問到,

原创 tf.layers.batch_normalization()的使用

https://blog.csdn.net/computerme/article/details/80836060

原创 MySQL中的表鎖、行鎖、間隙鎖以及死鎖

1 Mysql鎖機制 表鎖:偏性MyISAM,開銷小加鎖塊,鎖定力度大,鎖衝突的概率最高; 行鎖:偏性InnoDB,開銷大但鎖衝突概率小; 間隙鎖:在可重複讀的隔離級別中存在,用於預防幻讀的出現。 1.1 MyISAM表鎖 當

原创 利用ffmpeg多進程抽幀

import os try: import cPickle except: import pickle from multiprocessing import Pool rootpath = "" # 存放視

原创 唯一索引or普通索引?阿里強制唯一索引?

唯一索引or普通索引?阿里強制唯一索引? 1、 唯一索引和普通索引區別 先談談兩者在查詢操作上的區別,假設我們對一張User表建立mobile字段的索引。 1. 查詢操作 若執行查詢語句select * from user whe

原创 JVM和併發編程總結

文章目錄1 JVM相關1.1 JVM內存結構1.2 Java內存模型(JMM)1.3 JVM垃圾回收算法1.3.1 哪些內存需要垃圾回收1.3.2 判斷對象存活算法1.3.3 GC root對象1.3.4 finalize方法1

原创 (採坑之)torch在網絡中自定義一個變量進行多GPU訓練

在torch中的卷積和全連接層等都可以調用nn.Conv2d、nn.Linear等函數解決,但最近需要在網絡中實現點乘,於是自定義了一個權重並進行訓練。之前一直在單塊GPU上沒遇到問題,今天在多塊GPU上訓練報錯如下: File

原创 將視頻隨機抽取n幀

import cv2 import PIL.Image as Image import random import numpy as np def mp4_loader(filepath, nsample, seglen, mo