原创 openai的api使用教程
import openai import time import os from multiprocessing import Pool, cpu_count from tqdm import tqdm openai.api_key =
2023-05-18 13:40:24
原创 prompt learning如何計算損失的
在prompt learning中,對於一個類別的多個候選詞,損失函數通常會計算所有詞的logit和,並與真實標籤作比較。以情感分類爲例: 假設正面類別有兩個候選詞:“positive”和“optimistic”。負面類別有兩個候選詞:“
2023-05-08 13:40:44
原创 zeRO-Offload代碼實踐
https://mp.weixin.qq.com/s/VOgNPEcDhmhMuDdy_HL0BA from deepspeed.ops.zero_offload import FP16ZeROOffloadEngine # Initia
2023-03-24 13:42:03
原创 pairwise損失_triplet損失_提升精排模型的trick
01標籤 import torch import torch.nn as nn # 輸入x是一個二維張量，每一行表示一個樣本的分數，每一列表示一個特徵或維度 x = torch.tensor([[0.5, 0.7], [0.9, 0.8]
2023-03-13 13:40:41
原创 筆記_提升性能的損失_有用_pytorch
Focal loss class Focal_loss(nn.Module): def __init__(self, alpha=0.25, gamma=2, num_classes = 3, size_average=True):
2023-03-03 13:42:15
原创 藉助chatgpt學習對比學習中的疑惑
使用pytorch得到對比學習的正負樣本，要求是NLP方向，正樣本通過dropout(0.1)得到，負樣本使用batch內其他樣本。同時，幫我用pytorch實現他們的對比學習損失，用simcse的損失 以下是使用 PyTorch 得到
2023-02-27 13:41:28
原创 C++STL六大部件
六大部件 容器結構分類 序列式容器 Array Vector Deque List FOrward-list 關聯式容器 有序容器 Set/Multiset Map/Multimap 不定序容器 Unordered
2022-11-29 13:40:37
原创 Pytorch在訓練時凍結某些層使其不參與反向傳播
筆記摘抄：https://blog.csdn.net/qq_36429555/article/details/118547133 定義網絡 # 定義一個簡單的網絡 class net(nn.Module): def __init__
2022-11-22 13:40:33
原创 c++可執行文件產生過程
https://blog.csdn.net/qq_34799070/article/details/125472381 #ifndef TEST #define TEST #include <iostream> using names
2022-09-29 13:40:34
原创 指針數組和指向數組的指針_常量指針和指向常量的指針
int *const p：常量指針，指向不能變，可以解引用修改值； const int *p: 指向常量的指針，指向能變，不可以解引用修改修改值，但是可以通過修改指向的變量，進行改變。 int* p1[5]: 指針數組，數組包含5個元素，每
2022-08-29 13:52:51
原创 淮安美食整理
整理自：https://www.zhihu.com/question/21445949 紅燒獅子頭：獅子頭大家應該都知道，是用雞湯燒的。鮮嫩多汁，而且全是肉！ 軟兜長魚：是鱔魚。嫩嫩的，滑滑的。配菜就是酸瓣。一點都不腥、不膩（一定要
2022-08-29 13:52:51
原创 【集成學習】boosting和bagging
視頻鏈接 思想 Boosting和Bagging Boosting Adaboost 算法流程 (分類誤差率小的時候，\(\alpha_{m}\)：權重就更大) (\(Z{m-1}\)相當於一個歸一化過程，規範化因子)
2022-08-29 13:52:51
原创 labelme標準數據並摳圖
import json import numpy as np from labelme import utils import cv2 import os def create_file(file): if not os.p
2022-08-08 13:42:08
原创 面試題_數學相關
470. 用 Rand7() 實現 Rand10() 給定方法 rand7 可生成 [1,7] 範圍內的均勻隨機整數，試寫一個方法 rand10 生成 [1,10] 範圍內的均勻隨機整數。 你只能調用 rand7() 且不能調用其他方法。請
2022-08-08 13:42:08