原创 System 2 Attention：可以提高不同LLM問題的推理能力
推理正在成爲大型語言模型(llm)關注的下一個主要領域。儘管llm擁有先進的能力，但大多數llm經常被簡單的錯誤絆倒，顯示出他們在推理方面的侷限性。這些模型可能會被上下文中的不相關細節所誤導，或者受到輸入提示中的偏差的影響。而後一種傾向被稱
2023-12-10 13:05:30
原创 Matplotlib中的titles（標題）、labels（標籤）和legends（圖例）
Matplotlib是一個Python中常用的繪圖庫，用於創建各種類型的圖表。在Matplotlib中，你可以使用titles（標題）、labels（標籤）和legends（圖例）來增強你的圖表。本文討論Python的Matplotlib繪
2023-12-09 13:06:03
原创 https://avoid.overfit.cn/post/548ad625830a4645beba60a37a2b59d6
本文從數據科學家的角度來研究檢索增強生成(retrieve - augmented Generation, RAG)管道。討論潛在的“超參數”，這些參數都可以通過實驗來提高RAG管道的性能。與本文還將介紹可以應用的不同策略，這些策略雖然不是
2023-12-08 13:05:22
原创 2023年5個自動化EDA庫推薦
EDA或探索性數據分析是一項耗時的工作，但是由於EDA是不可避免的，所以Python出現了很多自動化庫來減少執行分析所需的時間。EDA的主要目標不是製作花哨的圖形或創建彩色的圖形，而是獲得對數據集的理解，並獲得對變量之間的分佈和相關性的初步
2023-12-07 13:07:05
原创 使用Python代碼識別股票價格圖表模式
在股票市場交易的動態環境中，技術和金融的融合催生了分析市場趨勢和預測未來價格走勢的先進方法。本文將使用Python進行股票模式識別。 from collections import defaultdict import numpy
2023-12-06 13:05:28
原创 使用Huggingface創建大語言模型RLHF訓練流程的完整教程
ChatGPT已經成爲家喻戶曉的名字，而大語言模型在ChatGPT刺激下也得到了快速發展，這使得我們可以基於這些技術來改進我們的業務。 但是大語言模型像所有機器/深度學習模型一樣，從數據中學習。因此也會有garbage in garbage
2023-12-05 13:05:41
原创 11月推薦閱讀的12篇大語言模型相關論文
現在已經是12月了，距離2024年只有一個月了，本文總結了11月的一些比較不錯的大語言模型相關論文 https://avoid.overfit.cn/post/ca7d20ae68dd4f54a69d7d2d5df51e8d
2023-12-04 13:06:25
原创 4個解決特定的任務的Pandas高效代碼
在本文中，我將分享4個在一行代碼中完成的Pandas操作。這些操作可以有效地解決特定的任務，並以一種好的方式給出結果。 https://avoid.overfit.cn/post/1e70db7ef5534ff0801316609a1
2023-12-03 13:11:20
原创 高斯混合模型:GMM和期望最大化算法的理論和代碼實現
高斯混合模型(gmm)是將數據表示爲高斯(正態)分佈的混合的統計模型。這些模型可用於識別數據集中的組，並捕獲數據分佈的複雜、多模態結構。 gmm可用於各種機器學習應用，包括聚類、密度估計和模式識別。 在本文中，將首先探討混合模型，重點是高斯
2023-12-02 13:05:09
原创 簡化版Transformer ：Simplifying Transformer Block論文詳解
在這篇文章中我將深入探討來自蘇黎世聯邦理工學院計算機科學系的Bobby He和Thomas Hofmann在他們的論文“Simplifying Transformer Blocks”中介紹的Transformer技術的進化步驟。這是自Tra
2023-12-01 13:05:00
原创 Pandas中選擇和過濾數據的終極指南
Python pandas庫提供了幾種選擇和過濾數據的方法，如loc、iloc、[]括號操作符、query、isin、between等等 本文將介紹使用pandas進行數據選擇和過濾的基本技術和函數。無論是需要提取特定的行或列，還是需要應用
2023-11-30 13:05:42
原创 使用Accelerate庫在多GPU上進行LLM推理
大型語言模型(llm)已經徹底改變了自然語言處理領域。隨着這些模型在規模和複雜性上的增長，推理的計算需求也顯著增加。爲了應對這一挑戰利用多個gpu變得至關重要。 所以本文將在多個gpu上並行執行推理，主要包括：Accelerate庫介紹，
2023-11-29 13:04:55
原创 PubMedBERT:生物醫學自然語言處理領域的特定預訓練模型
今年大語言模型的快速發展導致像BERT這樣的模型都可以稱作“小”模型了。Kaggle LLM比賽LLM Science Exam 的第四名就只用了deberta，這可以說是一個非常好的成績了。所以說在特定的領域或者需求中，大語言模型並不一定
2023-11-28 13:05:19
原创 三種常用的風險價值(VaR)計算方法總結
風險價值(VaR)是金融領域廣泛使用的風險度量，它量化了在特定時間範圍內和給定置信度水平下投資或投資組合的潛在損失。它提供了一個單一的數字，代表投資者在正常市場條件下可能經歷的最大損失。VaR是風險管理、投資組合優化和法規遵從的重要工具。
2023-11-28 13:05:19
原创 使用skforecast進行時間序列預測
時間序列預測是數據科學和商業分析中基於歷史數據預測未來價值的一項重要技術。它有着廣泛的應用，從需求規劃、銷售預測到計量經濟分析。由於Python的多功能性和專業庫的可用性，它已經成爲一種流行的預測編程語言。其中一個爲時間序列預測任務量身定製
2023-11-26 13:04:58