LLM開發者必讀論文：檢索增強（RAG）生成技術綜述！
目錄：
- 1、動手實戰人工智能 Hands-on Al
- 2、huggingface的NLP、深度強化學習、語音課
- 3、Awesome Jupyter
- 4、計算機科學熱門論文
- 5、LLM開發者必讀論文:檢索增強 (RAG) 生成技術綜述
- 6、Apple 公佈了多模態大型語言模型 Ferret
- 7、免費的基於ChatGPT API的安卓端語音助手
- 8、每日數學
- 9、WhisperLive:接近實時的 Whisper 實現
- 10、Unsloth：大模型訓練速度和效率加速工具
- 11、最後推薦三個AI工具
1、動手實戰人工智能 Hands-on AI
地址：https://ai.huhuhang.com/intro
這個《動手實戰人工智能 Hands-on AI》寫的相當不錯，作者用 Jupyter Notebook編寫了這個教程，參考了《機器學習方法》，《深度學習入門》，西瓜書，花花書等，剖析和推導每一個基礎算法的原理，將數學過程寫出來了，同時基於 Python 代碼對公式進行實現，做到公式和代碼的一一對應。
我把章節簡單整理成了這個思維導圖，大家可以結合自身情況，挑選感興趣的章節閱讀。
2、huggingface的NLP、深度強化學習、語音課
地址：https://huggingface.co/learn
HuggingFace開放了NLP、深度強化學習、基於transformer的語音框架三門課，看了每一課的結構，比較偏實踐，蠻不錯的。
我最近對語音比較感興趣，加上正在學點前端，所以就把語音課拿出來，做了個文檔型網頁，準備一邊學，一邊翻譯。
感興趣的同學可以一起翻譯：https://hf-audio.zhanglearning.com/
3、Awesome Jupyter
地址：https://github.com/markusschanta/awesome-jupyter
這個項目收錄了精選的Jupyter項目、庫和資源列表，已經更新了很多年，我比較喜歡可視化部分，認識了很多好玩的庫。
4、計算機科學熱門論文
地址：https://trendingpapers.com/
trendingpapers這個網站每日更新計算機科學最新、最火的論文，分門別類，查找起來非常方便。打開感興趣的論文，可以直接跳轉到arxiv查看pdf，也可以點擊Find similar找到該方向類似的論文。
5、LLM開發者必讀論文：檢索增強（RAG）生成技術綜述
論文：https://arxiv.org/abs/2312.10997
檢索增強利用外部知識庫來豐富大語言模型的上下文並生成答案，從而提升了答案的準確度。論文深入探討並梳理了檢索增強型生成（ RAG）技術，非常全面。RAG是LLM領域最火爆的方向了，我在公衆號中曾推薦過吳恩達老師最近的一個短課：吳恩達最新短課，構建和評估高級 RAG 應用程序，附中英字幕，感興趣想要學習RAG，這個短課，建議作爲首選。
6、 Apple 公佈了多模態大型語言模型 Ferret
地址：github.com/apple/ml-ferret
蘋果最新公佈的 Ferret 是一種新的多模態大型語言模型（MLLM)，能夠理解圖像中任何形狀或粒度的空間參考，並準確地理解詞彙描述。
蘋果開源了訓練、微調、模型代碼和模型權重：https://github.com/apple/ml-ferret/
可以下載、安裝後一個命令運行gradio前端
python -m ferret.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload --add_region_feature
7、免費的基於ChatGPT API的安卓端語音助手
地址：https://github.com/Skythinker616/gpt-assistant-android
這個項目是免費的、基於ChatGPT API的安卓端語音助手，可通過音量鍵喚起並進行語音交流，支持聯網、Vision拍照識圖、連續對話、提問模板、3.5/4.0接口、Markdown渲染等功能
8、每日數學
地址：https://www.theoremoftheday.org/
這個網站每天更新一個數學定理（或引理、法則、公式或恆等式），每一個都足以裝飾數學殿堂的牆壁。
每個定理都被設計得儘可能讓廣大觀衆能夠欣賞，如果某個定理的表述看起來難以理解，可以繼續查看附帶的圖形解釋、巧妙的動畫。
9、WhisperLive：接近實時的 OpenAI Whisper 實現
地址：https://github.com/collabora/WhisperLive
這個項目是一個實時轉錄應用程序，它使用 OpenAI Whisper 模型將語音輸入（來自麥克風的現場音頻輸入 or預先錄製的音頻文件 ）轉換爲文本輸出。
10、Unsloth
地址：https://github.com/unslothai/unsloth
訓練大語言模型往往會消耗大量算力和時間，Unsloth開源的這個項目可以加快訓練速度和效率。
- 支持 Llama 7b、13b、70b、CodeLlama 34b、Mistral 7b、TinyLlama 以及所有 Llama 架構！
- Llama 7b Colab T4 實例在 1 T4 上比原來快 2 倍，使用的 VRAM 減少了 43%（8.4GB）LAION 數據集。Alpaca T4 實例在 1 T4 上也是快了 2 倍，使用了 6.4GB VRAM。
- Mistral 7b Colab A100 實例在 1 A100 上快了 2.2 倍，使用的 VRAM 減少了 62%（12.4GB）。Colab T4 實例
- CodeLlama 34b Colab 實例不會出現 OOM，速度提升了 1.9 倍，使用的 VRAM 減少了 32%（27GB）。
- Kaggle 上使用 2 Tesla T4 的 Alpaca 訓練速度提高了 5.28 倍。Kaggle 實例
- 所有內核均使用 OpenAI 的 Triton 語言編寫。
- 準確率無損失 - 沒有使用近似方法 - 全部精確。
- 無需更換硬件。支持自 2018 年以來的 NVIDIA GPU。最低 CUDA 計算能力 7.0（V100、T4、Titan V、RTX 20、30、40x、A100、H100、L40 等）檢查您的 GPU
- 在 Linux 和 Windows 通過 WSL 上運行。
- 實驗性支持 DPO（直接偏好優化）！
- 支持通過 bitsandbytes 進行 4bit 和 16bit QLoRA / LoRA 微調。
- 開源版本的訓練速度提高了 5 倍，或者您可以查看 Unsloth Pro 和 Max 代碼路徑，以獲得高達 30 倍的訓練速度提升！
11、最後推薦三個AI工具
PIA：照片轉動漫風格工具，可線上試用
地址：https://huggingface.co/spaces/Leoxing/PIA
帶web界面的聲音克隆工具
地址：https://github.com/jianchang512/clone-voice
cloudflare-ai-web
地址：https://github.com/Jazee6/cloudflare-ai-web
支持GeminiPro Vision / Cloudflare Workers AI / ChatGPT的融合Web平臺
