原创 給redis配置密碼後,報錯:redis.exceptions.AuthenticationError: Client sent AUTH, but no password is set

  給redis配置密碼後,測試ping命令,報錯如下:     在redis.conf中添加了密碼,也重啓了多次服務,異常依然存在。最後發現,服務停止後,進程依然存在,使用kill -9 幹掉進程後重啓,服務正常。  

原创 Linux修改conda默認環境位置,引發故障及解決方案

  參考資料:服務器管理-Linux修改conda默認環境位置 - 知乎 (zhihu.com)   服務器home目錄過大,被管理員提示了,排查了磁盤佔用後,覺得將conda位置調整一下騰出的空間最大,就找到了參考資料改了conda的默認

原创 華爲OBS使用心得及配置OBS數據禁止下載

  近期參與了一個跟華爲數據交換的項目,簡單聊聊華爲的數據交換方案及使用心得。   先簡單說一下背景:數據交換旨在建立企業互信,消除數據孤島。行業數據都是各企業花費了大量精力整理得到的,一時間公開完全不可行。但是LLM的發展,基礎模型需要越

原创 Python 調用 ChatGPT API

  學習資料:openai/openai-python: The OpenAI Python library provides convenient access to the OpenAI API from applications wr

原创 Prompt-Engineering-Guide 學習摘要2

  高級提示方法:   學習資料:Prompt-Engineering-Guide/prompts-advanced-usage.md at main · dair-ai/Prompt-Engineering-Guide (github.c

原创 Prompt-Engineering-Guide 學習摘要1

  隨着人工智能的不斷髮展,近期ChatGPT的推出成功出圈,吸引了一大波注意力。提示工程(直譯)這一新興行業就走入人們眼簾,當然也可能馬上就被自動提示工程給淘汰掉。近期學習提示工程,學一下如何更好跟ai對話生成我們需要的內容。以下內容主要

原创 一次重構的踩坑記錄

  最初的要求是做一個加載數據模型、數據預測的可視化頁面,而且手裏已經又一個現成的頁面(類似百度翻譯)可以滿足展示輸入輸出結果,於是簡單寫了一個tornado的腳本就把功能給實現了。後來又來了三個模型,輸入輸出也是同樣的要求,內容處理也是雷

原创 關於paddleocr2.6 佈局分析的踩坑總結(一)

  8月24日paddleocr發佈了2.6.0,之前使用過2.5版本的佈局分析,整體比較好用。近期就嘗試了一下paddleocr的新版本,記錄一下嚐鮮經歷。2.6版本的公告中指出,佈局分析模型縮小了95%,同時速度提升了11倍,在cpu上

原创 關於tensor2tensor與tensorflow版本衝突的解決方案

  工作需要,研究了幾天的t2t,萬萬沒想到在虛擬環境的搭建方面出現了問題。        直接安裝t2t,當前是1.15.7版本,默認會安裝tensorflow的最新版本,最終會在執行t2t-trainer命令的時候報錯,錯誤信息可以很明

原创 基於PdfTranslate的docx文檔翻譯

  項目地址:https://gitee.com/Shanyalin/pdf-tranlate     項目名稱拼寫錯了,就先將錯就錯吧,懶得改動了。   由於需求擴展,要對docx文檔進行兼容,因此就在pdftranslate的基礎上進行

原创 用於pdf翻譯的PdfTranlate(總結篇)

  項目地址:https://gitee.com/Shanyalin/pdf-tranlate。   先說一聲抱歉,工作原因無法將所有代碼開源,但是到目前所有的處理思路及方案都會在本總結篇中說明。        1.關於版面分析      

原创 python代碼編譯總結-用於代碼加密

  基於一個自廢武功式的決定,服務需要做成標準件在客戶服務器上運行,因此調研了python代碼加密的相關內容。py的代碼混淆沒有被採用,而是採用cython編譯成二進制文件進而掩蓋源碼的方式對代碼加密。   準備工作:     1.安裝cy

原创 用於pdf翻譯的PdfTranlate(續2)

  項目地址:https://gitee.com/Shanyalin/pdf-tranlate。   關於機器學習部分的代碼沒有提交,也不會提交,會在此羅列相關的資料 ,避免我的經驗影響了讀者的理解。   接上一篇簡要介紹了機器學習來識別表

原创 用於pdf翻譯的PdfTranlate(續1)

  項目地址:https://gitee.com/Shanyalin/pdf-tranlate   上一篇博客的部分遺留問題,我需要在此明確一下。   單純使用pymupdf來解決pdf提取問題,是很困難的。比如表格,就是個很難繞過的問題。

原创 用於pdf翻譯的PdfTranlate

  項目地址:https://gitee.com/Shanyalin/pdf-tranlate     關於pdf翻譯,有以下幾個需要注意的點。   1.文本提取。從pdf中提取文本用於翻譯,在我們不清楚pdf格式的情況下,我們不能想當然的