原创 pandas 數據處理 一些常用操作

  讀取csv文件，打印列名稱： import pandas as pd # data = pd.read_csv("guba_fc_result_20230413.csv") data = pd.read_csv("guba_all

2023-05-16 13:07:32

原创 python 多進程jieba分詞，高效分詞，multiprocessing

  自然語言任務經常使用jieba分詞，數據量大時怎麼加速，jieba分詞不支持使用asyncio異步加速，使用multiprocessing還是可以的 import jieba import jieba.analyse import m

2023-05-12 13:07:35

原创 python異步字符串查找，asyncio和marisa_trie

  自然語言處理當中經常需要字符串的查找操作，比如通過查找返回字串在文本當中的位置，比如通過匹配實現的ner import pandas as pd import asyncio # data = pd.read_csv("guba_f

2023-05-12 13:07:35

原创 python異步正則字符串替換，asyncio異步正則字符串替換re

  自然語言處理經常使用re正則模塊進行字符串替換，但是文本數量特別大的時候，需要跑很久，這就需要使用asyncio異步加速處理 import pandas as pd import re import asyncio data = p

2023-05-12 13:07:35

原创 (一)pyahocorasick和marisa_trie，字符串快速查找的python包，自然語言處理，命名實體識別可用的高效包

Pyahocorasick Pyahocorasick是一個基於AC自動機算法的字符串匹配工具。它可以用於快速查找多個短字符串在一個長字符串中的所有出現位置。Pyahocorasick可以在構建狀態機時使用多線程，從而大大加快構建速度。 安

2023-04-27 13:07:33

原创 (一)asyncio的基本使用框架，python高效處理數據，asyncio.gather(),asyncio. create_task(),asyncio.run(main())

asyncio 是 Python 3.4 引入的標準庫，是一個基於事件循環的異步 I/O 併發庫。它提供了一種協作式的多任務處理方式，使得我們能夠在一個線程中併發處理多個 I/O 操作。它通過將 I/O 操作轉化爲異步的非阻塞調用，從而實現

2023-04-27 13:07:33

原创 pid循跡小車的實現，arduino

幫我寫一個Arduino循跡小車的程序，小車前面有並列8個紅外發射接收傳感器，每個紅外發射接收傳感器爲1cm寬，地面循跡的線是大約2cm寬黑色的線，地面其他位置是白色的，要求循跡小車運行的速度快，使用pid算法控制速度實現精準的轉向   首

2023-04-26 13:07:34

原创 pid算法函數實現，c語言版

  #include <stdio.h> float pid(float setpoint, float process_variable, float kp, float ki, float kd, float dt, float*

2023-04-26 13:07:34

原创 使用pycuda替換字符串，使用cuda替換字符串

寫一個python的cuda程序，實現字符串列表的字符串替換，把所有的123替換成xinyuuliu   以下是一個簡單的 Python CUDA 代碼示例，用於實現字符串列表的字符串替換。它使用了 NVIDIA CUDA 編程模型的一些基

2023-04-26 13:07:34

原创 python 快速替換csv數據集字符串列表中的表情符號爲空，asyncio，re，pandas

  傳統的字符串列表替換字符串使用遍歷非常慢 比如下面這段代碼，如果處理幾十萬或上百萬的數據集時，會非常的慢，幾小時幾天都可能 import re p = re.compile(u'['u'\U0001F300-\U0001F64F' u

2023-04-26 13:07:34 2

原创 python flashtext字符串快速替換，自然語言處理加速

在自然語言處理當中，經常對數據集進行一些數據字符的替換，表情的替換，以便在tokenizer的時候不被識別成[unk],造成信息的缺失 常規方法使用python自帶的replace方法實現，但數據量很大時，效率顯得低了 比如下面的代碼，處理

2023-04-13 13:07:32

原创 K210,yolo，face_mask口罩檢測模型訓練及其在K210，kd233上部署

前段時間考研，再加上工作，時間很緊，一直沒有更新博客，這幾天在搞k210的目標檢測模型，做個記錄，遇到問題可以添加qq522414928或添加微信13473465975，共同學習   首先附上github地址，本人自己改的，絕對好用，只要有

2022-01-11 13:08:52

原创 few-shot-learning for object detection

github  https://github.com/LiuXinyu12378/few-shot-learning-for-object-detection train.py from __future__ import print_f

2021-05-29 12:50:56

原创 wordcloud 詞雲Python

from wordcloud import WordCloud import matplotlib.pyplot as plt def get_word_cloud(words_list): #首先實例化詞雲類對象，裏面三個參數

2021-04-17 12:50:56

原创 asyncio async和await列表推導式實現異步高併發執行

import asyncio import random import time # 需求:有一個crontab調度器，每隔1秒，拉起1個job，要求這些job可以併發爬取網頁 async def cron_scheduler():

2021-04-13 12:50:52 1