原创 GYP(Generate Your Project)介紹

chromium代碼是通過GYP構建的,這是一個跨平臺的構建系統,針對不同的操作系統,生成不同的編譯工程文件。一個.gyp文件的目的是生成makefile、或者.sln工程文件。 一個典型的.gyp文件的框架是: { 'va

原创 gyp.main執行過程

接着上一篇分析,gyp_chromium文件的結尾調用gyp.main(args)。args包含chrome_src目錄下的所有supplement.gypi文件以及script_dir下的common.gypi和features_ove

原创 Jetson Nano Camera

gst-launch-1.0 nvarguscamerasrc ! 'video/x-raw(memory:NVMM),width=3820, height=2464, framerate=21/1, format=NV12' ! nv

原创 tensor2tensor項目中機器翻譯中的bug

在利用transformer模型訓練中英互譯模型時,自己實現了一個translate的problem,重新實現了generate_encoded_sample,並提供自己預處理後的vocab.en和vocab.zh。 tensor2ten

原创 用MeCab打造自己的分詞器(三)

如何增量訓練MeCab。 一、準備詞典和分詞後的語料。 詞典的格式在第一次初始訓練的時候已經講過,是csv格式,以逗號隔開。形式如: 1123項,0,0,0,0,0,0 義演,0,0,0,0,0,0 佳釀,0,0,0,0,0,0 沿街,0

原创 用MeCab打造自己的分詞器(二)

按照用MeCab打造自己的分詞器(一)操作,已經安裝好了MeCab。 接下來安裝指定方式組織語料、詞典和配置文件,打造自己的分詞系統。 利用backoff2005中微軟研究院的中文分詞語料來訓練一個簡單的分詞系統,逐步深入完成我們的總目標

原创 用MeCab打造自己的分詞器(一)

希望能打造滿足項目需要的分詞器,然後利用這個分詞器,來對收集的垂直領域語料進行分詞。在此基礎上訓練詞向量,供後續的功能使用。理想的需求是已有大量的語料可供訓練或者說轉換不那麼複雜,同時支持詞典添加和增量模型訓練兩種方式。 通過“我愛自然語

原创 樸素貝葉斯算法的關鍵點

樸素貝葉斯算法的關鍵點是特徵工程,即,決定哪些特徵作爲樣本點的特徵項,構造了一個特徵空間,讓所有樣本點映射到特徵空間中。然後,設計一個方法統計出每一特徵在對應類別下的概率分佈。最簡單的方法就是統計特徵出現的次數,除以類別的樣本數。如果是數

原创 牛二

【導讀】在牛二階段期間,股市的走強會伴隨着經濟的全面走強,兩者交相輝映。在牛一階段,市場看不到利好,在牛三階段,市場有個特徵:“看不到利空”,任何利空消息都像是一條擋在狂奔的瘋牛前的棉線。牛三的瘋狂,遠遠超出了現在所能看到的,而且會遠遠超

原创 安裝Nginx時遇到的pcre庫問題

在redhat4.4上安裝Nginx,提示說無法找到pcre庫,可能是庫的版本不對,無法識別。 由於誤操作,在沒有備份的時候,直接輸入命令 “rpm -e pcre –nodeps”,導致系統把/lib64目錄下的libpcre.so.

原创 什麼是函數

函數y=f(a)表示一系列數的運算規則(例如㏒(a)對變量a求對數)。而函數中的自變量(這裏用a表示),是運算過程中的佔位符,表明未來運算時,具體的數字應該存在的位置。同時,運算規則與數(a)的類型相關的,因此對自變量a應該有一個類型的約

原创 glibc版本問題

最近在搭建一個編譯環境,遇到很多系統版本不匹配的問題。這是開源軟件的一大硬傷。 /DemoService: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./

原创 Android系統利用tcpdump抓包

1、root機器   在用tcpdump抓包過程中,需要使用到root權限。  2、準備adb工具   ADB是Android手機開發包中自帶的Bug調試工具,使用這個工具可以非常方便的通過PC對Android機器進行調試,在本人使用過程

原创 Unicode編碼

在前面一篇博文中介紹了UTF-8編碼實現,並簡單介紹了Unicode編碼。它們之間的關係就是字符的抽象與實現的關係。在抽象的字符集中,每個字符通過唯一的code point碼位(一個整數,一般用十六進制)表示。但是在實際的存儲、傳輸過程

原创 Python變量作用域

變量的作用域整這麼複雜,而且都是隱含的表達。變量的作用域是程序員幾乎每行代碼都會涉及到的概念,定義的這麼隱晦。相比起來Java人性了許多,嚴肅了許多。