原创 keras入門--常用層和函數

參考資料 keras英文文檔https://keras.io/ keras中文文檔http://keras-cn.readthedocs.io/en/latest/ Input層 keras.engine.topology.Input(

原创 keras for attention

keras還沒有官方實現attention機制,有些attention的個人實現,在mnist數據集上做了下實驗。模型是雙向lstm+attention+dropout,話說雙向lstm本身就很強大了。 參考鏈接:https://git

原创 linux命令之sed

sed命令 sed命令可以將一個文件中的若干行內容顯示出來,也可以將這些內容輸出到指定文件中去,在處理大文件中可以用的到。 如: sed -n ‘200000,250000p’ train.zh >>zh_4.txt 將train.

原创 numpy計算兩二維數組距離

利用numpy可以很方便的計算兩個二維數組之間的距離。二維數組之間的距離定義爲:X的維度爲(a,c),Y的維度爲(b,c),Z爲X到Y的距離數組,維度爲(a,b)。且Z[0,0]是X[0]到Y[0]的距離。Z(m,n)爲X[m]到Y[n]

原创 排序算法小結(python 實現)

1 直接插入排序 #每次將一個待排元素按照其大小排到合適的位置 def insertsort(value): n = len(value) for i in range(1,n): temp = value

原创 Python爬取噹噹網亞馬遜書名

環境win10,python 只爬取了書的名字,留個紀念。 # -*- coding: utf-8 -*- import requests import re import sys import random reload(sy

原创 python3調用百度翻譯接口樣例

baidu開放的翻譯接口http://api.fanyi.baidu.com/api/trans/product/apidoc支持每月200萬字的免費翻譯,提供了各種語言的使用demo。python語言的demo是2版本的,稍作修改在py

原创 字符級別word2vec

論文《End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF》在做詞性標註任務的時候,提到了對字符進行編碼,用卷積神經網絡編碼字符級別信息。 實驗中提到字符級別的em

原创 php調用python程序以及下載文件功能

今天試了下windows下用php調用python的程序。 環境:win10,python3+,Wampserver32 $str = shell_exec ("C:/Users/***/Anaconda3/python C:/wamp

原创 Python爬取高清圖片

坑了這麼久,現在填上。 環境win10,python 之前爬過一些圖片的網站:https://images.pexels.com和https://unsplash.com,根據網上找的一些資料和自己看的,現在貼出代碼。 import

原创 國內可用語料庫

(一) 國家語委 1國家語委現代漢語語料庫http://www.cncorpus.org/ 現代漢語通用平衡語料庫現在重新開放網絡查詢了。重開後的在線檢索速度更快,功能更強,同時提供檢索結果下載。現代漢語語料庫在線提供免費檢索的語料約

原创 從無到有RNN

這段時間看了一些關於循環神經網絡的資料,也瞭解了一些框架中對RNN的封裝。覺得還是要在非深度學習框架下用最直接的方式過一遍RNN的例子才能更好地理解RNN和其中用到的一系列算法(bptt,sgd,adam等)這篇博客主要結合一個簡單的例子

原创 Elasticsearch入門2 導入導出數據

將數據導入導出elasticsearch,對elasticsearch進行查詢是常用操作。python特供很方便的接口,對數據進行導入導出。 參考博客 python批量導入數據進Elasticsearch http://blog.csdn

原创 python開發常用命令小結

一些常用命令總忘,記錄下來,用的時候可以查看。 conda命令 安裝了conda後可以用 conda list 查看安裝的包 conda env list 查看有哪些虛擬環境 conda -V 查看conda的版本 co

原创 python3打開pkl文件

python3中帶有pickle包對pkl文件進行操作。 打開帶有中文的pkl文件或者其他字符的文件不能用默認的ascii格式打開,需要指定編碼格式: import pickle # f = open('dict_word.pkl',