原创 spark入門之scala學習筆記

之前的基本語法包括循環什麼的就不寫了,直接從定義函數開始。 一、定義函數 scala中定義函數需要定義函數的名字、參數和函數體。 第一個示例函數: def sayHello(name:String,age:Int) = { if

原创 spark學習

首先認識spark,不嚴格的講,spark是用來替代Hadoop架構中計算框架的 ,主要是用來優化替代mapreduce和hive中的部分功能   spark來替代hive的查詢引擎        

原创 命名實體識別conll 數據集

爲啥這種數據集還藏着掖着,花了1塊5,現在把資源分享出來 數據集詳情 鏈接:芝麻開門 密碼:i0nq  

原创 關於《Domain Adaptation with Adversarial Training and Graph Embeddings》的理解

使用對抗學習和圖像嵌入的域適應學習本文將基於對抗學習和圖像嵌入的域適應運用於危機狀態下的輿情分析,主要處理的前提是:源域有labeled的數據和unlabeled的數據,而目標域unlabeled。模型則包含基於域適應的對抗學習和基於圖像

原创 遷移學習(散亂知識)

  1.sess.run() 中的feed_dict: feed_dict的作用是給使用placeholder創建出來的tensor賦值     2.StratifiedShuffleSplit函數的使用    官方文檔  用法: f

原创 Trans 系列中 Mean rank、Hit@10個人理解

最近接觸了一些Trans系列的論文,其中的兩個評測指標 Mean rank、Hit@10看了半天沒弄清楚,網上查了查也查不到解釋,估計是大腿們沒想到還有人在這塊遇到障礙吧。 下面是自己的一些理解: 1.先說Mean rank 首先 對於每

原创 MySQL學習筆記

2018.1.25 一、主鍵的最好習慣: 1.不更新主鍵列中的值 2.不重用主鍵列的值 3.不在主鍵列中使用可能會更改的值。 二、不能部分使用DISTINCT DISTINCT關鍵字應用於所有列而不僅僅是前置它的列。如果給出SELECT

原创 機器學習實戰------決策樹

3.1決策樹的構造 3.1.1信息增益 面對機器學習boss二代目——決策樹,大多人應該不陌生,決策樹的一些基本概念就不表了,下面直接貼上計算數據集的香農熵的代碼: from math import log def calcShann

原创 《Unsupervised Domain Adaptation with Random Walks on Target Labelings》閱讀理解

《Unsupervised Domain Adaptation with Random Walks on Target Labelings》這篇文章用隨機漫步的方法來改進無監督域適應算法。 本文的摘要中寫道:“We cast domain

原创 機器學習實戰---------Logistic迴歸

看了半個禮拜的樸素貝葉斯,依然沒有理解,想想還是跳過先看邏輯迴歸吧。 前面巴拉巴拉的話就不說了,下面直接貼代碼。 5.2.2 訓練算法 from math import * from numpy import * import os o

原创 識花模型代碼理解

import os import numpy as np import tensorflow as tf from tensorflow_vgg import vgg16 from tensorflow_vgg import utils

原创 《Dropping Networks for Transfer Learning》結論

《Dropping Networks for Transfer Learning》這篇文章前面看了一小部分,綜合之前看過的論文,個人有個感覺就是真正的國外學者的英語確實更難一些(讀起來真的是費勁,筆者的渣渣英語水平被轟成渣)。 所以這裏具

原创 機器學習實戰----小問題彙總

第三章 決策樹繪製樹形圖,中文顯示亂碼解決方法:在treePlotter.py中添加:from pylab import * mpl.rcParams['font.sans-serif'] = ['SimHei']

原创 機器學習實戰------k-近鄰算法

使用了pycharm,和jupyter,均爲python3版本。 一、首先根據章節內容創建KNN模塊 在pycharm中編寫模塊: from numpy import * import operator def createData