原创 翻譯:理解特徵工程(2)-分類數據

理解特徵工程(Part 2) - 分類數據 Introduction(引言) 我們在本系列的前一篇文章中介紹了處理結構化連續數值數據的各種特徵工程策略。 在本文中,我們將研究另一種類型的結構化數據,它本質上是離散的,通常被稱爲分類

原创 翻譯:理解特徵工程(1)-連續數值數據

理解特徵工程Part1-連續數值數據,讀英文原文Understanding Feature Engineering (Part 1) — Continuous Numeric Data,用中文記錄一些關鍵點。 總述 典型的機器學習

原创 翻譯:理解特徵工程(3)-文本數據的傳統方法

本章作者系列文章第三篇,主要講的是處理文本數據的特徵傳統方法,參見英文原文Understanding Feature Engineering (Part 3) — Traditional Methods for Text Data

原创 spark點點滴滴 —— 認識spark sql的DataFrame和DataSet

概述 spark的DataFrames和DataSets是spark SQL中的關鍵概念,相比於RDD,DataFrame更能描述數據類型,因此是spark sql的基礎類型,同時在spark 2.0.x及其以後的版本中,spar

原创 【轉】五分鐘理解一致性哈希算法(consistent hashing)

轉載請說明出處:http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工學院提出的一種分佈式哈希(DHT)實現算法,設計目標是爲了解決因特網中

原创 【轉】圖說C++對象模型:對象內存佈局詳解

前言 文章較長,而且內容相對來說比較枯燥,希望對C++對象的內存佈局、虛表指針、虛基類指針等有深入瞭解的朋友可以慢慢看。 本文的結論都在VS2013上得到驗證。不同的編譯器在內存佈局的細節上可能有所不同。 文章如果有解釋不清、

原创 【轉】C++ 引用計數技術及智能指針的簡單實現

一直以來都對智能指針一知半解,看C++Primer中也講的不夠清晰明白(大概是我功力不夠吧)。最近花了點時間認真看了智能指針,特地來寫這篇文章。 智能指針是什麼 簡單來說,智能指針是一個類,它對普通指針進行封裝,使智能指針類對象具

原创 tensorflow - 創建用戶自定義Estimators

tf官網創建用戶自定義estimator 1.Pre-made vs. custom(預定義和自定義) 如下圖所示,預定義的Estimator是tf.estimator.Estimator類的子類,而自定義Estimators是tf.

原创 如何在使用TensorFlow Estimator API時自定義分佈式訓練

TensorFlow’s Estimator API provides an easy, high-level API to train machine learning models. You can use the train()

原创 分佈式tensorflow中變量和graph如何分配

Distributed TensorFlow allows us to share parts of a TensorFlow graph between multiple processes, possibly each on a

原创 distributed tensorflow - tensorflow dev summit 2017

整理自tensorflow dev summit 2017- distributed tensorflow-YouTube視頻,文字來自於英文字幕。 如何利用低級別API實現使用分佈式tensorflow。 目標 1)模型的repli

原创 分佈式TensorFlow - 基於keras和kubernetes的分佈式tensorflow訓練

(TensorFlow @ O’Reilly AI Conference, San Francisco '18) 整理自google tensorflow2018年9月參加的TensorFlow @ O’Reilly AI Confe

原创 分佈式深度學習技術-AllReduce

(如果只想瞭解核心思想,只需要關注紅色字體部分即可瞭解AllReduce和Ring-AllReduce算法的核心思想) Hello, I am Yuichiro Ueno. I participated in a summer int

原创 分佈式深度學習part1:神經網絡的分佈式訓練

這篇文章是關於神經網絡分佈式訓練的三部系列文章中的第一篇。 在第1部中,我們將瞭解如何通過GPU上的分佈式計算顯著地加速深度學習模型的訓練,並討論一些挑戰並調查當前關於該主題的研究。 我們還將考慮神經網絡的分佈式訓練是否適用於特定用例

原创 tensorflow的架構

tensorflow設計用於支持大規模分佈式訓練和預測,同時也足夠靈活支持新模型和系統級優化。 tensorflow是一種跨平臺庫,不同級別的用戶級別代碼(python c++ client)通過C API和核心的運行代碼隔離。 說