大数据开发公众号

原創 zhou12314456 2020-07-04 13:24

专注于大数据相关框架的总结和原理分析

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

数据挖掘、数据分析以及大数据之间的区别有哪些？

進入大數據時代，和數據相關的名詞都被人們津津樂道。那數據挖掘、數據分析以及大數據之間有哪些區別呢？數據挖掘是發現信息以及收集數據的過程；數據分析則是將現有數據進行歸納以及分析得出相應結論的過程。而大數據則更加關注數據本身，重要表現就是數據

juan333 2020-06-29 15:58:26

浅谈公司大数据平台的数据治理

近幾年大數據風生水起，隨着大數據業務的不斷開展，各大互聯網公司包括一些傳統企業都越老越重視數據價值的挖掘。 一、數據治理模型 在公司的日常運行中，各種數據分析和數據挖掘技術，爲公司發展決策和業務開展提供數據支持。以某互聯網公司爲例

清平の乐 2020-07-07 05:06:34

sql时间段取并集、合并

問題是計算通道的總開放時長，只要有任意一個終端開放通道就算開放，難點在於各種終端開放時間重疊包含。 三種思路： 1、先取排序後的第一條數據的時間段爲基準，然後兩兩比較，累加時間。 2、把兩兩時間串起來，有交集的時間段，直接取最小時間至最

SeanData 2020-07-06 15:56:16

Java归并排序（递归实现）

--遞歸實現 public class HelloWorld { public static void showArray(int[] array){ for(int i:array){

SeanData 2020-07-06 15:56:16

spark怎么分配资源

spark分配資源概述 爲啥要研究spark資源分配 spark中最基本和最有效率的優化方式就是給spark程序分配更多的資源，所以這次講如何更合適的給你的spark程序分配資源 spark分配資源主要調整哪一些資源 /home/zho

zhou12314456 2020-07-04 14:06:26

spark--使用MapPartitions

什麼是MapPartitions? 簡單的理解就是以分區爲單位的map函數，假如該分區有10000條數據，如果調用map函數的話，每次調用傳入一條數據，也就是需要調用10000次。但是如果調用MapPartitions函數的話，只需要調用

zhou12314456 2020-07-04 13:24:11

presto指标监控

概述 因爲presto自帶的web-ui界面侷限性比較多，所以最近準備通過分析presto的相關指標來搭建一個presto的監控平臺。主要用於presto基本信息的監控，性能信息的查詢，異常預警。所以該篇及接下來的這幾篇文章主要針對pre

zhou12314456 2020-07-04 13:24:11

presto使用及介绍

什麼是presto presto是一個開源的分佈式的查詢引擎，基於內存，它本身不接入數據，可以連接多種數據源，例如 Hive ,Mysql,Kafka,MongeDB等，一條Presto查詢可以將多個數據源進行合併查詢。 preto適合O

zhou12314456 2020-07-04 13:24:11

01-java基础

Java基礎語法 1、Java開發環境搭建 2、HelloWorld案例 3、註釋、關鍵字、標識符 4、數據（數據類型、常量） 01.java語言概述 A: java語言概述 a: Java是sun公司開發的一門編

Vanessa_wanglu 2020-07-02 16:53:08

centos7 无法联网可能的解决方案

如果出現無法聯網的問題 然後輸入 systemctl stop NetworkManagersystemctl disable NetworkManagerservice network restart

专注大数据开发 2020-06-30 08:23:34

将虚拟机本地csv文件导入hive

1、首先，先將windows系統下的csv文件上傳到虛擬機目錄中。我的是在/my_dbdata/下 2、啓動hive，我提前創建了一個名爲toutiao的hive業務數據庫。創建時使用的命令： create database i

鸡汤本汤 2020-06-29 07:09:24

centos7使用清华镜像安装miniconda3并且创建新的环境

1、鏡像下載安裝包 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh 如果之前沒有安裝過

鸡汤本汤 2020-06-29 07:09:24

yum安装mysql57

參考博客：博客1（安裝），博客2（密碼修改，以及安裝好之後安裝包刪除）

鸡汤本汤 2020-06-29 07:09:08

ERROR setFile(null,true) call failed.xxx hive.log (Permission denied)

借鑑博客 參考博客部分內容： 我的解決辦法和參考博客基本一致。切換用戶：su root

鸡汤本汤 2020-06-29 07:09:07

加载本地文件到Hive表出现NULL列的解决办法

舉例說明， 現有本地文件，每行兩列，內容如下： 0000000026310400        F 0000000029858520        F 0000000042620180        F 0000000044783820

du_qi 2020-06-27 11:48:37