原创 hadoop 使用 -- spring-data-hadoop
spring是java開發者比較熟悉的框架，準備使用spring-data-hadoop爲hadoop開發定製一個框架，方便後續開發人員能快速熟悉開發框架 hadoop下載地址(含各版本)： http://mirrors.cnnic.c
2020-06-28 04:06:17
原创 大數據－hadoop 安裝 spark前奏
單節點安裝 開發Hadoop需要的基本軟件 vmware vmware安裝ubuntu 12虛擬機配置： 開啓root用戶： sudo -s sudo passwd root 詳細參考： http://blog.csdn.net
2020-06-28 04:06:17
原创 hadoop-2.6集羣安裝
基礎環境 sshd配置 目錄：/root/.ssh 整個配置就四個shell 1. 每臺機器操作一次 ssh-keygen -t rsa 生成ssh密鑰，生成的文件如下： id_rsa id_r
2020-06-28 04:06:17
原创 可恨的ORA-01034
虛擬機linux 6系統新裝的oracle 11g,裝好測試就報 ERROR at line 1: ORA-01034: ORACLE not available Process ID: 0 Session ID: 0 Serial nu
2020-06-28 04:06:17
原创 hadoop實實的體驗--安裝
hadoop集羣時注意環境保持一致,目錄結構. 1.1.1 所需工具 Redhat Enterprise Linux 6.3 hadoop 1.2.1 jdk 1.6 + 1.1.2 配置系統IP 這裏推薦靜態ip(static)
2020-06-28 04:06:17
原创 hadoop實實的體驗 hdfs讀寫
有人稱hdfs存儲過程,我不寫習慣,容易聯想到oracle存儲過程, hdfs以塊(block)爲單位,每塊64MB 檢查block: hadoop fsck / -files -blocks 命令行接口: had
2020-06-28 04:06:17
原创 ssh無密碼登陸終極解釋
目錄：/root/.ssh 整個配置就四個shell 1. 每臺機器操作一次 ssh-keygen -t rsa 生成ssh密鑰，生成的文件如下： id_rsa id_rsa.pub .pub爲公鑰，沒有
2020-06-28 04:06:17
原创 hadoop實實的體驗--hello -wordcount
1. wordcount是hadoop的示例程序 hadoop fs -ls / #可以看到集羣的文件目錄 hadoop fs -mkdir dzg_data_fod 新建一個集羣的文件
2020-06-28 04:06:17
原创 hadoop單元測試
測試插件下載地址： archive.cloudera.com/cdh/2/hadoop-0.20.1+169.127.tar.gz 整理中 待續... 點贊 收藏 分享 文章舉報
2020-02-20 18:26:06
原创 搭建spark開發環境
1.1 搭建和設置IDEA開發環境 ide: Intellij idea 路徑：/usr/local/idea idea各版本下載地址： https://confluence.jetbrains.com/display/I
2020-02-20 18:25:56
原创 Maven管理Oracle10g和Oracle11g驅動包
[原]Maven管理Oracle10g和Oracle11g驅動包 2014-7-31閱讀315 評論0 Maven管理Oracle10g和Oracle11g驅動包 一、Oracle10g和Oracle11g驅動包的下載： 如果本地沒有安
2020-02-20 18:25:56
原创 git 版本管理
待續…… 整理中…… 點贊 收藏 分享 文章舉報 flash8627 發佈了158 篇原創文章 · 獲贊 40 · 訪問量 40萬+ 他的留言板
2020-02-20 18:25:56
原创 linux 6.6 vsftpd 配置
ftp 配置 我這裏主要是要上傳工具方便，並不是要做專業的 ftp服務器，所以我只使用root用戶登陸上傳，root用戶只需要把ftp屏蔽的用戶列表去掉root，打開防火牆，關閉selinux即可. 在以下文件一般第一行就是root
2020-02-20 18:25:56