原创 Flink第一課：初入Flink(結構篇)
文章目錄1. Flink是什麼1.1處理無邊界和有邊界數據1.2 任何地方都可以部署Flink應用1.3 能夠以任何規模運行應用程序1.4 利用 In-Memory 性能2. 爲什麼要用Flink2.1 哪些行業需要處理流數據3.
2020-07-01 11:04:32
原创 尚硅谷Flink教程學習筆記（批處理wordcount）
B站視頻wordcount 入門踩個坑，先把idea和scala的源碼關聯好才能通過ctrl+鼠標點擊進入對應源碼，否則只會有簡單的函數顯示 首先創建好自己的maven項目，然後在src文件下新建一個文件夾叫scala並且標記爲源
2020-07-01 11:04:32
原创 linux命令中cd / 和 cd ~ 是什麼意思？
cd命令：切換當前目錄百至其它目錄，比如進入/etc目錄，則執行 cd /etc cd /: 在Linux 系統中斜槓“/”表示的是根目錄。cd / ,即進入根目錄. cd ~命令是，進入用戶在該系統的home目錄，例如xz用戶，
2020-07-01 11:04:32
原创 Linux的ll命令詳解
ll命令 ls列出文件列表 ls -l的簡寫，Ubuntu默認不支持命令ll，必須用 ls -l，這樣使用起來不是很方便。 如果要使用此命令，可以作如下修改： 打開 ~/.bashrc 找到 #alias ll=’ls -l’，去
2020-07-01 11:04:31
原创 Git Clone遇到的網絡訪問錯誤問題Failed connect to github.com:443
fatal: unable to access 'https://github.com/kimiyoung/transfer/': Failed connect to github.com:443 如果是新安裝的git沒有任何配
2020-07-01 11:04:31
原创 Hadoop的core-site.xml配置文件裏的fs.default.name和fs.defaultFS
在hadoop的配置文件 core-site.xml中，需要設置 fs.default.name 或 fs.defaultFS ，具體應該使用哪一個，會造什麼樣的錯誤，需要在實際操作中去驗證。官網有下面這段描述 原文 中文
2020-07-01 11:04:31
原创 Linux創建多個虛擬機來配置Hadoop集羣環境（一）
這裏大概寫一下我本人的配置流程 centos就是最基本的帶一個jdk的配置，然後（我用的鏈接克隆）克隆虛擬機然後修改ip地址，修改IP地址自己用（在centos下）ip a或者ip addr查看一下對應網卡的ip地址，我的虛擬機
2020-05-27 00:00:40
原创 Linux創建多個虛擬機來配置Hadoop集羣環境（二）
查看hadoop的解壓縮目錄結構 bin 可執行二進制腳本文件 etc/hadoop目錄 hadoop系統配置文件所在目錄 hadoop-env.sh 配置環境 core-site.xml 配置hdfs集羣核心配置 hdfs-s
2020-05-27 00:00:40
原创 python的zip()方法
zip(*iterables) 創建一個聚合了來自每個可迭代對象中的元素的迭代器。 返回一個元組的迭代器，其中的第 i 個元組包含來自每個參數序列或可迭代對象的第 i 個元素。 當所輸入可迭代對象中最短的一個被耗盡時，迭代器將停
2020-05-27 00:00:40
原创 Linux學習筆記 --- chown命令
在centos7下輸入chown --help出來以下信息，解析一下： Usage: chown [OPTION]… [OWNER][:[GROUP]] FILE… or: chown [OPTION]… --reference
2020-05-27 00:00:40
原创 Hinge損失函數簡介
Hinge損失函數 函數max(0，1−t)max(0， 1-t)max(0，1−t)被稱爲hingehingehinge損失函數（如下圖所示）。當 t≥1t\geq1t≥1 時，函數等於 000。 t<1t<1t<1，導數（斜率
2020-05-27 00:00:40
原创 尚硅谷Flink教程學習筆記（部署提交）
課程地址 先來分析一下文件flink-1.10.0-bin-scala_2.11.tgz 解壓之後是這樣的： conf文件夾下存儲了flink的所有配置文件： 打開flink-conf.yaml分析一下 ##########
2020-05-27 00:00:40
原创 python字典：dict的方法的使用以及代碼舉例
字典可以通過將以逗號分隔的 鍵: 值 對列表包含於花括號之內來創建，例如: {‘jack’: 4098, ‘sjoerd’: 4127} 或 {4098: ‘jack’, 4127: ‘sjoerd’}，也可以通過 dict 構造
2020-05-27 00:00:40