原创 __func__函數的使用

 __func__是C99標準裏面預定義標識符, 它是一個static const char[], 會在每一個使用__func__的函數裏隱式定義. 下面是ISO9899裏的例子 #include <stdio.h> void myf

原创 止 學

止 學 隋·文中子 智極則愚也。聖人不患智寡,患德之有失焉。 才高非智,智者弗顯也。位尊實危,智者不就也。大智知止,小智惟謀,智有窮而道無盡哉。 謀人者成於智,亦喪於智也。謀身者恃其智,亦舍其智。智有所缺,深存其敵,慎之少禍焉。

原创 哲學家進餐問題

產生背景 由荷蘭學者Dijkstra提出的哲學家進餐問題(The Dinning Philosophers Problem)是  經典的同步問題之一。哲學家進餐問題是一大類併發控制問題的典型例子,涉及信號 量機制、管程機制以及死鎖等操作

原创 Spark面試必備內容

最近很多球友都說在準備面試,不知道準備點啥,尤其是spark,實際上星球裏浪尖分享的內容真的都掌握了,應對一般面試絕對沒問題,但是遺憾的事情是很多人都是處於不會主動蒐集資料,主動梳理知識,主動記憶整理知識,而是伸手要糧的境地。浪尖覺得這個

原创 0.8.2kafka集羣配置

hadoop,spark,kafka交流羣:224209501 1,kafka配置 kafka官網的配置參數基本已經滿足大家的需求了。 # Replication configurations num.replica.fetchers=4

原创 軟件面試問答

1. 對於內存管理你有什麼看法?- 動態內存儘量誰申請誰釋放,分工明確。避免漏釋放和重複釋放。- 對於嵌入式系統,分析最常用的內存大小,優化內存池配置。- 申請到內存後首先初始化內容。- 保證指針變量初始化- 評估調用深度,避免棧溢出。-

原创 hadoopHA安裝部署測試

hadoop,spark,kafka交流羣:224209501 標籤(空格分隔): hadoop 本文主要完成以下內容: 1) HDFS HA(高可用性)原理(把握四大要點),最好自己作圖 2) 依據官方文檔及課程講解配置HDF

原创 sparkRDD操作

RDD介紹 標籤(空格分隔): spark hadoop,spark,kafka交流羣:224209501 RDD 操作 1,RDD五大特點: 1,A list of partions 一系列的分片:比如64M一個分片,類似於hado

原创 bootm命令中的地址參數,內核加載地址以及入口地址

bootm命令只能用來引導經過mkimage構建了鏡像頭的內核鏡像文件以及根文件鏡像,對於沒有用mkimage對內核進行處理的話,那直接把內核下載到連接腳本中指定的加載地址0x30008000再運行就行,內核會自解壓運行(不過內核運行需

原创 uboot想Linux內核傳遞參數

U-BOOT 在啓動內核時,會向內核傳遞一些參數.BootLoader 可以通過兩種方法傳遞參數給內核,一種是舊的參數結構方式(parameter_struct),主要是 2.6 之前的內核使用的方式。另外一種就是現在的 2.6內核在用

原创 zookeeper集羣的配置及使用

hadoop,spark,kafka交流羣:224209501 本節所講內容: 1) Zookeeper集羣幾個配置項 2) 如何啓動Zookeeper各個節點和查看節點狀態 3) Zookeeper 客戶端命令行連接及基本命令

原创 Hive 表數據 加載 、導出 、查詢

hadoop,spark,kafka交流羣:224209501 1) 使用 load方式加載數據到Hive表中,注意分區加載數據的特殊性 2) 如何保存 HiveQL查詢結果:保存到表中,保存到本地文件 (注意 指定 列 分隔符) 3

原创 HBase集羣搭建及hbaseshell使用

標籤(空格分隔): hbase 大數據 (Hadoop)數據庫 HBase功能 、表的設計 、環境配置與 Shell基本使用練習,最好與 RDBMS數據中的庫和表進行對比 ,以下幾點要注意 : 1) 企業中海量數據存儲和實時查詢的需求

原创 IDE的使用,打包spark應用提交

hadoop,spark,kafka交流羣:224209501 標籤(空格分隔): spark 1,首先啓動 cd /opt/modules/idea-IC-141.178.9/ bin/idea.sh 2,導入scala插件

原创 kafka與streaming集成兩種方式

hadoop,spark,kafka交流羣:224209501 標籤(空格分隔): spark 簡介 Apache Kafka是分佈式發佈-訂閱消息系統。它最初由Linkedln公司開發,之後成爲Apache項目的一部分。Kafka是一