原创 再談Spark下寫S3文件的File Output Committer問題
在《聊一聊Spark寫文件的機制——如何保證數據一致性》一文中，我們分析了Spark寫文件的機制，探討了多個File Output Committer在性能與數據一致性上的權衡，以及針對AWS S3這樣的對象存儲的優化思路。文章結
2020-05-03 21:15:34
7
原创 Parquet的那些事（三）嵌套數據模型
在大數據系統中，我們總是不可避免的會遇到嵌套結構的數據。這是因爲，在很多場景下，嵌套數據結構能更好的表達數據內容與層級關係，因此很多數據源會採用這樣的結構來輸出數據。然而，相比關係型的結構化數據，這樣的數據並不利於高效查詢，因此在
2020-04-21 01:11:54
7
原创 Spark最佳實踐之如何有效分配資源
一個企業的大數據系統通常由三層構成：底層基礎設施、大數據平臺、數據智能化應用。隨着雲計算的發展，大多數中小型企業越來越依賴雲廠商提供的服務來構建自己的大數據平臺，而不再自己維護底層基礎設施。比如，我們公司目前主要使用AWS EMR
2020-03-29 09:11:59
7
原创 一個技術老兵的反思
今年是我工作的第八年。 在過去的七年裏，我先後從事過Windows PC端開發、移動前後端開發（全棧）、大數據系統研發。從2016年起，我開始逐步專注於大數據系統研發，我告訴身邊的朋友，我要在這個領域裏深耕了，他們紛紛爲我點贊，而
2020-03-18 09:19:48
1
原创 Parquet的那些事（一）
數據的接入、處理、存儲與查詢，是大數據系統不可或缺的四個環節。隨着數據量的增加，大家開始尋找一種高效的數據格式，來解決存儲與查詢環節的痛點。 高效的壓縮編碼，用於降低存儲成本 高效的讀取能力，用於支撐快速查詢 Parquet便
2020-03-09 02:29:02
36
原创 MFC總結（一）：MFC中文件操作、查找與選擇總結（1）
本文主要涉及以下幾個方面，均爲在MFC編程中較爲常用的：CFile操作、CArchive操作、如何選擇文件和文件夾、如何查找文件、獲取當前目錄、_access函數等。 (一）使用CFile類操作文件
2020-02-20 15:45:03
原创 在Windows Mobile 5中使用DirectShow控制攝像頭
說明： 在飛凌OK6410的開發包裏有一個攝像頭測試程序(WinCE6.0系統，Camera_App。是SDK下的例子)，估計很多人對這個源碼看得都不是很明白。本人在學習過程中找到了下文資料，可以說是對這個
2020-02-20 15:45:02
原创 MFC總結（一）：MFC中文件操作、查找與選擇總結（3）
（三）爲保存文件選擇路徑 A. 使用SHBrowseForFolder函數創建一個對話框，用於選擇路徑。其原型爲 LPITEMIDLIST SHBrowseForFolder(LPB
2020-02-20 15:45:01
原创 Windows線程同步與互斥技術總結
NOTE:轉自http://blog.csdn.net/benjiamen/article/details/1658328 1.1 線程同步概述 如果沒有同步對象和操作系統對特殊事件監視的能力，線程可能被迫使用有副作用的技術使自己
2020-02-20 15:45:01
原创 Windows CE6.0下使用IAMStreamConfig接口更改拍攝圖像的分辨率
我的開發環境：飛凌6410開發板，WinCE6.0操作系統，OV9650攝像頭，DirectShow編程，飛凌攝像頭測試程序Camera_App 在對飛凌OK6410開發板自帶的攝像頭測試程序進行修改後，
2020-02-20 15:45:01
原创 Wince6.0系統啓動後直接運行應用程序的實現與問題
最近在做項目程序的初始化配置，需要實現開機自啓動、程序初始化配置等等。在網上搜了下，要實現WINCE系統啓動後直接運行程序，有三種方法，這裏主要是結合我的實際經歷來闡述一下值得注意的一些問題。 1、不管是哪種方法
2020-02-20 15:45:01
原创 解決CListCtrl閃爍及水平滾動條不能跟蹤拖動的問題（MFC）
項目中用到一個界面如下圖所示，在View上有個CPropertySheet，其上有幾個CPropertyPage，每個屬性頁上有個CListCtrl，供用戶查看信息。由於CListCtrl中的信息每隔200ms就要刷新一次，
2020-02-20 15:45:01
原创 修改Eboot使OK6410A（128M內存+256MNand）支持HDMI高清顯示
之前一直使用OK6410A（256M內存+2GNand）（WinCE6.0系統），買了塊HDMI高清顯示，跟飛凌技術要了資料，按照所給的資料說明，對Eboot做了修改後，就可以正常使用HDMI高清顯示了。最近爲了節省幾十塊
2020-02-20 15:45:01
原创 探祕HDFS —— 發展歷史、核心概念、架構、工作機制 （上）
1 前言 幾周前，筆者做了一個與HDFS有關的技術分享，以知識普及爲目的，主要分享了Hadoop發展歷史、HDFS核心概念、整體架構、工作機制等內容。本文大部分內容來自於當時的Slides，分上下兩篇闡述。 HDFS，全稱
2019-09-04 13:33:58
原创 在Django下測試與調試REST API的方法詳解
今天小編就爲大家分享一篇在Django下測試與調試REST API的方法詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧 對於大多數研發人員來說，都期望能找到一個良好的測試/調試方法，來提高工作
2019-08-30 20:33:00
2