原创 什麼是物聯網?常見IoT 物聯網協議最全講解

推薦語:這是一本從技術原理、工程實踐、設計模式和最佳實踐4個維度講解物聯網系統開發的著作,是作者10餘年實踐經驗的總結。 付強,某智慧社區企業的聯合創始人兼CTO,資深IoT技術專家,有10餘年從業經驗,專注於物聯網平臺和產品的設計與開發,

原创 淺談MaxCompute資源規劃管理及評估

一、MaxCompute資源規劃背景介紹 MaxCompute資源主要有兩類:存儲資源、計算資源(包含cpu和內存)。存儲資源用於存儲MaxCompute的庫表數據,計算資源用於運行sql、mr等任務。最佳的MaxCompute資源規劃方案

原创 數據湖 VS 數據倉庫之爭?阿里提出大數據架構新概念:湖倉一體

隨着近幾年數據湖概念的興起,業界對於數據倉庫和數據湖的對比甚至爭論就一直不斷。有人說數據湖是下一代大數據平臺,各大雲廠商也在紛紛的提出自己的數據湖解決方案,一些雲數倉產品也增加了和數據湖聯動的特性。但是數據倉庫和數據湖的區別到底是什麼,是技

原创 Serverless Spark的彈性利器 - EMR Shuffle Service

背景與動機 計算存儲分離下的剛需 計算存儲分離是雲原生的重要特徵。通常來講,計算是CPU密集型,存儲是IO密集型,他們對於硬件配置的需求是不同的。在傳統計算存儲混合的架構中,爲了兼顧計算和存儲,CPU和存儲設備都不能太差,因此犧牲了靈活性,

原创 【數據湖開發治理篇】——數據湖開發治理平臺DataWorks

數據湖的定義: wikipedia中對於數據湖的定義是:“A data lake is a system or repository of data stored in its natural/raw format, usually obj

原创 數據湖構建服務搭配Delta Lake玩轉CDC實時入湖

什麼是CDC Change Data Capture(CDC)用來跟蹤捕獲數據源的數據變化,並將這些變化同步到目標存儲(如數據湖或數據倉庫),用於數據備份或後續分析,同步過程可以是分鐘/小時/天等粒度,也可以是實時同步。CDC方案分爲侵入式

原创 雲原生計算引擎挑戰與解決方案

雲原生背景介紹與思考 圖一是基於ECS底座的EMR架構,這是一套非常完整的開源大數據生態,也是近10年來每個數字化企業必不可少的開源大數據解決方案。主要分爲以下幾層: ECS物理資源層,也就是Iaas層 數據接入層,例如實時的Kafka,

原创 多引擎集成挖掘湖上數據價值

數據湖已經逐步走到了精細化的管理,這意味着原始的計算引擎直接讀寫存儲的方式應當逐步演變爲使用標準方式讀寫數據湖存儲。然而“標準方式”實際上並無業界標準,與具體的計算引擎深度綁定,因此,支持計算引擎的豐富程度也就成了衡量數據湖的一個準則。 阿

原创 數據湖架構,爲什麼需要“湖加速”?

在開源大數據領域,存儲/計算分離已經成爲共識和標準做法,數據湖架構成爲大數據平臺的首要選擇。基於這一範式,大數據架構師需要考慮三件事情: 第一,選擇什麼樣的存儲系統做數據湖(湖存儲)? 第二,計算和存儲分離後,出現了性能瓶頸,計算如何

原创 JindoTable數據湖優化與查詢加速

概述 近幾年,數據湖架構的概念逐漸興起,很多企業都在嘗試構建數據湖。相比較大數據平臺,數據湖在數據治理方面提出了更高的要求。對於數據湖場景所提出的新需求,“傳統”的大數據工具在很多方面都面臨着新的挑戰。JindoTable 正是專爲解決數據

原创 用盡每一寸GPU,阿里雲cGPU容器技術白皮書重磅發佈!

背景 雲原生已經成爲業內雲服務的一個趨勢。在雲原生上支持異構計算,這個功能在標準的Docker上已經可以很好的支持了。爲了進一步提高GPU的利用率、避免算力浪費,需要在單個GPU上可以運行多個容器,並且在多個容器間隔離GPU應用,這在標準的

原创 程序員:寫作能收穫什麼?

你有寫作的習慣嗎?很多程序員的回答是:我爲什麼要寫作呢?很多人覺得寫作是一件有難度的事情,其實寫作的動機就藏在日常工作中,那些在醞釀中的奇思妙想,那些稍縱即逝的編程思路,那些金光閃閃的 debug 瞬間……都是寫作的素材。 輸出是最好的

原创 估值百億獨角獸愛學習教育集團:通過雲原生實踐與時間賽跑

作者:山獵 愛學習教育集團的前身爲高思教育,成立於2009年,以中小學課外培訓起家,曾經的定位是K12培訓機構;2014年,愛學習教育集團發力B端市場,目前在2B領域獲得了全國各地辦學機構的廣泛認可,由K12培訓機構升級爲K12教育供給

原创 2020雲棲大會首次“雲上見”

開欄語 未來經濟,數字優先。一場每年被奉爲科技界中最重要的年度科技大會——2020雲棲大會將於9月17日至18日在線上舉辦。 今年是“雲棲大會”第十二年,風起雲湧的數字經濟浪潮中,數字產業化、產業數字化、城市數字化在錢江兩岸加速融合。如

原创 10個微服務架構設計的最佳實踐

雲棲號資訊:【點擊查看更多行業資訊】在這裏您可以找到不同行業的第一手的上雲資訊,還在等什麼,快來! 微服務極大的改變了服務端引擎的架構方式。微服務不是一個單一的巨型的用來託管應用程序所有業務邏輯的代碼庫,而是反映了分佈式系統模型,在該模型