PGConf US 2018 Day3 速報

這裏寫圖片描述

PGConf US 2018在今天舉行了會議開幕式,PGConf聯合主席Jim Mlodgenski宣佈會議開始。在開幕式上,聯合主席Joshua D.Drake在對會議安排進行說明時,特別對中國PG分會進行了介紹,並宣佈PGConf將於2019年在中國組織活動。

這裏寫圖片描述

PGConf APAC(亞洲PGConf)組織人Sachin Dabir同中國PG分會代表就雙方的PG會議活動組織情況進行了溝通和交流,雙方一致認爲應加強聯繫,並克服語言、地域等溝通障礙。希望通過中國PG分會的努力,在PGConf方面進行密切合作,互相支持。對於中國的PGConf活動,他們也將提供幫助。

這裏寫圖片描述

在今天的活動現場,中國PG分會代表同Jonathan Ktz( postgreql.org網站運營負責人)、Abdullah Tansel(芝加哥大學教授,研究時態數據庫)、Cesar Rojas(Pivotal 公司的產品市場主管)等活躍在國際社區的前輩進行了友好的溝通交流,爲日後中國社區的運營發展積累了有效的經驗。

這裏寫圖片描述

各位PGer,期待從現在開始中國社區與國際社區更加緊密的聯繫與合作吧!中國PG分會及社區將全力爲廣大PG愛好者和使用者打造一個全新、開放的交流學習平臺!

Day3培訓速報

這裏寫圖片描述

第三天依舊是乾貨滿滿的培訓,本部分將對今天的培訓做簡要的介紹。因爲培訓內容豐富,無法做到對每個培訓都深入解讀分析,但希望通過對培訓精髓的簡要介紹,幫助各位PGer瞭解更多技術前沿和乾貨。歡迎每一位愛好者和使用者同我們交流技術!

Amazon and PostgreSQL: Better togethe

亞馬遜和PosgreSQL:更好的結合

Mark Porter是RDS的總經理,負責運營各種服務,例如PostgreSQL的RDS,MySQL的RDS,MariaDB的RDS,Oracle的RDS,SQL Server的RDS,AWS數據庫遷移服務(DMS)以及AWS模式轉換工具(SCT)等等。

培訓主要講解亞馬遜如何規劃PosgreSQL和Amazon Aurora,以及如何與開源社區合作。亞馬遜如何幫助客戶從商業數據庫轉向開源數據庫(尤其是基於PG的),以及我們該如何重新考慮數據庫在可用性,持久性和性能方面上的一些實用的功能。

Reducing The Surface Area Of Risk In Data Security

減少數據安全風險的表面面積

Tim Gorman是Delphix的技術顧問,他們支持數據虛擬化和數據屏蔽,從而可以安全地提高IT開發和測試的靈活性。Tim是六本關於Oracle數據倉庫和性能優化的書籍的聯合作者,併爲其他八本出版書籍進行了技術評審。

數據遮蔽也稱爲數據混淆,很可能在不久的將來成爲新的法定的要求。遮蔽是非生產系統(即DEV,TEST等)的解決方案,可以大大減少組織中數據泄露的風險。通過消除非生產系統作爲可能的數據安全風險,您現在可以全力以赴在最小的可能區域保護敏感和機密數據:生產系統。

遮蔽不應與加密相混淆,他是一個更適合產品應用程序的決方案。那些認爲加密解決所有安全問題的人被誤導了。那些相信他們的企業防火牆是不可逾越的也被誤導了。

瞭解正確的方法來保證非生產數據的安全,以便組織可以將可能的暴露限制在生產中。 在決定保護機密數據時,瞭解可以使用哪些技術,爲什麼以及應考慮哪些因素。

數據屏蔽技術在去年還不存在,但從現在起它將成爲一項技術,現在瞭解這一技術非常重要。 即使你的業務領域和數據安全不搭界,所有數據專業人員都面臨數據安全挑戰,瞭解可用的工具以及如何應用這些工具是明智的。

Greenplum Overview for Postgres Hackers

針對Postgres開發者的Greenplum簡介

Greenplum是基於Postgres的MPP數據庫。它幾乎是十年前從Postgres中分離出來的,並於2016年開源。這個講演介紹Greenplum體系結構以及Greenplum中添加的使其具有MPP能力的主要概念。

PostGIS Gotchas

PostGIS技巧

Paul Ramsey是Carto的解決方案工程師。他從事地理空間軟件工作超過15年。他於2001年與他人共同創立了PostGIS空間數據庫項目,目前是項目指導委員會成員和活躍開發人員。 2008年,Paul獲得Sol Katz在開源地理空間軟件方面的成就獎。

PostGIS將空間類型添加到數據庫,因此可以像“任何其他類型”一樣使用它們。 但不幸的是,空間類型並不像其他類型那樣:它們更大,需要大量複雜的算法來推理,並且它們是建立在GIS人普遍理解的一個隱含的模型上的,但可對於一個從事數據庫的人來說完全陌生。 這可能會導致問題:在理性世界中,我們認爲應該做的很好,但由於某種原因不行。 這個演講介紹使PostGIS與其他數據庫擴展名不同的內容,以及這些內容引發的問題。

Building data pipelines with PostgreSQL and Kafka

使用PostgreSQL和Kafka構建數據管道

Oskari Saarenmaa是Aiven的首席執行官和創始人之一,Aiven是下一代託管雲服務公司,爲全球企業提供最佳的開源數據庫和消息服務。

Apache Kafka是一個高性能的開源流處理平臺,用於實時收集和處理大量消息。 它被用於越來越多的數據管道,以實時和大規模地處理事件,如網站點擊流,交易和其他遙測。

本次講座重點關注連接Kafka和PostgreSQL,以自動更新關聯數據庫與傳入的Kafka事件,允許在實時數據流上使用PostgreSQL強大的數據聚合和報告功能。

TimescaleDB: Re-engineering PostgreSQL as a time-series database TimescaleDB

將PostgreSQL重新設計爲時間序列數據庫

Michael J. Freedman是TimescaleDB的共同創始人兼首席技術官,TimescaleDB是一種開源數據庫。Michael J. Freedman並是普林斯頓大學計算機科學教授。他的研究專注於分佈式系統,網絡和安全。

時間序列數據現在無處不在。物聯網,用戶事件流,系統監控,財務,技術,工業控制,運輸和物流 - 並越來越多地用於爲核心應用提供支持。 它也造成了一些技術難題:吸收大量的結構化數據; 針對近期和歷史時間間隔詢問複雜的高性能查詢; 執行專門的時間中心分析和數據管理。 而且這些數據不是孤立存在的,通常必須將條目與其他關係數據結合起來以提出關鍵業務問題(例如,跟蹤貨運集裝箱與關於其貨物的信息結合起來會更加強大)。

現在許多使用時間序列數據的開發人員轉而使用多語言解決方案:一種用於存儲時間序列數據(用於擴展)的NoSQL數據庫以及一種用於關聯元數據和關鍵業務數據的關係數據庫。 這導致工程複雜性,運營問題,甚至引用的完整性問題。 因此,許多人發現,隨着這種類型的數據激增,他們需要專用的時間序列數據庫。但時間序列數據庫的當前狀態仍然不足,並且仍然會迫使用戶在運行復雜的多語言或不成熟的解決方案時遇到同樣的問題。

這個演講,描述爲什麼不必爲這些頭疼,以及如何將PostgreSQL重新設計爲時間序列數據庫,以簡化時間序列應用程序開發。 特別是,時間序列工作負載的性質 - 附加有關最近事件的數據 - 表現出與事務性(OLTP)工作負載不同的需求。 通過利用這些差異,可以將插入率提高20倍於Postgres,並且即使在提供完整SQL(包括JOIN)的情況下也可以實現更快的查詢。 這樣可以簡化產品並使用單個數據庫進行堆疊,同時使用戶能夠針對其數據提出更復雜和特殊的問題。

TimescaleDB通過以分佈式系統更常見的方式將數據存儲在單個服務器上實現:將數據深度分區(分片)爲塊,以確保與內存中的最新時間記錄相對應的熱塊保持不變。 這種正確大小的分塊是自動執行的,數據庫甚至可以根據觀察到的資源需求調整其塊大小。 然而,它隱藏了一個“可放大”的內容,可以像單個表一樣插入或查詢:即使在超過10K +塊的100B +行上。 雖然這爲查詢規劃增加了幾個毫秒,但它使TimescaleDB能夠避免Postgres在更大的表大小(10幾百萬行)時遇到的性能斷崖。

TimescaleDB打包爲Postgres擴展,基於Apache 2許可發佈。

Understanding PostgreSQL IO

瞭解PosgreSQL的IO

Jan Wieck是PostgreSQL核心團隊的前成員。他設計和實施了Slony,徹底改變了查詢重寫規則系統,編寫了過程語言PL / pgSQL和PL / Tcl,添加了外鍵,bgwriter,統計收集器,TOAST系統和其他功能。

像任何數據庫一樣,PostgreSQL非常依賴系統的IO。 在許多情況下,表現不佳的數據庫與PostgreSQL如何讀取或寫入磁盤和使用內存直接相關。 提高性能的一個關鍵因素是瞭解PostgreSQL如何與這些資源進行交互。

培訓主要討論共享緩衝區,OS緩衝區,WAL緩衝區,臨時文件,內核調整參數等之間的交互。

Building A Serverless Database Using Postgres

使用Postgres構建無服務器數據庫

Nicolae Rusan是Clay(http://clay.run)的共同創始人兼首席產品官,該團隊正在爲無服務器開發構建Github / Heroku。 他花費大量時間思考如何將設計思維帶入到創建軟件的過程中。

無服務器基礎爲重新設計數據庫和代碼交互方式提供了機會。這個演講中,演示了一種新型的數據庫,它專注於無服務器的用例。 設計目標是易用性和數據庫級別的增強功能。 描述了對應用程序數據層未來的想法,以及GraphQL,AI和區塊鏈等新設計模式如何改變,如何更智能和愉快地探索數據並與數據交互。

Tuning PostgreSQL for High Write Workloads

調優PostgreSQL的高寫入工作負載

Grant McAlister是亞馬遜網絡服務的高級首席工程師,他在RDS上工作 - 亞馬遜的關係數據庫服務,這是他在9年前幫助創建的服務。 在AWS之前,Grant負責亞馬遜數據庫的性能,可擴展性和可用性。

培訓介紹了一些可以調整PostgreSQL以更好地處理高寫入工作負載的方式。涵蓋應用程序調優方法和數據庫調優方法,因爲每種類型都可以帶來實質性收益,但在規模經營時也會以意想不到的方式進行交互。 在應用程序方面,將着眼於寫批處理,GUID的使用,通用索引結構,附加索引的成本和工作集大小的影響。對於數據庫,將看到WAL壓縮,自動真空和檢查點設置以及其他一些配置參數如何大大影響數據庫和應用程序的寫入性能。

Partitioning Improvements in PostgreSQL 11 PostgreSQL 11中的分區改進

Robert Haas自2008年以來一直參與PostgreSQL項目,首先擔任修補程序審閱者和提交者,後來擔任主要開發人員。在此之前,他是近十年來的PostgreSQL應用程序開發人員。他所研究的功能包括並行性(9.4-9.6),用匿名共享內存替代System V共享內存(用於9.3),讀寫可伸縮性改進(用於9.2),僅索引掃描(與Heikki Linnakangas和Ibrar Ahmed ,9.2),未記錄表(9.1)和左連接刪除(9.0)。他在EnterpriseDB擔任數據庫服務器的首席數據庫架構師。

PostgreSQL 10是第一個具有內置聲明式分區功能的版本。與以前的版本相比,此功能提供了顯着的性能和易用性優勢,但卻遺漏了許多用戶可見的功能和性能優化。 預計PostgreSQL 11將對錶分區功能進行重大改進。這些包括SQL可見功能,如散列分區,級聯索引創建,定義引用分區表的外鍵的功能(有限制),以及性能優化(如更快的分區修剪,運行時分區修剪,和分區式連接。這個次演,將介紹用戶可以從PostgreSQL 11的分區功能中獲得什麼,以及PostgreSQL 12及更高版本中還有哪些工作要做。

更多技術乾貨,敬請期待!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章