原创 Pulsar 如何爲批和流處理提供高效統一的數據存儲 | QCon

大數據的處理方式主要分爲兩類,一類是基於有邊界的歷史靜態數據的批處理;另一類是基於無邊界的 event 和流數據的實時處理。 由於具體業務和大數據技術發展歷程的原因,在實際應用中,批處理和流處理的數據和技術還是被分隔成兩個不同的部分。這其中

原创 面向異構存儲的高性能鍵值數據庫技術與挑戰 | QCon

鍵值數據庫,例如 Redis,RocksDB,HBase 等,被廣泛應用在互聯網、金融、通信等領域。鍵值數據庫通常需要支持高效的單鍵操作與範圍查詢。另一方面,非易失內存(例如 Intel 3D xPoint)、高速固態盤和開放 SSD,逐步

原创 NLP Dynamic Chart+AI Data Insight 助力智能金融決策 | QCon

金融業務,例如風控決策,資產配置,資金調撥,催收管理等,包含大量的決策任務。當前主要手段是高管/業務人員提出需求,由 BI 工程師生產報表,之後高管/業務人員對報表數據進行分析從而形成業務決策。目前有兩個痛點:首先,面向互聯網,特別是金融創

原创 全自動動態模型更新系統在支付風控領域的實踐 | QCon

作爲領先的跨境支付企業,PayPal 面臨着極大的風控壓力和挑戰,一直以來我們都致力於通過機器學習和AI模型來管理支付風險。在支付場景中,模型的性能和穩定性是對立統一的兩個方面。通常在銀行等傳統行業中模型的更新週期都在 6 個月以上,從而難

原创 如何利用深度學習提高高精地圖生產的自動化率 | QCon

目前,如何大規模、低成本生產無人駕駛高精地圖是業界的一個難點。DeepMap 作爲高精地圖生產服務和定位服務提供商,可以幫助企業處理大規模 ADAS 地圖以及用於 L3、L4 自動駕駛的點雲地圖。其中,自動化生成 ADAS 地圖是大規模製圖

原创 結構化視頻分析算法與應用 | QCon

每一個視頻,不論長短,在拍攝時都是有故事線和邏輯結構的,以往的視頻分析主要集中於視頻分類打標,而對於視頻的細粒度結構分析涉及較少。如果我們在視頻搜索中查詢“某某角色戰勝另外一位角色的打鬥片段”,僅有基於關鍵詞的匹配是遠遠不夠的。電視劇或者電

原创 華爲雲深度學習在文本分類中的實踐 | QCon

作爲自然語言理解非常重要的一個任務,文本分類有着非常重要的應用,如情感分析、對話機器人中的意圖識別、智能客服中的熱點問題統計等。同時文本分類也面臨很多困難,如樣本不均衡、標註數據成本高等問題。本次分享主要介紹華爲雲基於深度學習的文本分類架構

原创 AWS 雲上混沌工程實踐之對照實驗設計和實施 | QCon

隨着越來越多的企業上雲,應用架構由於業務深度的增加以及業務方向的多樣,紛繁的組件依賴或調用鏈傳遞成爲難以察覺的潛在系統風險。這些“隱藏的”系統故障,給企業帶來了代價高昂的損失:一小時的宕機將帶來超過 10 萬美元的損失,一次服務中斷會損失數

原创 K8s 爲 AI 應用提供大規模 GPU 算力之實踐 | QCon

華爲雲 CCI 服務管理數百個 GPU 卡,爲華爲雲 EI 服務及外部客戶提供 AI 計算平臺,在該過程中積累了大量面向 AI 計算的優化經驗。AI 計算加速的關鍵是 GPU 管理,K8S 資源調度優化,面向 AI 計算框架和模型的 Job

原创 如何快速打造高穩定千億級別對象存儲平臺 | QCon

快手每天都有海量的視頻數據上傳存儲,到目前爲止所有的視頻以及衍生數據總量更是數量龐大,且視頻本身有大有小,如何存儲這些數據將是一個頗具挑戰性的問題。本次演講將會介紹一種可以快速構建海量短視頻存儲的服務的方案、我們在實踐中遇到的問題以及解決方

原创 百度商業運營技術團隊的Cloud-Native實踐 | QCon

在AI技術、雲計算能力普惠的大背景下,工程技術業界的微服務、Cloud-Native、Serverless等思潮風起雲湧,各大互聯網公司都在不斷實踐,探索互聯網產品應用的“新”研發模式。我所在的商業運營技術團隊,也在擁抱大的技術趨勢,對自身

原创 異地多活單元化架構下的微服務體系 | QCon

螞蟻金服(當時還是支付寶)從 2013 年起就運行在單元化架構上,除了具備異地容災能力外,還能做到異地多活,可隨時在多城市、多數據中心調配流量。基於單元流量調配機制,可實現大規模集羣的藍綠髮布、灰度仿真環境,爲充分驗證業務正確性、降低故障提

原创 小米網海外電商架構演進 | QCon

小米網2014年開始進軍海外市場,短短4年,已經開拓印度,臺灣,香港,西班牙,法國等20多個國家和地區,其中在印度已經成爲第四大電商。小米網已經成爲全球化電商,我們是如何在這個過程當中是調整技術架構,如何解決技術和非技術難題,來保證業務的快

原创 從微服務到Serverless 架構應用與實踐 | QCon

演講:The past, present, and future of Go(英文演講) Go was introduced as a new open source language on November 10th, 2009. Go

原创 透視黑產-誰動了你們公司的數據 | QCon

將業務部署到雲端,享受雲廠商提供的成套服務,成爲越來越多企業的共識。當然攻擊者也不例外,雲端穩定的環境和高速的帶寬,早早吸引攻擊者將惡意程序部署到雲端,或是掃描,或是撞庫,或是爬蟲,或是殭屍網絡。如何及早發現該類惡意主機,進行限制或打擊,成