原创 mysql查詢優化實戰一(合理使用索引)

背景:手動製造了一張百萬級別的表,根據時間篩選做個sum統計。由於不合理的索引設計,導致之前查詢時間爲9s,經過索引優化後只需100ms,下面就是見證奇蹟的時刻! 這次優化的是一張report表,表裏面有百萬數據量。 1、查看錶結構:

原创 openpose環境搭建(全教程)

目錄 一、Ubuntu的安裝 製作啓動盤 裝機 二、安裝nvidia顯卡驅動 第一步 獲取顯卡型號 第二步 去NVDIA driver search page查看支持 GTX1080ti 顯卡的驅動的最新版本的版本號 第三步 查詢支持GT

原创 kafka的分佈式安裝

0、選擇mini1、mini2、mini3三臺主機安裝kafka,以及kafka的安裝包   kafka_2.11-0.10.0.1.tgz 1、準備zookeeper 略 2、jdk安裝 略 3、上傳文件到集羣上 略 4、解壓到   

原创 MapReduce中shuffle和排序(轉)

我覺得這篇博客寫的很好,hadoop權威指南沒有講清楚的、沒 看懂的這個上面都講的很詳細,收藏一下!點擊打開原文   MapReduce簡介 在Hadoop MapReduce中,框架會確保reduce收到的輸入數據是根據key排序過的。

原创 Ucloud大數據面試題(二面涼涼)

ucloud一面: 0、問項目 1、java如何查看內存溢出(jvm\jps\jconsole\jmap等工具),程序出現故障了怎 麼查看哪兒出現了錯誤 2、linux下,調用shell腳本後,如何判斷腳本是否正常啓動。  使用netst

原创 Leetcode打卡

最近訓練動態規劃DP 20200426 不同的二叉搜索樹   20200427 70. 爬樓梯509. 斐波那契數957. N 天后的牢房1137. 第 N 個泰波那契數 62.不同路徑(DP or 排列組合)  

原创 先序序列和中序序列構造二叉樹

1、題目描述:求先序序列(ABCDEFGHI)和中序序列(BCAEDGHFI)所確定的一個二叉樹 解題思路: 首先,由先序序列可知A爲二叉樹的根節點。中序序列中A之前的BC爲左子樹的中序序列,EDGHFI爲右子樹的中序序列。然後由先序序

原创 mysql行轉列列轉行在線求助!!!!!!!!!!

mysql 行轉列、列轉行求助!!!!! 現在需求是將表t1轉化爲表t2,要求僅查詢一次t1表。  附1是表ddl語句,附2是使用union all寫的SQL,由於多次查詢表t1,所以當t1中指標很多(例如h_score、w_score、

原创 Calendar獲取當前季度、月、周的開始時間結束時間

java在很多場合下會根據當前時間計算本季度的開始時間結束時間、當前月份的開始時間結束時間、當前周的開始時間以及結束時間。我這裏整理下一個時間加工類,作爲工具類記錄下。 一、獲取計算相關時間的方法如下:(如果有錯誤請指出,感謝!) pu

原创 如何快速入手公司的項目

今天是2019年10月21日,距離正式入職有了3個月又21天。針對自己入職以來的心得體會,在這兒總結下。 網上很多有什麼該說的就說不該說的就不說這樣雜七雜八的我就不扯了,主要是針對如何快速上手公司的項目並且很輕鬆的將這個項目拿下來展開。

原创 mysql索引新手入門詳解以及優化實戰

前言:        最近遇到百萬級以及千萬級別的mysql表做查詢,查詢的效率很低,相應一般都在2s左右更有甚者在8s以上,這樣用戶體驗太差了,我就開始琢磨這去從索引下手。然後找了一些資料,我覺得對剛開始入門索引優化的老鐵來說還是有一定

原创 安裝pandas的時候報錯:cannot uninstall 'numpy'. It is a distutils installed project and thus we ...

背景: 使用pip安裝Python的依賴庫pandas的時候報錯,錯誤提示類似如下所示: Cannot uninstall 'numpy'. It is a distutils installed project and thus we

原创 hive行轉列以及列轉行(面試必問)

原文鏈接:https://blog.csdn.net/Xw_Classmate/article/details/49864095#commentBox 點我進入原文 1.行轉列 1.1 問題引入

原创 初入職場的自己

To 初入職場的自己:   在此,再次提醒自己需要做到的:   1   擺正心態,學會忍耐   可能工作內容會和預想的差距太大,可能上面下達的任務過於繁重,可能和同事和領導有不愉快的溝通與合作等等。請你一定要冷靜,一定要忍耐,職場如戰場

原创 Cannot create encoder for Option of Product type, because Product type is represented as a row

點我查看原文 使用sparksql會遇到下面錯誤: Cannot create encoder for Option of Product type, because Product type is represented as a r