Author：kevinelstri
DateTime：2017/3/13
譯文：How to read most commonly used file formats in Data Science (using Python)?
1、什麼是文件格式？
文件格式是在文件中存儲信息的一種標準方法。首先，文件格式指定文件是一個二進制或ASCII文件。其次，文件展示了文件的組織形式。例如，逗號分隔值（CSV）文件格式存儲在純文本的表格數據。
2、爲什麼數據科學家需要懂得不同的文件格式？
通常，你遇到的文件都取決於你使用的應用。例如，在一個圖像處理系統中，你需要將圖像文件作爲輸入輸出，所以你會看到一個JPEG,GIF或PNG格式。
作爲數據科學家，你需要了解各種文件格式的底層結構以及它們的優缺點等。除非你瞭解了數據的底層結構，否則你不能夠去探索它。而且，有時你需要決定怎麼去存儲數據。
選擇最佳的文本格式來存儲數據可以提高你的模型在數據處理中的性能。
3、使用python如何讀取不同的文件格式？
3.1 csv
CSV格式屬於電子表格文件格式。
那麼什麼是電子表格文件格式呢？
在電子表格文件格式中，數據存儲在單元格中。每個單元格按照行和列結構進行組織。電子表格中的列可以有不同的數據類型。例如，一列可以是字符串類型，日期類型或整數類型。最流行的電子表格文件格式就是CSV格式，xls格式和xlsx格式。
CSV中的每一行代表一個觀察，通常稱爲一條記錄。每個記錄可以包含一個或多個由逗號分隔的字段。
有時，你可能會看到文件中不使用逗號分隔，但是使用製表符進行分隔，這樣的文件格式稱爲TSV（製表符分隔值）文件格式。
下面是將CSV文件使用Notepad打開的結果：
import pandas as pd
pf = pd.read_csv('train.csv')
3.2 XLSX
xlsx是微軟Excel打開XML文件格式,它也是電子表格文件格式，它是基於XML格式創建的Excel。xlsx數據是在一個表的單元格和列下組織的，每一個xlsx文件可以包含多於一個的表格，因此工作簿可以包含多個表。
下面的圖像顯示一個“xlsx文件是微軟Excel打開：
在上面的圖像中，你可以看到文件中存在多個表，包含客戶、僱員、發票和訂單，圖像顯示的數據只有一個表-“發票”。
import pandas as pd
pf = pd.read_excel('train.xlsx',sheetname = 'invoice')
3.3 ZIP
zip格式是存檔文件格式。
在歸檔文件格式中，創建一個包含多個文件以及元數據的文件。歸檔文件格式用於將多個數據文件收集到一個文件中。這樣做是爲了簡單地壓縮文件，使用更少的存儲空間。
有許多流行的計算機數據存檔格式創建歸檔文件。ZIP，RAR和Tar是最流行的基於數據壓縮的存檔文件格式。
所以，一個ZIP文件格式是一種無損壓縮格式，這意味着如果你使用zip格式壓縮多個文件，解壓縮後，可以完全恢復數據。zip文件格式使用許多壓縮算法壓縮文檔。您可以輕鬆地識別ZIP文件的ZIP擴展名。
import zipfile
archive = zipfile.ZipFile('T.zip', 'r')
df = archive.read('train.csv')
3.4 TXT純文本格式
在純文本文件格式，一切都寫在純文本。通常，這個文本是非結構化的，並且沒有與它相關的元數據。txt格式的文件可以很容易地通過任何程序進行讀取。但是通過計算機程序來編譯是非常困難的。
舉一個簡單的文本文件示例，下面的示例顯示包含文本的文本文件數據：
“In my previous article, I introduced you to the basics of Apache Spark, different data representations
(RDD / DataFrame / Dataset) and basics of operations (Transformation and Action). We even solved a machine
learning problem from one of our past hackathons. In this article, I will continue from the place I left in
my previous article. I will focus on manipulating RDD in PySpark by applying operations
(Transformation and Actions).”
text_file = open("text.txt", "r")
lines = text_file.read()
3.5 JSON
Javascript對象符號（JSON）是一個基於文本的開放標準的數據交換網絡設計。JSON格式用於在網上傳輸結構化數據。JSON格式的文件可以很容易地使用任何編程語言來讀取，因爲它是獨立於語言的數據格式。
以一個JSON文件爲實例，下面顯示了一個典型的JSON文件存儲信息的員工信息：
{
"Employee": [
{
"id":"1",
"Name": "Ankit",
"Sal": "1000",
},
{
"id":"2",
"Name": "Faizy",
"Sal": "2000",
}
]
}
讀取JSON文件：
import pandas as pd
df = pd.read_json('train.json')
3.6 XML
XML也稱爲可擴展標記語言。顧名思義，它是一種標記語言。它具有一定的編碼數據規則。XML文件格式是一個人類可讀和機器可讀的文件格式。XML的自描述性語言設計用於通過Internet發送信息。XML是HTML非常相似，但有一些差異。例如，XML不使用預定義的標籤爲HTML。
以XML文件格式的簡單例子，下面顯示了一個 XML文檔，包含一個員工的信息：
<?xml version="1.0"?>
<contact-info>
<name>Ankit</name>
<company>Anlytics Vidhya</company>
<phone>+9187654321</phone>
</contact-info>
讀取XML文件：
import xml.etree.ElementTree as ET
tree = ET.parse('/home/sunilray/Desktop/2 sigma/train.xml')
root = tree.getroot()
print root.tag
3.7 HTML
HTML代表超文本標記語言,它是用於創建網頁的標準標記語言,HTML是用來描述網頁結構使用的標記。HTML標籤類似於XML但是是預定義的。可以很容易地識別的HTML文檔分段標籤，如<head>代表HTML文檔的標題，<BR>“HTML段落段落”，並且HTML是不區分大小寫的。
下面顯示一個HTML文檔：
<!DOCTYPE html>
<html>
<head>
<title>Page Title</title>
</head>
<body><h1>My First Heading</h1>
<p>My first paragraph.</p></body>
</html>
讀取HTML文件：
使用BeautifulSoup庫來讀取HTML文件，參考：使用BeautifulSoup進行網絡爬蟲
3.8 images
圖像文件可能是數據科學中最迷人的文件格式。任何計算機視覺中的應用是基於圖像處理過程的，所以有必要了解不同的圖像文件格式。
常見的圖像文件是三維的，有RGB值。但是，他們也可以是二維（灰度）或四維（有強度），圖像是由像素和與其相關的元數據構成的。
每個圖像由一個或多個像素幀組成，每個幀是由二維數組的像素值，像素值可以是任何強度。元數據與圖像是相關的，可以是一個圖像類型（PNG）或像素尺寸。
讀取png圖片：
from scipy import misc
f = misc.face()
misc.imsave('face.png', f) # uses the Image module (PIL)
import matplotlib.pyplot as plt
plt.imshow(f)
plt.show()
如果想閱讀關於圖像處理的文章，可以參考：基於python的圖像處理基礎
3.9 HDF
在分層數據格式（HDF），您可以很容易存儲大量的數據。它不僅用於存儲高容量或複雜的數據，而且還用於存儲小體積或簡單的數據。
使用HDF的優點：
- 它可用於各種規模和類型的系統
- 它具有靈活，高效的存儲和快速I/O.
- 多格式支持HDF
現在有多個HDF格式。但是，HDF5是最新的版本，它用來解決一些老的HDF文件格式的限制。HDF5格式與XML相似，像XML，HDF5文件都是自描述的，允許用戶指定複雜的數據關係和依賴關係。
以一個HDF5文件格式爲例，可以識別以.h5爲擴展的文件：
讀取HDF5文件：
import pandas as pd
df = pd.read_hdf('train.h5')
3.10 PDF
PDF（Portable Document Format）是通過結合圖形來解釋和文本顯示的格式結合，一個PDF文件的特點在於它可以通過密碼保護。
安裝pdfminer庫：
python setup.py install
讀取PDF文件：
pdf2txt.py train.pdf # 測試讀取pdf
3.11 docx
微軟Word的docx文件是另一種文件格式，它是基於文本的數據組織的。它有許多特點，如表格的內聯加法，圖像、超鏈接等，這有助於在一個非常重要的文件格式。
docx文件對於PDF文件，具有的優點就是docx文件是可編輯的。你也可以把docx文件轉換成任何其他格式。
安裝docx2txt庫：
pip install docx2txt
讀取docx文件：
import docx2txt
text = docx2txt.process("file.docx")
3.12 mp3
MP3文件格式來自於多媒體文件格式，多媒體文件格式類似於圖像文件格式，但它們恰好都是最複雜的文件格式。
在多媒體文件格式中，您可以存儲各種數據，如文字圖像，圖形，視頻和音頻數據。例如，一個多媒體格式可以允許文本被存儲爲富文本格式（RTF）的數據而非ASCII數據，這是一個純文本格式。
MP3是一種最常見的音頻編碼格式的數字音頻。一個MP3文件格式採用的MPEG-1編碼格式爲視頻和音頻壓縮標準。在有損壓縮中，一旦壓縮原始文件，則無法恢復原始數據。
一個MP3文件格式過濾掉人類無法聽到的聲音，壓縮了音頻的質量。MP3壓縮通常減小達到75%至95%，從而節省了大量的空間。
一個MP3文件有許多框架。框架可以進一步分爲標題和數據塊。我們稱這些序列的框架是基本流。
在MP3的頭部，找出有效的框架和一個數據塊的開始包含（壓縮）在頻率和振幅的音頻信息。
下面是MP3文件結構：下載
讀取多媒體文件格式：
參考：PyMedia
3.13 mp4
MP4文件格式用於存儲視頻和電影。它包含多幅圖像（稱爲幀），從而起到在一個視頻形式爲每一個特定的時間。兩種方法來解釋mp4，一個是一個封閉的實體，其中整個視頻被認爲是一個單一的實體。另一個是馬賽克的圖像，其中在視頻中的每個圖像被認爲是作爲一個不同的實體，這些圖像從視頻進行採樣。
讀取MP4文件：
參考：MoviePy
from moviepy.editor import VideoFileClip
clip = VideoFileClip(‘<video_file>.mp4’)