python操作pandas的筆記

import pandas as pd

data = {'name': ['Alice', 'Bob', 'Charlie', 'David'],
        'age': [25, 30, 35, 40],
        'gender': ['F', 'M', 'M', 'M']}
df = pd.DataFrame(data)
print(df)
print("=" * 30)
new_df = pd.DataFrame(df.iloc[1]).T  # 選取第幾行
new_row = pd.DataFrame(df.loc[3]).T
new_df.reset_index(drop=True, inplace=True)  # 重置下標爲從0開始
new_df = new_df.append(new_row, ignore_index=True)  # ignore_index將索引改爲從0開始以此往下，否則保留copy過來數據的原索引

print(new_df)

其他操作

import pyarrow.parquet as pq

"""
橫向:axis=1,縱向axis=0
"""
#file = "/Users/chennan/Downloads/1.parquet"
file2 = "/Users/chennan/Downloads/2.parquet"

df = pq.read_pandas(file2).to_pandas()
# print(df.T) #行列倒置
# print(df.columns)  # DataFrame的列索引列表
# print(df.values)  # 直接獲取其中array的值
# print(df.index)  # DataFrame的行索引列表，修復index的時候不能單獨修改。
# print(df.loc[0].URL)
print(df.head(5))  # 顯示前5行內容
# print(df.tail(5)) #顯示後5行內容
# 刪除一些列，讓數據更簡單些，再去做後面的操作
# data = df.drop(["WIDTH","HEIGHT","similarity","hash","punsafe","pwatermark","aesthetic"], axis=1)
# df.iloc[0, -1] = b"https://cdn.mumsgrapevine.com.au/site/wp-content/uploads/2020/03/First-Easter-Shoes-360x241.jpg"
# loc後面第一部分是條件判斷，逗號後面是選取列

# 使用loc:只能指定行列索引的名字
# print(df.loc[0, "URL"])  # 第0行的URL列。
# print(df.loc[1, "URL"])

# 獲取前2行，前3列的內容，
# print(df.iloc[:2, :3])

# 獲取前2行,前
# print(df.iloc[:2, 0])
# # df.to_parquet(file)
#
#
#
# print(df.shape) #行，列

# 賦值操作
# print(df["URL"])
# 或者
# print(df.URL)
# 這一列都變成1
# df["URL"]=1
# np.all()只要有一個就返回False
# print(np.all(pd.notnull(df)))  # 判斷是否有缺失值
# print(np.any(pd.isnull(df))) # 判斷是否有缺失值,判斷是否是缺失值，是則返回True。
# print(df.iloc[0, 0])
# print(df.iloc[1, 0])
# df.iloc[0, 0] = b"123"
# df.iloc[1, 0] = b"234"
# df.to_parquet(file2)
#print(df.iloc[:8, 0][2])
#print(df.iloc[:8, 0][3])