import tensorflow as tf
from tensorflow.keras import layers
print(tf.__version__)
print(tf.keras.__version__)

2.0.0-beta0
2.2.4-tf

1. Keras 的 layer 中共同的 methods：

layer.get_weights(): returns the weights of the layer as a list of Numpy arrays.返回层的权重（以含有Numpy矩阵的列表形式）。
layer.set_weights(weights): sets the weights of the layer from a list of Numpy arrays（与get_weights的输出形状相同）。
layer.get_config(): 返回包含层配置的字典。The layer can be reinstantiated from its config via:

layer = Dense(32)
config = layer.get_config()
reconstructed_layer = Dense.from_config(config)

或者

from keras import layers

config = layer.get_config()
layer = layers.deserialize({'class_name': layer.__class__.__name__,'config': config})

当一个layer只有单个node（i.e. if it isn’t a shared layer），可以得到它的输入张量、输出张量、输入尺寸和输出尺寸:
- layer.input
- layer.output
- layer.input_shape
- layer.output_shape
当一个layer有多个node（see: the concept of layer node and shared layers），有如下函数可以使用：
- layer.get_input_at(node_index)
- layer.get_output_at(node_index)
- layer.get_input_shape_at(node_index)
- layer.get_output_shape_at(node_index)

2. 全连接层Dense 和激活层Activation

2.1 全连接层Dense

keras.layers.Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None)

参数：

units: 正整数，输出空间维度。
activation: 激活函数 (详见 activations)。若不指定，则不使用激活函数 (即，「线性」激活: a(x) = x)。
use_bias: 布尔值，该层是否使用偏置向量。
kernel_initializer: kernel 权值矩阵的初始化器 (详见 initializers)。
bias_initializer: 偏置向量的初始化器 (see initializers).
kernel_regularizer: 运用到 kernel 权值矩阵的正则化函数 (详见 regularizer)。
bias_regularizer: 运用到偏置向的的正则化函数 (详见 regularizer)。
activity_regularizer: 运用到层的输出的正则化函数 (它的 “activation”)。 (详见 regularizer)。
kernel_constraint: 运用到 kernel 权值矩阵的约束函数 (详见 constraints)。
bias_constraint: 运用到偏置向量的约束函数 (详见 constraints)。

输入尺寸：
nD 张量，尺寸: (batch_size, …, input_dim)。最常见的情况是一个尺寸为 (batch_size, input_dim) 的 2D 输入。

输出尺寸：
nD 张量，尺寸: (batch_size, …, units)。例如，对于尺寸为 (batch_size, input_dim) 的 2D 输入，输出的尺寸为 (batch_size, units)。

全连接层实现如下操作：
output = activation(dot(input, kernel) + bias)
其中kernel是由网络层创建的权值矩阵，dot即点乘的意思，以及 bias 是其创建的偏置向量 (只在 use_bias 为 True 时才有用)。

2.2 激活层Activation

keras.layers.Activation(activation)

参数：
activation: 要使用的激活函数的名称

3. Convolutional Layers 卷积层

3.1 1D convolution layer（eg: 时序卷积）

keras.layers.Conv1D(filters, kernel_size, strides=1, padding='valid', data_format='channels_last', dilation_rate=1, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None)

参数：

filters: 整数，输出空间的维度（即卷积中滤波器的输出数量）。
kernel_size: 一个整数，或者单个整数表示的元组或列表，指明 1D 卷积窗口的长度。
strides: 一个整数，或者单个整数表示的元组或列表，指明卷积的步长。指定任何 stride 值 != 1 与指定 dilation_rate 值 != 1 两者不兼容。
padding: “valid”, “causal” 或 “same” 之一 (大小写敏感) “valid” 表示「不填充」。 “same” 表示填充输入以使输出具有与原始输入相同的长度。 “causal” 表示因果（膨胀）卷积，例如，output[t] 不依赖于 input[t+1:]，在模型不应违反时间顺序的时间数据建模时非常有用。详见 WaveNet: A Generative Model for Raw Audio, section 2.1。
data_format: 字符串, “channels_last” (默认) 或 “channels_first” 之一。输入的各个维度顺序。 “channels_last” 对应输入尺寸为 (batch, steps, channels) (Keras 中时序数据的默认格式) 而 “channels_first” 对应输入尺寸为 (batch, channels, steps)。
dilation_rate: 一个整数，或者单个整数表示的元组或列表，指定用于膨胀卷积的膨胀率。当前，指定任何 dilation_rate 值 != 1 与指定 stride 值 != 1 两者不兼容。
activation: 要使用的激活函数 (详见 activations)。如未指定，则不使用激活函数 (即线性激活： a(x) = x)。
use_bias: 布尔值，该层是否使用偏置向量。
kernel_initializer: kernel 权值矩阵的初始化器 (详见 initializers)。
bias_initializer: 偏置向量的初始化器 (详见 initializers)。
kernel_regularizer: 运用到 kernel 权值矩阵的正则化函数 (详见 regularizer)。
bias_regularizer: 运用到偏置向量的正则化函数 (详见 regularizer)。
activity_regularizer: 运用到层输出（它的激活值）的正则化函数 (详见 regularizer)。
kernel_constraint: 运用到 kernel 权值矩阵的约束函数 (详见 constraints)。
bias_constraint: 运用到偏置向量的约束函数 (详见 constraints)。

输入尺寸：
3D 张量，尺寸为 (batch_size, steps, input_dim)。

输出尺寸：
3D 张量，尺寸为 (batch_size, new_steps, filters)。由于填充或窗口按步长滑动，steps 值可能已更改。

3.2 2D convolution layer (e.g. spatial convolution over images)

keras.layers.Conv2D(filters, kernel_size, strides=(1, 1), padding='valid', data_format=None, dilation_rate=(1, 1), activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None)

参数：

filters: 整数，输出空间的维度（即卷积中滤波器的输出数量）。
kernel_size: 一个整数，或者 2 个整数表示的元组或列表，指明 2D 卷积窗口的宽度和高度。可以是一个整数，为所有空间维度指定相同的值。
strides: 一个整数，或者 2 个整数表示的元组或列表，指明卷积沿宽度和高度方向的步长。可以是一个整数，为所有空间维度指定相同的值。指定任何 stride 值 != 1 与指定 dilation_rate 值 != 1 两者不兼容。
padding: “valid” 或 “same” (大小写敏感)。
data_format: 字符串， channels_last (默认) 或 channels_first 之一，表示输入中维度的顺序。 channels_last 对应输入尺寸为 (batch, height, width, channels)， channels_first 对应输入尺寸为 (batch, channels, height, width)。它默认为从 Keras 配置文件 ~/.keras/keras.json 中找到的 image_data_format 值。如果你从未设置它，将使用 channels_last。
dilation_rate: 一个整数或 2 个整数的元组或列表，指定膨胀卷积的膨胀率。可以是一个整数，为所有空间维度指定相同的值。当前，指定任何 dilation_rate 值 != 1 与指定 stride 值 != 1 两者不兼容。
activation: 要使用的激活函数 (详见 activations)。如果你不指定，则不使用激活函数 (即线性激活： a(x) = x)。
use_bias: 布尔值，该层是否使用偏置向量。
kernel_initializer: kernel 权值矩阵的初始化器 (详见 initializers)。
bias_initializer: 偏置向量的初始化器 (详见 initializers)。
kernel_regularizer: 运用到 kernel 权值矩阵的正则化函数 (详见 regularizer)。
bias_regularizer: 运用到偏置向量的正则化函数 (详见 regularizer)。
activity_regularizer: 运用到层输出（它的激活值）的正则化函数 (详见 regularizer)。
kernel_constraint: 运用到 kernel 权值矩阵的约束函数 (详见 constraints)。
bias_constraint: 运用到偏置向量的约束函数 (详见 constraints)。

输入尺寸：
如果 data_format=‘channels_first’，输入 4D 张量，尺寸为 (samples, channels, rows, cols)。
如果 data_format=‘channels_last’，输入 4D 张量，尺寸为 (samples, rows, cols, channels)。

输出尺寸：
如果 data_format=‘channels_first’，输出 4D 张量，尺寸为 (samples, filters, new_rows, new_cols)。
如果 data_format=‘channels_last’，输出 4D 张量，尺寸为 (samples, new_rows, new_cols, filters)。

4. Pooling Layers 池化层

4.1 MaxPooling1D: 对于时序数据的最大池化。

keras.layers.MaxPooling1D(pool_size=2, strides=None, padding='valid', data_format='channels_last')

参数：

pool_size: 整数，最大池化的窗口大小。
strides: 整数，或者是 None。作为缩小比例的因数。例如，2 会使得输入张量缩小一半。如果是 None，那么默认值是 pool_size。
padding: “valid” 或者 “same” （区分大小写）。
data_format: 字符串，channels_last (默认)或 channels_first 之一。表示输入各维度的顺序。 channels_last 对应输入尺寸为 (batch, steps, features)， channels_first 对应输入尺寸为 (batch, features, steps)。

输入尺寸：
如果 data_format=‘channels_last’，输入为 3D 张量，尺寸为： (batch_size, steps, features)
如果data_format=‘channels_first’，输入为 3D 张量，尺寸为： (batch_size, features, steps)

输出尺寸：
如果 data_format=‘channels_last’，输出为 3D 张量，尺寸为： (batch_size, downsampled_steps, features)
如果 data_format=‘channels_first’，输出为 3D 张量，尺寸为： (batch_size, features, downsampled_steps)

4.2 MaxPooling2D：对于空间数据的最大池化。

keras.layers.MaxPooling2D(pool_size=(2, 2), strides=None, padding='valid', data_format=None)

参数：

pool_size: 整数，或者 2 个整数表示的元组，沿（垂直，水平）方向缩小比例的因数。（2，2）会把输入张量的两个维度都缩小一半。如果只使用一个整数，那么两个维度都会使用同样的窗口长度。
strides: 整数，2 个整数表示的元组，或者是 None。表示步长值。如果是 None，那么默认值是 pool_size。
padding: “valid” 或者 “same” （区分大小写）。
data_format: 字符串，channels_last (默认)或 channels_first 之一。表示输入各维度的顺序。 channels_last 代表尺寸是 (batch, height, width, channels) 的输入张量，而 channels_first 代表尺寸是 (batch, channels, height, width) 的输入张量。默认值根据 Keras 配置文件 ~/.keras/keras.json 中的 image_data_format 值来设置。如果还没有设置过，那么默认值就是 “channels_last”。

输入尺寸：
如果 data_format=‘channels_last’: 尺寸是 (batch_size, rows, cols, channels) 的 4D 张量
如果 data_format=‘channels_first’: 尺寸是 (batch_size, channels, rows, cols) 的 4D 张量

输出尺寸：
如果 data_format=‘channels_last’: 尺寸是 (batch_size, pooled_rows, pooled_cols, channels) 的 4D 张量
如果 data_format=‘channels_first’: 尺寸是 (batch_size, channels, pooled_rows, pooled_cols) 的 4D 张量

5. Keras快速入门

# 构建简单模型
model = tf.keras.Sequential()
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))
print(model)

<tensorflow.python.keras.engine.sequential.Sequential object at 0x000001F49F7542B0>

# 调用 compile 方法配置该模型的学习流程：
model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
             loss=tf.keras.losses.categorical_crossentropy,
             metrics=[tf.keras.metrics.categorical_accuracy])

# 输入数据
import numpy as np

train_x = np.random.random((1000, 72))
train_y = np.random.random((1000, 10))

val_x = np.random.random((200, 72))
val_y = np.random.random((200, 10))

model.fit(train_x, train_y, epochs=10, batch_size=100,
          validation_data=(val_x, val_y))

dataset = tf.data.Dataset.from_tensor_slices((train_x, train_y))
dataset = dataset.batch(32)
dataset = dataset.repeat()
val_dataset = tf.data.Dataset.from_tensor_slices((val_x, val_y))
val_dataset = val_dataset.batch(32)
val_dataset = val_dataset.repeat()

model.fit(dataset, epochs=10, steps_per_epoch=30,
          validation_data=val_dataset, validation_steps=3)

Train on 1000 samples, validate on 200 samples
Epoch 1/10
1000/1000 [==============================] - 0s 39us/sample - loss: 11.5461 - categorical_accuracy: 0.1100 - val_loss: 11.6212 - val_categorical_accuracy: 0.1200
Epoch 2/10
1000/1000 [==============================] - 0s 57us/sample - loss: 11.5429 - categorical_accuracy: 0.1120 - val_loss: 11.6203 - val_categorical_accuracy: 0.1150
Epoch 3/10
1000/1000 [==============================] - 0s 92us/sample - loss: 11.5407 - categorical_accuracy: 0.1140 - val_loss: 11.6200 - val_categorical_accuracy: 0.1100
Epoch 4/10
1000/1000 [==============================] - 0s 98us/sample - loss: 11.5392 - categorical_accuracy: 0.1110 - val_loss: 11.6192 - val_categorical_accuracy: 0.1000
Epoch 5/10
1000/1000 [==============================] - 0s 48us/sample - loss: 11.5371 - categorical_accuracy: 0.1130 - val_loss: 11.6202 - val_categorical_accuracy: 0.1000
Epoch 6/10
1000/1000 [==============================] - 0s 47us/sample - loss: 11.5356 - categorical_accuracy: 0.1010 - val_loss: 11.6205 - val_categorical_accuracy: 0.1050
Epoch 7/10
1000/1000 [==============================] - 0s 33us/sample - loss: 11.5343 - categorical_accuracy: 0.1130 - val_loss: 11.6205 - val_categorical_accuracy: 0.0900
Epoch 8/10
1000/1000 [==============================] - ETA: 0s - loss: 11.2730 - categorical_accuracy: 0.130 - 0s 59us/sample - loss: 11.5332 - categorical_accuracy: 0.1170 - val_loss: 11.6197 - val_categorical_accuracy: 0.0950
Epoch 9/10
1000/1000 [==============================] - 0s 43us/sample - loss: 11.5317 - categorical_accuracy: 0.1170 - val_loss: 11.6205 - val_categorical_accuracy: 0.0900
Epoch 10/10
1000/1000 [==============================] - 0s 47us/sample - loss: 11.5306 - categorical_accuracy: 0.1140 - val_loss: 11.6209 - val_categorical_accuracy: 0.1000


W0613 21:46:52.747749 20120 training_utils.py:1436] Expected a shuffled dataset but input dataset `x` is not shuffled. Please invoke `shuffle()` on input dataset.


Epoch 1/10
30/30 [==============================] - 0s 10ms/step - loss: 11.5338 - categorical_accuracy: 0.1156 - val_loss: 11.5274 - val_categorical_accuracy: 0.1146
Epoch 2/10
30/30 [==============================] - 0s 11ms/step - loss: 11.5332 - categorical_accuracy: 0.1154 - val_loss: 11.5297 - val_categorical_accuracy: 0.1146
Epoch 3/10
30/30 [==============================] - 0s 6ms/step - loss: 11.5629 - categorical_accuracy: 0.1218 - val_loss: 11.5348 - val_categorical_accuracy: 0.1042
Epoch 4/10
30/30 [==============================] - 0s 7ms/step - loss: 11.5302 - categorical_accuracy: 0.1207 - val_loss: 11.5347 - val_categorical_accuracy: 0.1042
Epoch 5/10
30/30 [==============================] - 0s 7ms/step - loss: 11.5041 - categorical_accuracy: 0.1442 - val_loss: 11.5363 - val_categorical_accuracy: 0.0833
Epoch 6/10
30/30 [==============================] - 0s 6ms/step - loss: 11.4904 - categorical_accuracy: 0.1453 - val_loss: 11.5369 - val_categorical_accuracy: 0.0729
Epoch 7/10
30/30 [==============================] - 0s 4ms/step - loss: 11.5032 - categorical_accuracy: 0.1442 - val_loss: 11.5365 - val_categorical_accuracy: 0.0833
Epoch 8/10
30/30 [==============================] - 0s 5ms/step - loss: 11.5057 - categorical_accuracy: 0.1293 - val_loss: 11.5383 - val_categorical_accuracy: 0.0521
Epoch 9/10
30/30 [==============================] - 0s 8ms/step - loss: 11.4728 - categorical_accuracy: 0.1368 - val_loss: 11.5383 - val_categorical_accuracy: 0.0625
Epoch 10/10
30/30 [==============================] - 0s 7ms/step - loss: 11.4725 - categorical_accuracy: 0.1432 - val_loss: 11.5452 - val_categorical_accuracy: 0.0625





<tensorflow.python.keras.callbacks.History at 0x1f49f73d898>

# 评估与预测
test_x = np.random.random((1000, 72))
test_y = np.random.random((1000, 10))
model.evaluate(test_x, test_y, batch_size=32)
test_data = tf.data.Dataset.from_tensor_slices((test_x, test_y))
test_data = test_data.batch(32).repeat()
model.evaluate(test_data, steps=30)
# predict
result = model.predict(test_x, batch_size=32)
print(result)

1000/1000 [==============================] - 0s 78us/sample - loss: 11.3523 - categorical_accuracy: 0.0860
30/30 [==============================] - 0s 3ms/step - loss: 11.3579 - categorical_accuracy: 0.0854
[[0.11881605 0.08954418 0.10049648 ... 0.08149438 0.08897649 0.07803077]
 [0.10026202 0.11154279 0.09660741 ... 0.09932677 0.10722913 0.10462242]
 [0.09840129 0.10786825 0.09965912 ... 0.11311305 0.08366519 0.10692449]
 ...
 [0.10567487 0.09954583 0.09972969 ... 0.09445976 0.09508321 0.0991546 ]
 [0.09587354 0.11076774 0.09700563 ... 0.10748769 0.09515158 0.11452723]
 [0.10443144 0.09577551 0.10727009 ... 0.09245645 0.09657421 0.09224707]]

keras的网络层

1. Keras 的 layer 中共同的 methods：

2. 全连接层Dense 和激活层Activation

2.1 全连接层Dense

2.2 激活层Activation

3. Convolutional Layers 卷积层

3.1 1D convolution layer（eg: 时序卷积）

3.2 2D convolution layer (e.g. spatial convolution over images)

4. Pooling Layers 池化层

4.1 MaxPooling1D: 对于时序数据的最大池化。

4.2 MaxPooling2D：对于空间数据的最大池化。

5. Keras快速入门

[转帖]使用NMT和pmap解决JVM资源泄漏问题原创

Python实现大麦网抢票的四大关键技术点解析

Python 安装库指令大全

salesforce零基础学习（一百三十八）零碎知识点小总结（十）

一款开源的.NET程序集反编译、编辑和调试神器

关于接口协议，你必须要知道这些！

2020年上半年数据库系统工程师考试

基于 Milvus + LlamaIndex 实现高级 RAG

【2024-05-21】以茶会友

LeetCode26 Remove Duplicates from Sorted Array刪除排序數組中的重複項

LeetCode169 Majority Element 求衆數

LeetCode230. Kth Smallest Element in a BST 二叉搜索樹中第K小的元素

LeetCode104. Maximum Depth of Binary Tree 二叉樹的最大深度

LeetCode231 Power of Two 2的冪

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

keras的网络层

1. Keras 的 layer 中共同的 methods：

2. 全连接层Dense 和 激活层Activation

2.1 全连接层Dense

2.2 激活层Activation

3. Convolutional Layers 卷积层

3.1 1D convolution layer（eg: 时序卷积）

3.2 2D convolution layer (e.g. spatial convolution over images)

4. Pooling Layers 池化层

4.1 MaxPooling1D: 对于时序数据的最大池化。

4.2 MaxPooling2D：对于空间数据的最大池化。

5. Keras快速入门

2. 全连接层Dense 和激活层Activation