import numpy as np

def conv2d(x, kernel, bias=0.0):
    x = np.asarray(x, dtype=float)
    kernel = np.asarray(kernel, dtype=float)
    if x.ndim != 2 or kernel.ndim != 2:
        raise ValueError("Нужны две двумерные таблицы")
    h, w = x.shape
    kh, kw = kernel.shape
    if min(kh, kw) < 1 or kh > h or kw > w:
        raise ValueError("Ядро должно помещаться во входе")
    out = np.empty((h-kh+1, w-kw+1))
    for i in range(out.shape[0]):
        for j in range(out.shape[1]):
            out[i, j] = (x[i:i+kh, j:j+kw] * kernel).sum() + bias
    return out

x = np.tile([0, 0, 1, 1], (4, 1))
kernel = np.array([[-1, 1], [-1, 1]])
y = conv2d(x, kernel)
print(y)
assert np.array_equal(y, np.tile([0, 2, 0], (3, 1)))

[[0. 2. 0.]
 [0. 2. 0.]
 [0. 2. 0.]]

shifted = np.tile([0, 0, 0, 1], (4, 1))
assert np.array_equal(conv2d(shifted, kernel), np.tile([0, 0, 2], (3, 1)))
assert np.array_equal(conv2d(1-x, kernel), -y)
assert np.array_equal(conv2d(np.ones((4, 4)), kernel), np.zeros((3, 3)))
assert conv2d([[2]], [[3]], bias=1).item() == 7
try:
    conv2d([[1]], np.ones((2, 2)))
except ValueError:
    print("Слишком большое ядро отклонено")
else:
    raise AssertionError("Нужна проверка размера ядра")
print(conv2d(shifted, kernel))

Слишком большое ядро отклонено
[[0. 0. 2.]
 [0. 0. 2.]
 [0. 0. 2.]]

def size(n, k, p=0, s=1):
    return (n + 2*p - k)//s + 1

for padding, stride, expected in [(0, 1, 3), (1, 1, 5), (0, 2, 2)]:
    n = size(5, 3, p=padding, s=stride)
    assert n == expected
    print(f"Рамка: {padding}, шаг: {stride}, карта: {n} × {n}")

image = np.arange(49).reshape(7, 7)
kernel3 = np.ones((3, 3))
first = conv2d(image, kernel3)
second = conv2d(first, kernel3)
assert first.shape == (5, 5)
assert second.shape == (3, 3)

# Пиксель в углу участка 5 × 5 влияет на первое значение второго слоя.
changed = image.copy()
changed[4, 4] += 1
assert conv2d(conv2d(changed, kernel3), kernel3)[0, 0] != second[0, 0]

# Пиксель за пределами этого участка на первое значение не влияет.
changed = image.copy()
changed[5, 5] += 1
assert conv2d(conv2d(changed, kernel3), kernel3)[0, 0] == second[0, 0]
print("Для первого значения второго слоя область видимости — участок 5 × 5")

Рамка: 0, шаг: 1, карта: 3 × 3
Рамка: 1, шаг: 1, карта: 5 × 5
Рамка: 0, шаг: 2, карта: 2 × 2
Для первого значения второго слоя область видимости — участок 5 × 5

image = np.tile([0, 0, 1, 1], (4, 1))
kernel_v = np.array([[-1, 1], [-1, 1]])
kernel_h = np.array([[-1, -1], [1, 1]])
map_v = conv2d(image, kernel_v)
map_h = conv2d(image, kernel_h)
assert np.array_equal(map_v, np.tile([0, 2, 0], (3, 1)))
assert np.array_equal(map_h, np.zeros((3, 3)))
patch = image[:2, 1:3]
assert np.array_equal(patch, [[0, 1], [0, 1]])
assert (patch * kernel_v).sum() == 2
assert (patch * kernel_h).sum() == 0
print("Изображение:", image, sep="\n")
print("Фильтр А:", kernel_v, "Карта А:", map_v, sep="\n")
print("Фильтр Б:", kernel_h, "Карта Б:", map_h, sep="\n")
# На горизонтальной границе отклики меняются местами.
assert np.array_equal(conv2d(image.T, kernel_v), np.zeros((3, 3)))
assert np.array_equal(conv2d(image.T, kernel_h), [[0, 0, 0], [2, 2, 2], [0, 0, 0]])

Изображение:
[[0 0 1 1]
 [0 0 1 1]
 [0 0 1 1]
 [0 0 1 1]]
Фильтр А:
[[-1  1]
 [-1  1]]
Карта А:
[[0. 2. 0.]
 [0. 2. 0.]
 [0. 2. 0.]]
Фильтр Б:
[[-1 -1]
 [ 1  1]]
Карта Б:
[[0. 0. 0.]
 [0. 0. 0.]
 [0. 0. 0.]]

Свёртки и устройство CNN¶

Один фильтр¶

Сдвиг и направление границы¶

Размер карты и область видимости¶

Самостоятельно¶

Два фильтра на одном изображении¶

Дополнительная задача: вычисление свёртки¶

Самопроверка¶

1. Сколько чисел описывают один пиксель RGB-изображения и что они означают?¶

2. Почему при перемещении фильтра не нужно задавать новые веса?¶

3. Чему равен отклик нашего фильтра на окне, в котором все значения равны 1?¶

4. В ручном примере границу сдвинули на один пиксель вправо. Какой станет верхняя строка карты?¶

5. Слой применяет к одному изображению несколько фильтров. Должны ли их карты совпасть?¶

6. Что означает шаг 2 при перемещении ядра свёртки?¶

7. Изображение $5\times5$ дополнили рамкой из нулей толщиной в одну клетку. Какой размер карты даст фильтр $3\times3$ с шагом 1?¶

8. На строке из пяти клеток окно шириной 3 перемещается с шагом 2, без дополнения. Сколько положений допустимо?¶

9. Два свёрточных слоя подряд используют фильтры $3\times3$ с шагом 1. Какова область видимости одного значения второго слоя вдали от границ изображения?¶

10. Гарантирует ли применение свёрток, что сеть одинаково распознает изображение после любого поворота?¶

Подсказки и решения¶

Вопрос 1¶

Вопрос 2¶

Вопрос 3¶

Вопрос 4¶

Вопрос 5¶

Вопрос 6¶

Вопрос 7¶

Вопрос 8¶

Вопрос 9¶

Вопрос 10¶