import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.tree import DecisionTreeClassifier

data = load_breast_cancer()
X = data.data
y = (data.target == 0).astype(int)  # 1 — злокачественная, 0 — доброкачественная

# Делим данные один раз: 60% — обучение, 20% — выбор порога, 20% — итоговая проверка.
# stratify сохраняет долю злокачественных опухолей в каждой части.
X_rest, X_test, y_rest, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42, stratify=y
)
X_train, X_valid, y_train, y_valid = train_test_split(
    X_rest, y_rest, test_size=0.25, random_state=42, stratify=y_rest
)

# Площадь измеряется сотнями, гладкость — сотыми долями, поэтому логистической
# регрессии нужна одна шкала признаков: StandardScaler. make_pipeline соединяет
# масштабирование и модель, а масштаб подбирается только по обучающей части.
models = {
    "Логистическая регрессия": make_pipeline(
        StandardScaler(), LogisticRegression(max_iter=1000)
    ),
    "Дерево": DecisionTreeClassifier(max_depth=4, random_state=42),
}
for model in models.values():
    model.fit(X_train, y_train)

# По вероятностям класса 1 и порогу считает ошибки, метрики и цену ошибок.
def report(y_true, probabilities, threshold):
    predictions = probabilities >= threshold  # True — ответ «злокачественная»
    tp = int((predictions & (y_true == 1)).sum())
    fp = int((predictions & (y_true == 0)).sum())
    fn = int((~predictions & (y_true == 1)).sum())
    return {"FP": fp, "FN": fn,
            "accuracy": round(1 - (fp + fn) / len(y_true), 3),
            "precision": round(tp / (tp + fp), 3) if tp + fp else 0.0,
            "recall": round(tp / (tp + fn), 3),
            "цена": 4 * fn + fp}  # пропуск в четыре раза хуже ложной тревоги

chosen = {}
for name, model in models.items():
    # predict_proba возвращает по столбцу на каждый класс;
    # столбец 1 — вероятность класса 1 (злокачественная).
    probabilities = model.predict_proba(X_valid)[:, 1]
    costs = {}
    for threshold in [0.2, 0.5, 0.8]:
        row = report(y_valid, probabilities, threshold)
        costs[threshold] = row["цена"]
        print(name, threshold, row)
    chosen[name] = min(costs, key=costs.get)  # порог с наименьшей ценой

# Тестовую часть используем один раз: пороги уже выбраны на проверочной.
for name, model in models.items():
    probabilities = model.predict_proba(X_test)[:, 1]
    print(name, "порог:", chosen[name],
          report(y_test, probabilities, chosen[name]))

from sklearn.metrics import accuracy_score, precision_score, recall_score

name = "Логистическая регрессия"
probabilities = models[name].predict_proba(X_test)[:, 1]
predictions = probabilities >= chosen[name]

print("accuracy:", round(accuracy_score(y_test, predictions), 3))
print("precision:", round(precision_score(y_test, predictions), 3))
print("recall:", round(recall_score(y_test, predictions), 3))

always_zero = np.zeros(len(y_test))
print(report(y_test, always_zero, 0.5))

probabilities = models["Логистическая регрессия"].predict_proba(X_valid)[:, 1]
for threshold in [round(0.05 * k, 2) for k in range(1, 20)]:
    if report(y_valid, probabilities, threshold)["precision"] >= 0.95:
        print("порог:", threshold, report(y_valid, probabilities, threshold))
        break

Письмо	$p$	Настоящий класс	Ответ модели
А	0,10	обычное	обычное
Б	0,35	спам	обычное
В	0,45	обычное	обычное
Г	0,60	спам	спам
Д	0,75	обычное	спам
Е	0,90	спам	спам

Порог	TP	FP	FN	TN	accuracy	precision	recall
0,3	3	2	0	1	$4/6\approx0{,}67$	$3/5=0{,}6$	$3/3=1$
0,5	2	1	1	2	$4/6\approx0{,}67$	$2/3\approx0{,}67$	$2/3\approx0{,}67$
0,8	1	0	2	3	$4/6\approx0{,}67$	$1/1=1$	$1/3\approx0{,}33$

Модель	Порог	FP	FN	accuracy	precision	recall	Цена
Логист. регр.	0,8	0	5	0,956	1,000	0,881	$4\cdot5+0=20$
Дерево	0,2	4	6	0,912	0,900	0,857	$4\cdot6+4=28$

Логистическая регрессия и вероятностный ответ¶

Чему научимся¶

План занятия¶

От признаков письма к вероятности¶

Углубление: откуда берутся веса¶

Как оценить ответы: accuracy, precision, recall¶

Порог двигает метрики¶

Практика: определяем опухоль по снимку клеток¶

Выбираем порог на проверочной части¶

Итоговая проверка¶

Итоги¶

Самопроверка¶

1. Логистическая регрессия считает оценку $z=b+w_1x_1+w_2x_2$ и применяет к ней сигмоиду. Зачем?¶

2. Чему равна $\sigma(z)=\frac{1}{1+e^{-z}}$ при $z=0$?¶

3. Оценка письма $z=-2+1{,}2x_1-1{,}5x_2$, где $x_1$ — число ссылок, $x_2=1$ для знакомого отправителя. Чему равна $z$ у письма с одной ссылкой от знакомого?¶

4. Модель относит объект к классу 1, если $p\ge t$. Она выдала $p=0{,}4$, порог $t=0{,}3$. Какой класс получим?¶

5. Спам-фильтр отправил в спам обычное письмо. Какая это ошибка?¶

6. Письмо уходит в спам, если $p\ge t$. Порог $t$ повышаем, вероятности не меняются. Что будет с FP и FN?¶

7. Для спама ошибка равна $-\ln p$. Модель дала письму $p=0{,}1$ вместо $p=0{,}9$. Что станет с ошибкой?¶

8. Данные делят на обучающую, проверочную и тестовую части. На какой выбирают порог?¶

9. При пороге 0,5 у модели TP = 6, FP = 2, FN = 3. Чему равны precision и recall?¶

10. Правило «всегда доброкачественная» на тесте из 114 опухолей (42 злокачественные) даёт accuracy $72/114\approx63\%$. Почему этого мало?¶

Решения задач¶

Задача 1¶

Подсказки и решения¶

Вопрос 1¶

Вопрос 2¶

Вопрос 3¶

Вопрос 4¶

Вопрос 5¶

Вопрос 6¶

Вопрос 7¶

Вопрос 8¶

Вопрос 9¶

Вопрос 10¶