handschrift_lernen.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    },
    "tags": []
   },
   "outputs": [],
   "source": [
    "import torch\n",
    "import torch.nn as nn\n",
    "import torchvision\n",
    "import matplotlib.pyplot as plt\n",
    "from utils import draw_single_digit,test_single_image"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Im Folgenden definieren wir zunächst ein paar Hyperparameter.\n",
    "Weißt du, was welche Hyperparameter bedeuten könnten? Was könnten sinnvolle Größen sein?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    },
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "n_epochs = ...\n",
    "batch_size_train = ...\n",
    "batch_size_test = ...\n",
    "learning_rate = ...\n",
    "log_interval = ...\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Das Rückgrat jedes Machine Learning Modells sind Daten. Wir nutzen für unser Beispiel den sogenannten MNIST Datensatz (siehe: https://de.wikipedia.org/wiki/MNIST-Datenbank). Dieser enthält handschriftlich geschriebene Zahlen und zugehörige Labels. Der Datensatz ist in 50'000 Training und 10'000 Testdaten eingeteilt. Mit \"Daten\" ist jeweils ein Bild einer handschriftlichen Zahl und das dazugehörige Label gemeint.\n",
    "\n",
    "Pytorch bietet freundlicherweise direkt Funktionen zum Herunterladen dieses Datensatzes an. Wenn wir diese Funktionen nutzen liegen die Daten weiterhin direkt in einem für uns nutzbaren Format vor. Dafür müssen wir nur die unten angegebenen Funktionen aufrufen. Aber was bedeuten die einzelnen Parameter?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    },
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "train_loader = torch.utils.data.DataLoader(\n",
    "    torchvision.datasets.MNIST('./files/', train=True, download=True,\n",
    "                               transform=torchvision.transforms.ToTensor()),\n",
    "    batch_size=batch_size_train, shuffle=True)\n",
    "\n",
    "\n",
    "test_loader = torch.utils.data.DataLoader(\n",
    "    torchvision.datasets.MNIST('./files/', train=False, download=True,\n",
    "                               transform=torchvision.transforms.ToTensor()),\n",
    "    batch_size=batch_size_test, shuffle=True)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Manchmal ist es schön, sich die Zahlen direkt anzeigen lassen zu können.\n",
    "Mit der folgenden Funktion kannst du eine beliebige Zahl aus dem Datensatz direkt anzeigen lassen. Der Index, den du hier angibst bezieht sich immer auf den Test-Teil der Daten, denn den wollen wir nach dem Training ja auch näher mit unserem Netzwerk untersuchen. Spiel ruhig ein bisschen rum und schau dir an, welche Zahlen so dabei sind!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    },
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAOsAAAD7CAYAAACL3GNOAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjUuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8qNh9FAAAACXBIWXMAAAsTAAALEwEAmpwYAAAJO0lEQVR4nO3dXWiU6RnG8ev2A+PWj1Ur2KoRjLZaFGJRXE/qHgSsFS2C31krlAqC2h7Yokhrq1QseKBsSk88sCVqENygYKVYYQviIqXFGksORMHdxeLHmmrrqtV2nx5khGyYeSaZGCfX5v+DgDv3PDNviP99k3l8J5FSEoCBb0i1DwBAzxArYIJYARPECpggVsAEsQImiNVURPwpIn7wuteieoi1yiLiVkQ0VPs4SomIERFxKCL+ERH/jIjfRMTwah/XYESsKGeXpPmS5kj6mqRvSvppVY9okCLWASoixkXE2Yi4XzijnY2IKd3uVhcRf46If0XEmYgY32X9WxHxQUQ8jIirEfF2hYeyXNK7KaWOlNJ9Se9K+n6Fj4U+INaBa4iko5KmSaqV9FTSr7vd53vqDOcrkv6rzpAUEZMl/V7SLyWNl/RjSe9FxMTuTxIRtYWgazPHEt3+PCUixlbySaFyxDpApZQepJTeSyk9SSn9W9J+SYu73a05pfT3lNKnkn4maU1EDJX0jqRzKaVzKaXPUkp/lPQXSd8p8jwfpZTeTCl9VOJQ/iDpRxExMSImSfph4fY3XsGniV4YVu0DQHER8YakQ5K+LWlc4ebRETE0pfS/wn9/3GXJh5KGS/qyOs/GqyNieZf5cEnvV3Ao+yW9Kelvkv4j6YikeZLuVvBY6APOrAPXDklfl7QwpTRG0rcKt3f9lnRqlz/XSnoh6RN1RtxcOGO+/PhSSulXvT2IlNLTlNK2lNLklNJ0SQ8k/TWl9FklnxQqR6wDw/CIqOnyMUzSaHX+nPqw8MLRz4useycivlE4C++TdKpw1j0maXlELImIoYXHfLvIC1RlRcTkiPhqdHpLnd9uFzsW9DNiHRjOqTPMlx+/kHRY0kh1nikvq/Nnx+6aJf1W0h1JNSr8PJlS+ljSdyXtlnRfnWfan6jI17vwAtPjzAtMdZI+kPSppN9J2pVSOt/7TxF9FVx8DnjgzAqYIFbABLECJogVMEGsgIle/QumiOClY6CfpZSi2O2cWQETxAqYIFbABLECJogVMEGsgAliBUwQK2CCWAETxAqYIFbABLECJogVMEGsgAliBUwQK2CCWAETxAqYIFbABLECJogVMEGsgAliBUwQK2CCWAETxAqYIFbABLECJogVMEGsgAliBUwQK2CCWAETxAqYIFbABLECJogVMEGsgAliBUwQK2CCWAETxAqYIFbABLECJogVMDGs2gcAacyYMSVnBw4cyK6dM2dOdt7Q0JCdv3jxIjvHwMGZFTBBrIAJYgVMECtgglgBE8QKmGDr5jVobGzMzvfv319yNnXq1D49d25bSJIePHjQp8fH68OZFTBBrIAJYgVMECtgglgBE8QKmCBWwESklHp+54ie33kQmTJlSnZ+5cqV7HzChAklZ735+hRz8uTJ7Hzbtm3ZeUdHR5+eH72XUopit3NmBUwQK2CCWAETxAqYIFbABLECJogVMME+6ytw+PDh7Hz79u3ZeUTRbTVJfd9nLefRo0fZee5a26ampuza58+fV3RMgx37rIA5YgVMECtgglgBE8QKmCBWwASxAibYZ+2BadOmZedtbW3Z+ahRo7Lza9eulZzdvXs3u7bcr3Tsq3v37pWczZs3L7v2zp07r/pwBgX2WQFzxAqYIFbABLECJogVMEGsgAliBUzw+1l7oL6+PjsfPXp0dn7x4sXsfPHixSVnNTU12bXr16/Pznfv3p2d19XVZeeTJk0qOTtz5kx27dKlS7Nz3pO4dzizAiaIFTBBrIAJYgVMECtgglgBE2zd9MCIESOy83KXGR46dKji53727Fl2fvTo0ex89erV2fn06dN7fUwvPXnyJDvnrUhfLc6sgAliBUwQK2CCWAETxAqYIFbABLECJthn7YFyl6GVs2zZsuz89OnTfXr8nPnz5/fbY1++fDk7f/z4cb8992DEmRUwQayACWIFTBArYIJYARPECpggVsAE+6w90NLSkp2vWLEiO1+wYEF2PmvWrJKzuXPnZteuXLkyOx83blx2/vDhw4rXb968Obu2ubk5O29vb8/O8XmcWQETxAqYIFbABLECJogVMEGsgAliBUxEufe8/dydI3p+5y+Q8ePHZ+c3btzIzseOHZudR0TJWW++PsVcuHAhO9+6dWt2fvbs2ZKzmTNnZtceOXIkO9+yZUt2PlillIr+heDMCpggVsAEsQImiBUwQayACWIFTBArYILrWXugo6MjO1+zZk12furUqey83D5sTlNTU3a+c+fO7Lzc739tbW0tOdu1a1d27ZIlS7Lzurq67PzmzZvZ+WDDmRUwQayACWIFTBArYIJYARPECpjgErnXoKGhITvfsGFDyVm5twrds2dPdt7XX7s4cuTIkrMTJ05k15Z7i9Zjx45l55s2bcrOv6i4RA4wR6yACWIFTBArYIJYARPECpggVsAE+6yo2Lp167Lz48ePZ+e3b9/Ozuvr60vOyl226Ix9VsAcsQImiBUwQayACWIFTBArYIJYARPss6JiQ4bk/19f7nrVtWvXZud79+4tOdu3b192rTP2WQFzxAqYIFbABLECJogVMEGsgAliBUywz4p+k7seVZIuXbqUndfU1JSczZ49O7v2+vXr2flAxj4rYI5YARPECpggVsAEsQImiBUwwdYNqmbHjh3Z+cGDB0vOWltbs2s3btyYnT99+jQ7rya2bgBzxAqYIFbABLECJogVMEGsgAliBUywz4qqmThxYnaeu4RuxowZ2bXlLs9ra2vLzquJfVbAHLECJogVMEGsgAliBUwQK2CCWAET7LNiwKqtrS05u3XrVnZtS0tLdt7Y2FjJIb0W7LMC5ogVMEGsgAliBUwQK2CCWAETxAqYYJ8Vls6fP5+dL1q0KDtfuHBhdt7e3t7rY3pV2GcFzBErYIJYARPECpggVsAEsQImiBUwMazaBwBUYtWqVdn51atXs/Ny7ztczX3WUjizAiaIFTBBrIAJYgVMECtgglgBE1wiBwwwXCIHmCNWwASxAiaIFTBBrIAJYgVMECtgglgBE8QKmCBWwASxAiaIFTBBrIAJYgVMECtgordvRfqJpA/740AASJKmlRr06uJzANXDt8GACWIFTBArYIJYARPECpggVsAEsQImiBUwQayAif8DRxzx2xoKTtcAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "draw_single_digit(7)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Jetzt wird es langsam Zeit, ein Netzwerk zu kreieren.\n",
    "\n",
    "Wichtige Frage - wie groß ist unser Output? Um diese Frage zu beantworten hilft es, uns ins Gedächtnis zu rufen, dass wir es hier mit einem sogenannten Klassifizierungsproblem zu tun haben. Das bedeutet, dass wir 10 mögliche Antworten haben (0-9) und wissen wollen, in welche dieser Klassen unser Ergebnis fällt. Daher kann der Output des NN ruhig auch größer als nur eine Zahl sein...\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    },
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "class NeuralNet(nn.Module):\n",
    "    def __init__(self):\n",
    "        super(NeuralNet, self).__init__()\n",
    "        # Hier müssen Layer und Aktivierungsfunktionen hin\n",
    "\n",
    "    def forward(self, x):\n",
    "        # Und hier musst du alle Layer und Aktivierungsfunktionen durchgehen\n",
    "        return x\n",
    "network = NeuralNet()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Super! Jetzt können wir unseren Trainingsloop schreiben. Einiges davon hast du schon so im Beispiel von Karan genutzt. Einiges ist bereits eingetragen, weil es ein bisschen sehr technisch ist."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    },
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "# Das ist unsere Loss-Funktion, also die, die wir optimieren wollen. Der Cross-Entropy-Loss ist ein Standard für Klassifizierungsprobleme. Du musst nicht\n",
    "criterion = nn.CrossEntropyLoss()\n",
    "\n",
    "# Was macht der Optimizer nochmal?\n",
    "optimizer = torch.optim.SGD(network.parameters(), lr=learning_rate)\n",
    "for epoch in range(0, n_epochs):\n",
    "\n",
    "    # Das ist eine pytorch Spezialität. Wir müssen dem, Netz mitteilen, dass wir es jetzt gleich trainieren.\n",
    "    network.train()\n",
    "    for batch_idx, (data, target) in enumerate(train_loader):\n",
    "\n",
    "        ...\n",
    "\n",
    "        # Das müssen wir ausführen, bevor wir die Daten ins Netz stecken.\n",
    "        # Ebenfalls so ein pytorch-interna ;)\n",
    "        data = data.reshape(-1, 28*28)\n",
    "\n",
    "        ...\n",
    "\n",
    "        # Das hier ist ein bisschen Output, der uns beim Analysieren des Trainings hilft.\n",
    "        if batch_idx % log_interval == 0:\n",
    "            print('Train Epoch: {} [{}/{} ({:.0f}%)]\\tLoss: {:.6f}'.format(\n",
    "                epoch, batch_idx * len(data), len(train_loader.dataset),\n",
    "                       100. * batch_idx / len(train_loader), loss.item()))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Jetzt, da wir das Netzwerk trainiert haben, können wir das Netzwerk testen. Dafür iterieren wir durch das gesamte Netz, und zählen, wie oft unser Netzwerk richtig liegt. Auf Grundlage dessen kannst du jetzt versuchen, das Netzwerk zu optimieren!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    },
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "# Wieder ein pytorch interna! ~~~\n",
    "with torch.no_grad():\n",
    "\n",
    "    # Wir zählen die Anzahl der richtigen Treffer und die Anzahl\n",
    "    # der gesamten Daten.\n",
    "    n_correct = 0\n",
    "    n_samples = 0\n",
    "    for data, target in test_loader:\n",
    "\n",
    "        # Brauchen wir, genauso wie oben.\n",
    "        data = data.reshape(-1, 28*28)\n",
    "\n",
    "        # Wenn unser Netz mehrere Werte ausgibt, müssen wir\n",
    "        # das mit der maximalen Warscheinlichkeit aus der Liste auswählen.\n",
    "        # Das machen wir mit torch.max, so wie hier gezeigt.\n",
    "        _, vorhersage = torch.max(..., 1)\n",
    "        n_samples += target.size(0)\n",
    "\n",
    "        # Hiermit zählen wir einfach.\n",
    "        n_correct += (vorhersage == target).sum().item()\n",
    "\n",
    "    # Wie bestimmen wir aus n_correct und n_samples nun die Genauigkeit?\n",
    "    acc = ...\n",
    "    print(f'Accuracy of the network on the 10000 test images: {acc} %')\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Natürlich wäre es auch cool, nochmal eine Zahl zu zeichnen und zu schauen, was für ein Ergebnis rauskommt, oder? Also ob das Netz richtig liegt, oder nicht. Das kannst du mit der folgenden Funktion."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    },
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "test_single_image(network,5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}