Synapsen sind keine Parameter
Aus Wiki1
| (Der Versionsvergleich bezieht 3 dazwischenliegende Versionen mit ein.) | |||
| Zeile 3: | Zeile 3: | ||
Dabei wird unterschlagen, dass bei einem mathematischen neuronalen Netz jedes Neuron einer Schicht mit jedem Neuron der nächsten Schicht verbunden sein muss. Viele der Verbindungen (Parameter) erhalten aber Gewichtungen um den Wert 0. Diese Verbindungen entsprechen in einem natürlichen neuronalen Netz einer nicht vorhandenen Verbindung. | Dabei wird unterschlagen, dass bei einem mathematischen neuronalen Netz jedes Neuron einer Schicht mit jedem Neuron der nächsten Schicht verbunden sein muss. Viele der Verbindungen (Parameter) erhalten aber Gewichtungen um den Wert 0. Diese Verbindungen entsprechen in einem natürlichen neuronalen Netz einer nicht vorhandenen Verbindung. | ||
| - | Anders als in einem künstlichen Netz können Neuronen in | + | Anders als in einem künstlichen Netz können Neuronen in einem echten Gehirn Synapsen bei Bedarf neu bilden oder bei fehlender Nutzung zurückbilden. Dabei suchen sie sich autonom ihren Weg durchs Neuronengeflecht. |
Die folgende Berechnung ermittelt die Anzahl der möglichen Neuronen in einem künstlichen Netz bei vorgegebener Zahl der Parameter und Schichten | Die folgende Berechnung ermittelt die Anzahl der möglichen Neuronen in einem künstlichen Netz bei vorgegebener Zahl der Parameter und Schichten | ||
| + | |||
| + | Beispielrechnung ChatGPT3 mit 175 Mrd. Parameter und 10 Schichten: | ||
<CalcII>Parameter=175000000000;Schichten=10;Neuronen=POT(Parameter/Schichten,0.5); | <CalcII>Parameter=175000000000;Schichten=10;Neuronen=POT(Parameter/Schichten,0.5); | ||
</CalcII> | </CalcII> | ||
| + | Ein Menschlices Gehirn verfügt über 80 Milliarden [[Wie aus Neuronen ein Gehirn wurde|Neuronen]]. | ||
| + | |||
| + | Artikel aus Spectrum der Wissenschaft https://www.spektrum.de/news/sprachmodelle-ist-bei-einer-ki-groesser-immer-besser/2120211 | ||
[[Kategorie:Leben und Technik]] | [[Kategorie:Leben und Technik]] | ||
Version vom 20:00, 22. Jun. 2024
Die großen generativen KI-Modelle überbieten sich mit der Anzahl ihrer Parameter und vielfach wird diese Anzahl mit den neuronalen Verbindungen in einem biologischen Gehirn verglichen.
Dabei wird unterschlagen, dass bei einem mathematischen neuronalen Netz jedes Neuron einer Schicht mit jedem Neuron der nächsten Schicht verbunden sein muss. Viele der Verbindungen (Parameter) erhalten aber Gewichtungen um den Wert 0. Diese Verbindungen entsprechen in einem natürlichen neuronalen Netz einer nicht vorhandenen Verbindung.
Anders als in einem künstlichen Netz können Neuronen in einem echten Gehirn Synapsen bei Bedarf neu bilden oder bei fehlender Nutzung zurückbilden. Dabei suchen sie sich autonom ihren Weg durchs Neuronengeflecht.
Die folgende Berechnung ermittelt die Anzahl der möglichen Neuronen in einem künstlichen Netz bei vorgegebener Zahl der Parameter und Schichten
Beispielrechnung ChatGPT3 mit 175 Mrd. Parameter und 10 Schichten:
Ein Menschlices Gehirn verfügt über 80 Milliarden Neuronen.
Artikel aus Spectrum der Wissenschaft https://www.spektrum.de/news/sprachmodelle-ist-bei-einer-ki-groesser-immer-besser/2120211
