Artificial Intelligence, Quantum Mechanics, Niklas Luhmann, George Spencer-Brown.
München
- Tweets 28,192
- Following 1,024
- Followers 2,868
- Likes 18,549
Pinned Tweet
So, mein zweiter und nun auch wirklich letzter Artikel zu George Spencer-Browns „Laws of Form“ ist gerade bei Kybernetes erschienen:
„Where George Spencer-Brown went wrong - re-entry recalculated“
(doi.org/10.1108/K-09-2023-17…, researchgate.net/publication…) 1/9
8
9
47
33,185
👇 sollte sich wirklich jeder in 🇪🇺 anhören. Rubio fordert insbesondere die 🇪🇺 Staaten auf, aus einem langen Schlaf zu erwachen und die Tatkraft, den Mut sowie das Streben nach Exzellenz wiederzuentfachen, die einst in der Antike ihren Ursprung nahmen. 1/8
Ryan Saavedra
2
1
137
... die Außengrenzen wirksam vor Massenmigration zu sichern und wieder mit zivilisatorischem Stolz auf die gemeinsamen Wurzeln, Werte und Tugenden zu blicken. 7/8
1
1
27
Anyways, gerade im Kontext der #KI-Transformation ist die transatlantische Westbindung die einzige sinnvolle außenpolitische Strategie für 🇩🇪 und da sollte man sich auch nicht durch das Irrlichtern des völkischen Flügels der AfD irritieren lassen. 8/8 youtu.be/eOv1DpML7I4?si=aHgU…
1
32
André Rieu retweeted
... ohne ihre Gewichte zu verändern. Das deutet darauf hin, dass im trainierten NN interne Algorithmen und Repräsentationen entstehen, die weit über simples Auswendiglernen hinausgehen. 8/8 youtu.be/q_Dj4-QNJV8?si=m9tI…
1
114
André Rieu retweeted
... weil Fähigkeiten nicht immer graduell sichtbar werden, sondern abrupt als Phasenübergang auftreten können. Als ähnlich offene Herausforderung wird In-Context-Learning gerahmt: Große NN können aus Beispielen im Prompt eine Aufgabe erschließen, ... 7/8
1
1
1
87
André Rieu retweeted
Grokking erscheint als besonders interessantes Phänomen: NN können lange scheinbar nur memorisieren und dann plötzlich die zugrunde liegende Regel "verstehen". Das ist nicht nur mathematisch spannend, sondern auch sicherheitsrelevant, ... 6/8
1
1
49
André Rieu retweeted
Random-Label-Experimente zeigen, dass Kapazität allein Generalisierung nicht erklärt. Entscheidend ist, welche Lösung das Training bevorzugt, also eine Art Soft Inductive Bias zugunsten einfacher oder komprimierbarer Erklärungen. 5/8
1
1
47
André Rieu retweeted
... sondern verändern ihre Features während des Trainings. Weiter mit Generalization: Klassische Bias-Variance-Intuition reicht nicht aus, weil stark überparametrisierte NN Trainingsdaten perfekt fitten und trotzdem auf neuen Daten gut funktionieren können. 4/8
1
1
35
André Rieu retweeted
Die zugehörigen Eigenwerte bestimmen die Lernrate: große Eigenwerte führen zu schnellem Lernen, kleine zu langsamem Lernen. Allerdings hat diese NTK-Abstraktion auch ihre Grenzen, denn reale NN lernen nicht nur mit einem angenommen eingefrorenen Kernel, ... 3/8
1
1
1
41
André Rieu retweeted
Zur mathematischen Fundierung wird die Neural-Tangent-Kernel-(NTK)-Abstraktion wiederholt. Kernidee: Der Fehler lässt sich in Komponenten entlang der Eigenfunktionen des NTK zerlegen. 2/8
1
1
42
André Rieu retweeted
#3 zu den mathematischen Grundlagen von #KI Learning, Generalization, Grokking und In-Context-Learning. Zuerst ein Rückblick auf Scaling Laws: Wenn neuronale Netze (NN) größer werden, mehr Daten sehen oder länger trainieren, fällt der Loss empirisch oft nach Potenzgesetzen. 1/8
1
1
40
👇 24teilige Vorlesungsreihe "Mathematics for AI Safety" soll rein mathematische Werkzeuge zur Beantwortung der zentralen Fragen agentischer #KI-Sicherheit, also im Kontext des ganzen neueren 🤖-Missalignments, mit praxisrelevanten Ergebnissen anwenden 🧵 fields.utoronto.ca/activitie…
3
1
4
552
... weil Fähigkeiten nicht immer graduell sichtbar werden, sondern abrupt als Phasenübergang auftreten können. Als ähnlich offene Herausforderung wird In-Context-Learning gerahmt: Große NN können aus Beispielen im Prompt eine Aufgabe erschließen, ... 7/8
1
1
1
87
... ohne ihre Gewichte zu verändern. Das deutet darauf hin, dass im trainierten NN interne Algorithmen und Repräsentationen entstehen, die weit über simples Auswendiglernen hinausgehen. 8/8 youtu.be/q_Dj4-QNJV8?si=m9tI…
1
114