igergov.com
← Artikel
ForschungBestärkendes Lernen · 8 Min. · BG EN ES DE

Wer die Auktion gewinnt, hängt davon ab, was du misst

Die Idee kam aus einem Cloud-Prototyp, in dem du die Kapazität anbietest, die du nicht nutzt, und das, was du zusätzlich brauchst, zum besten Preis kaufst. Seinen Markt haben wir mit Agenten getestet, die selbst lernen.

Alles begann mit dem Prototyp eines Cloud-Dienstes. Die Idee ist einfach: Jeder Teilnehmer hat eigene Maschinen, und die meiste Zeit liegt ein Teil ihrer Kapazität brach. Zu einem anderen Zeitpunkt braucht derselbe Teilnehmer mehr, als er besitzt. Warum sollte die freie Kapazität nicht zu jemandem gehen, der sie gerade braucht, zu einem Preis, den die Teilnehmer selbst bestimmen?

So bekommt jeder den besten Preis für die Ressourcen, die er über die eigenen hinaus nimmt, und einen fairen Preis für die, die er abgibt. Das Herz einer solchen Cloud ist der Markt: wie Nachfrage auf Angebot trifft und wer wie bietet.

Bevor wir die Cloud um den Markt herum bauen, wollten wir wissen, wie sich der Markt selbst verhält, wenn für die Teilnehmer Agenten bieten, die selbst lernen. Im Artikel „Multi-Agent Reinforcement Learning for Decentralized Computational Resource Negotiation in a Tokenized Double-Auction Market“, 2026 in Mathematics erschienen, testen Georgi Tsochev, Adelina Aleksieva-Petrova und ich genau das.

Wie wir zur Frage kamen

Wie es aufgebaut ist
Die Frage

Jeder Teilnehmer hat eigene Maschinen: GPUs, Speicher, Netzwerk. Die meiste Zeit liegt ein Teil davon brach, und zu anderen Zeiten reicht die eigene Kapazität nicht.

Was wir gemacht haben · Eigene Kapazität

Wir verbinden sie zu einer gemeinsamen Cloud. Was du nicht nutzt, bietest du den anderen an. Was du über das Eigene hinaus brauchst, kaufst du von ihnen.

Eine Runde auf dem Markt

Hier ist eine vereinfachte Runde mit vier Käufern und vier Verkäufern. Du bist der Käufer, für den die Ressource 9 wert ist. Die anderen bieten genau so viel, wie sie ihnen wert ist. Alle Geschäfte laufen zu einem einheitlichen Preis: der Mitte zwischen dem letzten Gebot und der letzten Forderung, die zusammengekommen sind.

Fang mit einem Gebot von 9 an und senke es dann Schritt für Schritt. Zuerst ändert sich der Preis nicht. Sobald du der letzte Käufer bist, der noch zum Zug kommt, drückt ein niedrigeres Gebot den Preis, und du gewinnst mehr. Senkst du es zu weit, fällst du aus dem Geschäft, die Ressource geht an jemanden, dem sie weniger wert ist, und der Gesamtnutzen sinkt.

Käufer (Gebote)
  1. du9
  2. B8
  3. C6
  4. D4
Verkäufer (Preisforderungen)
  1. S13
  2. S25
  3. S37
  4. S48
Abschlüsse
2
Preis
6.5
Dein Gewinn
2.5
Soziale Wohlfahrt
9

Genau das tun die Agenten: Sie lernen, wann sie unter ihrem Wert bieten. Gut für einen Agenten heißt nicht unbedingt gut für den Markt.

Wer gewinnt

Die Ergebnisse unten sind die Mittelwerte aus den 12 Wiederholungen. Wechsle das Maß und sieh zu, wie auch der Spitzenreiter wechselt.

höher ist besser

  • PPO 0.0069
  • MAPPO 0.0140 · führt
  • MADDPG 0.0070
  • IQL 0.0072

Bei der Belohnung und bei der sozialen Wohlfahrt führt MAPPO: 0.0140 [0.0124, 0.0154] bei der Belohnung und 0.0952 [0.0854, 0.1045] bei der sozialen Wohlfahrt. Bei der Ungleichheit schneidet dagegen IQL am besten ab, mit dem niedrigsten Gini-Koeffizienten: 0.4477 [0.4360, 0.4613]. MAPPO, das bei den anderen beiden Maßen führt, hat hier den höchsten Koeffizienten der vier: 0.579.

Was daraus folgt

Ein Algorithmus, der bei einem Maß gewinnt, gewinnt nicht automatisch bei allen. Hätten wir nur auf die Belohnung geschaut, hätten wir MAPPO zum besten erklärt und übersehen, dass sich die Tokens bei ihm in weniger Händen sammeln.

Deshalb ist der Beitrag des Artikels ein Benchmark und ein Prüfprotokoll: derselbe Markt, dasselbe Trainingsbudget, viele Wiederholungen, Konfidenzintervalle und mehrere Maße, gemeinsam berichtet. Der Artikel schlägt keinen neuen Auktionsmechanismus vor. Er bietet einen Weg, jeden neuen Algorithmus fair mit den bekannten zu vergleichen.

Der Artikel ist frei zugänglich: doi.org/10.3390/math14111828. Alle meine Publikationen findest du unter Publikationen.