En sammenlignende analyse af klassisk økonometri, machine learning og zero-shot foundation-modeller på europæiske day-ahead-markeder
Hele projektet kan fås på forespørgsel
Vedvarende energi har ændret, hvordan europæiske elpriser opfører sig. Med vind og sol nederst i merit order svinger priserne mere, spiker oftere og bliver jævnligt negative. Det har klassiske forecastingmodeller svært ved. Samtidig lover en ny generation af prætrænede foundation-modeller forecasts uden træning på egne data. Projektet stiller et praktisk spørgsmål: For en trader eller et forsyningsselskab, der byder ind på day-ahead-auktionen, hvilken generation af modeller forecaster så bedst, og hvorfor er svaret forskelligt fra marked til marked?
−43%
RMSE, CatBoost vs. bedste klassiske model (Tyskland)
Ikke-lineære modeller vinder. Gradient boosting (CatBoost) og et dybt neuralt netværk (NHITS) slår alle klassiske modeller i alle seks budområder. Lineære modeller kan ikke fange de prisspikes, som merit order skaber.
38.8 → 21.8
Chronos RMSE i Tyskland, uden vs. med markedsdata
Markedsdata slår modelstørrelse. Foundation-modeller, der kun ser historiske priser (Chronos t5, Lag-Llama), taber overalt; Lag-Llama er dårligere end et naivt benchmark. Giv samme modelfamilie data om forbrug, vind, sol, gas og CO₂, og fejlen næsten halveres.
6 / 6
budområder, hvor Chronos V2 havde de bedste prædiktionsintervaller
Risiko betyder lige så meget som punktforecastet. Klassiske modeller antager normalfordelte fejl og straffes i de tykke haler. Kvantilbaserede ML-modeller og multivariate foundation-modeller rammer den reelle usikkerhed langt bedre, med det forbehold, at prætrænede modeller kan have set dele af testperioden.
DK1
sværeste budområde for 9 af 12 modeller
Markedets struktur afgør sværhedsgraden. Vindtunge Vestdanmark er det sværeste marked for 9 af de 12 modeller. Vandkraftbaserede Norge giver de fleste modeller deres laveste fejl, men er svært at slå med noget klogere end gårsdagens pris.
Out-of-sample-resultater for alle 12 modeller, januar 2023 til september 2024. Vælg et budområde og et mål. Lavere er bedre for alle mål; den stiplede linje markerer det daglige naive benchmark ("samme som i går").
Kilde: projektets tabel 6.1.
Budområderne er valgt, så de dækker de vigtigste måder, Europa producerer strøm på, og hver model derfor testes mod meget forskellige prisdynamikker.
Timebaserede day-ahead-priser fra januar 2020 til september 2024, inkl. energikrisen 2021–2023. Kovariater: forventet forbrug, vind og sol samt TTF-gas- og EU-CO₂-priser. Alt hentes via API'er (ENTSO-E, yfinance) for reproducerbarhed og renses og transformeres i Python/pandas.
Bud for i morgen lukker kl. 12:00 i dag, så alle modeller får kun den information, en trader reelt har ved gate closure. Gas- og CO₂-priser er lagget en dag, og eftermiddagstimer forecastes to skridt frem.
Benchmarks og klassiske modeller: daglig og ugentlig seasonal naïve, ETS, SARIMAX, MSTL-ARIMAX. Machine learning: CatBoost (gradient boosting) og NHITS (dybt neuralt netværk). Foundation-modeller, brugt zero-shot: TimeGPT, Chronos t5, Chronos V2, TimesFM 2.5, Lag-Llama.
Out-of-sample-forecasts med rullende vindue fra januar 2023. Punktpræcision via RMSE, MAE, WAPE og MASE; usikkerhed via Winkler-scores på 95 %-intervaller; Diebold-Mariano-tests for at sikre, at forskellene mellem modellerne er statistisk signifikante og ikke støj.
Prætrænede foundation-modeller er en sort boks, hvad angår træningsdata. TimeGPT, Chronos V2 og TimesFM kan have set europæiske prisdata fra testperioden, hvilket kan få deres resultater til at se bedre ud. Projektet påpeger dette eksplicit, og derfor er de lokalt trænede CatBoost- og NHITS-resultater det mest troværdige bevis.