Bir önceki yazımızda rüzgar enerjisi santralleri için elektrik üretim tahmininin ne kadar önemli olduğundan, farklı tahmin kaynaklarından edinilen tahminler baz alınarak geliştirilen Ensemble Yöntemlerin katma değerinden ve tahmin hatası anlamında en iyi performans gösteren modelin finansal anlamda en iyi sonucu vermeyebileceğinden bahsetmiştik.
İlk çalışmamızda model performanslarını değerlendirmek amacıyla CPE (Cost of Prediction Error) maliyet metriğini kullanmıştık. CPE, piyasa katılımcısının tek bir santrale sahip olacağı varsayımıyla, dengesizlik maliyeti ve KÜPST maliyetlerini içeriyordu. Ayrıca her bir Ensemble Yöntemi için tek bir model kurgusu çalışmıştık.
Bu çalışmada, ilk çalışmamızdaki yaklaşımımızı derinleştirmek ve doğrulamak amacıyla, çalışılan santral sayısını ve model kurgusunu arttırdık. Dolayısıyla çalışma kapsamını 3 farklı santrale, çalışılan ensemble yöntemlerini de 8’e genişlettik. Her bir yöntemin olası en iyi sonuçlarını bulabilmek için de çok sayıda farklı kurgu denedik.
Bilindiği üzere, KÜPST maliyeti santral özelinde, dengesizlik maliyeti ise dengeden sorumlu taraf için hesaplanan maliyet kalemleri. Bu çalışma içerisinde yer alan 3 santralin farklı portfoylerde olacağını gözeterek, maliyet metiriği olarak sadece KÜPST maliyetine odaklandık[1].
Çalışmada her bir santrale ait farklı tahmin kaynaklarından elde edilen 10 baz tahmin kullanıldı. Çalışma 1 Ocak 2023–20 Mart 2024 olmak üzere yaklaşık 15 aylık dönemi kapsayacak şekilde kurgulandı.
Kullanılan Ensemble Yöntemler şunlar:
- Basit Ortalama
- MAE% Performansına Göre Kırpılmış Ortalama (Yöntem 1)
- MAE% Performansına Göre Ağırlıklandırma (Yöntem 2)
- Doğrusal Regresyon (Yöntem 3)
- LGBM (Yöntem 4)
- KÜPST Performansına Göre Kırpılmış Ortalama (Yöntem 5)
- KÜPST Performansına Göre Ağırlıklandırma (Yöntem 6)
- Doğrusal Regresyon + SMF/PTF Oranı Düzeltmesi (Yöntem 7)
- Bu yöntemlere ait model kurguları da aşağıdaki özellikler üzerinde çeşitleniyor.
Tüm modeller için
Eğitim Verisi Büyüklüğü
- son 250 saat
- son 500 saat
- son 1000 saat
- mevcut verinin başlangıcından itibaren (1 Ocak 2023)
Model Güncelleme Sıklığı
- 100 saat
- 24 saat
- 1 saat
kullanılırken,
MAE% Performansına Göre Kırpılmış Ortalama (Yöntem-1) ve KÜPST Performansına Göre Kırpılmış Ortalama (Yöntem-5) yöntemleri için kırpılacak tahmin adeti:
- 1,2,3,4,5,6,7,8
MAE% Performansına Göre Ağırlıklandırma (Yöntem-2) ve KÜPST Performansına Göre Ağırlıklandırma (Yöntem-6) yöntemleri için ağırlıklandırma metrikleri
- 1⁄MAE%, 1⁄KUPST
- 1⁄MAE%² , 1⁄KUPST²
- 1⁄MAE%³ , 1⁄KUPST³
kullanıldı.
Tahmin sağlayıcıların (TS) ve Ensemble Yöntemlerinin (en iyi model kurgularıyla birlikte) MAE% ve KÜPST performansları aşağıdaki tablolardaki gibidir.
Not 1: MAE% sonuçları ilgili fiziksel teslimat saatinden 70 dakika önce alınan en güncel tahminler üzerinden hesaplanmıştır. KÜPST hesaplaması için hem 70 hem 40 dakika önceki tahminler kullanılmıştır.
Not 2: Her santral için en iyi başarımı gösteren yöntem kurgusu farklı olabilir. Örneğin Santral 1 ve 2’deki Yöntem 2’nin kurgusu birbirinden farklıdır.
Not 3: Bazı yöntemlerde MAE% ve KÜPST kriterlerinde en iyi başarımı gösteren kurgular farklı olabileceğinden o yöntem için 2 kurgu sonucu paylaşılmıştır.
Tablolardaki sonuçları incelediğimizde şu çıkarımları yapabiliriz:
- Ensemble Yöntemlerin MAE% ve KÜPST metrikleri özelindeki ortalama performansları dikkate alındığında, Ensemble Yöntemlerin görece daha iyi sonuçlar ürettiğini söyleyebiliriz.
- Daha önceki yazıda altını çizdiğimiz üzere tahmin hatası daha düşük olan modelin finansal anlamda daha iyi sonuç vermeyebileceğini bir kez daha görüyoruz. Örneğin tahmin sağlayıcılarını göz önünde bulundurduğumuzda, TS7’nin MAE% anlamında daha iyi bir performans gösterdiği ancak TS8’in KÜPST anlamında daha iyi bir sonuç gösterdiği ortaya çıkıyor.
- Sağladığı uygulama kolaylığı açısından Ensemble yöntemlerin içerisinde genellikle tercih edilen Basit ortalama yönteminin diğer Ensemble Yöntemlerinden daha kötü sonuç ürettiğini gözlemliyoruz. Bu gözlem de bize Ensemble Yöntemlerin içerisinden doğru yöntemlerin seçiminin önemini tekrar gösteriyor.
Ensemble Yöntemlerin performanslarını ve en yüksek başarımı olan baz model TS1’e kıyasla potansiyel getirilerini aşağıdaki tabloda özetleyebiliriz. Bu tabloda her santral için her yöntemin en yüksek başarımını veren kurgusunun sonuçlarını görüyoruz.
- MAE% metriği açısından en iyi performans gösteren Ensemble Yöntemler değerlendirildiğinde, bu yöntemlerin en iyi tahmin sağlayıcısı TS1’e kıyasla sırasıyla %0,42, %0,32 ve %0,49 daha iyi sonuçlar gösterdiği gözlemleniyor.
- KÜPST özelinde ise en iyi Ensemble Yöntemler sırasıyla %9,6, %7,7 ve %7,8 daha düşük maliyet sağlama potansiyeline sahip. Bu 3 santral için yıllık olarak TL cinsinden yaratılan KÜPST faydasının toplamda 500.000 TL seviyelerinde olduğunu söyleyebiliriz.
- Her santral için farklı bir Ensemble Yönteminin daha iyi sonuç verdiğini görüyoruz. Ayrıca Santral 2 ve Santral 3 özelinde bazı Ensemble Yöntemlerin en iyi kurguda bile TS1’i geçemediğini görüyoruz. Bu da bize santral özelinde Ensemble Yöntem seçiminin önemini gösteriyor.
- En yüksek performans için Ensemble Yöntemi seçmek kadar model kurgusunun doğru seçilmesi de ayrı bir önem taşıyor. Örneğin KÜPST özelinde Santral-1’de Yöntem3’e ait 12 kurgunun 11 tanesi TS1’den daha iyi sonuç üretirken 1 tanesi daha kötü sonuç üretiyor. Santral-2’de ise Yöntem7’ye ait 30 kurgunun 17 tanesi TS1’den daha iyi sonuç üretirken, 13 tanesi daha kötü sonuç üretiyor.
Özet olarak Ensemble Yöntemleri farklı santrallerde test ederek başarılarının tutarlılığını görmüş olduk. Ayrıca santral özelinde Ensemble Yöntemini ve model kurgusunu seçmeninin de önemini görüyoruz. Doğru Ensemble Yöntemlerini ve kurgularını seçerek KÜPST maliyetlerinde %7-%10 civarında bir iyileştirme potansiyeli olduğunu söyleyebiliriz.
*[1] Birden çok santral içeren portföyler için dengesizlik maliyetine odaklanan çalışmalara serinin sonraki yayınlarında değineceğiz.
*[2] MAE% oranındaki iyileştirme potansiyelini değerlendirirken MAE%TS1 – MAE%EnİyiEnsembleModel şeklinde hesaplama yapılmışken, KUPST% oranındaki iyileştirme gösterilirken KUPSTTS1 / KUPSTEnİyiEnsembleModel -1 şeklinde hesaplama yapılmıştır.
Caner Kahraman, Ali Güleç, Cem İyigün
