Modell-iskola

Szakmai témák 1 013 hozzászólás
Rudolfking
München/Németország
#1 013
Kijött a google új AI modellje, a WeatherNext 3. Nyilván azt ígérik, ez a legjobb modell a világon, veri az összes AI modellt és veri az összes hagyományos modellt (pl. a legjobb ECMWF-et). Itt a promó: Link és itt egy részletes összehasonlító, ahol valóban jobb, mint bármi más: Link az esetek nagy többségében. Viszont attól még, hogy a google "beépítette mindenhová", relatíve nehéz találni előrejelzési térképeket, ez van: Link és az egész olyan furcsa. Aztán rájöttem, hogy ez azért van, mert itt nincs "operatív" futás, csak 64 ensemble tag, és annak az átlagát dobja minden! Ami nekem erősen fura, hiszen mi van a klaszterekkel, a szórással, a 20% esély drasztikus lehűlésre forgatókönyvvel? Sehol egy fáklya... Úgyhogy kértem hozzáférést a google-től, megadták (tippre bárki kér, megadják), beröffentettem a ChatGPT 6 Astrát codexben és összevibekódoltam egy fáklyagenerátort nevet Sajna a GCS hozzáférés, ahol minden ENS tag és minden nyomás-szint (T850, T925 stb.) külön megvan, csak egyben queryzhető (900GB per futás), ami így elég drága, de BigQuery hozzáférésben ha külön ENS tagok nincsenek is, legalább percentilisek vannak (és csak T2m, felhőzet, csapadék, légnyomás) - értelmes adatmennyiségek mellett.
Íme egy futás:
Link
Ez Budapest, szeptember 10 éjféli futás, T2m + csapadék. Holnap esni fog szomoru
Jól hangzik, hogy "a világ legjobb modellje", de úgy érzem, ez így egyelőre kevés, inkább csak még egy jó globálmodell, még egy jó hurrikán-követési input azoknak, akik ezt vadásszák, de sehol nem lesz egy nagyfelbontású regionális modellhez képest. Plusz, ezek az AI modellek mind a rendes fizika-alapú modellek miatt jöhettek létre, és mivel kicsit jobbak, félek, hogy beragadunk abba, hogy a fizikai modelleket senki se fejleszti, így viszont az AI modellek se lesznek sokkal jobbak... Persze lehet, hogy majd az AI megírja a jobb fizikát is nevet
Whistler
Szeged
#1 011

Erre azért kíváncsi lennék (leszek): Link
Egyenlőre a HF-en ( Link ) és a Github-on ( Link ) is csak a projekt van létrehozva, még nem publikálták. Most még a recenzensek dolgoznak rajta, de ha ez ott is úgy működik mint nálunk, akkor ki tudja meddig. nevet
ViharKém
Budapest III.
#1 010
met4ever írta #1 009

Csak most olvastam :) Az alábecslés höség periódusokban AI-nál szerintem egyértelmüen annak köszönhetö, hogy az extrém periodusok a teljes betanulási idöszaknak csak egy kis részét teszik ki, így nincs elég példa…

Köszi a választ! nevet

Nem találtam én se nyomát, de megtaláltam ezt a Link amit nyáron szerintem olvastam is.
És valóban, a kisebb felbontású AI-ENS tagok (alsó ábra) a módszer miatt képesek részletesebb térbeli eloszlású mezőket létrehozni, mint az ábra tetején mutatott nagyfelbontású AIFS "OP". vidám

beillesztett kép

met4ever
Vallendar
#1 009
ViharKém írta #1 008

Egyébként az ECMWF AIFS-ének is van már valószínűségije. ECM honlapján publikusak is a meteogramok. Ami érdekes ezeknél a rendszereknél (legalábbis AIFS-nél biztosan), hogy az operatív főfutások simítottabb kimeneteket…

Csak most olvastam nevet

Az alábecslés höség periódusokban AI-nál szerintem egyértelmüen annak köszönhetö, hogy az extrém periodusok a teljes betanulási idöszaknak csak egy kis részét teszik ki, így nincs elég példa szerintem arra, hogy a modell magabiztosan megtanulja ezek kialakulását. Igy szükségképpen kevésbé extrém elörejelzések születnek vele. Ugyanigy kevés eset van a betanulási idöszakban az extrém hideg periodusokra is, így azoknál ezen logika alapján meg felülbecsülné a hömérsekletet.

AZ ECMWF AIFS ensemble verziojáról tudok, de annak még nem olvastam utána, hogy mennyire tér el kifejlesztésének módszere az operatív föfutásétól. Valahol elérhetöek az egyes ECMWF AIFS ensemble tagok változoinak térbeli eloszlásai is? Az ECMWF saját oldalán csak a fáklyadiagramokban/ENSgramokban látom ezeket, ott viszont csak egyetlen pontra vonatkozó értékek szerepelnek térbeli eloszlás nélkül.
ViharKém
Budapest III.
#1 008
Rudolfking írta #1 006

Egy Nature cikk (összefoglalója) a Google DeepMind AI időjárás-előrejelző... modelljéről? https://arstechnica.com/science/2024/12/googles-deepmind-tackles-weather-forecasting-with-great-performance/ vagy programjáról,…

Egyébként az ECMWF AIFS-ének is van már valószínűségije. ECM honlapján publikusak is a meteogramok. 
Ami érdekes ezeknél a rendszereknél (legalábbis AIFS-nél biztosan), hogy az operatív főfutások simítottabb kimeneteket adnak a változók térbeli eloszlására, mint az ENS tagjai. A rendszer módszertana miatt, értelmezésem szerint akkor is, ha pl. azonos felbontáson futnak (!).

De met4ever megerősíthetne ebben.

Nyáron a hőség csúcsperiódusaiban néha ránéztem a kimenetekre, és ami feltűnő volt, hogy az AI-modell főfutása alábecsülte térségünkben a T850-et, de valamilyen mértékben még az AI együttes is. Jó kérdés, hogy ez vajon a kisimítás miatt volt, vagy mert a betanulási időszak egy részében jóval enyhébb nyarak is voltak, és ez elfogulttá tette a modellt.
met4ever
Vallendar
#1 007
Rudolfking írta #1 006

Egy Nature cikk (összefoglalója) a Google DeepMind AI időjárás-előrejelző... modelljéről? https://arstechnica.com/science/2024/12/googles-deepmind-tackles-weather-forecasting-with-great-performance/ vagy programjáról,…

Ezt is nyugodtan nevezhetjük modellnek. Csak éppen nem a fizikai folyamatokat részletesen leírva modellezi a légkört, hanem a működési mechanizmusát tanulja meg múltbeli példák alapján, s alkalmazza a tanultakat a légkör jövőbeli állapotának előrejelzésére. Teljesen más szemlélet és nagyon jól működik... nevet
Rudolfking
München/Németország
#1 006
Egy Nature cikk (összefoglalója) a Google DeepMind AI időjárás-előrejelző... modelljéről? Link vagy programjáról, ha már nem is modellezi a légkört. GenCast a neve, és a GraphCast/GenCast project publikus is: Link
A Wetterzentrale-n található "AI GFS": Link az a GraphCastGFS, kíváncsi leszek, megjelenik-e majd a GenCast is itt, és hogy teljesít, mert állításuk szerint a legtöbb mutatóban veri az ECMWF-et (ami a legjobb numerikus modell) 1 héten belül, de gyakran 1 héten túl is.
ViharKém
Budapest III.
#1 004
palota írta #1 003

Egy érdekesnek tűnő doktori értekezés: A WRF modell regionális klímamodellként történő adaptálása és kiértékelése a Kárpát-medence térségére felszíni, műholdas és reanalízis adatbázisok segítségével" (2024)című…

Biztosan érdekes lesz. nevet Ákos BSc óta végig ezzel foglalkozott.
palota
Budapest XV.
#1 003
Egy érdekesnek tűnő doktori értekezés: A WRF modell regionális klímamodellként történő adaptálása és kiértékelése a Kárpát-medence térségére felszíni, műholdas és reanalízis adatbázisok segítségével" (2024)című értekezés

Link

ViharKém
Budapest III.
#998
Egy korszak vége: ősztől már az "eredeti" nagyfelbontású ECM főfutás is 15 napig megy a 0-ás és 12-es ciklusokban. Egy évvel később pedig megszűnik az egyenrangú főfutás duplázása, egy perturbálatlan tag marad. Link
Nanovich*
Szigethalom
#997
olivera írta #996

De van. De nem is konkrétan 6 , hanem 8. Az ICON-EU nak vannak mellék futásai, 03Z, 09Z, 15Z, 21Z, de ezek jóval rövidebb időtávra vannak, az ICON D2 nek is 8x futás van asszem. A Meteo France AROME-nek is 8x van, az…

Ő azt kérdezte, hogy 6x.

Az SHD nowcastingja pl 24x fut 24 órára kacsint

Monjuk olyan is laza
olivera
ada
#996
Nanovich* írta #995

Nincs.

De van.  De nem  is konkrétan 6 , hanem 8. Az ICON-EU nak vannak mellék futásai, 03Z, 09Z, 15Z, 21Z, de ezek jóval rövidebb időtávra vannak, az ICON D2 nek is 8x futás van  asszem.  A Meteo France  AROME-nek is 8x van, az  OMSZ  nél is   van  8x AROME-nak úgy emlékszem, de  nem publikus csak 4x.
A ZAMG AROME is 8x fut, ahhoz hozzá is lehet férni publikusan, a nyers adatfájlokhoz legalábbis.
olivera
ada
#993
olivera írta #984

Nehány info a Meteo France modelljeinek új fejlesztéseiről és frissitéseiröl. Az felsorolt fejlesztéseket most nyáron tesztelik az előrejelzők és teszterek hogy jövőre bekerülhessenek az operatív verzióba. ARPEGE: Új…

Végre, mátol kezdve   operativan megy az ARPEGE CY46T1_op1 ciklus, nevet ezzel a cy43t2_op8 at váltotta.
Több mint 1 év tesztelés után.  Jelentős javulást  hozott az új ciklus a Meteo France szerint. 

Változott a CAPE számitása  is,  a 06 és 12Z futásnál jelentős változás látszik 00Z képest,
A  kis futások is 102 órások lesznek, 06Z, 18Z, bár kérdés publikusan megkapjuk e, ugyanaz érvényes az új paraméterekre,  egyelőre még nem nincsenek új paraméterek.
olivera
ada
#992
thmarc írta #991

Mától a Creative Commons 4.0 licensz alatt ingyenesen elérhetők az ECMWF GRIB2 kimenetei csökkentett felbontásban:…

Egyes dolgok hiányzanak fájlokból. Nem találok pl összcsapadékot sem, pedig kellene h legyen. 
thmarc
Szõdliget
#991
Mától a Creative Commons 4.0 licensz alatt ingyenesen elérhetők az ECMWF GRIB2 kimenetei csökkentett felbontásban:
Link
- 0,4 fokos vízszintes felbontás
- 9 magassági szint (1000, 925, 850, 700, 500, 300, 250, 200, 50 hPa)
- 3 óránként
A kiementeket 1 órával késleltetik a teljes felbontású adatok közzétételéhez képest, ugyanakkor jó hír, hogy a 06Z-s és 18Z-s mellékfutások is elérhetők.
thmarc
Szõdliget
#989
Bejelentették a 2022 végén érkező 48r1 verziójú ECMWF modellt.
- A valószínűségi (ENS) tagok felbontása a mostani 16 kilométerről 9 kilométerre nő majd, így a főfutással azonos felbontású lesz.
- A többhetes anomália (ENS extended) előrejelzés heti 2 helyett naponta frissül, és 50 helyett 100 tagból áll majd.
Link
olivera
ada
#988
Az új CAPE paraméterek jönnek az ősszel bevezétésre kerülő 47R3 ECMWF ciklussal.
MLCAPE, MUCAPE, MLCIN, MUCIN.
Eddig nem voltak ilyen paraméterek az ECMWF nek.  
AZ MLCAPE-bol és MLCIN-ből két féle is lesz,  MLCAPE a legalacsonyabb 50 hpa ra, és MLCAPE a legalacsonyabb 100 hpa ra. És ugyanaz a kettő MLCIN-nél is.
Link
olivera
ada
#987
met4ever írta #986

A csap. intenzitás mindig pillanatnyi, azaz hiába van megadva órára, nem azt jelenti, hogy 1 óra alatt ennyi is fog esni, hanem hogy ennyi esne egy óra alatt, ha ez a pillanatnyi csap.intenzitás pontosan egy órán át…

Na most meg csinálta az accum mezőböl a kivonást. Így már egyezik a met.hu-n lévő térképpel.  Holnap délután 16 UTC re.  Saját. Link
OMSZ es Link
met4ever
Vallendar
#986
olivera írta #985

Hmm szóval annak ellenére h mm/h van megadva a pillanatnyi intenzitás még se 1 órás csapadékösszeget mutat. Az OMSZ töl kaptam segitséget, ki kell vonni az egyik idépcsőből az előtte lévőt, pl NC diffel, na én ezt meg…

A csap. intenzitás mindig pillanatnyi, azaz hiába van megadva órára, nem azt jelenti, hogy 1 óra alatt ennyi is fog esni, hanem hogy ennyi esne egy óra alatt, ha ez a pillanatnyi csap.intenzitás pontosan egy órán át fennmaradna. Lehet hogy csak pár percig marad ennyi, s az óra többi részén kevesebb/több, vagy akár 0, igy az órás összegre ebből még nem lehet pontosan következtetni. 
Az accum viszont mindig az 1 órára vonatkozó csapadékösszeget takarja, szóval ez volt a hiba. Kiváncsi vagyok, mit kapsz az 1 órás akkumulációval. Még azt is vedd figyelembe, hogy az OMSZ skálája is eltér a tiédtől. Az előző időlépcsőből való kivonás elmaradása is lehetett volna hiba, de azt gondoltam, hogy megtetted nevet
olivera
ada
#985
met4ever írta #983

Csak most olvastam a kérdést, lehet már rég megoldódott. Elsö látásra az tünt fel, hogy nálad "Total inst. precip." szerepel, ami a pillanatnyi csapadékinteniztás szokott lenni, mondjuk mm/h-ban, s nem egy idöszak…

Hmm szóval annak ellenére  h mm/h van megadva a pillanatnyi intenzitás még se 1 órás csapadékösszeget mutat.
Az OMSZ töl kaptam segitséget, ki kell vonni az egyik idépcsőből az előtte lévőt, pl NC diffel, na  én ezt meg is csináltam, csak ezzel a Tot inst preccipel, nem a Total accum precippel.  És így persze nem lett ugyanaz az eredmény mint  met.hu weboldalon vidám
Na de most majd megpróbálom  Tot accum precippel
olivera
ada
#984
Nehány info a Meteo France modelljeinek új fejlesztéseiről és frissitéseiröl.

Az felsorolt fejlesztéseket most  nyáron tesztelik az előrejelzők és teszterek hogy  jövőre bekerülhessenek az operatív verzióba.

ARPEGE:

Új fizika alkalmazása a modellben, amely új konvekciós, napsugárzási és óceánfelszíni sémákat, valamint a GELATO-1D jégtakaró ( ha jól lett fordítva ez a szó franciáról)modellezési séma javítását foglalja magában.

Az asszimilációs oldalon is jelentős fejlődés következik: a rádiószondák adatainak asszimilációja a leszállás során. - Ilyenről még nem hallottam.  Az ECMWF nél is így van, illetve más modelleknél?

Új paraméterek kerülnek kiszámításra mint pl CIN, MLCAPE, MUCAPE, villámsűrűség.

Az első tesztek jelentős javulást mutatnak a nappali konvekciónál.

AROME:

Itt lesznek azok az új paraméterek amit ARPEGE-nél soroltam az előbb.

Az AROME trópusi verziójánál 2.5 km röl 1.5 km re növekedik a felbontás, az ECMWF alapú AROME nál szintén  növekszik a felbontás 2.5 km röl 1.3 km re.


Az asszimilációban számos új funkció: A radaradatok asszimilációjának módosítása az új SERVAL-feldolgozási láncból származó adatok helyreállításával, amely lehetővé teszi a hamis visszhangok által keltett zaj korrekcióját és a kettős polarizáció jobb kihasználását. A műholdas szórásmérőkből származó szélmérések asszimilációja javul a visszanyert mérések felbontásának 50-ről 25 km-re történő csökkentésével. I
Itt is asszimilálni fogják a lefelé szálló rádiószondák adait.


PEARP- azaz ARPEGE ENS:

A vertikális felbontás növekedni fog, 90 röl 105 szintre, ugyanúgy mint ARPEGE OP esetében. Minden futás legfeljebb 102 órás lesz.
met4ever
Vallendar
#983
olivera írta #982

Valami nem stimmel az általam megjelenitett OMSZ AROME 1 órás csapadékösszég előrejelzésével. Szoktam összehasonlítani az általam készült térképeket az OMSZ-esel, persze azokat paramétereket amit birok, és nem volt gond…

Csak most olvastam a kérdést, lehet már rég megoldódott. Elsö látásra az tünt fel, hogy nálad "Total inst. precip." szerepel, ami a pillanatnyi csapadékinteniztás szokott lenni, mondjuk mm/h-ban, s nem egy idöszak csapadékösszege. Az OMSZ-os térképen viszont az elmúlt 1 óra csapadékösszege szerepel. A pillanatnyi csap.intenzitás mm/h-ban jelentösen felülmúlhatja adott pillanatban az órás csapadékösszeget, így ez magyarázná is az eltérést.
olivera
ada
#982
Áthelyezve innen: Metnet társalgó (#70479 - 2021-05-11 11:13:19)

Valami nem stimmel az általam megjelenitett OMSZ AROME 1 órás csapadékösszég előrejelzésével.
Szoktam összehasonlítani az általam készült térképeket az OMSZ-esel, persze azokat paramétereket amit birok, és nem volt gond eddig.

AZ OMSZ által megjelenitett 06 os AROME + 33 órára, azaz holnap 15 UTC re  Link
Ez meg saját magam áltat megjelenített AROME ugyanerre az időpontra.  Link
Nálam  a Pécs melletti cellákat jóval erősebbnek mutatja,  és hozzám várt cellákat is, illetve csapadék eloszlás sem egyezik teljesen.
Más modelleken esetén nem volt még gond  saját és más oldalak térképeihez viszonyítva. Ugyanazokat a beállitási opciókat használom az AROME netCDF fájlok esetén is amiket grib fájloknál is.
Ha  valaki esetleg  szokott feldolgozni OMSZ  netCDF fájlokat az megnézhetné.
Dj Miki
Baja
#976
Sziasztok!
Az alábbi cikk rávilágít a légi közlekedés és a meteorológiai modellek kapcsolatára és igyekszik körüljárni repülés során nyert adatok előrejelzésekben történő felhasználását. Ajánlom szíves figyelmetekbe.
Link
olivera
ada
#973
Látom az OMSZ is  már szolgáltat Open Data NWP adatokat...vidámnyelvnyujtas AROME és WRF elérhető,  de a megszokott grib2  formátum helyett Netcdf ben...zavarban Probáltam  tegnap feldolgozni AROME T2M  és Instprec netcdf fájlt Magics-al. De nem megy...
Aztán létrehoztam saját  magam egy Netcdf fájlt Eccodesal, egy ARPEGE T2M grib2 fájból.   Ezzel ment egyből térkép készités, bár itt se mindegy milyen netcdf típus van megadva Magics-ban.  A geomatrix volt alapból megadva és azzal ment.
Rudolfking
München/Németország
#972
kenya írta #971

Sziasztok! Meg tudná mondani valaki, mi a különbség a sima GFS és a GFS PARA között? THX

A "para", parallel, magyarul párhuzamos futás a GFS egy újabb verziója (v16.0.5). Amikor kijön egy frissebb verzió, nem azonnal állnak át rá, hanem egy hosszabb ideig egymás mellett tesztelik a kettőt, és ha nem teljesít jobban a para (az újabb verzió), akkor nem is állnak át rá - plusz javítani, fejleszteni, finomhangolni is jut idő. Ez most már fél éve fut így (a neten ezt találtam), és idén februárban tervezik is, hogy leváltják a GFS-t a parallel futásra.
Persze ha ezt mind tudtad, akkor itt egy kis komolyabb leírás: Link ahol részletesen belemennek, mi változik az új GFS verzióban. 1-2 analízist találtam, állítólag csak egy hajszállal lesz jobb, mint a régi GFS, és még mindig elmarad az ECMWF-hez képest. (Viszont egy-egy ilyen upgrade-nek csak részben célja a pontosabb előrejelzés: számít a kimeneti paraméterek frissítése, hatékonyabb output fájlok, régi kódok kidobása stb. - mi ebből max annyit látunk, hogy hamarabb lefrissül nevet. )
TLT
Pécs
#968
Sziasztok!

Le tudná nekem valaki egyszerűen pár mondatban írni, hogy hogyan kell elemezni/értelmezni egy 500 hpa Geopot.  térképet? nevet
Előre is köszi a választ. 
olivera
ada
#967
met4ever írta #965

Twitteren találtam anyagot erről, ahol okt. 7-re írják az ingyenes adatszolgáltatás kezdetét. Itt a hozzászólásokban felmerül, hogy a GRIB-ek is elérhetőek lesznek-e, s valaki jól értesült szerint csak a térképek, a…

És megérkezett. vidám Link
Gribek nincsenek egyelőre, de egy nyilván nem is lesznek. zavarban
thmarc
Budapest III.
#966
olivera írta #963

Towards free and open weather data for all. The European Centre for Medium-Range Weather Forecasts (ECMWF) is moving towards open data, writes Umberto Modigliani. Early October will see the European Centre for…

Hiába azonos a grid és a modell belső felbontása, a modell rácspontjai nem illeszkednek a grid lineáris projekciójára, így egy interpoláció akkor is történik. Az ICON pl. háromszögre bontott gömbszeletekkel dolgozik, ezeket nem is lehetne interpoláció nélkül négyzetrácsra illeszteni.
met4ever
Offenbach
#965
met4ever írta #964

Ez hatalmas lenne, ha úgy lenne, ahogy a cikkben le van írva. Október elejét írják, ami meg már itt is van. ECMWF oldalon nem találtam még semmit erre a váltásra vonatkozóan. Ha találsz még infot, igencsak érdekelne.…

Twitteren találtam anyagot erről, ahol okt. 7-re írják az ingyenes adatszolgáltatás kezdetét. Itt a hozzászólásokban felmerül, hogy a GRIB-ek is elérhetőek lesznek-e, s valaki jól értesült szerint csak a térképek, a GRIB-ek majd csak egy későbbi időponttól. Meglátjuk, az irány jó...

Link
met4ever
Offenbach
#964
olivera írta #963

Towards free and open weather data for all. The European Centre for Medium-Range Weather Forecasts (ECMWF) is moving towards open data, writes Umberto Modigliani. Early October will see the European Centre for…

Ez hatalmas lenne, ha úgy lenne, ahogy a cikkben le van írva. Október elejét írják, ami meg már itt is van. ECMWF oldalon nem találtam még semmit erre a váltásra vonatkozóan. Ha találsz még infot, igencsak érdekelne.

"Forecast charts will be free and open, so users can share, redistribute and adapt the information as they require, even for commercial applications, as long as they acknowledge ECMWF as the source."

Ebből úgy veszem ki, hogy a gribek is elérhetőek lesznek, nem csak a kész térképek. Kérdés milyen felbontásban vidám