NM 2024 - den store diskusjonstråden

[Finn Berger]

Jeg har drevet litt kritisk journalistikk, og har kunnet avdekke ganske graverende forhold. Her ser dere først hvordan noen ("de") vil at vi skal tru dømminga foregår:

- og her er den grimme virkeligheta:

Journalistikk er tøffe greier. Jeg måtte grave gjennom et par meter med temmelig nifs litteratur på badet for å finne dette. Det er en skitten jobb, men noen må gjøre den.

 

[Andreas Habel]

I år var vi heldige med at flere flighter i Lys Lager kun sendte 1 flaske videre.

Det hadde jo ikke noe med flaks å gjøre: Flightene i innledende runder planlegges med antall øl i finalflighten som utgangspunkt, som er ~10. Siden vi hadde 8 flighter i innledende runde, fikk jurylederne i disse flightene klar beskjed i forkant å bare sende videre ett øl til finalen. Bare unntaksvis, hvis de to bestplasserte ølene var veldig gode eller har oppnådd tilnærmet samme antall poeng, skulle 2 øl sendes videre. Vi endte opp med 13 øl i finalen - det er håndterbart i klasse 1 med forholdsvis lavt alkoholinnhold, men hadde det vært en "sterkølklasse" kunne vi ikke ha dømt flere enn 10 øl i finalen.

Prekvalifisering av øl
Ved at alle sender inn tre øl i stedet for to, kan vi kjøre en kjapp prekvalifiseringsrunde på øl, hvor vi luker ut øl som ingen i dommerpanelet mener har en mulighet for å hevde seg i finalen. Dette er en avart av Semifinaler, men vil legge mindre belastning på våre dommere.
Disse prekvalifiseringene kan vurdere 20-40 øl dersom de kun skal fjerne øl med tydelige feil og/eller at det ikke skrives dommerskjema.

Intro-runde i store klasser/flighter.
En avart av prekvalifisering av øl, er at de store klassene har 20 øl i flighten, og kjører en første screening / smaking hvor halvparten vurderes som ikke aktuelle i en finale, og derfor plukkes ut av flighten. Dette kan gjøres uten at bryggerne sender inn tre flasker, men at man screener alle flaskene i (umiddelbar) forkant av at en 'vanlig' innledende runde kjøres.
De som tas ut kan gis en meget kort vurdering, eller at de ikke vurderes skriftlig i det hele tatt. Dette stiller store krav til dommerne (Mester / Stormester)

En form for prekvalifisering hvor ølene blir "hurtigvurdert" bør ikke gjennomføres - alle øl bør vurderes ordentlig med dommerskjema som tilbakemelding til bryggeren. Etter hvilke kriterier skal en slik hurtigvurdering av øl gjennomføres? Både prekvalifisering og introrunder er temmelig useriøse greier, synes jeg (spesielt mtp. hvor lang tid vi har brukt for å få dommerne til å utfylle dommerskjemaene ordentlig og nøye).

Sett fra dommer- og bryggerperspektivet er innføringen av semifinaler for de klassene som står i "fare" for å ha mange deltakere den beste løsningen: Det er anledning til å sende 20-30 % av ølene til neste runde, og alle øl blir vurdert seriøst.

 

[msevland]

Beklager at jeg kalte det flaks . Det var som du sier planlagt. Slurvete av meg. Men…
Utfordringen er fremdeles at vi kan ha flere individuelle flighter hvor topp tre er av samme kvalitet…
Les: flaks at det ikke var tilfelle i år

Er ikke også denne praksisen potensielt trøblete ihht dommerinstruksen?

 

[gustavf]

En form for prekvalifisering hvor ølene blir "hurtigvurdert" bør ikke gjennomføres - alle øl bør vurderes ordentlig med dommerskjema som tilbakemelding til bryggeren. Etter hvilke kriterier skal en slik hurtigvurdering av øl gjennomføres? Både prekvalifisering og introrunder er temmelig useriøse greier, synes jeg (spesielt mtp. hvor lang tid vi har brukt for å få dommerne til å utfylle dommerskjemaene ordentlig og nøye).

Man kan tenke seg et forenklet dommerskjema med noen avkrysninger, for eksempel. Jeg synes det kan være en OK løsning enten innledende eller i finale for å kunne øke fligtstørrelsen.

Sett fra dommer- og bryggerperspektivet er innføringen av semifinaler for de klassene som står i "fare" for å ha mange deltakere den beste løsningen: Det er anledning til å sende 20-30 % av ølene til neste runde, og alle øl blir vurdert seriøst.

Etter at dommerkomiteen sluttet å gjennomføre dommerkurs og overlot det i sin helhet til fylkeslagene, som i veldig liten grad har en organisasjon som er i stand til å ta den oppgaven, så må vi også ta hensyn til at det begynner å bli ganske stor mangel på dommere og større frafalll enn rekruttering. En løsning for hvordan NM gjennomføres er ei ganske praktisk problemstilling, der logistikk, dommerutdanning, årshjul, dommertrening, økonomi, motivasjon, fylkesstyrenes oppgaver og IT-løsninger ikke er noe man bare kan vedta at det ikke betyr noe.

 

[gustavf]

Er ikke også denne praksisen potensielt trøblete ihht dommerinstruksen?

Jo. Det er egentlig et helt klart brudd på dommerinstruksen og gjør NM til en cup der det ikke holder å være blant de beste i innledende runde for å kunne få ei god plassering, men må være den aller beste. Jeg synes ikke det er noen fundamentalt feil måte å arrangere en konkurranse på, men da må man være åpen på at det er slik konkurransen fungerer og oppdatere rutinene til å gjenspeile det.

Skal dommerinstruksen følges, er det ikke mulig å ha klasser med mer enn ca 40-45 øl om man begrenser seg til innledende runde og finale.

 

[PolishBrewer]

There's been a lot going on on the forum lately and I'm a little afraid to write because I feel like I belonged to a group that asked a question that caused irritation. But I hope that no one remembers me anymore and I can still be part of the group
Maybe I will write what the Championships look like in Poland, I live in Norway, I live and work here, but every year I take part in the competition in my country.
Each year, the commission determines 15 categories and announces them in September to have time for preparation, and the competition takes place in May the next year. This is predetermined and brewers choose the categories in which they want to compete in a given year. I think it's fair because you're only competing in one beer style in a given category, and it also makes organization easier. For example, this year I'm competing in five categories because the rest simply don't suit me, but it's not a problem for me in any way. With this solution in the competition, if you make the best beer in a given category, you win, you do not have to beat great beers from another type in a given subclass. At the Norwegian Championships in 2022, I received a diploma for the best oat stout, but apparently I lost the finals to the porters.
This is just my reference to ongoing conversations, there is absolutely nothing negative in this post.
By the way, I will ask if after Thursday's meeting it is known when this year's medalists will be announced?

 

[PolishBrewer]

What's more, with this solution you can focus on greater diversity because in the categories you define you are not limited to, for example, American India Pale Ale, but you can specify in a given year, e.g. New Zealand Session West Coast IPA, Cold IPA, White IPA, e.g. Czech Pilsner and Italian Pilsner and these beers do not compete with each other, they are assessed as separate categories, and only compete with each other for the title of Grand Champion among gold medals, which is normal.

 

[Lars___Erik]

Dersom organisasjonen ikke er rigget for å håndtere mengden øl som sendes inn bør det være en begrensning pr brygger. Det må være viktigere å ha mange bryggere enn mange øl!

Med fokus på kvalitet fremfor kvantitet, vil det kanskje bli enklere for dommerne å ta seg tid med de ølene som er med og gi gode og konstruktive tilbakemeldinger?

Jeg synes faktisk ikke max 2 bidrag pr. klasse er en ekstrem begrensning.

Jeg ser ikke at 1 hadde vært det heller og iallefall ikke mer enn 1 i underkategori. Da hadde alle stilt likt i utgangspunktet.

For majoriteten er dette en ikke-eksisterende problemstilling. Hvor mange forskjellige bryggere har sendt mer enn 2 eller 3 øl i hver klasse? Med en begrensning vil vi i teorien få flere forskjellige bryggere i finalene også. Dette vil i såfall utelukkende være til inspirasjon for at flere forskjellige medlemmer deltar.

Dette er et veldig godt poeng!

‐---------------------------------------------------

Det å ta bort semifinale og sende videre kun en øl fra innledende flight virker ganske tvilsomt, da kan fort første, andre og tredjeplassen ligge igjen. Tidligere da det var semifinale var det ofte at rekkefølgen fra innledende så annerledes ut etter semifinalen selv om de kom fra samme flight. Det å vurdere og evaluere dømmingen er da heller ikke så enkelt når bare en øl er sendt videre.

 

[gustavf]

Det å ta bort semifinale og sende videre kun en øl fra innledende flight virker ganske tvilsomt, da kan fort første, andre og tredjeplassen ligge igjen. Tidligere da det var semifinale var det ofte at rekkefølgen fra innledende så annerledes ut etter semifinalen selv om de kom fra samme flight. Det å vurdere og evaluere dømmingen er da heller ikke så enkelt når bare en øl er sendt videre.

NM har aldri hatt semifinaler, med mindre det ble gjennomført noen tilbake da det måtte sendes inn 4 flasker av hvert øl. Det er ei innledende bedømming som sender øl videre til finalene. Det er en finale per klasse og hver finale kårer en norgesmester.

 

[SindreW]

Har selv opplevd å ha høyere poengsum i innledende enn den som fikk tredjeplassen i finalen, men ble ikke sendt videre fordi bare to øl gikk til finalen fra den flighten.

For å unngå slike ting. Burde en kanskje se på poengsummene i innledende i tillegg til plassering?

Istedenfor å overlate til dommerne i innledende å vurdere hvor mange som skal videre fra hver flight, kunne det beste ølet fra hver flight pluss de 3-4 med høyest poengsum totalt i innledende gå til finalen. Da unngår en i alle fall at et øl som potensielt kunne havnet på pallen ikke går til finalen, fordi dommerne i en flight ikke vet nivået på deltakerne i øvrige flighter.

 

[msevland]

Det er ikke mulig å sammenligne poengsummer mellom flighter. Det er mange årsaker til det.
Et lite eksempel. Dersom man har ti øl i en flight, og første øl er vurdert høyt. Hva skjer da dersom alle de påfølgende øl er av høyere kvalitet enn det forgående? Den skalaen er nødt for å bli annerledes enn i en flight hvor øl fordeler seg mer 'normalt'. Av og til må man benytte større del av skalaen, noe som gjør sammenligning mellom flighter umulig.

 

[Jørgen O]

Deltakerne skal være trygge på at det er de beste bidragene som blir sendt videre fra hver flight - uavhengig av poeng. Det er også slik at det alltid skal videresendes minst to bidrag per flight, for det kan jo hende at de de to beste ølene i hele klassen tilfeldigvis kom i samme innledende flight.

Som Morten skriver, kan man ikke sammenligne poeng på tvers av flights, og derfor er problemstillingen som ligger til grunn i spørsmålsstillingen ikke relevant. Heldigvis.

 

[SindreW]

Det er ikke mulig å sammenligne poengsummer mellom flighter. Det er mange årsaker til det.
Et lite eksempel. Dersom man har ti øl i en flight, og første øl er vurdert høyt. Hva skjer da dersom alle de påfølgende øl er av høyere kvalitet enn det forgående? Den skalaen er nødt for å bli annerledes enn i en flight hvor øl fordeler seg mer 'normalt'. Av og til må man benytte større del av skalaen, noe som gjør sammenligning mellom flighter umulig.

Høres ikke veldig betryggende eller profesjonelt ut. Trodde de nye dommerskjemaene var utformet for at det skulle bli mindre subjektivt og avvik mellom standarder ved å fjerne poenggiving fra totalintrykk feltet.

 

[Stiv Kuling]

Høres ikke veldig betryggende eller profesjonelt ut. Trodde de nye dommerskjemaene var utformet for at det skulle bli mindre subjektivt og avvik mellom standarder ved å fjerne poenggiving fra totalintrykk feltet.

Øldømming vil aldri bli 100% objektivt uansett hvordan man snur og vender på det. Forskjellige dommere bruker skalaen litt forskjellig så dette er helt logisk. Alternativet er jo kjemisk analyse som er 100% objektivt, men det sier jo ingenting om smaken igjen. Så dagens system der hver flight dømmes og ansees som separat er nok så nærme rettferdig som man kommer.

 

[SindreW]

Deltakerne skal være trygge på at det er de beste bidragene som blir sendt videre fra hver flight - uavhengig av poeng. Det er også slik at det alltid skal videresendes minst to bidrag per flight, for det kan jo hende at de de to beste ølene i hele klassen tilfeldigvis kom i samme innledende flight.

Som Morten skriver, kan man ikke sammenligne poeng på tvers av flights, og derfor er problemstillingen som ligger til grunn i spørsmålsstillingen ikke relevant. Heldigvis.

Ok, men det dekker ikke det tilfellet hvor de tre beste er i samme flight. Er noen år siden men mener at i mitt tilfelle tok de to som ble sendt videre 1 og 2 plassen i finalen, og det var bare ett eller to poeng som skilte mitt øl fra andreplassen i innledende. Om mitt øl var bedre enn det som tok 3 plassen er da ikke godt å vite.

Skal en være 100% sikker på at de tre beste vinner 1-3 plassen er vel egentlig eneste måten å sende tre øl fra hver flight videre.

I det minste bør en ta en titt på flightskjema fra innledende samlet og se om det er noen opplagte kandidater til å ha falt mellom stolene. Det kan jo skille 10 poeng mellom 1 og 2 i en flight og 4 poeng mellom 1 og 4 i en annen.

 

[lars.l]

Ok, men det dekker ikke det tilfellet hvor de tre beste er i samme flight. Er noen år siden men mener at i mitt tilfelle tok de to som ble sendt videre 1 og 2 plassen i finalen, og det var bare ett eller to poeng som skilte mitt øl fra andreplassen i innledende. Om mitt øl var bedre enn det som tok 3 plassen er da ikke godt å vite.

Skal en være 100% sikker på at de tre beste vinner 1-3 plassen er vel egentlig eneste måten å sende tre øl fra hver flight videre.

I det minste bør en ta en titt på flightskjema fra innledende samlet og se om det er noen opplagte kandidater til å ha falt mellom stolene. Det kan jo skille 10 poeng mellom 1 og 2 i en flight og 4 poeng mellom 1 og 4 i en annen.

Hentet fra https://norbrygg.no/wp-content/uploads/Dommerinstruks-2022-02-23.pdf

Anbefaler å ta en titt om kritikken skal tas på alvor. Jeg tror det finnes måter å gjøre innledende runder/flighter noe mer sammenlignbare på tvers av flighter og konkurranser, men her er det åpenbart kvalifisering til finalene (les: finne de beste ølene i én flight) som er vektlagt. Det er fair, spesielt når det er informert om.

Likevel finnes det eksempler på skåring som er noe mer sammenlignbar og etterrettelig. Specialty Coffee Association sitt scoringsystem skårer f.eks. kaffe i forkant av auksjoner av grønn kaffe, og én samlet skår sammenlignes ofte med andre. Skåren brukes dermed også for å si noe om kvaliteten sammenlignet med annen kaffe generelt.

edit: moderering fra "godt informert" til bare "informert"

 

[Jørgen O]

Ok, men det dekker ikke det tilfellet hvor de tre beste er i samme flight. Er noen år siden men mener at i mitt tilfelle tok de to som ble sendt videre 1 og 2 plassen i finalen, og det var bare ett eller to poeng som skilte mitt øl fra andreplassen i innledende. Om mitt øl var bedre enn det som tok 3 plassen er da ikke godt å vite.

Skal en være 100% sikker på at de tre beste vinner 1-3 plassen er vel egentlig eneste måten å sende tre øl fra hver flight videre.

I det minste bør en ta en titt på flightskjema fra innledende samlet og se om det er noen opplagte kandidater til å ha falt mellom stolene. Det kan jo skille 10 poeng mellom 1 og 2 i en flight og 4 poeng mellom 1 og 4 i en annen.

Vis vedlegget 67447
Hentet fra https://norbrygg.no/wp-content/uploads/Dommerinstruks-2022-02-23.pdf

Anbefaler å ta en titt om kritikken skal tas på alvor. Jeg tror det finnes måter å gjøre innledende runder/flighter noe mer sammenlignbare på tvers av flighter og konkurranser, men her er det åpenbart kvalifisering til finalene (les: finne de beste ølene i én flight) som er vektlagt. Det er fair, spesielt når det er informert om.

Likevel finnes det eksempler på skåring som er noe mer sammenlignbar og etterrettelig. Specialty Coffee Association sitt scoringsystem skårer f.eks. kaffe i forkant av auksjoner av grønn kaffe, og én samlet skår sammenlignes ofte med andre. Skåren brukes dermed også for å si noe om kvaliteten sammenlignet med annen kaffe generelt.

edit: moderering fra "godt informert" til bare "informert"

Hvis det eksempelvis er tre øl som tydelig utmerker seg i en flight, skal naturligvis ikke kun to bli sendt videre. Dommerinstruksen sier jo nettopp hvordan dette skal håndteres.

Det er ikke slik at problemstillingen som løftes ikke forstås eller tas på alvor av dommerne/konkurranseansvarlige. Men jeg tror det er en del utenforstående som ikke forstår hvordan dømming og poenggivning fungerer i praksis. Det viktigste er konsistent bedømming per flight, og at de beste bidragene sendes videre. Du kan ikke sammenligne poeng på tvers av flight. Er det ønskelig at vi gir flere eksempler på hvorfor det ikke er mulig?

 

[Kold Brygg]

Deltakerne skal være trygge på at det er de beste bidragene som blir sendt videre fra hver flight - uavhengig av poeng. Det er også slik at det alltid skal videresendes minst to bidrag per flight, for det kan jo hende at de de to beste ølene i hele klassen tilfeldigvis kom i samme innledende flight.

Som Morten skriver, kan man ikke sammenligne poeng på tvers av flights, og derfor er problemstillingen som ligger til grunn i spørsmålsstillingen ikke relevant. Heldigvis.

Er det mulig å jobbe fram en form for standardisering av hvor mye som skal trekkes ved funn av feil?

Ta f.eks. DMS. Ingen funn i tysk pils. -3p

APA:
Svak DMS -3p, sterk DMS -9

 

[SindreW]

Hvis det eksempelvis er tre øl som tydelig utmerker seg i en flight, skal naturligvis ikke kun to bli sendt videre. Dommerinstruksen sier jo nettopp hvordan dette skal håndteres.

Det er ikke slik at problemstillingen som løftes ikke forstås eller tas på alvor av dommerne/konkurranseansvarlige. Men jeg tror det er en del utenforstående som ikke forstår hvordan dømming og poenggivning fungerer i praksis. Det viktigste er konsistent bedømming per flight, og at de beste bidragene sendes videre. Du kan ikke sammenligne poeng på tvers av flight. Må vi forklare bedre hvorfor?

Aldri feil med bedre informasjon ut til deltakerne og flott at kritikk tas på alvor. Det er ikke nødvendigvis noe feil med regelverket, men kanskje oppfølging av regelverket kan forbedres med å legge inn et ekstra kontrollpunkt?

Dommerne i innledende vet ikke hvor mange øl som ender opp i finalen. Om det er plass til et par ekstra der, og en eller to flights utmerker seg med høyt og jevnt nivå, er det vanskelig å se noen negative konsekvenser av å ta med et ekstra bidrag fra de. Det reduserer risikoen for at noen føler seg snytt. Kanskje ikke for første og andreplassen, men for tredjeplassen som jo også premieres.

Om de to som går til finalen fra en flight tar første og andreplassen med større margin ned til tredje enn i innledende runde, har jo tredjeplassen fra innledende god grunn til å føle seg forbigått.

 

[Finn Berger]

Er det mulig å jobbe fram en form for standardisering av hvor mye som skal trekkes ved funn av feil?

Ta f.eks. DMS. Ingen funn i tysk pils. -3p

APA:
Svak DMS -3p, sterk DMS -9

Om mulig, hadde det vært veldig bra, synes jeg. Men det hadde vel uansett ikke kunnet overstyre prinsippet om at flightpoengsummer ikke kan sammenlignes på en slik måte at det kan påvirke rangeringa?