Átláthatóság: a GoetheCoach a saját termékünk, ezt a tesztet tehát gyártói tesztként olvasd. A tesztszöveget, a promptot és minden eredményt közzéteszünk, hogy te is megismételhesd. A GoetheCoach és ez a cikk nem áll kapcsolatban a Goethe-Intézettel vagy az OpenAI-jal.
A rövid válasz
| Ha ezt szeretnéd… | Jobb választás | Miért |
|---|---|---|
| megérteni egy nyelvtani szabályt vagy szót | ChatGPT | türelmes, gyors, bármilyen nyelven magyaráz |
| hangosan gyakorolni a szóbelit (Sprechen) | ChatGPT (hangalapú mód) | a GoetheCoach csak az írásbelit (Schreiben) fedi le |
| gyakorlófeladatok és mintaszövegek | mindkettő | a ChatGPT szabadon ír, a GoetheCoach a hivatalos feladatformátumokat használja |
| tudni, hogy átmenne-e az írásbelid | GoetheCoach | minden Leitpunktot ellenőriz, kóddal számolja a szavakat, rögzített szempontrendszerrel pontoz |
| ugyanarra a szövegre kétszer ugyanazt a pontszámot | GoetheCoach | a pontszámot kód számolja; ugyanaz a szöveg ugyanazt az eredményt adja |
| valódi vizsgajegyet | egyik sem | a vizsgát csak a Goethe-Intézet értékelői pontozzák; mindkettő gyakorló becslést ad |
Hogyan teszteltünk
- október 6-án írtunk egy B2-es Forumsbeitragot (Schreiben Teil 1) három olyan tulajdonsággal, amelyet egy valódi értékelő észrevenne:
- 173 szó, tehát a 150-es minimum felett.
- Hiányzik a 4. Leitpunkt. A feladat Alternativen-t, azaz alternatívákat kér, a szöveg egyet sem nevez meg. Csak az ellenérvre (magány) válaszol a videokonferenciákkal.
- Két nyelvtani hiba: die einem ständig stören (helyesen: einen) és ihren Mitarbeiter mehr Vertrauen schenken (részes eset, többes szám: Mitarbeitern).
A teljes tesztszöveg:
In den letzten Jahren arbeiten immer mehr Menschen von zu Hause aus. Meiner Meinung nach sollte Homeoffice für alle Berufsgruppen dauerhaft möglich sein, soweit es die Arbeit erlaubt. Zuerst spart man viel Zeit, weil man nicht jeden Tag pendeln muss. Ich selbst habe früher fast zwei Stunden pro Tag im Zug verbracht. Diese Zeit kann man jetzt für die Familie oder für Sport nutzen. Außerdem ist man zu Hause oft konzentrierter, da es keine Kollegen gibt, die einem ständig stören. Ein weiteres Argument ist die Umwelt: Wenn weniger Leute mit dem Auto zur Arbeit fahren, gibt es weniger Stau und weniger Abgase in den Städten. Natürlich sagen manche, dass man im Homeoffice einsam wird und der Kontakt zum Team verloren geht. Das stimmt teilweise. Aber man kann sich regelmäßig in Videokonferenzen austauschen, und gute Teams finden auch online Wege, um in Kontakt zu bleiben. Zusammenfassend bin ich überzeugt, dass die Vorteile deutlich überwiegen. Firmen sollten ihren Mitarbeiter mehr Vertrauen schenken und ihnen die Freiheit geben, selbst zu entscheiden, wo sie am besten arbeiten.
A feladat: „Homeoffice sollte für alle Berufsgruppen dauerhaft möglich sein." négy Leitpunkttal: érvelj mellette vagy ellene, fejtsd ki az érveidet, kezelj egy ellenérvet, nevezz meg alternatívákat. A B2-es szövegek leggyakrabban pont így veszítenek pontot: Leitpunkte-elemzésünkben a 4. Leitpunkt a B2-es szövegek 46%-ából hiányzott.
ChatGPT: chatgpt.com, ingyenes csomag, alapértelmezett modell, minden alkalommal új ideiglenes csevegés (memória és egyéni utasítások nélkül), ötször ugyanaz a német prompt: „Értékeld a szövegemet úgy, mint egy Goethe-vizsgáztató: adj 0 és 100 közötti pontszámot, és mondd meg, átmentem volna-e (határ: 60).", utána a feladat, a négy Leitpunkt és a szöveg.
GoetheCoach: az ingyenes demóértékelés a goethecoach.de oldalon (fiók nélkül), öt futtatás ugyanazzal a feladattal és szöveggel. A demó a legkönnyebb változatunk: kisebb modell, eredmény-gyorsítótár nélkül.
Eredmények: 5–5 futtatás
| Futás | ChatGPT összesen | ChatGPT feladat | „Mind a 4 Leitpunkt megvan"? | GoetheCoach összesen | GoetheCoach feladat | Hiányzónak jelezte a 4. Leitpunktot? |
|---|---|---|---|---|---|---|
| 1 | 82 | 23/25 | Igen | 82 | 19/25 | Igen |
| 2 | 82 | 22/25 | Igen | 74 | 19/25 | Igen |
| 3 | 89 | 22/25 | Igen | 74 | 19/25 | Igen |
| 4 | 82 | 22/25 | Igen | 74 | 19/25 | Igen |
| 5 | 82 | 22/25 | Igen | 74 | 19/25 | Igen |
Mindkét eszköz szerint a szöveg átmegy, és mindkettő ingadozott: a ChatGPT 7, a GoetheCoach demó 8 pontot. A „KI megbízhatatlan, mi nem" tehát rossz főcím lenne. A különbség abban van, honnan jön az ingadozás, és mit mond neked a visszajelzés.
A videó átirata
Le tudja pontozni a ChatGPT a Goethe-vizsgádat? Leteszteltük a GoetheCoach ellen, ugyanazzal a szöveggel, ötször-ötször. A tesztszöveg egy B2-es fórumbejegyzés: százhetvenhárom szó, két nyelvtani hibával. És egy csapda: a negyedik Leitpunkt, az alternatívák megnevezése, teljesen hiányzik. A szöveget öt új ChatGPT-csevegésbe másoltuk be. Nyolcvankettő. Nyolcvankettő. Nyolcvankilenc. Nyolcvankettő. Nyolcvankettő. Minden alkalommal átment. És minden alkalommal azt írta: mind a négy Leitpunkt megvan. Pár sorral lejjebb ugyanaz a válasz beismeri, hogy az alternatívák hiányoznak. A szószámot pedig csak megtippelte: százkilencven, százötvenöt és százhetven szó. A GoetheCoach mind az öt futásban hiányzónak jelölte a negyedik Leitpunktot. Mindig ugyanannyi pont a feladatra, és a szavakat megszámolja, nem tippeli. A különbség: a mesterséges intelligencia csak azt jelenti, amit lát, minden Leitpunkthoz idézettel. A pontokat kód számolja, rögzített szempontok szerint, mint a valódi vizsgán. Hogy igazságosak legyünk: nyelvtanhoz és szóbelihez a ChatGPT remek tanár. De hogy átmegy-e a szöveged, azt egy vizsgáztató mondja meg, nem egy szurkoló. A teljes tesztet és egy ingyenes ellenőrzést a saját szövegedhez a goethecoach pont de oldalon találod.
Mi ment félre a ChatGPT visszajelzésében
1. Minden alkalommal ellentmondott önmagának a Leitpunktoknál
Mind az öt futásban azt írta, hogy mind a négy Leitpunkt „alapvetően" teljesül („grundsätzlich behandelt"), majd ugyanabban a válaszban, hogy a szöveg nem nevez meg valódi alternatívákat. A 3. futásban: „Du behandelst alle vier Leitpunkte", aztán „Alternativen sind allerdings nur sehr indirekt vorhanden." A feladatpont 22–23/25 maradt, mintha a feladat negyede apróság volna.
A hivatalos B2-es Modellsatz szerint azt nézik, „wie genau die Inhaltspunkte bearbeitet sind", vagyis mennyire pontosan dolgozod ki a tartalmi pontokat. Neked ez a drága rész: felül azt olvasod, hogy „minden Leitpunkt megvan, 82 pont, simán átmentél", és nem foglalkozol tovább azzal, ami a valódi vizsgán a legtöbb pontba kerül.
2. Megbecsülte a szószámot
Háromszor mondott hosszt: kb. 190, kb. 155 és kb. 170 szó. A szöveg 173 szavas. B2-n legalább 150 szó kell; a „155" azt üzeni, hogy éppen csak, a „190", hogy bőven elég. A nyelvi modell tokenekben olvas, nem szavakban, ezért kód nélkül a számolás tippelés.
3. Futásonként más hibákat talált meg
A die einem stören hibát mind az öt futás megtalálta. Az ihren Mitarbeiter háromszor nyelvtani hiba volt, egyszer stiláris kérdés („verständlich, aber stilistisch besser"), egyszer pedig szóba sem került. Ugyanaz a szöveg, ugyanaz a prompt.
4. Saját pontszámát is relativizálta
A 4. futás 82/100-at adott, majd hozzátette: egy szigorúbb vizsgáztató 75–80-at adna, egy jóindulatú 80 fölöttit. Ez őszinte, de megmutatja, hogy a szám érzés, nem számítás.
5. Vizsgatények: többnyire jók, egy kitalált részlet
Megkérdeztük azt is, hogyan épül fel a B2-es írásbeli. Webes kereséssel a lényeg stimmelt: két rész, 75 perc, legalább 150 szavas fórumbejegyzés, legalább 100 szavas hivatalos üzenet, 100-ból 60 pont kell az átmenéshez. Közben viszont rögzített 60/40-es pontmegosztást is állított a két részre, és ezt a Goethe-Intézetnek tulajdonította. A hivatalos B2-es Modellsatz nem közöl részenkénti pontszámot, a külső források pedig ellentmondanak egymásnak. Apróság, de pont az a fajta magabiztos állítás, amit a csevegésből nem tudsz ellenőrizni.
Amiben a ChatGPT jó volt
Maga a nyelvi visszajelzés jó volt. Minden futás helyesen magyarázta az einen és einem különbségét, természetes B2-es fordulatokat javasolt (Ein weiterer Vorteil besteht darin, dass …), és konkrét példát adott alternatívára (hybrides Arbeitsmodell). Tanárként, nem vizsgáztatóként hasznos.
Mit csinál másképp a GoetheCoach
A GoetheCoach is nyelvi modellt használ. A különbség a köré épített felépítés:
- A modell nem ad pontot. Megfigyeléseket jelent: minden Leitpunktra teljes / részleges / hiányzik, azzal a mondattal, amelyik lefedi; minden hibát idézettel; és egy sávot a Kohärenz, Wortschatz és Strukturen szempontra.
- A megfigyelésekből kód számol pontot. Ugyanazok a megfigyelések mindig ugyanazt a pontszámot adják. Ezért volt a feladatteljesítés mind az öt futásban 19/25: „3 teljes, 0 részleges, 1 hiányzik".
- A szavakat kód számolja, sosem becsli.
- Nulla hőmérséklet és eredmény-gyorsítótár az appban: ha ugyanazt a szöveget újra beküldöd, ugyanazt az eredményt kapod, nem új kockadobást.
- A szempontrendszer verziózott (rubric 1.0), és a négy hivatalos szempontra épül: Aufgabenerfüllung, Kohärenz, Wortschatz, Strukturen. Bővebben: így pontozzák a Goethe-írásbelit.
A valódi vizsga is így működik. A Goethe-Intézet B2-es lebonyolítási szabályzata szerint az írásbelit két független értékelő pontozza rögzített szempontok alapján, és szempontonként csak az előre megadott pontértékek adhatók, köztes érték nem. A lényeg a rögzített eljárás.
Ez egybevág azzal is, amit a kutatók a stabil KI-értékelésről találtak. Egy 2025-ös tanulmány (Garcia-Varela és mtsai, Education Sciences) szerint kevés útmutatással a ChatGPT ingadozó jegyeket adott; egy értékelési szempontrendszer csökkentette, de nem szüntette meg az ingadozást. Stabil csak példákkal teli szempontrendszerrel, rögzített kimeneti formátummal, alacsony hőmérséklettel és egy döntési táblázattal lett, amely az ítéleteket pontokká alakítja.
Ahol a GoetheCoach gyengébb
- A demó is ingadozott (74 vs. 82). Az eltérés a szókincs és a nyelvtan sávjának megítéléséből jött, nem a Leitpunktokból. A fiókos app nagyobb modellt használ és tárolja az eredményeket, de két különböző, hasonló minőségű szöveg így is kerülhet eltérő sávba.
- Csak írásbeli. A szóbelihez, olvasáshoz és hallás utáni értéshez más anyag kell, és a ChatGPT hangalapú módja a szóbelihez tényleg hasznos.
- Nem hivatalos jegy. Egyetlen eszköz sem tudja megmondani a pontos vizsgaeredményedet. Minden pontszámot gyakorló becslésként kezelj; második véleményhez a GoetheCoach tanári ellenőrzést is kínál.
Mit mond a kutatás a ChatGPT-ről mint értékelőről
| Tanulmány | Mit vizsgáltak | Eredmény |
|---|---|---|
| Seßler és mtsai, LAK 2025 | 20 német iskolai fogalmazás, 37 tanár, GPT-3.5, GPT-4, o1 és nyílt modellek | az o1 jól korrelált a tanárokkal (ρ = 0,74), de a modellek hajlamosak voltak magasabb pontot adni, és a tartalomnál gyengébbek voltak |
| Kubesch, Huber & Havas, 2026 | 101 osztrák német érettségi dolgozat, négy nyílt modell a hivatalos szempontrendszerrel | legfeljebb 40,6% egyezés a részszempontokban; a végső jegyek csak 32,8%-a egyezett a szakértőével |
| Lau, 2026 | GPT-4o, Gemini és Claude modellek értékelőként, ismételt futtatások | ugyanaz a bemenet, eltérő pontszámok, még nulla hőmérsékleten is |
| Saricaoglu & Bilki, 2025 | ChatGPT-4 visszajelzés 35 angol B2-es esszére | a hibafelismerés 96–99%-ban pontos, de a feladatteljesítésről szóló visszajelzésnek csak 37%-a volt konkrét |
| Yancey és mtsai, BEA 2023 | GPT-4 rövid angol L2-szövegeket értékel a KER-skálán | kalibráló példákkal majdnem olyan jó, mint a szakosodott rendszerek; az egyezés anyanyelvenként eltért |
Két minta ismétlődik. A nyelvi modellek jól észreveszik a nyelvi hibákat, és rosszabbul ítélik meg, hogy a feladat teljesült-e. A pontszámaik pedig sodródnak, amíg nincs rögzített eljárás, amely az ítéleteket pontokká alakítja. A Goethe-írásbelin mindkettő pontba kerül, hiszen a feladatteljesítés a négy szempont egyike.
Ott van még a hangnem is. 2025 áprilisában az OpenAI visszavont egy ChatGPT-frissítést, mert a modell túl hízelgővé vált: túl könnyen értett egyet és dicsért. Ezt javították, de egy általános asszisztens arra van hangolva, hogy segítőkész és bátorító legyen. Egy vizsgáztató arra, hogy megtalálja, mi hiányzik.
Így használd jól a ChatGPT-t a Goethe-felkészüléshez
Ha ChatGPT-t használsz, ezek a szokások zárják be a tesztünkben látott rések többségét:
- Előbb Leitpunkt-táblázat, utána pontszám. „Minden Leitpunkthoz idézd azt a mondatot, amelyik kifejti, vagy írd oda: HIÁNYZIK." A kötelező idézet megnehezíti, hogy „megvan"-t mondjon, ha nincs ott semmi.
- Számold meg magad a szavakat. Bármelyik szövegszerkesztő egy kattintással megteszi.
- Hibalistát kérj, ne jegyet. A hibakeresés a ChatGPT erőssége, a pontozás a gyengéje.
- Értékeltesd kétszer. Ha a két pontszám eltér, egyik sem megbízható.
- Használd arra, amiben kiváló: magyarázat, szókincs, Redemittel, szóbeli gyakorlás.
- A vizsgatényeket a goethe.de-n ellenőrizd. A formátumok, időtartamok és ponthatárok ott vannak.
Ha egy kész szöveget szeretnél a szempontrendszer alapján ellenőrizni, gyakorolj egy teljes feladatot a GoetheCoach-csal, ingyen.
Gyakori kérdések
Megbízhatóan értékeli a ChatGPT a Goethe-írásbelimet?
Nem megbízhatóan. Tesztünkben ugyanarra a B2-es szövegre öt csevegésben 82 és 89 pont között adott, és mind a négy Leitpunktot teljesítettnek mondta, pedig egy hiányzott. Magyarázatra és hibakeresésre használd, a Leitpunktokat ellenőrizd magad.
Jó a ChatGPT a Goethe-vizsgára való felkészüléshez?
Igen, tanárként. Elmagyarázza a nyelvtant, fordulatokat javasol, gyakorlószövegeket ír, és a hangalapú módja segít a szóbelin. Óvatosan kezeld a pontszámokat, a szószámot és a forrás nélküli vizsgatényeket.
Jobb a GoetheCoach, mint a ChatGPT?
Az írásbeli értékelésére igen: minden Leitpunktot ellenőriz, kóddal számolja a szavakat, és rögzített szempontrendszer alapján számol pontot. Szóbeli gyakorlásra és nyitott kérdésekre a ChatGPT rugalmasabb. Sokan mindkettőt használják.
A GoetheCoach ChatGPT-t használ?
A GoetheCoach nyelvi modellel olvassa el a szöveget, de a modell nem ad pontot. Megfigyeléseket jelent, és ezekből kód számolja ki a pontszámot egy verziózott, a négy hivatalos Goethe-szempontra épülő rendszer szerint.
Ugyanannyi pontot kapok a Goethe-vizsgán, mint egy KI-eszköznél?
Nem feltétlenül. A vizsgát csak a Goethe-Intézet értékelői pontozzák: az írásbelit két független értékelő bírálja, és ha a ponthatár körül eltérnek, harmadik értékelés dönt. Minden KI-pontszám, a GoetheCoach-é is, gyakorló becslés.
Melyik ChatGPT-csomagot teszteltétek?
Az ingyenes csomagot a chatgpt.com-on, az alapértelmezett modellel, memória nélküli ideiglenes csevegésekben, 2026. október 6-án. A fizetős csomagok és a gondolkodó módok másképp viselkedhetnek, ezért érdemes a saját szöveggel megismételni a tesztet.
Források
- Goethe-Intézet: Goethe-Zertifikat B2, Modellsatz Schreiben
- Goethe-Intézet: Durchführungsbestimmungen Goethe-Zertifikat B2 (4.3 Modul Schreiben)
- Seßler, Fürstenberg, Bühler & Kasneci (2025): Can AI grade your essays?, LAK '25
- Kubesch, Huber & Havas (2026): Evaluating Austrian A-Level German Essays with Large Language Models
- Lau (2026): Same Input, Different Scores
- Garcia-Varela és mtsai (2025): ChatGPT as a Stable and Fair Tool for Automated Essay Scoring, Education Sciences 15(8)
- Saricaoglu & Bilki (2025): The capacity of ChatGPT-4 for L2 writing assessment, Annual Review of Applied Linguistics
- Yancey, Laflair, Verardi & Burstein (2023): Rating Short L2 Essays on the CEFR Scale with GPT-4, BEA 2023
- OpenAI (2025): Expanding on what we missed with sycophancy
Ellenőriztesd minden Leitpunktodat, ne becsültesd
Írj meg egy B2-es vagy C1-es feladatot, és lásd, mely Leitpunktok teljesültek, pontosan hány szavad van, és miért kaptad az egyes pontokat.
Ingyenes kezdés