Claude vai ChatGPT gariem dokumentiem: kurš labāk pārvalda kontekstu?

Tavā lejupielāžu mapē guļ 50 lappušu līgums. Vai varbūt kaudze ar pētījumu rakstiem, kas jāapkopo atskaitei. Tu visu saturu iekopē mākslīgā intelekta sarunā, uzdod jautājumu par 37. lappusi un saņem pārliecinoši skanošu atbildi, kas skaidri redzami palaiž garām būtību.

Gan Claude, gan ChatGPT lepojas ar milzīgiem konteksta logiem — simtiem tūkstošu tokenu. Taču pastāv atšķirība starp to, cik daudz teksta mākslīgais intelekts spēj pieņemt, un to, cik daudz tas patiešām var atcerēties, atbildot uz tavu jautājumu. Šī atšķirība kļūst svarīga, strādājot ar gariem dokumentiem.

Šajā ceļvedī apskatīsim, kā abi rīki reāli darbojas ar gariem dokumentiem: juridiskiem līgumiem, pētniecības rakstiem, koda repozitorijiem un citiem. Bez mārketinga putām — tikai tas, kas patiešām strādā.

Konteksta logs ir kopējais teksta apjoms, ko valodas modelis var apstrādāt vienā sarunā. To mēra tokenos — aptuveni 0,75 vārdi uz vienu tokenu. 200 000 tokenu konteksta logs nozīmē, ka modelis teorētiski var noturēt aptuveni 150 000 vārdu jeb apmēram 500 lappuses teksta.

Bet lūk, ko mārketings nepasaka: konteksta ietilpība un konteksta saglabāšana ir divas atšķirīgas lietas. Modelis varbūt pieņem visu tavu 200 lappušu dokumentu, taču tas nenozīmē, ka tas spēs atsaukt konkrētu detaļu no 47. lappuses ar tādu pašu precizitāti kā kaut ko no pirmās.

Iedomājies romāna izlasīšanu vienā piesēdienā. Sākumu un beigas atceries skaidri, bet vidus kļūst miglains. Mākslīgā intelekta modeļiem ir līdzīgas ievirzes — un dažādi modeļi ar to tiek galā atšķirīgi.

Sāksim ar pašu specifikāciju. Šie dati ir aktuāli 2026. gada sākumā:

Praktiski tas nozīmē: ja izmanto Claude maksas plānu, vari iekopēt aptuveni 500 lappuses teksta. Ar ChatGPT Plus esi ierobežots līdz aptuveni 40 lappusēm. ChatGPT Pro tev dod aptuveni 160 lappuses.

Atšķirība ir ievērojama. Bet sausā ietilpība ir tikai daļa no stāsta.

Pētnieki izmanto etalonu ar nosaukumu “Adata siena kaudzē” (Needle in a Haystack), lai izmērītu, cik labi mākslīgā intelekta modeļi saglabā informāciju garos kontekstos. Iestatījums ir vienkāršs: noslēp nejaušu faktu (“adatu”) kaut kur milzīgā dokumentā (“siena kaudzē”) un pēc tam palūdz modelim to atrast.

Sākotnējā testā tika izmantots teikums, piemēram, “Labākais, ko darīt Sanfrancisko, ir apēst sviestmaizi un saulainā dienā pasēdēt Doloresas parkā”, kas paslēpts simtiem lappušu nesaistītu eseju. Tad modelim tiek uzdots jautājums: “Kas ir labākais, ko darīt Sanfrancisko?”

Claude 3 rezultāti bija iespaidīgi. Anthropic testos Claude 3 Opus sasniedza vairāk nekā 99% atrašanas precizitāti — gandrīz nevainojamu atmiņu neatkarīgi no tā, kur adata bija novietota. Vienā slavenā gadījumā Claude pat pamanīja, ka testa teikums šķiet mākslīgi ievietots, būtībā uzķerot pētniekus, kuri to pārbaudīja.

Agrākiem modeļiem bija raksturīga ievirze: informācija dokumentu pašā sākumā un beigās tika atsaukta precīzi, bet saturs vidū (it īpaši ap 50–70% atzīmi) bieži tika palaists garām. Claude 3 un vēlākās versijas šo problēmu lielā mērā atrisināja.

ChatGPT sniegums vairāk atšķiras atkarībā no modeļa versijas un dokumenta garuma. GPT-4 agrīnos testos uzrādīja līdzīgas problēmas ar dokumenta vidusdaļas atsaukšanu, taču GPT-5 ir būtiski uzlabojies. Tomēr mazāki konteksta logi, kas pieejami ChatGPT saskarnē (32 tūkst. Plus, 128 tūkst. Pro), nozīmē mazāk iespēju, kur atsaukšanas kvalitāte varētu pasliktināties — vienkārši nevar iebāzt tik daudz teksta.

Abstrakti etaloni ir noderīgi, taču svarīgi ir tas, kā šie rīki izpilda īstu darbu. Apskatīsim juridisko līgumu pārskatīšanu — bieži sastopamu garo dokumentu mākslīgā intelekta pielietojumu.

Uzdevums. Pārskatīt 45 lappušu komercnomas līgumu. Atrast visas atsauces uz priekšlaicīgu izbeigšanu, atklāt pretrunīgas klauzulas un apkopot iznomātāja pienākumus.

Ar Claude. Visu līgumu var iekopēt vienā piegājienā. Claude labi pārvalda savstarpējās atsauces — kad tas piemin “kā definēts 4.2. sadaļā”, tas patiešām spēj atsaukties uz to, ko 4.2. sadaļā teikts. Tas pamanīja pretrunu starp uzturēšanas pienākumiem 7. sadaļā un izņēmumu, kas paslēpts pielikumā. Analīze bija strukturēta un vispusīga.

Ar ChatGPT Plus. Pie 32 tūkst. tokenu 45 lappušu līgums pilnībā neietilpst. Tas jāsadala pa daļām, un mākslīgais intelekts tādējādi zaudē spēju veidot atsauces starp sadaļām. ChatGPT Pro ar 128 tūkst. to var paveikt, bet testos tas biežāk sniedza vispārīgus kopsavilkumus, nevis pamanīja konkrētus klauzulu konfliktus.

Uzvarētājs juridiskā darba jomā: Claude. Lielāks konteksta logs un labāka atsaukšana visās dokumenta sadaļās padara to ievērojami noderīgāku līgumu pārskatīšanā, juridiskajā izpētē un atbilstības pārbaudēs.

Uzdevums. Apkopot atziņas no pieciem akadēmiskiem rakstiem (kopā aptuveni 80 lappuses) par attālinātā darba ietekmi uz produktivitāti. Atrast saskaņas punktus, pretrunas un tukšumus pētījumā.

Ar Claude. Visi pieci raksti ērti ietilpst konteksta logā. Claude izveidoja strukturētu sintēzi, kurā bija precīzi atzīmēts, kuri apgalvojumi nāk no kuriem rakstiem, kur A pētījums runāja pretī C pētījumam, kā arī norādīja uz metodiskām atšķirībām, kas varētu izskaidrot pretrunas. Tas saglabāja saskaņotību visā kopā.

Ar ChatGPT. Pat ar ChatGPT Pro visu piecu rakstu ievietošana ir uz robežas. Sintēze sanāca vispārīgāka un dažkārt sajauca atziņas no dažādiem rakstiem. Tomēr ChatGPT iebūvētā tīmekļa meklēšana ļāva piesaistīt papildu kontekstu un jaunākus pētījumus, kuru oriģinālajos rakstos nebija — patiess pluss izpētei, kurai jābūt aktuālai.

Uzvarētājs: Claude tīrai sintēzei, ChatGPT izpētei, kurai vajadzīgi tīmekļa avoti. Praktiska darba plūsma: ar ChatGPT tīmekļa meklēšanu savāc jaunākos avotus, pēc tam visu kopumu nodod Claude dziļākai analīzei.

Uzdevums. Analizēt vidēja izmēra koda bāzi (aptuveni 15 000 koda rindu 50 failos), lai izprastu autentifikācijas plūsmu un atrastu iespējamas drošības problēmas.

Ar Claude. Visa koda bāze ietilpst. Claude izsekoja autentifikācijas plūsmu vairākos failos, atrada vietas, kur sesijas atslēgas tiek ģenerētas, glabātas un pārbaudītas, un norādīja uz iespējamu problēmu, kur kļūdu paziņojumi bija pārāk vārdiski (potenciāli izpaužot informāciju uzbrucējiem). Tas saprata, kā izmaiņas vienā failā ietekmēs citus.

Ar ChatGPT. Tev nāktos selektīvi padot atsevišķus failus vai to kopsavilkumus. ChatGPT labi tiek galā ar atsevišķu failu analīzi, taču zaudē spēju izsekot atkarībām visā koda bāzē. Mērķtiecīgiem jautājumiem par konkrētām funkcijām tas darbojas labi. Holistiskai arhitektūras analīzei — grūti.

Uzvarētājs: Claude, pārliecinoši. Liela mēroga koda pārskatīšanā Claude konteksta logs ir nopietns praktisks pluss. Tas ir viens no iemesliem, kāpēc Claude ir kļuvis populārs starp izstrādātājiem, kas strādā pie lieliem projektiem.

Neatkarīgi no izvēlētā rīka, dažas uzvedņu rakstīšanas pieejas palīdz izsist labākus rezultātus no gariem dokumentiem.

1. Liec galveno informāciju sākumā un beigās. Abi modeļi rāda spēcīgāku atsaukšanu saturam konteksta sākumā un beigās. Ja pievieno norādījumus, ievieto tos pašā sākumā un atkārto svarīgākos beigās — tieši pirms sava jautājuma.

2. Lieto skaidras atsaukšanas instrukcijas. Tā vietā, lai jautātu “Ko līgums saka par izbeigšanu?”, mēģini: “Pārmeklē visu dokumentu un uzskaiti katru izbeigšanas, priekšlaicīgas izbeigšanas vai līguma pārtraukšanas pieminējumu, norādot sadaļas numurus, kuros tie parādās.”

3. Pieprasi strukturētu izvadi. Lūdz atbildi noteiktā formātā — aizzīmes ar atsaucēm uz sadaļām, tabulu, kas salīdzina dažādas klauzulas, vai numurētu sarakstu. Tas piespiež modeli būt sistemātiskākam informācijas atrašanā.

4. Sadali sarežģītus jautājumus soļos. Tā vietā, lai jautātu visu uzreiz, vispirms palūdz modelim noteikt visas attiecīgās sadaļas, pēc tam uzdod papildjautājumus tieši par šīm sadaļām.

Lūk, uzvednes paraugs, kas labi darbojas dokumentu analīzei:

Ja pamani, ka šādas uzvednes pielieto atkal un atkal dažādiem dokumentiem — mainot dokumentu veidus, uzdevumus un jautājumus —, uzvedņu pārvaldnieks, piemēram, PromptNest, var noderēt. Saglabā paraugu vienreiz ar mainīgajiem {{document_type}} un {{specific_task}}, pēc tam katru reizi tikai aizpildi tukšos laukus. Ātrāk nekā pārrakstīt no jauna, un strādājošā struktūra netiks aizmirsta.

Garu dokumentu apstrādei un analīzei Claude ir skaidras priekšrocības: lielāks konteksta logs standarta maksas līmenī (200 tūkst. pret 32 tūkst. ChatGPT Plus), pierādīti labāka atsaukšana etalonu testos un spēcīgāks sniegums praktiskos uzdevumos, piemēram, līgumu pārskatīšanā un koda analīzē.

Atšķirība ir īpaši krasa, salīdzinot abonementu līmeņus. Claude Pro ar 200 tūkst. tokenu pret ChatGPT Plus ar 32 tūkst. ir 6 reizes lielāka praktiskā ietilpība. Lai panāktu Claude standarta piedāvājumu, vajadzētu ChatGPT Enterprise plānu.

Tomēr ChatGPT ir savas stiprās puses. Ekosistēma ir nobriedušāka — pielāgotie GPT modeļi, spraudņi, tīmekļa pārlūkošana, attēlu ģenerēšana un balss strādā vienoti. Ja tava darba plūsma ietver īsākus dokumentus apvienojumā ar tīmekļa izpēti vai multimodāliem uzdevumiem, ChatGPT joprojām var būt labāka izvēle.

Praktiskais secinājums: ja darbs ar gariem dokumentiem ir regulāra tava darba sastāvdaļa — juridiska pārskatīšana, pētījumu sintēze, koda analīze, politikas dokumentu izstrāde —, Claude visdrīzāk ir vērts izmēģināt. Konteksta loga priekšrocība ir reāla un manāmi atstāj iespaidu uz izvades kvalitāti.

Kad esi atradis uzvednes, kas vislabāk darbojas tavai dokumentu analīzes plūsmai, neļauj tām pazust sarunu vēsturē. Vienalga, vai turies pie viena rīka vai izmanto abus, sakārtotas un atkārtoti lietojamas labākās uzvednes ietaupa laiku ikvienā nākamajā projektā. PromptNest ir vietējā Mac lietotne, $19.99 vienreizējs maksājums Mac App Store — bez abonementa, bez konta, viss notiek lokāli. Tā uzvednēm dod pastāvīgu mājvietu — sakārtotu pa projektiem, viegli pārmeklējamu un sasniedzamu ar īsinājumtaustiņu no jebkuras lietotnes.