Hvilken AI/LLM er best til koding for en som ikke kan koding? C#.

[DukeRichelieu]

Takk Gud for versjonssporing. I dag begynte Claude å rote. Laget ny kode for engine og repositories fra 'minne' og brukte ikke siste versjon vi hadde laget dagen før.

Fikk gjort litt før det som ble lagret og kan brukes igjen i morgen, men måtte revertere tilbake til gårsdagens versjon. Det positive er at vi fikk etablert rutiner for å sikre at dette skjer igjen. Håper jeg i hvert fall. 

En liten nedtur, men håper det snur i morgen.  

[strike_]

Du kan like gjerne starte en ny chat med en gang. Lag en pdf av den chaten du har nå og referer til den i den nye chaten, minus der den begynte å hallunisere. Jo lengre chaten din blir jo større er sjansen for at den fortsetter å hallunisere.

[DukeRichelieu]

strike_ skrev (8 timer siden):

Du kan like gjerne starte en ny chat med en gang. Lag en pdf av den chaten du har nå og referer til den i den nye chaten, minus der den begynte å hallunisere. Jo lengre chaten din blir jo større er sjansen for at den fortsetter å hallunisere.

Jeg er usikker på om det var en hallusinasjon? Min største utfordring eller bekymring er nettopp det at man må starte nye samtaler. Sikkert greit når man har avsluttet én modul, men nå skjedde dette midt i én modul.

Jeg ba Claude oppsummere alt vi hadde vært gjennom i en svært produktiv samtale hvor vi dekket veldig mye. Startet en ny samtale og ba Claude lese gjennom oppsummeringen - inkludert de ferskeste *.md-filene. Ba han også lese gjennom hele forrige chat. Fikk likevel følelsen av at Claude ikke var helt up to date.

Skal bruke litt tid i dag på å kvalitetssikre at vi har en god rutine på dette.

Hovedfeilen som skjedde i går var at Claude begynte å generere en ny engine fil - med mer - fremfor å bruke den som var up to date og korrigert etter kommentarer fra ChatGPT.

 

[DukeRichelieu]

Har løst det, tror jeg. Vet i hvert fall hva jeg må tenke på videre fremover. Ryddet opp i dokumentasjonen og laget et detaljert system for hvordan hver 'session' skal styres og dokumenteres, samt håndtering av filer. Merk: med en god del håndholding fra meg. En del opplagte ting Claude ikke tenkte på selv. 

Update on the HolyGrail rebuild:

Hit a speed bump yesterday (Claude regenerated files from memory, broke working code, 5 hours lost).

Didn't just fix it—we engineered around it:

✅ Mandatory safety protocols now in place
✅ Complete documentation overhaul (20 messy files → 7 organized docs)
✅ Professional workflow established with session recipe
✅ Git practices locked in

The result? We're not just back on track—we're on a better track. Foundation is now bulletproof.

 

[strike_]

Det er bra du er positiv. Men tro meg dette er ikke siste gang den vil gjøre ting feil,gjøre noe du ikke har bedt den om å gjøre eller glemmer ting. Spessielt i en lang chat. Å lage en ny chat er helt uproblematisk, selv midt i en modul som du kaller den. Og det vil du spare MANGE timer på, tro du meg. Men de fleste må lære dette "the hard way" som alle andre.

 

Why Longer Chats Increase Hallucination Risk

• Context Window Limits: AI models have a limited "context window," which is the maximum amount of text they can process at any one time. In a long conversation, older messages may be compressed, summarized, or effectively "forgotten" as new messages come in to stay within this limit. When the model can no longer "see" the original context, it's more likely to introduce errors or inconsistencies later on.
• Compounding Errors: Each AI response is a prediction of the next most likely word or sequence of words. If a small error (hallucination) occurs early in a conversation, subsequent responses may build upon that error, compounding the inaccuracies as the chat progresses.
• Information Retrieval Challenges: While larger context windows can help the AI remember more information, they don't eliminate the challenge of retrieving the most relevant facts efficiently from that large pool of data. The model might focus on recent, less important information while overlooking critical details from earlier in the chat.
• Increased Complexity: Longer chats often involve more complex scenarios or multiple threads of thought. As the task becomes more intricate, the AI runs a higher risk of generating plausible but incorrect information to fill in perceived gaps in its knowledge, a process sometimes referred to as "confabulation". 

 

How to Mitigate Hallucinations in Longer Chats

• Start New Chats: Periodically starting a new conversation with the AI is an effective way to reset the context and reduce the accumulation of errors.
• Use Clear Prompts: Provide clear and structured prompts throughout the conversation to guide the model and set explicit expectations for the output.
• Employ Retrieval-Augmented Generation (RAG): When possible, use models that are integrated with RAG systems, which pull from external, verified data sources to provide grounding for responses, reducing reliance solely on the model's internal memory and reducing the hallucination rate.
• Fact-Check: Always verify critical or factual information provided by an AI, regardless of chat length, as models can hallucinate even in short interactions

[DukeRichelieu]

strike_ skrev (3 minutter siden):

Det er bra du er positiv. Men tro meg dette er ikke siste gang den vil gjøre ting feil,gjøre noe du ikke har bedt den om å gjøre eller glemmer ting. Spessielt i en lang chat. Å lage en ny chat er helt uproblematisk, selv midt i en modul som du kaller den. Og det vil du spare MANGE timer på, tro du meg. Men de fleste må lære dette "the hard way" som alle andre.

 

Why Longer Chats Increase Hallucination Risk

• Context Window Limits: AI models have a limited "context window," which is the maximum amount of text they can process at any one time. In a long conversation, older messages may be compressed, summarized, or effectively "forgotten" as new messages come in to stay within this limit. When the model can no longer "see" the original context, it's more likely to introduce errors or inconsistencies later on.
• Compounding Errors: Each AI response is a prediction of the next most likely word or sequence of words. If a small error (hallucination) occurs early in a conversation, subsequent responses may build upon that error, compounding the inaccuracies as the chat progresses.
• Information Retrieval Challenges: While larger context windows can help the AI remember more information, they don't eliminate the challenge of retrieving the most relevant facts efficiently from that large pool of data. The model might focus on recent, less important information while overlooking critical details from earlier in the chat.
• Increased Complexity: Longer chats often involve more complex scenarios or multiple threads of thought. As the task becomes more intricate, the AI runs a higher risk of generating plausible but incorrect information to fill in perceived gaps in its knowledge, a process sometimes referred to as "confabulation". 

 

How to Mitigate Hallucinations in Longer Chats

• Start New Chats: Periodically starting a new conversation with the AI is an effective way to reset the context and reduce the accumulation of errors.
• Use Clear Prompts: Provide clear and structured prompts throughout the conversation to guide the model and set explicit expectations for the output.
• Employ Retrieval-Augmented Generation (RAG): When possible, use models that are integrated with RAG systems, which pull from external, verified data sources to provide grounding for responses, reducing reliance solely on the model's internal memory and reducing the hallucination rate.
• Fact-Check: Always verify critical or factual information provided by an AI, regardless of chat length, as models can hallucinate even in short interactions

Takk for tipset!  Gir mening.

Skal prøve å holde chattene kortere. Har nå laget et godt system for å dokumentere endringer underveis - noe som skal gjøre det lettere å overføre kunnskap fra en chat til den neste. 

Har også lært å følge enda bedre med og forsikre meg om at Claude endrer siste fil. 

Har troen.  

[strike_]

41 minutes ago, DukeRichelieu said:

Skal prøve å holde chattene kortere.

Så lenge den ikke halluniserer og gjør feil så går det greit, men så fort du merker at den halluniserer (gjør ting du ikke har bedt om,glemmer ting eller generelt gjør feil), så bør du starte en ny chat. 

44 minutes ago, DukeRichelieu said:

Har nå laget et godt system for å dokumentere endringer underveis - noe som skal gjøre det lettere å overføre kunnskap fra en chat til den neste. 

Det virker som du er god på å dokumentere og lage klare retningslinjer. Og det er jo alfa omega, så tror dette går fint hele veien til mål

[DukeRichelieu]

strike_ skrev (14 timer siden):

Det virker som du er god på å dokumentere og lage klare retningslinjer. Og det er jo alfa omega, så tror dette går fint hele veien til mål

Ja, det er min styrke, tror jeg. Kanskje jeg overdokumenterer. 

Vi får se hvordan det går.  

[DukeRichelieu]

Takket være episoden i forgårs har vi nå fått etablert en veldig god arbeidsflyt hvor alt blir dokumentert og gjør det lett å portere kunnskapen videre i prosjektet. Jobber også tettere med ChatGPT som jeg aktivt konsulterer når ved behov - i tillegg til komplett review av kode.

ChatGPT var happy etter siste review  

 

[DukeRichelieu]

Kombinasjonen av Claude og ChatGPT er nydelig.  Helt ærlig er jeg usikker på om jeg hadde fått til dette med kun én AI agent.

85 % av tiden validerer ChatGPT det Claude gjør og sier det er utmerket - men kommer kanskje med et lite forslag. Andre ganger påpeker han at Claude her går i feil retning og korrigerer. Jeg forteller dette til Claude og han er som regel enig og tar det til etterretning.

Men andre ganger igjen går ChatGPT glipp av ting Claude får med seg. 

Kombinasjonen er derfor fantastisk. I dag har jeg nesten bare spilt ball mellom de to dagen lang og vært mellom-mann som overser det hele og følger med på eventuelle logiske brister. De er fortsatt dumme på et vis og kommer av og til med dårlige forslag som jeg må korrigere. Om Claude er opptatt med noe kan jeg bruke ChatGPT til å forberede nye ting til Claude i mellomtiden.

Jeg spurte ChatGPT om jeg hadde gjort et dårlig valg med å ikke bruke han som leder, men fikk til svar at jeg hadde gjort et helt korrekt valg i å velge Claude - som er "ekstremt god til å produsere kode" og at ChatGPT's styrke er arkitektur, debugging, reverse-engingeering, etc.

I det virkelige liv hadde enhver person blitt nervøs og forbannet over å ha noen som kikker seg over skulderen hele tiden, men disse to tar det med et virtuelt smil og samarbeider helt strålende. Haha...  

[DukeRichelieu]

Gårsdagens sesjon var et vakkert samarbeid mellom ChatGPT og Claude. Design av nytt database-skjema og database-migrasjon for noen kompliserte beregninger. 

Jeg kjørte sesjonen simultant med begge og gav de samme input og bad de begge komme med sine analyser og betraktninger uavhengig av hverandre. Orienterte begge om at jeg hadde den andre involvert.

Når den ene var ferdig sa jeg at jeg ønske å vise den andre hva den andre hadde gjort. De var enig på noen punkter, men hadde også uenigheter. Jeg fortsatte å klippe og lime inn den andres resultater/svar/betraktninger til den andre frem til begge var 100 % enige om absolutt alt. Begge hadde noen a-ha opplevelser underveis. Når de var enige lot jeg Claude skrive den endelige koden som ChatGPT godkjente og konkluderte med at var helt strøken.

Kudos til @Villfaren som gav meg idéen om å bruke to agenter. 

Rundet 50 timer med utvikling i går - hvorav rundt 10 timer til planlegging (sammen med Claude) før oppstart. Har nå generert rundt 35 separate beregninger som kjører lynraskt (< 0,5 sekund) og er validert med 99.8 % match mot eksisterende datasett fra applikasjonen jeg alt har. Mismatchen kommer fra noen 'edge cases' og feil vi oppdaget i det originale systemet.

[Villfaren]

Bare hyggelig.

 

Holder du fortsatt til på web? Vil sterkt anbefale deg å gå over til Claude code, og codex i så tilfelle. Er så mye lettere å operere i cli. Eg visste ikkje hva cli var før eg begynte mdd AI, og jobbet kun i web. Fikk hjelp av Claude til å installere Claude code og det samme med codex. 
 

Har ikkje sett meg tilbake til web en eneste gang og det er så lett å copy paste tekst mellom cli vinduene og det går så ufattelig mye fortere fordi begge har tilgang til filen din.

 

[DukeRichelieu]

strike_ skrev (På 13.11.2025 den 22.16):

Det er bra du er positiv. Men tro meg dette er ikke siste gang den vil gjøre ting feil,gjøre noe du ikke har bedt den om å gjøre eller glemmer ting. Spessielt i en lang chat. Å lage en ny chat er helt uproblematisk, selv midt i en modul som du kaller den. Og det vil du spare MANGE timer på, tro du meg. Men de fleste må lære dette "the hard way" som alle andre.

I går ble det en ny slik runde. Lurer på om jeg var medvirkende selv. Man lærer mens man lever.  

Er inne i sluttfasen av beregninger som er litt kompliserte. Bestemte meg for å ha ChatGPT med fra start og tror dette var medvirkende til at det ble surr - siden jeg hele veien tok med ChatGPT's innspill og spilte de tilbake til Claude. Fungerte fantastisk på søndag, men ikke like bra i går.

Kort fortalt fikk jeg inntrykk av at begge to overkompliserte noe som i utgangspunktet ikke er så komplisert. Og når vi begynte å debugge merket jeg etter hvert at vi bare gikk i sirkel. Opplevde at de omtrent bare gjorde tilfeldige og tankeløse endringer som ikke gav noe reell fremgang.

Et lite hint til når dette skjer er når de begynner å virke for selvsikre. Særlig var dette et problem med ChatGPT. For hvert forslag jeg kom med eller hver de-bug var ChatGPT veldig selvsikker på at dette var løsningen. Type: "Exactly! This is it. You just nailed it. It will run 100 % correctly after this fix!" LOL. 

Skal starte fra scratch ved neste sesjon og denne gangen la Claude løse problemet selv og kun la ChatGPT gjøre review.

Villfaren skrev (8 timer siden):

Bare hyggelig.

Holder du fortsatt til på web? Vil sterkt anbefale deg å gå over til Claude code, og codex i så tilfelle. Er så mye lettere å operere i cli. Eg visste ikkje hva cli var før eg begynte mdd AI, og jobbet kun i web. Fikk hjelp av Claude til å installere Claude code og det samme med codex. 

Har ikkje sett meg tilbake til web en eneste gang og det er så lett å copy paste tekst mellom cli vinduene og det går så ufattelig mye fortere fordi begge har tilgang til filen din.

Interessant!  

Jeg er kun i web, ja. Delvis eller helt motivert av at jeg ikke er en koder og det virker mer brukervennlig. Men som du sier kan jeg jo be Claude hjelpe meg sette dette opp.

Kan du oppsummere fordelene med CLI utover det du alt nevnte?

Tror jeg Googlet dette tidligere og fikk litt ulike svar som gjorde at jeg den gang valgte å holde meg til web.

Det er jo også noe som heter Claude Desktop - som slik jeg har forstått det tilsvarer web, men med mulighet for å gi Claude full tilgang til prosjektmappen og endre filer direkte.

Jeg har jo en god del igjen før jeg er i mål med alt, så er absolutt ikke for sent å gjøre endringer.

Prosjektet mitt oppsummert går ut på å gjenskape det jeg alt har i et vesentlig forbedret og oppdatert format. Tipper jeg er 65-70 % i mål der. Men etter det ønsker jeg å forbedre systemet og implementere nye funksjoner og beregninger. Totalt sett er jeg nok da ikke kommet lenger enn si 30 %.

"Claude Desktop always seems to outperform Claude Code for most of my tasks. Sure, if I'm editing the actual code to a file (which I'll usually give Claude Desktop the first pass at), then I'll use Claude Code, but Claude Desktop has proven, in my experience, that it is much better at almost everything."

 

 

 

Endret tirsdag kl 07:08 av DukeRichelieu

[DukeRichelieu]

For hva det er verdt spurte jeg ChatGPT og Claude i mellomtiden og begge mener jeg bør holde meg til web. I hovedsak er visst argumentet at jeg beholder full eller mer kontroll i web.

[Villfaren]

Skjønner ikkje hvorfor Claude anbefaler web, kan være avhengig av måten du stilte spm på, eller størrelsen på prosjektet. Hvor mange filer har du?

 

Fordelen med cli:

-redigere direkte i filene

-rask å finne akkurat den kodedelen du skal endre

-flink til å kjøre selvtest for å se om det virker

-kan være av internett

-mye lettere å prate med og dermed feilsøke/veilede den videre

-kan legge inn regler, huskelister, etc

-om du lurer på noe i koden finner den det direkte

spør du meg er det kun fordeler

[DukeRichelieu]

Villfaren skrev (5 timer siden):

Skjønner ikkje hvorfor Claude anbefaler web, kan være avhengig av måten du stilte spm på, eller størrelsen på prosjektet. Hvor mange filer har du?

Fordelen med cli:

-redigere direkte i filene

-rask å finne akkurat den kodedelen du skal endre

-flink til å kjøre selvtest for å se om det virker

-kan være av internett

-mye lettere å prate med og dermed feilsøke/veilede den videre

-kan legge inn regler, huskelister, etc

-om du lurer på noe i koden finner den det direkte

spør du meg er det kun fordeler

Takk for svaret. Jeg har 286 filer totalt inkludert en del dokumentasjon og arkivert dokumentasjon.

76 kodefiler (python) hittil. Blir nok doblet eller tredoblet før jeg er ferdig.  

6639 linjer med kode hittil.

Prompten og svaret om du er interessert:

Og litt til jeg ikke tok med. I hovedsak virker det være at det er litt mer teknisk å navigere for en ikke-koder som meg, samt at jeg kan risikere å miste kontrollen. Slik det er nå har jeg 100 % kontroll på alt som går inn og ut. Går kanskje litt tregere, men er trolig verdt det for en på mitt nivå.

[DukeRichelieu]

I går, søndag, var en bortkastet dag i form av output, men ble litt klokere og kom et steg nærmere en løsning. I korthet, tror jeg at jeg overlastet mine utviklere med informasjon og lot ikke Claude jobbe uforstyrret med litt for mye input fra ChatGPT underveis. Til slutt virket det som begge hallusinerte kraftig og vi gikk i sirkel.

Hver gang jeg kom med et innspill svarte ChatGPT: "You just nailed it, buddy! That's the final piece we've been missing! It will work now. 100 % guaranteed!" Og så virket det selsvagt ikke. Virker som en indikator på at noe er galt når de prater slik.

Startet fra scratch i dag med litt mer fokus. Lot Claude jobbe uforstyrret med nøye veiledning fra meg og passet på å ikke gi mer input enn nødvendig. Løste den trivielle algoritmen vi forsøkte å oversette fra C# til Python i går og den matchet 100 % (!) med resultatene fra mitt eksisterende system på første forsøk. Og det beste er farten. Output fra min terminal:

================================================================================
⚡ SWING DETECTOR PERFORMANCE BENCHMARK
================================================================================
Loading all bars from CSV...
Loaded 1032 dates with bars
Processing 997 sessions...
================================================================================
RESULTS
================================================================================
Total sessions: 997
Total swings found: 13950
Total time: 0.044 seconds
Per session: 0.04 ms
Swings per second: 317034

0,044 sekund for 4 år med intradag data. Selv et 100 ganger større datasett vil bli beregnet på mindre enn et sekund. 

Jeg er imponert, Claude...  

ChatGPT gjorde en endelig review og hadde kun 3 trivielle bemerkninger (som Claude implementerte). 

I løpet av 11 dager og like under 60 timer med utvikling (planlegging inkkludert) har jeg som ikke kan kode replikert 90 % av mitt originale system (som utviklere har sagt til meg at ville ta 3-4 uker å utvikle for en profesjonell) gjort helt alene.

Dette er faktisk helt utrolig. Gjenstår å se om det går helt til mål, men slik dette går ser jeg ikke at det ikke skal gå. Data-motoren og beregningene er jo det vanskelige og de kjører nå lynraskt og er 100 % korrekte. Trenger egentlig bare å sette opp en enkel GUI, så er jeg i mål om noen dager. Men jeg har ambisjoner om å ta det et godt steg opp fra hva jeg alt har med mer funksjonalitet.

Hadde ikke i min villeste fantasi sett for meg at dette var mulig...

Endret tirsdag kl 21:28 av DukeRichelieu

[strike_]

18 hours ago, DukeRichelieu said:

Startet fra scratch i dag med litt mer fokus. Lot Claude jobbe uforstyrret med nøye veiledning fra meg og passet på å ikke gi mer input enn nødvendig. Løste den trivielle algoritmen vi forsøkte å oversette fra C# til Python i går og den matchet 100 % (!) med resultatene fra mitt eksisterende system på første forsøk

Told you  Jeg starter ny chat etter max 2 mislykka forsøk. Funker hver gang.
 

19 hours ago, DukeRichelieu said:

Hadde ikke i min villeste fantasi sett for meg at dette var mulig...

Jeg er imponert selv hva man kan få til ved hjelp av AI. Denne tråden har inspirert meg til å starte på et litt større prosjekt selv. Jeg satt å tenkte en dag, hva er det neste jeg kan prøve meg på? Etter litt fundering kom jeg på noe som ikke er så utbredt i Norge, så kanskje jeg kan gjøre dette til en business også, det er i hvertfall målet. Eller selve ideen i seg selv er vel forholdvis utbredt,men ikke selve konseptet og teknologien bak. Tenkte starte litt smått til helgen så får vi se hvor det ender. 

[DukeRichelieu]

strike_ skrev (3 timer siden):

Told you  Jeg starter ny chat etter max 2 mislykka forsøk. Funker hver gang.

Jeg er imponert selv hva man kan få til ved hjelp av AI. Denne tråden har inspirert meg til å starte på et litt større prosjekt selv. Jeg satt å tenkte en dag, hva er det neste jeg kan prøve meg på? Etter litt fundering kom jeg på noe som ikke er så utbredt i Norge, så kanskje jeg kan gjøre dette til en business også, det er i hvertfall målet. Eller selve ideen i seg selv er vel forholdvis utbredt,men ikke selve konseptet og teknologien bak. Tenkte starte litt smått til helgen så får vi se hvor det ender. 

Håper du deler litt når du kommer i gang uten å dele forretningshemmeligheter.  

Synes det ble litt stille i tråden...

[Salvesen.]

Hadde vært veldig skeptisk til å vibe code noe en skal selge til kunde. Da må en drive med support, og det er nok få kunder som synes det er kult at en drar fram ChatGPT når en har problemer og ber "den" løse problemet. Også må en pushe denne lotto koden til Prod som kan forårsake nye problemer for kunden etc. 

Jeg er iallefall skeptisk til slik, før jeg ser det "live" og fungerende. Og dette er etter 10år+ i support miljøet 😛

Men, mulig dette er helt normalt om noen år. Slik utviklingen går i dag hadde jeg ikke blitt overrasket. 

Har selv opplevd at ikke tekniske personer har vibe kodet diverse "rapporter" og sendt det direkte til kunde uten å i det hele tatt å ha verifisert resultatet. Full tiltro til det som spyttes ut samt null fokus på data en deler med disse selskapene og hva som angår eierskap osv. 

En dag kommer kunden og sier at de har forferdelige verdier i rapportene sine, og da kommer salgsfolket springende med AI spaggetti koden og ber faktisk tekniske folk om å fikse problemet deres. 

 

Ikke for å kritisere eller noe slik, bare for å dele erfaring