Ga naar inhoud
  • BTC $62.846 −1,5%
  • ETH $1.763 −1,6%
  • SOL $73,50 +1,0%
  • BNB $581,23 −1,3%
  • XRP $0,9752 +1,4%
  • DOGE $0,0591 +0,3%
  • ADA $0,1523 −0,2%

Onderzoek naar Canadese gezondheidszorg verdiept zich nu fouten in Deloitte-rapport nieuwe zorgen oproepen over AI in beleidswerk

Fouten in het Deloitte-rapport roepen vragen op over AI-gegenereerde citaties in een kostbare Canadese gezondheidszorgbeoordeling, wat wijst op lacunes in governance.

Dit artikel is gemaakt met systemen voor kunstmatige intelligentie en gepubliceerd onder de redactionele verantwoordelijkheid van Amelia Tomasicchio. Zo werken wij

deloitte report errors
Deloitte report errors spark AI citation concerns in Canada

De toenemende controle op onderzoek naar openbaar beleid neemt toe nadat fouten in een Deloitte-rapport werden ontdekt in een spraakmakende Canadese gezondheidszorgbeoordeling.

Hoe kwamen AI-gerelateerde kwesties naar voren in de gezondheidszorgbeoordeling van Newfoundland en Labrador?

Een door de Canadese overheid in opdracht gegeven gezondheidszorganalyse door Deloitte, met een kostenplaatje van bijna $1,6 miljoen, bevat volgens een onderzoek van The Independent kennelijke door AI gegenereerde onnauwkeurigheden. Het 526 pagina’s tellende document, uitgebracht door de regering van Newfoundland en Labrador in mei, vertegenwoordigt een van de duurste recente adviescontracten in de gezondheidssector van de provincie.

Het rapport werd opgesteld voor het toenmalige door de Liberalen geleide Ministerie van Volksgezondheid en Gemeenschapsdiensten. Het onderzocht virtuele zorg, retentieprikkels en de impact van de COVID-19 pandemie op zorgverleners, op een moment dat Newfoundland en Labrador te maken hebben met ernstige tekorten aan verpleegkundigen en artsen. Echter, de daaropvolgende mediabeoordeling heeft vragen opgeworpen over de betrouwbaarheid van het bewijs dat ten grondslag ligt aan die aanbevelingen.

The Independent, een progressieve publicatie gericht op de meest oostelijke provincie van Canada, ontdekte meerdere potentiële onnauwkeurigheden en anomalieën. Bovendien suggereert hun onderzoek dat sommige van de onderliggende onderzoeksverwijzingen mogelijk zijn geproduceerd of vervormd met behulp van artificiële intelligentie tools, hoewel het hoofdverhaal niet door een machine is geschreven.

Welke soorten fouten in Canadese gezondheidszorgrapporten hebben onderzoekers ontdekt?

Volgens The Independent bevatte het Deloitte-rapport valse academische citaties die verwezen naar verzonnen wetenschappelijke artikelen. Deze fictieve bronnen werden gebruikt ter ondersteuning van kosten-batenanalyses, een cruciaal onderdeel bij het vormgeven van beslissingen over zorguitgaven. Het rapport schreef ook ten onrechte echte onderzoekers toe aan studies waaraan zij nooit hadden gewerkt, waardoor de indruk van solide bewijs werd gewekt waar dat niet bestond.

Sommige citaties gingen verder en beschreven artikelen die naar verluidt mede-auteurschap hadden van onderzoekers die zeiden nooit te hebben samengewerkt. Dat gezegd hebbende, beweerde de review niet dat elke referentie gebrekkig was. In plaats daarvan richt de bezorgdheid zich op een patroon van citatieproblemen die het vertrouwen in de conclusies van het rapport over personeelsbezetting, virtuele zorg en systeemhervorming zouden kunnen ondermijnen.

Het rapport verwees ook naar een artikel dat zogenaamd was gepubliceerd in de Canadian Journal of Respiratory Therapy. Onderzoekers konden het document echter niet vinden in de database van het tijdschrift, wat de vrees vergrootte dat generatieve tools plausibel klinkende maar niet-bestaande bronnen hebben verzonnen.

Hoe heeft Deloitte gereageerd op beschuldigingen van door AI gegenereerde citaties?

In een verklaring aan Fortune verdedigde een woordvoerder van Deloitte Canada de inhoud van het werk. “Deloitte Canada staat volledig achter de aanbevelingen die in ons rapport zijn gedaan,” zei de woordvoerder. “We herzien het rapport om een klein aantal citatiecorrecties aan te brengen, die geen invloed hebben op de bevindingen van het rapport.”

De woordvoerder voegde eraan toe dat kunstmatige intelligentie het geschreven rapport zelf niet heeft geproduceerd. In plaats daarvan, zeiden ze, werd AI “selectief gebruikt om een klein aantal onderzoeksverwijzingen te ondersteunen.” Echter, gezien de omvang van de gezondheidszorgstudie en de financiële belangen, stellen critici dat zelfs beperkte afhankelijkheid van machinaal gegenereerde referenties veel strengere verificatie en transparantie vereist.

Bovendien heeft de stelling van het bedrijf dat de correcties van de citaties de conclusies van het rapport niet beïnvloeden, tot kritiek geleid. Sommige academici en beleidsmakers vragen zich af hoe vervalst of verkeerd toegeschreven onderzoek kan worden gecorrigeerd zonder enige downstream kosten-effectiviteitsmodellen of prognoses voor de arbeidsmarkt opnieuw te evalueren.

Wat zeggen getroffen onderzoekers over het fact-checking proces van het adviesbureau?

Gail Tomblin Murphy, een adjunct-professor aan de School of Nursing van Dalhousie University in Nova Scotia, was een van degenen die onjuist werden geciteerd. Ze vertelde The Independent dat Deloitte haar had genoemd in een academisch artikel dat “niet bestaat.” Ze merkte op dat ze slechts met drie van de zes andere auteurs had samengewerkt die in de valse citatie werden genoemd, niet met de volledige groep die werd beschreven.

“Het klinkt alsof als je met dit soort dingen komt, ze mogelijk zwaar gebruikmaken van AI om werk te genereren,” zei Tomblin Murphy. Haar opmerkingen benadrukken de groeiende ongerustheid binnen de academische gemeenschap over hoe generatieve tools overtuigende maar onnauwkeurige bibliografieën kunnen fabriceren, vooral wanneer consultants niet elke referentie grondig verifiëren.

Ze waarschuwde verder dat rapporten die het overheidsbeleid sturen, ondersteund moeten worden door gevalideerd, hoogwaardig bewijs. Bovendien benadrukte Tomblin Murphy dat overheden en het publiek aanzienlijke bedragen betalen voor dergelijk werk, dus het moet “nauwkeurig en op bewijs gebaseerd zijn en helpen om zaken vooruit te brengen.” Haar kritiek benadrukt een waargenomen tekortkoming in de zorgvuldigheid, in plaats van een enkel technisch foutje.

Hoeveel kostte het door de overheid in opdracht gegeven rapport, en wat zijn de politieke gevolgen?

Volgens een informatieverzoek dat afgelopen woensdag in een blogpost werd gepubliceerd, betaalde de Canadese overheid net iets minder dan $1,6 miljoen voor de Deloitte-studie, die in acht termijnen werd uitgegeven. Vanaf maandag was het rapport nog steeds beschikbaar op de website van de regering van Newfoundland en Labrador, ondanks de opkomende controverse over de referenties en methodologie.

Het politieke leiderschap in de provincie is veranderd sinds het rapport werd afgeleverd. Tony Wakeham, leider van de Progressieve Conservatieve Partij in Newfoundland en Labrador, werd eind oktober beëdigd als de nieuwe premier van de provincie. Echter, noch het kantoor van de premier noch het Department of Health and Community Services reageerde direct op de vragen van Fortune over het rapport van mei, en zij hebben de zorgen tot op heden niet publiekelijk aangepakt.

Die stilte laat vragen open over of de aanbevelingen van het rapport de gezondheidsbeleid zullen blijven sturen. Het vergroot ook de kans op verdere controle door provinciale wetgevers of federale toezichthoudende instanties over hoe het onderzoek van adviesbureaus wordt beoordeeld voordat het invloed uitoefent op essentiële openbare diensten.

Hoe verhouden deze fouten in het Deloitte-rapport zich tot de Australische welzijnszaak?

De Canadese onthullingen volgen op soortgelijke problemen in Australië. In juli produceerde Deloitte een rapport van $290.000 om de Australische overheid te helpen de naleving van de sociale zekerheid aan te scherpen. De 237 pagina’s tellende studie maakte ook gebruik van generatieve technologie en bleek later “hallucinaties” te bevatten, waaronder verwijzingen naar niet-bestaand academisch onderzoek en een verzonnen citaat uit een uitspraak van een federale rechtbank.

Nadat een onderzoeker de problemen had aangekaart, bracht Deloitte een herziene versie van de Australische studie uit. Het bijgewerkte rapport, dat vorige maand stilletjes op de website van de overheid werd geplaatst, erkende dat het bedrijf het generatieve taalsysteem Azure OpenAI had gebruikt om het oorspronkelijke document te helpen creëren. Die erkenning kwam pas nadat externe controle de gebrekkige citaties aan het licht had gebracht.

In het bijgewerkte Australische rapport schreef Deloitte dat “de aangebrachte updates op geen enkele manier invloed hebben op de inhoud, bevindingen en aanbevelingen in het rapport.” Critici betoogden echter dat gefabriceerde bronnen inherent twijfel zaaien over de integriteit van op bewijs gebaseerde aanbevelingen, niet alleen over cosmetische details. Bovendien heeft deze tweede episode het debat over deloitte ai-hallucinaties en de robuustheid van de interne fact-checking van het bedrijf verder aangewakkerd.

Welke financiële gevolgen heeft Deloitte ondervonden, en wat blijft onopgelost voor Canada?

Als onderdeel van de Australische zaak moest het lokale lidbedrijf van Deloitte de federale overheid een gedeeltelijke terugbetaling verstrekken voor het gebrekkige welzijnsrapport. Die financiële straf gaf aan dat functionarissen de AI-gerelateerde onnauwkeurigheden serieus genoeg achtten om compensatie te rechtvaardigen.

Daarentegen is er nog geen informatie openbaar gemaakt over een mogelijke terugbetaling of contractuele oplossing met betrekking tot het Canadese gezondheidszorgrapport. Dat gezegd hebbende, kan de druk toenemen naarmate beleidsmakers, zorgverleners en belastingbetalers zich afvragen of zij volledige waarde hebben ontvangen voor een studie die nu na publicatie correcties nodig heeft in de bewijsbasis.

In bredere zin benadrukken beide episodes de toenemende risico’s wanneer overheden vertrouwen op grote adviesbureaus die gebruikmaken van generatieve technologie zonder strikte waarborgen. Ze suggereren ook dat publieke instellingen sterkere normen nodig zullen hebben voor het verifiëren van bronnen, vooral in lange, complexe beleidsrapporten die cruciale diensten voor jaren kunnen vormgeven.

Samenvattend benadrukt de zich ontvouwende controle van Deloitte’s Canadese gezondheidszorgbeoordeling en de Australische welzijnsstudie de dringende noodzaak van betrouwbaar bewijs, transparante methodologie en robuust toezicht wanneer AI-ondersteund onderzoek publieke beleidsbeslissingen informeert.

Satoshi Voice

Dit artikel is geproduceerd met behulp van kunstmatige intelligentie en beoordeeld door ons team van journalisten om nauwkeurigheid en kwaliteit te garanderen.

Alle artikelen van Satoshi Voice