Kāds anonīms izstrādātājs ir izveidojis SpeechMap – vārda brīvības vērtēšanas sistēmu, kas pārbauda pielaidīgumu iekš MI tērzēšanas robotiem.
Ar pseidonīmu maskēts izstrādātājs ir izveidojis tā saukto “vārda brīvības vērtēšanas sistēmu” SpeechMap, kas paredzēta mākslīgā intelekta (MI) modeļiem, kuri darbina tādus tērzēšanas robotus kā OpenAI ChatGPT un X Grok.
Izstrādātāja mērķis ir salīdzināt, kā dažādi modeļi izturas pret jutīgām un pretrunīgām tēmām. Tajā pašā laikā apskatot arī politisko kritiku un jautājumiem par pilsoniskajām tiesībām un protestiem. Tā šī anonīmā persona skaidroja ziņu aģentūrai Tech Church.
MI uzņēmumi ir pievērsuši uzmanību tam, kā to modeļi apstrādā noteiktas tēmas. Īpaši aktuāli tas ir ASV. Proti, Baltā nama sabiedrotie apsūdz populāros tērzēšanas robotus par to, ka tie ir pārlieku politiski progresīvi.
Lērums ASV prezidenta Donalda Trampa uzticības personu, piemēram, Īlons Masks un kriptogrāfijas un MI “cars” Deivids Sakss, ir apgalvojuši, ka tērzēšanas roboti cenzē konservatīvos uzskatus.
Lai gan neviens no šiem MI uzņēmumiem nav tieši atbildējis uz apsūdzībām, vairāki ir apņēmušies pielāgot savus modeļus tā, lai tie retāk atteiktos atbildēt uz strīdīgiem jautājumiem.
Piemēram, Meta paziņoja, ka tas jaunākajam Llama modeļu klāstam ir pielāgoti citi modeļi. Iemesls? Lai tie neatbalstītu “dažus uzskatus salīdzinājumā ar citiem” un atbildētu uz “diskutablākiem” politiskiem aicinājumiem.
SpeechMap izstrādātājs, kurš X vietnē darbojas ar lietotājvārdu “xlr8harder”, teica, ka viņi bija motivēti palīdzēt informēt debates par to, ko modeļiem vajadzētu un ko nevajadzētu darīt.
“Es domāju, ka šāda veida diskusijām vajadzētu notikt publiski, nevis tikai uzņēmuma galvenajā mītnē,” xlr8harder sacījā e-pastā TechCrunch. “Tāpēc es izveidoju šo vietni, lai ikviens varētu pats izpētīt datus.”
Kā SpeechMap analizē MI čatbotus?
SpeechMap izmanto MI modeļus, lai novērtētu, vai citi modeļi atbilst noteiktam testa uzvedņu kopumam. Uzdevumi attiecas uz dažādiem tematiem, sākot ar politiku un beidzot ar vēsturiskiem stāstiem un valsts simboliem.
SpeechMap reģistrē, vai modeļi “pilnībā” izpilda pieprasījumu (t. i., atbild uz to bez aplinkiem), vai sniedz “izvairīgas” atbildes, vai pilnībā atsakās atbildēt.
Xlr8harder atzīst, ka šim paŗbaudijumam ir trūkumi, piemēram, “troksnis”, ko rada modeļu sniedzēju kļūdas. Iespējams arī, ka “tiesnešu” modeļos ir neobjektivitātes, kas varētu ietekmēt rezultātus.
Taču, pieņemot, ka projekts tika izveidots godprātīgi un dati ir precīzi, SpeechMap atklāj dažas interesantas tendences.
OpenAI analīze
Piemēram, saskaņā ar SpeechMap datiem OpenAI modeļi laika gaitā arvien biežāk ir atteikušies atbildēt uz jautājumiem, kas saistīti ar politiku. Uzņēmuma jaunākie modeļi, proti, GPT-4.1, ir nedaudz pielaidīgāki, bet tie joprojām ir solis atpakaļ salīdzinājumā ar vienu no OpenAI pagājušā gada versijām.
OpenAI februārī paziņoja, ka turpmākos modeļus pielāgos tā, lai tie neieņemtu redakcionālu nostāju un piedāvātu vairākus skatupunktus attiecībā pret strīdīgiem tematiem – tas viss, lai modeļi izskatītos “neitrālāki”.
Foto:OpenAI
Grok analīze
Saskaņā ar SpeechMap veikto salīdzinošo novērtēšanu visbrīvākais modelis ir Grok 3, ko izstrādājis Īlona Maska MI jaunuzņēmums xAI. Grok 3 nodrošina vairākas X sistēmas funkcijas, tostarp tērzēšanas robotu Grok.
Grok 3 reaģē uz 96,2 % SpeechMap testu ieteikumu, salīdzinot ar vidējo atbilstības līmeni pasaulē, kas ir 71,3 %.
“Lai gan OpenAI nesenie modeļi laika gaitā ir kļuvuši mazāk pielaidīgi, īpaši attiecībā uz politiski jutīgiem ieteikumiem, xAI virzās pretējā virzienā,” teica xlr8harder.
Kad pirms aptuveni diviem gadiem Masks paziņoja par Grok, viņš prezentēja šo MI modeli kā asu, nefiltrētu un pret politisko progresivitāti vērstu – kopumā gatavu atbildēt uz pretrunīgiem jautājumiem, uz kuriem citas mākslīgā intelekta sistēmas nevēlas atbildēt.
Daļu no šī solījuma viņš izpildīja. Piemēram, Grok un Grok 2 ar prieku izpildīja prasību būt vulgāriem, izkliedzot kolorītu valodu, ko, visticamāk, nedzirdēsiet no ChatGPT.
Bet Grok modeļi pirms Grok 3 bija ierobežoti attiecībā uz politiskām tēmām un nepārkāpa noteiktas robežas. Patiesībā vienā pētījumā tika konstatēts, ka Grok politiski sliecās pa kreisi tādās tēmās kā transseksuāļu tiesības, daudzveidības programmas un nevienlīdzība.
Masks par šādu rezultātu vainoja Grok mācību datus – publiskās tīmekļa lapas – un apsolīja, ka “Grok būs politiski neitrāls”. Ja vien nebūtu pieļautas tādas skaļas kļūdas kā īslaicīgi cenzēti nelaipni minējumi par prezidentu Donaldu Trampu un Masku, šķiet, ka viņš varētu būt teju sasniedzis šo mērķi.
Avots: TechChurch
