Bu cümle bir yapay zeka tarafından mı yazıldı? OpenAI’nin yeni sohbet robotu ChatGPT bize bu soruyu sordurtuyor: Online olarak okuduklarımızın bir insan tarafından mı yoksa bir makine tarafından mı yazıldığını nasıl bileceğiz?
Kasım sonunda piyasaya sürüldüğünden beri ChatGPT bir milyondan fazla kişi tarafından kullanıldı. Yapay zeka topluluğunu büyüledi ve internetin giderek yapay zeka tarafından üretilen metinle dolup taştığı açık. İnsanlar bunu şakalar bulmak, çocuk hikayeleri yazmak ve daha iyi e-postalar hazırlamak için kullanıyor.
ChatGPT, OpenAI’nin büyük dil modeli GPT-3’ün yan ürünüdür ve kendisine sorulan sorulara kulağa son derece insani gelen yanıtlar verir. Bu büyük dil modellerinin büyüsü ve tehlikesi, doğruluk illüzyonunda yatmaktadır. Ürettikleri cümleler doğru görünüyor; doğru türden kelimeleri doğru sırada kullanıyorlar. Ancak AI, bunların hiçbirinin ne anlama geldiğini bilmiyor. Bu modeller, bir cümledeki en olası sonraki kelimeyi tahmin ederek çalışır. Bir şeyin doğru mu yanlış mı olduğu hakkında hiçbir fikirleri yoktur ve bilgiyi doğru olmadığında bile güvenle sunarlar.
Zaten kutuplaşmış, politik olarak gergin bir çevrimiçi dünyada, bu AI araçları tükettiğimiz bilgileri daha da çarpıtabilir. Gerçek ürünlerde gerçek dünyaya yayılırlarsa, sonuçlar yıkıcı olabilir.
Eskiden OpenAI’de yapay zeka araştırmacısı olan Hugging Face’in politika direktörü Irene Solaiman, teknolojinin olası kötüye kullanımlarına karşı koymak için insan ve yapay zeka tarafından yazılmış metinler arasında ayrım yapmanın yollarına çaresizce ihtiyacımız olduğunu söylüyor. GPT-3’ün öncülü GPT-2’nin piyasaya sürülmesi için yapay zeka çıktı algılama üzerinde çalıştı.
Kodlayıcıların yardım isteyebileceği bir web sitesi olan Stack Overflow tarafından yakın zamanda duyurulan araç gibi, yapay zeka tarafından üretilen metin ve kod üzerindeki yasakları uygulamak için yeni araçlar da çok önemli olacaktır. ChatGPT, yazılım sorunlarına güvenle yanıt verebilir, ancak kusursuz değildir. Kodu yanlış almak, hatalı ve bozuk yazılımlara yol açabilir, bu da düzeltilmesi pahalı ve potansiyel olarak kaotiktir.
Stack Overflow’un bir sözcüsü, şirketin moderatörlerinin “buluşsal yöntemler ve algılama modelleri de dahil olmak üzere bir dizi araç aracılığıyla gönderilen binlerce topluluk üyesi raporunu incelediğini” söylüyor, ancak daha fazla ayrıntıya girmiyor.
Gerçekte, inanılmaz derecede zordur ve yasağın uygulanması neredeyse imkansızdır.
Bugünün algılama araç kiti
Araştırmacıların AI tarafından oluşturulan metni algılamaya çalıştıkları çeşitli yollar var. Yaygın bir yöntem, metnin farklı özelliklerini analiz etmek için yazılım kullanmaktır; örneğin, ne kadar akıcı okunduğu, belirli kelimelerin ne sıklıkla geçtiği veya noktalama işaretlerinde veya cümle uzunluğunda kalıplar olup olmadığı.
Şirketin derin öğrenme araştırma birimi Google Brain’de kıdemli araştırma bilimcisi olan Daphne Ippolito, “Yeterli metniniz varsa, “the” kelimesinin çok fazla geçmesi gerçekten kolay bir işarettir,” diyor.
Büyük dil modelleri bir cümledeki bir sonraki kelimeyi tahmin ederek çalıştığından, riskli, nadir kelimeler yerine “the”, “it” veya “is” gibi yaygın kelimeleri kullanma olasılıkları daha yüksektir. Ippolito ve Google’daki bir araştırma ekibinin 2019’da yayınladıkları araştırmada buldukları, bu tam olarak otomatik algılama sistemlerinin iyi yakalayabildiği türden bir metin.
Ancak Ippolito’nun çalışması ayrıca ilginç bir şey gösterdi: insan katılımcılar bu tür “temiz” metinlerin daha iyi göründüğünü ve daha az hata içerdiğini ve dolayısıyla bir kişi tarafından yazılmış olması gerektiğini düşünme eğilimindeydiler.
Gerçekte, insan eliyle yazılmış metinler yazım hatalarıyla dolu ve inanılmaz derecede değişken, farklı stiller ve argo içeriyor, Ippolito “dil modelleri çok ama çok nadiren yazım hatası yapıyor. Mükemmel metinler oluşturmada çok daha iyiler” diyor.
“Metindeki bir yazım hatası aslında onun insan yazısıyla yazıldığının gerçekten iyi bir göstergesidir” diye ekliyor.
Yapay zeka tarafından oluşturulan metni algılamak için büyük dil modellerinin kendisi de kullanılabilir. Kanada doğal araştırma başkanı Muhammed Abdul-Mageed, bunu yapmanın en başarılı yollarından birinin, modeli insanlar tarafından yazılan bazı metinler ve makineler tarafından oluşturulan diğer metinler üzerinde yeniden eğitmek olduğunu söylüyor. -British Columbia Üniversitesi’nde dil işleme ve makine öğrenimi ve algılama eğitimi aldı.
Bu arada Texas Üniversitesi’nde bir bilgisayar bilimcisi olan ve bir yıl boyunca OpenAI’de araştırmacı olarak görevlendirilen Scott Aaronson, blogunda “GPT-3 gibi modellerle üretilen daha uzun metin parçaları için filigranlar geliştiriyor, daha sonra evet, bunun GPT’den geldiğini kanıtlamak için kullanabileceğiniz kelime seçimleri” diye yazıyor.
OpenAI sözcüsü, şirketin filigranlar üzerinde çalıştığını doğruladı ve politikalarının, kullanıcıların AI tarafından oluşturulan metni “hiç kimsenin makul bir şekilde gözden kaçırmayacağı veya yanlış anlayamayacağı bir şekilde” açıkça belirtmesi gerektiğini belirttiğini söyledi.
Ancak bu teknik düzeltmeler büyük uyarılarla birlikte gelir. GPT-2 veya diğer önceki modeller üzerine inşa edildikleri için çoğunun en yeni nesil AI dil modellerine karşı hiç şansı yok. Bu algılama araçlarının çoğu, çok fazla metin olduğunda en iyi şekilde çalışır; daha kısa konuşmalara dayanan ve analiz edilecek daha az veri sağlayan sohbet botları veya e-posta asistanları gibi bazı somut kullanım durumlarında daha az verimli olacaklardır. Abdul-Mageed, algılama için büyük dil modellerinin kullanılmasının da güçlü bilgisayarlar ve teknoloji şirketlerinin izin vermediği yapay zeka modelinin kendisine erişim gerektirdiğini söylüyor.
Solaiman, model ne kadar büyük ve güçlüyse, hangi metnin bir insan tarafından yazıldığını ve neyin yazılmadığını tespit etmek için AI modelleri oluşturmak o kadar zorlaşıyor diyor.
“Şu anda endişe verici olan şey, (ChatGPT’nin) gerçekten etkileyici çıktılara sahip olması. Tespit modelleri yetişemiyor. Bütün bu süre boyunca yakalamaca oynuyorsun” diyor.
İnsan gözünü eğitmek
Solaiman, AI ile yazılmış metni tespit etmek için gümüş bir kurşun olmadığını söylüyor. “Önyargıları azaltmak için bir güvenlik filtresinin yanıtınız olmayacağı gibi, bir algılama modeli de sentetik metni algılamak için yanıtınız olmayacak” diyor.
Sorunu çözme şansına sahip olmak için, gelişmiş teknik düzeltmelere ve insanların bir yapay zeka ile etkileşime girdiği zamanlar hakkında daha fazla şeffaflığa ihtiyacımız olacak ve insanların yapay zeka tarafından yazılmış cümlelerin işaretlerini tespit etmeyi öğrenmesi gerekecek.
Ippolito, “Web sayfanızdaki herhangi bir metnin makine tarafından oluşturulup oluşturulmadığını size bildirecek bir Chrome eklentisine veya kullandığınız herhangi bir web tarayıcısına sahip olmak gerçekten güzel olurdu” diyor.
Bazı yardımlar zaten orada. Harvard ve IBM’deki araştırmacılar, bir bilgisayar programı tarafından oluşturulmuş olabilecek pasajları vurgulayarak insanları destekleyen Dev Dil Modeli Test Odası (GLTR) adlı bir araç geliştirdi.
Ancak AI zaten bizi kandırıyor. Cornell Üniversitesi’ndeki araştırmacılar, insanların GPT-2 tarafından oluşturulan sahte haber makalelerini zamanın yaklaşık %66’sında güvenilir bulduğunu buldu.
Başka bir çalışma, eğitimsiz insanların GPT-3 tarafından oluşturulan metni yalnızca rastgele şansla tutarlı bir düzeyde doğru bir şekilde tespit edebildiğini buldu.
Ippolito, iyi haber şu ki, insanlar yapay zeka tarafından oluşturulan metinleri tespit etmede daha iyi olmak için eğitilebilirler. Bir oyuncu bunun insan olmadığını anlamadan önce bir bilgisayarın kaç cümle üretebileceğini test etmek için bir oyun geliştirdi ve insanların zaman içinde kademeli olarak daha iyi hale geldiğini gördü.
“Pek çok yaratıcı metne bakıp onda neyin anlamsız olduğunu anlamaya çalışırsanız, bu görevde daha iyi olabilirsiniz” diyor. Bunun bir yolu, yapay zekanın bir fincan kahve yapmanın 60 dakika sürdüğünü söylemesi gibi mantıksız ifadeler bulmaktır.
ChatGPT’nin öncülü olan GPT-3, yalnızca 2020’den beri piyasada. OpenAI, ChatGPT’nin bir demo olduğunu söylüyor, ancak benzer güçlü modellerin geliştirilip müşteri hizmetleri veya sağlıkta kullanılmak üzere sohbet botları gibi ürünlere sunulması yalnızca an meselesi. bakım. Sorunun özü de burada: Bu sektördeki geliştirme hızı, yapay zeka tarafından üretilen metinleri tespit etmenin her yolunun çok hızlı bir şekilde güncelliğini yitirdiği anlamına geliyor. Bu bir silahlanma yarışı ve şu anda kaybediyoruz.
Yazının orijinal kaynağı Massachusetts Institute of Technology Technology Review’den Melissa Heikkila, görsel kaynağı Stephanie Arnett – technologyreview.com/2022/12/19/1065596/how-to-spot-ai-generated-text.