New York Belediyesi'nin geliştirdiği yapay zeka destekli sohbet robotu, küçük işletme sahiplerine yardımcı olmak amacıyla kullanıma sunuldu. Ancak, robotun işletme sahiplerine yanlış yönlendirici tavsiyelerde bulunduğu ve şehrin politikalarına ters düşen yanıtlar verdiği ortaya çıktı. Bu durum, uzmanlar tarafından denetimsiz yazılımların kamu güvenliği için taşıdığı risklerin bir örneği olarak eleştiriliyor.
ABD'nin New York şehrindeki Belediye, küçük işletmelere yardımcı olmak amacıyla geliştirdiği yapay zeka destekli sohbet robotunun, işletme sahiplerine yanlış yönlendirici tavsiyelerde bulunduğunu ortaya çıkardı. Ekim 2023'te başlatılan robot, resmi sitede kullanıma sunulduğunda, şehrin politikalarına aykırı yanıtlar vermeye başladı. Örneğin, cinsel tacize uğrayan ve hamile olduğunu bildirmeyen çalışanları işten çıkarmayı yasal gösterdiği gibi, atık yönetimi konusunda da yanıltıcı bilgiler verdi. Robot ayrıca, fare kemirilmiş peynirin bile müşterilere servis edilebileceğini belirtti. Ancak, robotun cevaplarının yasal tavsiye olmadığı uyarısı da bulunmasına rağmen, hala aktif olarak kullanımda olması eleştiriliyor. Uzmanlar, denetlenmemiş bir yazılımın piyasaya sürülmesinin sorumsuzca olduğunu ve kamu sektörü için daha büyük riskler taşıdığını vurguluyor. New York Üniversitesi'nden Bilgisayar Bilimleri Profesörü ve "Center for Responsible AI" Direktörü Julia Stoyanovich, "Bu durum, sorumlu davranmak gibi bir niyetin olmadığını açıkça gösteriyor." derken, Washington Üniversitesi'nden Profesör Jevin West ise yapay zeka destekli modellerin kamu sektöründe daha büyük riskler taşıdığını belirtiyor.