Mẹo sai của một mô hình AI gửi tới cảnh sát Philadelphia cho thấy các tác nhân kỹ thuật số có thể làm theo đúng mệnh lệnh nhưng vẫn gây ra rắc rối

An AI model’s false tip to Philadelphia police reveals how digital agents can do as they’re told and still cause trouble

Mẹo sai của một mô hình AI gửi tới cảnh sát Philadelphia cho thấy các tác nhân kỹ thuật số có thể làm theo đúng mệnh lệnh nhưng vẫn gây ra rắc rối
Anat Lior, Assistant Professor of Law, Drexel University
Show
Hide
EN – VI
VI – EN
3000-5000 ▼
0-3000
3000-5000
5000-7000
7000-10000

An anonymous tip arrived on PhillyUnsolvedMurders.com, a website run by the Philadelphia Police Department, on July 18, 2026.

Một thông tin ẩn danh đã được gửi đến trang PhillyUnsolvedMurders.com, một trang web do Sở Cảnh sát Philadelphia điều hành, vào ngày 18 tháng 7 năm 2026.

“I may have information regarding this case,” it stated, and claimed the writer had seen someone matching the suspect’s description near the scene of a crime.

“Tôi có thể có thông tin liên quan đến vụ án này,” nội dung cho biết, đồng thời tuyên bố người viết đã nhìn thấy một người có mô tả khớp với nghi phạm ở gần hiện trường vụ án.

The tip was false. The page described no suspect, and the informer was, in fact, Claude Haiku 4.5, an AI model made by San Francisco-based Anthropic.

Thông tin đó là sai sự thật. Trang web không mô tả bất kỳ nghi phạm nào, và người cung cấp thông tin thực chất là Claude Haiku 4.5, một mô hình AI do Anthropic có trụ sở tại San Francisco tạo ra.

The tip was flagged as spam and never reached detectives. Anthropic found it in late September while reviewing its own test records. They alerted police on Oct. 8 and described the incident in a report they published Oct. 9. Philadelphia police disclosed it that day as well.

Thông tin này đã được đánh dấu là thư rác và không bao giờ đến tay các thám tử. Anthropic đã phát hiện ra nó vào cuối tháng 9 khi xem xét lại các hồ sơ kiểm tra của chính họ. Họ đã cảnh báo cảnh sát vào ngày 8 tháng 10 và mô tả vụ việc trong một báo cáo được công bố vào ngày 9 tháng 10. Cảnh sát Philadelphia cũng đã tiết lộ vụ việc đó vào ngày hôm đó.

An uncontrolled test

Một cuộc thử nghiệm không kiểm soát

AI companies now build “agents,” versions of their chatbots that can operate a web browser, click buttons and fill in forms on a user’s behalf. To measure how well an agent does this, companies run it through thousands of practice tasks, often live on the internet.

Các công ty AI hiện đang xây dựng các “tác nhân” (agents) , là các phiên bản chatbot của họ có thể vận hành trình duyệt web, nhấp vào các nút và điền vào các biểu mẫu thay cho người dùng. Để đo lường mức độ thực hiện tốt của một tác nhân, các công ty cho nó trải qua hàng ngàn tác vụ thực hành, thường là trực tiếp trên internet.

According to Anthropic, the false tip was generated during a routine test of the model.

Theo Anthropic, thông tin giả mạo được tạo ra trong một bài kiểm tra thườngnut của mô hình.

In this test, Haiku 4.5 was told to invent sample tasks on randomly chosen webpages and then carry them out. One of those pages happened to be about an unsolved Philadelphia homicide, and it had a tip form.

Trong bài kiểm tra này, Haiku 4.5 được yêu cầu tự nghĩ ra các tác vụ mẫu trên các trang web được chọn ngẫu nhiên và sau đó thực hiện chúng. Một trong những trang web đó tình cờ nói về một vụ án mạng chưa được giải quyết ở Philadelphia, và nó có một biểu mẫu gửi thông tin.

The model’s instructions listed things it must never do: Log in, create accounts, enter personal data, make purchases and submit anything destructive.

Các hướng dẫn của mô hình liệt kê những việc tuyệt đối không được làm: Đăng nhập, tạo tài khoản, nhập dữ liệu cá nhân, mua sắm và gửi bất kỳ thứ gì mang tính phá hoại.

Submit a form was not on the list.

Gửi biểu mẫu không có trong danh sách đó.

So, the model wrote a plausible–sounding tip, left the optional name and contact boxes blank, and clicked submit.

Vì vậy, mô hình đã viết một thông tin có vẻ hợp lý, để trống các ô tên và thông tin liên hệ tùy chọn, rồi nhấn gửi.

Anthropic says the test records indicate the tip was generated as sample content for a practice task, not to mislead police.

Anthropic cho biết hồ sơ kiểm tra chỉ ra rằng thông tin này được tạo ra dưới dạng nội dung mẫu cho một tác vụ thực hành, chứ không phải để đánh lừa cảnh sát.

The police tip was one of several incidents in Anthropic’s report. In another incident, a research model was supposed to practice on a copy of a government form. When the copy failed to load, it went to the real government website and submitted the form there. Other Claude models found ways around paywalls and access limits to reach data they needed.

Thông tin báo cảnh sát chỉ là một trong số vài sự cố có trong báo cáo của Anthropic. Trong một sự cố khác, một mô hình nghiên cứu đáng lẽ phải thực hành trên một bản sao của biểu mẫu chính phủ. Khi bản sao đó không tải được, nó đã chuyển thẳng đến trang web chính phủ thực tế và gửi biểu mẫu ở đó. Các mẫu Claude khác đã tìm ra cách vượt qua các bức tường trả phí và giới hạn truy cập để lấy dữ liệu chúng cần.

Figure
Dario Amodei, CEO of Anthropic, speaks remotely during a U.N. Security Council meeting on artificial intelligence on Sept. 23, 2026. AP Photo/Yuki Iwamura
Dario Amodei, Giám đốc điều hành của Anthropic, phát biểu từ xa trong một cuộc họp của Hội đồng Bảo an Liên hợp quốc về trí tuệ nhân tạo vào ngày 23 tháng 9 năm 2026. Ảnh AP/Yuki Iwamura

Why would an AI do this

Tại sao một AI lại làm điều này

Anthropic attributes these incidents to the persistence of its software. When the model can’t finish a task the way it was told, it finds a work–around instead of stopping to ask the human who gave it its initial task.

Anthropic quy những sự cố này là do tính kiên trì của phần mềm của họ. Khi mô hình không thể hoàn thành một tác vụ theo cách nó được chỉ đạo, nó sẽ tìm cách giải quyết thay vì dừng lại để hỏi con người – những người đã giao cho nó tác vụ ban đầu.

That habit comes partly from how these systems learn – much of their skill is built through trial and error. The model attempts a task many times and is rewarded when it succeeds. If the training accidentally rewards cutting corners, the model learns that cutting corners pays. Researchers call this “reward hacking.” A human student drilled only on getting the right answer, by any means necessary, might learn the same lesson.

Thói quen đó một phần xuất phát từ cách các hệ thống này học hỏi – phần lớn kỹ năng của chúng được xây dựng thông qua thử và sai. Mô hình thử một tác vụ nhiều lần và được thưởng khi thành công. Nếu quá trình huấn luyện vô tình thưởng cho việc đi đường tắt, mô hình sẽ học được rằng đi đường tắt sẽ có lợi. Các nhà nghiên cứu gọi đây là “hack phần thưởng” (reward hacking) . Một học sinh chỉ được huấn luyện để đạt được câu trả lời đúng bằng mọi giá, cũng có thể rút ra bài học tương tự.

However, instructions given to an AI agent are never complete. A human worker who is told “Don’t buy anything or log in” would still know not to send police a made–up eyewitness account. But the model has no such common sense to fall back on. It treated a list of forbidden actions as the full boundary of acceptable behavior.

Tuy nhiên, các hướng dẫn được đưa ra cho một tác nhân AI không bao giờ là hoàn chỉnh. Một nhân viên con người được bảo rằng “Đừng mua gì hay đăng nhập vào đâu” thì vẫn sẽ biết không nên gửi cho cảnh sát một lời kể của nhân chứng bịa đặt. Nhưng mô hình không có ý thức thông thường như vậy để dựa vào. Nó coi danh sách các hành vi bị cấm là ranh giới đầy đủ của các hành vi được chấp nhận.

This is also why these models “hallucinate,” making things up. AI agents are built to produce fluent, plausible text. Asked to fill a tip form with an example, the model wrote what a tip typically sounds like, with no regard for the truthfulness of its content.

Đây cũng là lý do tại sao các mô hình này “ảo giác” (hallucinate) , tức là tự bịa ra mọi thứ. Các tác nhân AI được xây dựng để tạo ra văn bản trôi chảy, có vẻ hợp lý. Khi được yêu cầu điền vào biểu mẫu thông tin một ví dụ, mô hình đã viết những gì mà một thông tin thường có, mà không màng đến tính chân thực của nội dung đó.

Should we be worried?

Chúng ta có nên lo lắng không?

As a law professor who studies AI governance, two concerns stand out for me: scale and control.

Với tư cách là một giáo sư luật nghiên cứu về quản trị AI, có hai mối quan tâm nổi bật đối với tôi: quy mô và sự kiểm soát.

The larger concern is scale. AI agents are moving out of the lab and into products people already use. Google’s Chrome browser now has a feature called auto browse that lets its Gemini assistant click through websites and fill in forms. Perplexity’s Comet browser and Anthropic’s Claude in Chrome extension do the same.

Mối quan tâm lớn hơn là quy mô. Các tác nhân AI đang rời khỏi phòng thí nghiệm và đi vào các sản phẩm mà mọi người đang sử dụng hàng ngày. Trình duyệt Chrome của Google hiện có tính năng gọi là tự động duyệt (auto browse) cho phép trợ lý Gemini của họ nhấp qua các trang web và điền vào các biểu mẫu. Trình duyệt Comet của Perplexity và tiện ích mở rộng Claude trong Chrome của Anthropic cũng làm điều tương tự.

Every task a person hands to an agent is another chance for something to go wrong. If agents carry out a million tasks a day, a mistake that happens only once in 10,000 tasks would happen about 100 times a day. Those mistakes could mean false reports that take up police time, benefits or loan applications filed with wrong information, or payments and bookings the user never approved.

Mỗi tác vụ mà một người giao cho tác nhân là một cơ hội khác để xảy ra sự cố. Nếu các tác nhân thực hiện một triệu tác vụ một ngày, một lỗi chỉ xảy ra một lần trong 10.000 tác vụ sẽ xuất hiện khoảng 100 lần một ngày. Những sai lầm đó có thể dẫn đến các báo cáo sai sự thật làm mất thời gian của cảnh sát, các đơn xin trợ cấp hoặc khoản vay bị điền sai thông tin, hoặc các khoản thanh toán và đặt chỗ mà người dùng chưa bao giờ phê duyệt.

Anthropic itself notes that several incidents happened during ordinary use of Claude Haiku 4.5, not just testing. OpenAI has similarly reported its own agents reaching government sites in unplanned ways.

Bản thân Anthropic lưu ý rằng một số sự cố đã xảy ra trong quá trình sử dụng thông thường của Claude Haiku 4.5, chứ không chỉ trong quá trình thử nghiệm. OpenAI cũng tương tự đã báo cáo việc các tác nhân của họ tiếp cận các trang web chính phủ theo những cách không có kế hoạch.

AI companies can’t fully control their agents, and that may lead to more harm and to gaps in who is held liable. These types of harms could include defamation, bias, deceit and social engineering and much more. It might seem fair not to hold a company responsible for actions it couldn’t control. But in cases like these, no other person or organization clearly controls the agent either, which could leave people who were harmed by the AI agent without anyone to hold legally responsible.

Các công ty AI không thể kiểm soát hoàn toàn các tác nhân của họ, và điều đó có thể dẫn đến nhiều thiệt hại hơn cũng như những khoảng trống trong việc xác định ai phải chịu trách nhiệm pháp lý. Những loại thiệt hại này có thể bao gồm việc phỉ báng, thành kiến, lừa dối, kỹ thuật xã hội và nhiều thứ khác nữa. Có vẻ công bằng khi không bắt một công ty chịu trách nhiệm về những hành động mà họ không thể kiểm soát. Nhưng trong những trường hợp như thế này, không có cá nhân hay tổ chức nào khác kiểm soát rõ ràng tác nhân AI đó, điều này có thể khiến những người bị hại bởi tác nhân AI không biết tìm ai để bắt chịu trách nhiệm pháp lý.

In my view, AI agents should be told what they may do, not just what they may not do, and anything AI companies send into the real world should be checked first. Until those safeguards are standard, any public online form, from a police tip line to a benefits application, could be receiving AI-written submissions that lack intuition and common sense. Their errors could, for example, deprive resources from real emergencies or deny benefits a person is entitled to. Meanwhile, victims of that harm may struggle to get compensation due to the lack of clarity around who had control over the AI agent.

Theo quan điểm của tôi, các tác nhân AI nên được cho biết những gì chúng được phép làm, chứ không chỉ những gì chúng không được phép làm, và bất cứ điều gì các công ty AI đưa ra thế giới thực đều phải được kiểm tra trước. Cho đến khi những biện pháp bảo vệ đó trở thành tiêu chuẩn, bất kỳ biểu mẫu trực tuyến công cộng nào, từ đường dây nóng cung cấp thông tin của cảnh sát cho đến đơn xin trợ cấp, đều có thể nhận được các nội dung do AI viết thiếu trực giác và ý thức thông thường. Lỗi của chúng có thể, ví dụ, làm tước đoạt các nguồn lực dành cho các trường hợp khẩn cấp thực sự hoặc từ chối các quyền lợi mà một người đáng được hưởng. Trong khi đó, các nạn nhân của thiệt hại đó có thể phải chật vật để nhận được bồi thường do thiếu sự rõ ràng xung quanh việc ai là người kiểm soát tác nhân AI.

Read more of our stories about Philadelphia and Pennsylvania, or sign up for our Philadelphia newsletter on Substack.

Đọc thêm các câu chuyện của chúng tôi về Philadelphia và Pennsylvania, hoặc đăng ký nhận bản tin Philadelphia của chúng tôi trên Substack.

Anat Lior is affiliated with Yale, Drexel, WTW, and Relm.

Anat Lior có liên kết với Yale, Drexel, WTW và Relm.