Mẹo sai của một mô hình AI gửi tới cảnh sát Philadelphia cho thấy các tác nhân kỹ thuật số có thể làm theo đúng mệnh lệnh nhưng vẫn gây ra rắc rối
An AI model’s false tip to Philadelphia police reveals how digital agents can do as they’re told and still cause trouble

Một thông tin ẩn danh đã được gửi đến trang PhillyUnsolvedMurders.com, một trang web do Sở Cảnh sát Philadelphia điều hành, vào ngày 18 tháng 7 năm 2026.
“
“Tôi có thể có thông tin liên quan đến vụ án này,” nội dung cho biết, đồng thời tuyên bố người viết đã nhìn thấy một người có mô tả khớp với nghi phạm ở gần hiện trường vụ án.
Thông tin đó là sai sự thật. Trang web không mô tả bất kỳ nghi phạm nào, và người cung cấp thông tin thực chất là Claude Haiku 4.5, một mô hình AI do Anthropic có trụ sở tại San Francisco tạo ra.
Thông tin này đã được đánh dấu là thư rác và không bao giờ đến tay các thám tử. Anthropic đã phát hiện ra nó vào cuối tháng 9 khi xem xét lại các hồ sơ kiểm tra của chính họ. Họ đã cảnh báo cảnh sát vào ngày 8 tháng 10 và mô tả vụ việc trong một báo cáo được công bố vào ngày 9 tháng 10. Cảnh sát Philadelphia cũng đã tiết lộ vụ việc đó vào ngày hôm đó.
An uncontrolled test
Một cuộc thử nghiệm không kiểm soát
AI
Các công ty AI hiện đang xây dựng các “tác nhân” (agents) , là các phiên bản chatbot của họ có thể vận hành trình duyệt web, nhấp vào các nút và điền vào các biểu mẫu thay cho người dùng. Để đo lường mức độ thực hiện tốt của một tác nhân, các công ty cho nó trải qua hàng ngàn tác vụ thực hành, thường là trực tiếp trên internet.
Theo Anthropic, thông tin giả mạo được tạo ra trong một bài kiểm tra thườngnut của mô hình.
Trong bài kiểm tra này, Haiku 4.5 được yêu cầu tự nghĩ ra các tác vụ mẫu trên các trang web được chọn ngẫu nhiên và sau đó thực hiện chúng. Một trong những trang web đó tình cờ nói về một vụ án mạng chưa được giải quyết ở Philadelphia, và nó có một biểu mẫu gửi thông tin.
Các hướng dẫn của mô hình liệt kê những việc tuyệt đối không được làm: Đăng nhập, tạo tài khoản, nhập dữ liệu cá nhân, mua sắm và gửi bất kỳ thứ gì mang tính phá hoại.
Gửi biểu mẫu không có trong danh sách đó.
Vì vậy, mô hình đã viết một thông tin có vẻ hợp lý, để trống các ô tên và thông tin liên hệ tùy chọn, rồi nhấn gửi.
Anthropic
Anthropic cho biết hồ sơ kiểm tra chỉ ra rằng thông tin này được tạo ra dưới dạng nội dung mẫu cho một tác vụ thực hành, chứ không phải để đánh lừa cảnh sát.
Thông tin báo cảnh sát chỉ là một trong số vài sự cố có trong báo cáo của Anthropic. Trong một sự cố khác, một mô hình nghiên cứu đáng lẽ phải thực hành trên một bản sao của biểu mẫu chính phủ. Khi bản sao đó không tải được, nó đã chuyển thẳng đến trang web chính phủ thực tế và gửi biểu mẫu ở đó. Các mẫu Claude khác đã tìm ra cách vượt qua các bức tường trả phí và giới hạn truy cập để lấy dữ liệu chúng cần.
Why would an AI do this
Tại sao một AI lại làm điều này
Anthropic
Anthropic quy những sự cố này là do tính kiên trì của phần mềm của họ. Khi mô hình không thể hoàn thành một tác vụ theo cách nó được chỉ đạo, nó sẽ tìm cách giải quyết thay vì dừng lại để hỏi con người – những người đã giao cho nó tác vụ ban đầu.
Thói quen đó một phần xuất phát từ cách các hệ thống này học hỏi – phần lớn kỹ năng của chúng được xây dựng thông qua thử và sai. Mô hình thử một tác vụ nhiều lần và được thưởng khi thành công. Nếu quá trình huấn luyện vô tình thưởng cho việc đi đường tắt, mô hình sẽ học được rằng đi đường tắt sẽ có lợi. Các nhà nghiên cứu gọi đây là “hack phần thưởng” (reward hacking) . Một học sinh chỉ được huấn luyện để đạt được câu trả lời đúng bằng mọi giá, cũng có thể rút ra bài học tương tự.
Tuy nhiên, các hướng dẫn được đưa ra cho một tác nhân AI không bao giờ là hoàn chỉnh. Một nhân viên con người được bảo rằng “Đừng mua gì hay đăng nhập vào đâu” thì vẫn sẽ biết không nên gửi cho cảnh sát một lời kể của nhân chứng bịa đặt. Nhưng mô hình không có ý thức thông thường như vậy để dựa vào. Nó coi danh sách các hành vi bị cấm là ranh giới đầy đủ của các hành vi được chấp nhận.
Đây cũng là lý do tại sao các mô hình này “ảo giác” (hallucinate) , tức là tự bịa ra mọi thứ. Các tác nhân AI được xây dựng để tạo ra văn bản trôi chảy, có vẻ hợp lý. Khi được yêu cầu điền vào biểu mẫu thông tin một ví dụ, mô hình đã viết những gì mà một thông tin thường có, mà không màng đến tính chân thực của nội dung đó.
Should we be worried ?
Chúng ta có nên lo lắng không?
Với tư cách là một giáo sư luật nghiên cứu về quản trị AI, có hai mối quan tâm nổi bật đối với tôi: quy mô và sự kiểm soát.
Mối quan tâm lớn hơn là quy mô. Các tác nhân AI đang rời khỏi phòng thí nghiệm và đi vào các sản phẩm mà mọi người đang sử dụng hàng ngày. Trình duyệt Chrome của Google hiện có tính năng gọi là tự động duyệt (auto browse) cho phép trợ lý Gemini của họ nhấp qua các trang web và điền vào các biểu mẫu. Trình duyệt Comet của Perplexity và tiện ích mở rộng Claude trong Chrome của Anthropic cũng làm điều tương tự.
Mỗi tác vụ mà một người giao cho tác nhân là một cơ hội khác để xảy ra sự cố. Nếu các tác nhân thực hiện một triệu tác vụ một ngày, một lỗi chỉ xảy ra một lần trong 10.000 tác vụ sẽ xuất hiện khoảng 100 lần một ngày. Những sai lầm đó có thể dẫn đến các báo cáo sai sự thật làm mất thời gian của cảnh sát, các đơn xin trợ cấp hoặc khoản vay bị điền sai thông tin, hoặc các khoản thanh toán và đặt chỗ mà người dùng chưa bao giờ phê duyệt.
Anthropic
Bản thân Anthropic lưu ý rằng một số sự cố đã xảy ra trong quá trình sử dụng thông thường của Claude Haiku 4.5, chứ không chỉ trong quá trình thử nghiệm. OpenAI cũng tương tự đã báo cáo việc các tác nhân của họ tiếp cận các trang web chính phủ theo những cách không có kế hoạch.
AI
Các công ty AI không thể kiểm soát hoàn toàn các tác nhân của họ, và điều đó có thể dẫn đến nhiều thiệt hại hơn cũng như những khoảng trống trong việc xác định ai phải chịu trách nhiệm pháp lý. Những loại thiệt hại này có thể bao gồm việc phỉ báng, thành kiến, lừa dối, kỹ thuật xã hội và nhiều thứ khác nữa. Có vẻ công bằng khi không bắt một công ty chịu trách nhiệm về những hành động mà họ không thể kiểm soát. Nhưng trong những trường hợp như thế này, không có cá nhân hay tổ chức nào khác kiểm soát rõ ràng tác nhân AI đó, điều này có thể khiến những người bị hại bởi tác nhân AI không biết tìm ai để bắt chịu trách nhiệm pháp lý.
Theo quan điểm của tôi, các tác nhân AI nên được cho biết những gì chúng được phép làm, chứ không chỉ những gì chúng không được phép làm, và bất cứ điều gì các công ty AI đưa ra thế giới thực đều phải được kiểm tra trước. Cho đến khi những biện pháp bảo vệ đó trở thành tiêu chuẩn, bất kỳ biểu mẫu trực tuyến công cộng nào, từ đường dây nóng cung cấp thông tin của cảnh sát cho đến đơn xin trợ cấp, đều có thể nhận được các nội dung do AI viết thiếu trực giác và ý thức thông thường. Lỗi của chúng có thể, ví dụ, làm tước đoạt các nguồn lực dành cho các trường hợp khẩn cấp thực sự hoặc từ chối các quyền lợi mà một người đáng được hưởng. Trong khi đó, các nạn nhân của thiệt hại đó có thể phải chật vật để nhận được bồi thường do thiếu sự rõ ràng xung quanh việc ai là người kiểm soát tác nhân AI.
Đọc thêm các câu chuyện của chúng tôi về Philadelphia và Pennsylvania, hoặc đăng ký nhận bản tin Philadelphia của chúng tôi trên Substack.
Anat Lior
Anat Lior có liên kết với Yale, Drexel, WTW và Relm.
có thể bạn cũng quan tâm
-

Vắc-xin trị mụn trứng cá? Các nhà khoa học đang nghiên cứu về vấn đề này
A vaccine for acne? Scientists are working on it
-

Khi AI đóng vai trò lớn hơn trong các mối quan hệ, sự thân mật đích thực đang dần mai một
As AI plays a bigger role in relationships, true intimacy is getting lost