Phát hiện lỗi của AI là một gánh nặng tâm lý – và là lực cản đối với năng suất

Catching AI’s mistakes is a mental burden – and a drag on productivity

Phát hiện lỗi của AI là một gánh nặng tâm lý – và là lực cản đối với năng suất
Karen Feigh, Professor of Cognitive Engineering, Georgia Institute of Technology
Show
Hide
EN – VI
VI – EN
3000-5000 ▼
0-3000
3000-5000
5000-7000
7000-10000

By now, almost everyone has asked an AI agent a question, only to realize that the answer seems not quite right. Something might be missing or wrong or out of date. An executive assistant told me she uses AI tools for drafting itineraries and briefings, but she’s caught enough issues that she now builds time into her workflow to thoroughly check for inaccuracies and biases.

Đến nay, hầu như ai cũng từng đặt câu hỏi cho một trợ lý AI, để rồi nhận ra câu trả lời dường như không hoàn toàn chính xác. Có cái gì đó có thể bị thiếu, bị sai hoặc lỗi thời. Một thư ký điều hành nói với tôi rằng cô ấy sử dụng các công cụ AI để soạn thảo lịch trình và bản tóm tắt, nhưng cô ấy đã phát hiện ra nhiều vấn đề đến mức giờ đây cô phải dành thời gian trong quy trình làm việc của mình để kiểm tra kỹ lưỡng các điểm không chính xác và sai lệch.

Therein lies the catch: AI responses can improve productivity, but the gains are often countered by time and mental energy spent determining whether the output is accurate and appropriate. This is the verification burden.

Vấn đề cốt lõi nằm ở đó: Các phản hồi của AI có thể cải thiện năng suất, nhưng những lợi ích này thường bị triệt tiêu bởi thời gian và năng lượng tinh thần bỏ ra để xác định xem kết quả đầu ra có chính xác và phù hợp hay không. Đây chính là gánh nặng xác minh.

At a deeper level, the burden is the cognitive cost of trying to regain authority over work that is partly delegated to a system, while retaining responsibility for the final product. Cognitive engineer David Woods described this problem back in 1985 as the responsibility–authority double bind: Automation exercises practical authority, yet responsibility remains with the human.

Ở một mức độ sâu sắc hơn, gánh nặng này chính là cái giá về mặt nhận thức khi cố gắng giành lại quyền kiểm soát đối với công việc đã được giao phó một phần cho hệ thống, trong khi vẫn phải chịu trách nhiệm về sản phẩm cuối cùng. Kỹ sư nhận thức David Woods từng mô tả vấn đề này vào năm 1985 là tình thế tiến thoái lưỡng nan về trách nhiệm và quyền hạn: Tự động hóa thực thi quyền hạn thực tế, nhưng trách nhiệm vẫn thuộc về con người.

I am a cognitive engineer, and I study how people work with automated decision–support systems. Generative AI verification is the latest instance of a long–standing human–factors problem: a new kind of necessary work brought about by use of a new technology.

Tôi là một kỹ sư nhận thức, và tôi nghiên cứu cách con người làm việc với các hệ thống hỗ trợ ra quyết định tự động. Việc xác minh AI tạo sinh là trường hợp mới nhất của một vấn đề nhân tố con người lâu đời: một loại công việc cần thiết mới phát sinh do việc sử dụng một công nghệ mới.

AI workers are exchanging some skills related to creating and transforming information for separate skills that resemble supervising an extraordinarily fast and polished intern. The difficulty is that this intern delivers both good and bad work in the same confident voice, provides few clues about where scrutiny is needed, and bears no responsibility for the consequences.

Những người lao động sử dụng AI đang đánh đổi một số kỹ năng liên quan đến việc tạo ra và chuyển đổi thông tin để lấy các kỹ năng riêng biệt giống như việc giám sát một thực tập sinh cực kỳ nhanh nhẹn và bóng bảy. Khó khăn nằm ở chỗ thực tập sinh này vừa làm ra việc tốt vừa làm ra việc xấu với cùng một giọng điệu tự tin, cung cấp rất ít manh mối về việc nơi nào cần phải soi xét kỹ lưỡng, và không chịu bất kỳ trách nhiệm nào về hậu quả.

Verifying instead of creating

Xác minh thay vì sáng tạo

Research shows that verifying new information is a different task than creating it, and it’s not a simpler one. A meta-analyis of 86 studies revealed that people remember what they produced far better than anything they only read. The same is true for understanding information. Research also shows that material that is easy to read and understand seems more credible, and people therefore consider it more likely to be true.

Nghiên cứu cho thấy rằng việc xác minh thông tin mới là một công việc khác biệt so với việc tạo ra nó, và đây không phải là một công việc đơn giản hơn. Một phân tích tổng hợp gồm 86 nghiên cứu tiết lộ rằng con người nhớ những gì họ tự sản xuất tốt hơn nhiều so với bất kỳ thứ gì họ chỉ đọc qua. Điều tương tự cũng đúng đối với việc hiểu thông tin. Nghiên cứu cũng chỉ ra rằng tài liệu dễ đọc và dễ hiểu có vẻ đáng tin cậy hơn, và do đó mọi người coi chúng có nhiều khả năng là sự thật hơn.

But humans do not always vet AI responses. Instead, they tend to weigh their own internal costs and benefits to decide when to check. Overreliance on AI output is hard to stop, too. One research team found that adding simple explanations of the AI’s reasoning did not eliminate the quandary people felt in committing the time and energy needed to check. People tend to generalize agents as either capable or incapable and nothing in between.

Nhưng con người không phải lúc nào cũng kiểm tra kỹ lưỡng các phản hồi của AI. Thay vào đó, họ có xu hướng cân nhắc các chi phí và lợi ích nội tại của chính mình để quyết định thời điểm cần kiểm tra. Việc quá phụ thuộc vào kết quả đầu ra của AI cũng rất khó dừng lại. Một nhóm nghiên cứu phát hiện ra rằng việc bổ sung các giải thích đơn giản về lập luận của AI không loại bỏ được sự phân vân mà mọi người cảm thấy trong việc dành thời gian và năng lượng cần thiết để kiểm tra. Mọi người có xu hướng khái quát hóa các tác nhân (AI) là có năng lực hoặc không có năng lực chứ không có trạng thái ở giữa.

Economics scholars have found real productivity improvements from using generative AI in office work. But a randomized trial of experienced software developers found no gains, and completion times increased when a verification step was included. Surprisingly, the developers believed they had been faster when using AI, yet their completion time increased by 19%.

Các nhà nghiên cứu kinh tế đã tìm thấy những cải thiện thực sự về năng suất khi sử dụng AI tạo sinh trong công việc văn phòng. Nhưng một thử nghiệm ngẫu nhiên trên các nhà phát triển phần mềm có kinh nghiệm lại không cho thấy sự gia tăng nào, và thời gian hoàn thành thậm chí còn tăng lên khi có thêm một bước xác minh. Thật đáng ngạc nhiên, các nhà phát triển tin rằng họ đã làm việc nhanh hơn khi sử dụng AI, thế nhưng thời gian hoàn thành của họ lại tăng thêm 19%.

And a large study of consulting teams found that using AI outside of a person’s area of expertise resulted in more people reaching the wrong conclusion.

Và một nghiên cứu quy mô lớn về các nhóm tư vấn cho thấy rằng việc sử dụng AI ngoài lĩnh vực chuyên môn của một người đã dẫn đến việc có nhiều người đưa ra kết luận sai hơn.

These studies do not establish that there is a universal verification “tax,” but they show why the speed alone of generating output is an incomplete measure of productivity.

Những nghiên cứu này không chứng minh rằng có một loại “thuế” xác minh phổ quát, nhưng chúng cho thấy lý do tại sao chỉ riêng tốc độ tạo ra kết quả đầu ra lại là một thước đo không đầy đủ về năng suất.

Figure
Letting AI do the creating and having people verify the output can sap people’s motivation. skynesher/E+ via Getty Images
Để AI làm công việc sáng tạo và bắt con người xác minh kết quả đầu ra có thể làm suy giảm động lực của họ. skynesher/E+ qua Getty Images

Why verification is hard

Tại sao việc xác minh lại khó khăn

Verification can feel burdensome in terms of cognitive load, time spent and motivation.

Việc xác minh có thể mang lại cảm giác nặng nề về mặt tải trọng nhận thức, thời gian bỏ ra và động lực.

People feel a cognitive burden because verification is fundamentally different from creation. You generally know when something you are creating is “done,” or is at least sufficient for the task. When to stop verification is less obvious. A worker must decide what to check and how; they do not know whether an error exists, where it might be or what form it might take.

Con người cảm thấy gánh nặng nhận thức vì việc xác minh khác biệt căn bản so với sự sáng tạo. Nhìn chung, bạn biết khi nào một thứ bạn đang tạo ra là “hoàn thành”, hoặc ít nhất là đủ cho nhiệm vụ. Việc khi nào nên dừng xác minh lại ít rõ ràng hơn. Người lao động phải quyết định cái gì cần kiểm tra và kiểm tra bằng cách nào; họ không biết liệu có lỗi hay không, nó có thể nằm ở đâu hoặc nó có thể mang hình thức gì.

This is similar to airport security screening, where an unusual threat gets missed more often than a common one because it is easy for inspectors to conclude that rare threats are not present. This burden is greater when AI helps someone generate work that exceeds their ability to evaluate it. A recent study found that AI reasoning helped people catch mistakes on easy questions but not hard ones, when help was needed most.

Điều này tương tự như việc sàng lọc an ninh sân bay, nơi một mốiε đe dọa bất thường bị bỏ sót thường xuyên hơn so với một mối đe dọa phổ biến vì các thanh tra viên rất dễ đi đến kết luận rằng các mối đe dọa hiếm gặp là không tồn tại. Gánh nặng này càng lớn hơn khi AI giúp ai đó tạo ra công việc vượt quá khả năng đánh giá của họ. Một nghiên cứu gần đây phát hiện ra rằng lập luận của AI đã giúp mọi người bắt lỗi ở những câu hỏi dễ nhưng lại không giúp ích ở những câu hỏi khó, là lúc rất cần sự trợ giúp.

A time burden arises because instead of ending work, finding an error starts another cycle of correction and then rechecking. Research into how people evaluate AI-generated suggestions has found that the more work needed to fix an identified mistake, the less likely people are to actually fix it.

Gánh nặng thời gian phát sinh vì thay vì kết thúc công việc, việc tìm ra lỗi lại khởi đầu một chu kỳ chỉnh sửa khác rồi sau đó lại kiểm tra lại. Nghiên cứu về cách con người đánh giá các đề xuất do AI tạo ra đã phát hiện ra rằng càng cần nhiều công việc để khắc phục một lỗi đã được xác định, thì mọi người càng ít có khả năng thực sự sửa nó.

Finally, verification carries a motivational burden. Creation produces visible progress, but verification may find only that nothing was wrong. When automation usually performs well, checking can feel unproductive, and people may gradually become less vigilant. This pattern was found two decades ago in a study of people working with automated decision–making systems.

Cuối cùng, việc xác minh đi kèm với một gánh nặng về động lực. Sự sáng tạo tạo ra tiến 0tộ hữu hình, nhưng việc xác minh có thể chỉ phát hiện ra rằng không có gì sai sót cả. Khi hệ thống tự động hóa thường hoạt động tốt, việc kiểm tra có thể mang lại cảm giác kém hiệu quả, và con người có thể dần trở nên kém cảnh giác hơn. Mô hình này đã được tìm thấy từ hai thập kỷ trước trong một nghiên cứu về những người làm việc với các hệ thống ra quyết định tự động.

Skill swap

Hoán đổi kỹ năng

Together, these burdens result in a skill swap. In a recent survey, knowledge workers said their critical thinking was moving from production toward verification. Workers also need to learn how to recognize the capabilities and limits of a specific AI agent, including omissions and biases.

Cùng với nhau, những gánh nặng này dẫn đến việc hoán đổi kỹ năng. Trong một cuộc khảo sát gần đây, những lao động trí thức cho biết tư duy phản biện của họ đang dịch chuyển từ khâu sản xuất sang khâu xác minh. Người lao động cũng cần học cách nhận biết các năng lực và giới hạn của một tác nhân AI cụ thể, bao gồm cả những thiếu sót và sai lệch.

These skills are different, but they are not necessarily easier, and they might not even be in the skill set of workers who excel at creation. Companies and organizations therefore cannot treat verification as a natural step that carries no effort. If workers remain accountable for AI-assisted output, I believe that they must also be given the time, training and authority needed to verify it.

Những kỹ năng này khác biệt, nhưng chúng không nhất thiết là dễ hơn, và thậm chí chúng có thể không nằm trong bộ kỹ năng của những người lao động xuất sắc về mặt sáng tạo. Do đó, các công ty và tổ chức không thể coi việc xác minh là một bước đi tự nhiên không tốn chút công sức nào. Nếu người lao động vẫn phải chịu trách nhiệm về kết quả đầu ra có sự hỗ trợ của AI, tôi tin rằng họ cũng phải được cung cấp thời gian, đào tạo và quyền hạn cần thiết để xác minh nó.

The measurement of productivity gains cannot include just how quickly AI produces a first draft. Instead, the measure is whether the entire human-AI workflow produces trustworthy work at a lower total cost.

Việc đo lường mức độ gia tăng năng suất không thể chỉ bao gồm việc AI tạo ra bản nháp đầu tiên nhanh đến mức nào. Thay vào đó, tiêu chuẩn đo lường là liệu toàn bộ quy trình làm việc giữa con người và AI có tạo ra công việc đáng tin cậy với tổng chi phí thấp hơn hay không.

Karen Feigh receives funding from the Office of Naval Research and the U.S. Army presently and has formerly received funding from Amazon, NASA, the National Science Foundation. She is affiliated with Georgia Tech, the Vertical Flight Society, the ACM, the Human Factors and Ergonomics Society and the AIAA.

Karen Feigh hiện đang nhận tài trợ từ Văn phòng Nghiên cứu Hải quân và Lục quân Hoa Kỳ, đồng thời từng nhận tài trợ từ Amazon, NASA, Quỹ Khoa học Quốc gia. Cô liên kết với Viện Công nghệ Georgia, Hiệp hội Chuyến bay Thẳng đứng, ACM, Hiệp hội Nhân trắc học và Côngο xưởng (Human Factors and Ergonomics Society) và AIAA.