Khi AI đảm nhận nhiều nhiệm vụ hơn, điều gì xảy ra khi con người phải nhảy vào để giải quyết hậu quả?

As AI takes on more tasks, what happens when people have to jump in to clean up after it?

Khi AI đảm nhận nhiều nhiệm vụ hơn, điều gì xảy ra khi con người phải nhảy vào để giải quyết hậu quả?
Murugan Anandarajan, Professor of Decision Sciences and Management Information Systems, Drexel University
Show
Hide
EN – VI
VI – EN
3000-5000 ▼
0-3000
3000-5000
5000-7000
7000-10000

Imagine an artificial intelligence system that has performed reliably for months. Its recommendations are almost always right, and the employee reviewing them has learned that close scrutiny rarely changes the outcome. Then something unusual happens. The AI makes an error or can’t proceed and needs human intervention. The employee is expected to step in and remains responsible for the outcome.

Hãy tưởng tượng một hệ thống trí tuệ nhân tạo đã hoạt động ổn định trong nhiều tháng. Các đề xuất của nó hầu như luôn đúng và nhân viên xem xét chúng đã nhận ra rằng việc kiểm tra kỹ lưỡng hiếm khi làm thay đổi kết quả. Sau đó, một điều bất thường xảy ra. AI mắc lỗi hoặc không thể tiếp tục và cần sự can thiệp của con người. Nhân viên dự kiến sẽ phải can thiệp và vẫn phải chịu trách nhiệm về kết quả cuối cùng.

But does the employee know how to do the task?

Nhưng liệu nhân viên đó có biết cách thực hiện nhiệm vụ không?

I’m a professor of management information systems and the academic director of Drexel University’s Center for Applied AI & Business Analytics. In my research on human-AI relationships, I call this latent risk: the possibility that people may lose capabilities their organizations still depend on them to exercise.

Tôi là giáo sư về hệ thống thông tin quản lý và là giám đốc học thuật của Trung tâm AI Ứng dụng & Phân tích Kinh doanh thuộc Đại học Drexel. Trong nghiên cứu của mình về mối quan hệ giữa con người và AI, tôi gọi đây là rủi ro tiềm ẩn: khả năng con người có thể đánh mất các năng lực mà tổ chức của họ vẫn phụ thuộc vào họ để thực hiện.

AI can continue to perform well while the people overseeing it become less practiced at exercising independent judgment and less prepared to intervene. The risk becomes latent when the organization still depends on that human capability to step in but has little cause to notice that that capability may be weakening.

AI có thể tiếp tục hoạt động tốt trong khi những người giám sát nó lại ít luyện tập hơn trong việc đưa ra phán đoán độc lập và ít sẵn sàng can thiệp hơn. Rủi ro trở thành tiềm ẩn khi tổ chức vẫn phụ thuộc vào năng lực con người đó để can thiệp nhưng lại ít có lý do để nhận thấy rằng năng lực đó có thể đang suy yếu.

The concern is not entirely new. The idea of latent risk builds on decades of research into how people respond to automation. For example, studies of automation bias have shown that people can miss problems or follow automated recommendations even when other evidence suggests they should not.

Mối lo ngại này không hoàn toàn mới. Khái niệm về rủi ro tiềm ẩn được xây dựng dựa trên nhiều thập kỷ nghiên cứu về cách con người phản ứng với tự động hóa. Ví dụ, các nghiên cứu về độ lệch tự động hóa đã chỉ ra rằng con người có thể bỏ sót các vấn đề hoặc tuân theo các đề xuất tự động ngay cả khi các bằng chứng khác cho thấy họ không nên làm vậy.

What is different today is the role AI is beginning to play in organizations. It is beginning to assume larger parts of the analysis and decision–making that people previously performed.

Điều khác biệt ngày nay là vai trò mà AI đang bắt đầu đảm nhận trong các tổ chức. Nó đang dần đảm nhận phần lớn hơn trong công việc phân tích và ra quyết định mà trước đây con người từng thực hiện.

Human in the loop explained.
Giải thích về mô hình con người trong vòng lặp (Human in the loop) .

The success paradox

Nghịch lý của sự thành công

The better AI becomes, the more the nature of human work changes. Work that once required an employee to analyze a problem and reach a decision may instead be performed by AI, leaving the employee to review its recommendation. The employee is no longer doing the same work with AI assistance – rather, their job has shifted from doing the work to overseeing what the AI does.

AI càng trở nên tốt hơn, bản chất công việc của con người càng thay đổi nhiều hơn. Công việc từng đòi hỏi nhân viên phải phân tích một vấn đề và đưa ra quyết định nay có thể do AI thực hiện, để lại cho nhân viên nhiệm vụ xem xét đề xuất của nó. Nhân viên không còn làm công việc cũ với sự hỗ trợ của AI nữa – thay vào đó, công việc của họ đã chuyển từ thực hiện công việc sang giám sát những gì AI làm.

This shift is already beginning to change how some companies train employees. Accounting giant Deloitte, for example, is redesigning its graduate audit training as AI takes over some of the manual work traditionally done by junior auditors. The firm is introducing simulations so trainees can still develop the judgment they will need as they move into more complex work.

Sự thay đổi này đã bắt đầu làm thay đổi cách một số công ty đào tạo nhân viên. Ví dụ, hãng kiểm toán khổng lồ Deloitte đang thiết kế lại chương trình đào tạo kiểm toán viên tốt nghiệp khi AI tiếp quản một phần công việc thủ công vốn trước đây do các kiểm toán viên cấp dưới thực hiện. Công ty đang giới thiệu các mô phỏng để các học viên vẫn có thể phát triển khả năng phán đoán mà họ sẽ cần khi chuyển sang làm các công việc phức tạp hơn.

More than four decades ago, cognitive psychologist Lisanne Bainbridge described one of the “ironies of automation”: As systems take over more of the work, instead of simply having their work loads lightened, people can be left facing new challenges in monitoring the systems and handling the unusual situations the systems cannot. Later studies found another problem: As people become less involved in a task, they can become less prepared to step in when needed. Researchers have called this the out–of–the–loop performance problem.

Hơn bốn thập kỷ trước, nhà tâm lý học nhận thức Lisanne Bainbridge đã mô tả một trong những ” nghịch lý của tự động hóa “: Khi các hệ thống đảm nhận nhiều công việc hơn, thay vì chỉ đơn giản là được giảm bớt khối lượng công việc, con người lại phải đối mặt với những thách thức mới trong việc giám sát các hệ thống và xử lý các tình huống bất thường mà hệ thống không thể giải quyết. Các nghiên cứu sau đó đã phát hiện ra một vấn đề khác: Khi con người ít tham gia hơn vào một nhiệm vụ, họ có thể trở nên ít chuẩn bị hơn để can thiệp khi cần thiết. Các nhà nghiên cứu gọi đây là vấn đề hiệu suất ngoài vòng lặp (out-of-the-loop performance problem) .

This reduced involvement may affect more than a person’s readiness to intervene. It can change the capabilities available to the organization.

Sự tham gia giảm sút này có thể tác động nhiều hơn là chỉ mức độ sẵn sàng can thiệp của một cá nhân. Nó có thể làm thay đổi các năng lực mà tổ chức có thể huy động.

What work remains for people does not necessarily become easier. It may become harder. These are the situations where experience and independent judgment matter most. The result is a paradox: People may be called upon to exercise independent judgment less often, even as the judgments left to them become more difficult.

Công việc còn lại cho con người không nhất thiết trở nên dễ dàng hơn. Nó có thể trở nên khó khăn hơn. Đây là những tình huống mà kinh nghiệm và phán đoán độc lập đóng vai trò quan trọng nhất. Kết quả là một nghịch lý: Con người có thể được yêu cầu sử dụng phán đoán độc lập ít thường xuyên hơn, ngay cả khi những phán đoán để lại cho họ ngày càng trở nên khó khăn hơn.

The accountability problem

Vấn đề trách nhiệm giải trình

Accountability may not change as quickly as the work does when organizations deploy AI systems. An employee may now oversee far more decisions than they make themselves, while remaining responsible for the outcomes. The organization’s expectations may still reflect how the work was divided before AI took on a larger role. The organization can therefore end up holding people accountable for decisions over which they have less control.

Trách nhiệm giải trình có thể không thay đổi nhanh chóng như công việc khi các tổ chức triển khai hệ thống AI. Giờ đây, một nhân viên có thể giám sát nhiều quyết định hơn rất nhiều so với những quyết định do chính họ đưa ra, trong khi vẫn phải chịu trách nhiệm về kết quả. Kỳ vọng của tổ chức có thể vẫn phản ánh cách phân chia công việc trước khi AI đảm nhận vai trò lớn hơn. Do đó, tổ chức cuối cùng có thể bắt con người phải chịu trách nhiệm về những quyết định mà họ có ít quyền kiểm soát hơn.

This creates a mismatch. Research on meaningful human control suggests that responsibility should match a person’s authority and ability to act. An employee may retain the authority to override an AI recommendation and remain responsible for the outcome, yet lose the capability to do so. Authority, responsibility and capability can begin to separate.

Điều này tạo ra sự sai lệch. Nghiên cứu về quyền kiểm soát có ý nghĩa của con người cho thấy rằng trách nhiệm phải tương xứng với thẩm quyền và khả năng hành động của một người. Một nhân viên có thể vẫn giữ quyền phủ quyết đối với khuyến nghị của AI và vẫn chịu trách nhiệm về kết quả, nhưng lại mất đi khả năng thực hiện điều đó. Thẩm quyền, trách nhiệm và năng lực có thể bắt đầu tách rời nhau.

Latent risk becomes an organizational design problem, not simply a human performance problem.

Rủi ro tiềm ẩn trở thành một vấn đề về thiết kế tổ chức, chứ không đơn thuần là vấn đề hiệu suất của con người.

The measurement problem

Vấn đề đo lường

Organizations typically judge AI-enabled processes by measures such as accuracy and productivity. Those numbers may look good even as the human role is changing. Suppose employees override AI recommendations less frequently over time. Is that a sign of growing dependence? Perhaps.

Các tổ chức thường đánh giá các quy trình hỗ trợ bởi AI thông qua các thước đo như độ chính xác và năng suất. Những con số đó có thể vẫn trông rất đẹp ngay cả khi vai trò của con người đang thay đổi. Giả sử nhân viên ít khi bác bỏ các đề xuất của AI hơn theo thời gian. Đó có thể là dấu hiệu của sự phụ thuộc ngày càng tăng? Có lẽ vậy.

But it could also mean that the AI has become more accurate and there is less reason to intervene. The number of overrides alone tells little about whether employees remain ready to exercise their own judgment.

Nhưng điều đó cũng có thể có nghĩa là AI đã trở nên chính xác hơn và có ít lý do hơn để can thiệp. Số lần bác bỏ đứng độc lập không nói lên nhiều điều về việc liệu nhân viên có còn sẵn sàng đưa ra phán đoán của riêng họ hay không.

The key is to understand how the division of work between people and AI is changing. Which decisions have migrated from people to AI? What responsibilities remain with people? Looking at the performance of the employee or the AI separately may miss what is changing between them.

Chìa khóa là hiểu được sự phân chia công việc giữa con người và AI đang thay đổi như thế nào. Những quyết định nào đã chuyển từ con người sang AI? Những trách nhiệm nào vẫn thuộc về con người? Việc xem xét hiệu suất của nhân viên hoặc của AI một cách riêng biệt có thể bỏ sót những gì đang thay đổi giữa họ với nhau.

The governance problem

Vấn đề quản trị

Organizational governance – defining roles and responsibilities – is also under pressure from AI.

Quản trị tổ chức – việc xác định các vai trò và trách nhiệm – cũng đang chịu áp lực từ AI.

Someone may remain formally in the loop with an AI system even as their actual role changes. Defining human and AI roles when a system is introduced is only a starting point. As AI improves and people become accustomed to using it, those roles are likely to change over time. There is nothing inherently wrong with that change.

Ai đó có thể vẫn nằm trong vòng lặp vận hành chính thức với hệ thống AI ngay cả khi vai trò thực tế của họ đã thay đổi. Việc xác định vai trò của con người và AI khi một hệ thống được giới thiệu chỉ là bước khởi đầu. Khi AI cải thiện và con người quen dần với việc sử dụng nó, những vai trò đó có khả năng thay đổi theo thời gian. Không có gì sai trái về mặt bản chất đối với sự thay đổi đó.

The problem arises when the relationship changes but the assumptions surrounding it do not. It’s important for organizations to periodically ask: What relationship between people and AI did we design, and what relationship do we actually have today?

Vấn đề nảy sinh khi mối quan hệ thay đổi nhưng các giả định xung quanh nó thì không. Điều quan trọng đối với các tổ chức là phải định kỳ tự hỏi: Chúng ta đã thiết kế mối quan hệ nào giữa con người và AI, và hiện tại chúng ta thực sự đang có mối quan hệ nào?

In short, organizational governance needs to be dynamic.

Tóm lại, quản trị tổ chức cần phải có tính linh hoạt và động lực thay đổi.

Maintaining the human backstop

Duy trì chốt chặn an toàn từ con người

Not every human capability needs to be preserved. If AI can perform a task well, there is little reason to require people to keep doing the same work. Organizations need to decide which capabilities they still expect people to have when human judgment is required. If people may still be called upon to use a capability, it needs to be maintained.

Không phải mọi năng lực của con người đều cần phải được duy trì. Nếu AI có thể thực hiện tốt một nhiệm vụ, có rất ít lý do để yêu cầu con người tiếp tục làm công việc đó. Các tổ chức cần quyết định xem họ vẫn kỳ vọng con người có những năng lực nào khi cần đến phán đoán của con người. Nếu con người vẫn có thể được yêu cầu sử dụng một năng lực nào đó, thì năng lực đó cần phải được duy trì.

Overseeing AI is not the same as exercising independent judgment. If people rarely make the decision themselves, the organization cannot assume they will be ready when they need to. One way to test this is to occasionally ask employees to make a decision without first seeing the AI recommendation. The organization needs to know that the human backstop it relies on will actually work when needed.

Giám sát AI không giống như việc đưa ra phán đoán độc lập. Nếu con người hiếm khi tự mình đưa ra quyết định, tổ chức không thể mặc định rằng họ sẽ sẵn sàng khi cần thiết. Một cách để kiểm tra điều này là thỉnh thoảng yêu cầu nhân viên đưa ra quyết định mà không xem trước đề xuất của AI. Tổ chức cần biết rằng chốt chặn an toàn từ con người mà họ dựa vào thực sự sẽ hoạt động hiệu quả khi cần.

As AI takes on more work, some human capabilities will inevitably be used less often. Some may no longer matter. Others may still be essential when AI reaches its limits. The challenge is knowing the difference and making that choice deliberately.

Khi AI đảm nhận nhiều công việc hơn, một số năng lực của con người chắc chắn sẽ ít được sử dụng hơn. Một số có thể không còn quan trọng nữa. Những năng lực khác vẫn có thể thiết yếu khi AI chạm đến giới hạn của nó. Thách thức nằm ở việc nhận biết sự khác biệt và đưa ra lựa chọn đó một cách có chủ đích.

For me, the central question is this: Which human capabilities does an organization still depend on, and will they be there when needed?

Đối với tôi, câu hỏi cốt lõi là: Tổ chức vẫn phụ thuộc vào những năng lực con người nào, và liệu chúng có ở đó khi cần thiết hay không?

Murugan Anandarajan does not work for, consult, own shares in or receive funding from any company or organization that would benefit from this article, and has disclosed no relevant affiliations beyond their academic appointment.

Murugan Anandarajan không làm việc cho, tư vấn cho, sở hữu cổ phần trong hoặc nhận tài trợ từ bất kỳ công ty hay tổ chức nào có thể được hưởng lợi từ bài viết này, đồng thời không công bố bất kỳ mối liên hệ nào ngoài học hàm học vị của mình.