Phát hiện lỗi của AI là một gánh nặng tâm lý – và là lực cản đối với năng suất
Catching AI’s mistakes is a mental burden – and a drag on productivity

Đến nay, hầu như ai cũng từng đặt câu hỏi cho một trợ lý AI, để rồi nhận ra câu trả lời dường như không hoàn toàn chính xác. Có cái gì đó có thể bị thiếu, bị sai hoặc lỗi thời. Một thư ký điều hành nói với tôi rằng cô ấy sử dụng các công cụ AI để soạn thảo lịch trình và bản tóm tắt, nhưng cô ấy đã phát hiện ra nhiều vấn đề đến mức giờ đây cô phải dành thời gian trong quy trình làm việc của mình để kiểm tra kỹ lưỡng các điểm không chính xác và sai lệch.
Therein
Vấn đề cốt lõi nằm ở đó: Các phản hồi của AI có thể cải thiện năng suất, nhưng những lợi ích này thường bị triệt tiêu bởi thời gian và năng lượng tinh thần bỏ ra để xác định xem kết quả đầu ra có chính xác và phù hợp hay không. Đây chính là gánh nặng xác minh.
Ở một mức độ sâu sắc hơn, gánh nặng này chính là cái giá về mặt nhận thức khi cố gắng giành lại quyền kiểm soát đối với công việc đã được giao phó một phần cho hệ thống, trong khi vẫn phải chịu trách nhiệm về sản phẩm cuối cùng. Kỹ sư nhận thức David Woods từng mô tả vấn đề này vào năm 1985 là tình thế tiến thoái lưỡng nan về trách nhiệm và quyền hạn: Tự động hóa thực thi quyền hạn thực tế, nhưng trách nhiệm vẫn thuộc về con người.
Tôi là một kỹ sư nhận thức, và tôi nghiên cứu cách con người làm việc với các hệ thống hỗ trợ ra quyết định tự động. Việc xác minh AI tạo sinh là trường hợp mới nhất của một vấn đề nhân tố con người lâu đời: một loại công việc cần thiết mới phát sinh do việc sử dụng một công nghệ mới.
AI
Những người lao động sử dụng AI đang đánh đổi một số kỹ năng liên quan đến việc tạo ra và chuyển đổi thông tin để lấy các kỹ năng riêng biệt giống như việc giám sát một thực tập sinh cực kỳ nhanh nhẹn và bóng bảy. Khó khăn nằm ở chỗ thực tập sinh này vừa làm ra việc tốt vừa làm ra việc xấu với cùng một giọng điệu tự tin, cung cấp rất ít manh mối về việc nơi nào cần phải soi xét kỹ lưỡng, và không chịu bất kỳ trách nhiệm nào về hậu quả.
Verifying instead of creating
Xác minh thay vì sáng tạo
Nghiên cứu cho thấy rằng việc xác minh thông tin mới là một công việc khác biệt so với việc tạo ra nó, và đây không phải là một công việc đơn giản hơn. Một phân tích tổng hợp gồm 86 nghiên cứu tiết lộ rằng con người nhớ những gì họ tự sản xuất tốt hơn nhiều so với bất kỳ thứ gì họ chỉ đọc qua. Điều tương tự cũng đúng đối với việc hiểu thông tin. Nghiên cứu cũng chỉ ra rằng tài liệu dễ đọc và dễ hiểu có vẻ đáng tin cậy hơn, và do đó mọi người coi chúng có nhiều khả năng là sự thật hơn.
Nhưng con người không phải lúc nào cũng kiểm tra kỹ lưỡng các phản hồi của AI. Thay vào đó, họ có xu hướng cân nhắc các chi phí và lợi ích nội tại của chính mình để quyết định thời điểm cần kiểm tra. Việc quá phụ thuộc vào kết quả đầu ra của AI cũng rất khó dừng lại. Một nhóm nghiên cứu phát hiện ra rằng việc bổ sung các giải thích đơn giản về lập luận của AI không loại bỏ được sự phân vân mà mọi người cảm thấy trong việc dành thời gian và năng lượng cần thiết để kiểm tra. Mọi người có xu hướng khái quát hóa các tác nhân (AI) là có năng lực hoặc không có năng lực chứ không có trạng thái ở giữa.
Các nhà nghiên cứu kinh tế đã tìm thấy những cải thiện thực sự về năng suất khi sử dụng AI tạo sinh trong công việc văn phòng. Nhưng một thử nghiệm ngẫu nhiên trên các nhà phát triển phần mềm có kinh nghiệm lại không cho thấy sự gia tăng nào, và thời gian hoàn thành thậm chí còn tăng lên khi có thêm một bước xác minh. Thật đáng ngạc nhiên, các nhà phát triển tin rằng họ đã làm việc nhanh hơn khi sử dụng AI, thế nhưng thời gian hoàn thành của họ lại tăng thêm 19%.
Và một nghiên cứu quy mô lớn về các nhóm tư vấn cho thấy rằng việc sử dụng AI ngoài lĩnh vực chuyên môn của một người đã dẫn đến việc có nhiều người đưa ra kết luận sai hơn.
Những nghiên cứu này không chứng minh rằng có một loại “thuế” xác minh phổ quát, nhưng chúng cho thấy lý do tại sao chỉ riêng tốc độ tạo ra kết quả đầu ra lại là một thước đo không đầy đủ về năng suất.
Why verification is hard
Tại sao việc xác minh lại khó khăn
Việc xác minh có thể mang lại cảm giác nặng nề về mặt tải trọng nhận thức, thời gian bỏ ra và động lực.
Con người cảm thấy gánh nặng nhận thức vì việc xác minh khác biệt căn bản so với sự sáng tạo. Nhìn chung, bạn biết khi nào một thứ bạn đang tạo ra là “hoàn thành”, hoặc ít nhất là đủ cho nhiệm vụ. Việc khi nào nên dừng xác minh lại ít rõ ràng hơn. Người lao động phải quyết định cái gì cần kiểm tra và kiểm tra bằng cách nào; họ không biết liệu có lỗi hay không, nó có thể nằm ở đâu hoặc nó có thể mang hình thức gì.
Điều này tương tự như việc sàng lọc an ninh sân bay, nơi một mốiε đe dọa bất thường bị bỏ sót thường xuyên hơn so với một mối đe dọa phổ biến vì các thanh tra viên rất dễ đi đến kết luận rằng các mối đe dọa hiếm gặp là không tồn tại. Gánh nặng này càng lớn hơn khi AI giúp ai đó tạo ra công việc vượt quá khả năng đánh giá của họ. Một nghiên cứu gần đây phát hiện ra rằng lập luận của AI đã giúp mọi người bắt lỗi ở những câu hỏi dễ nhưng lại không giúp ích ở những câu hỏi khó, là lúc rất cần sự trợ giúp.
Gánh nặng thời gian phát sinh vì thay vì kết thúc công việc, việc tìm ra lỗi lại khởi đầu một chu kỳ chỉnh sửa khác rồi sau đó lại kiểm tra lại. Nghiên cứu về cách con người đánh giá các đề xuất do AI tạo ra đã phát hiện ra rằng càng cần nhiều công việc để khắc phục một lỗi đã được xác định, thì mọi người càng ít có khả năng thực sự sửa nó.
Cuối cùng, việc xác minh đi kèm với một gánh nặng về động lực. Sự sáng tạo tạo ra tiến 0tộ hữu hình, nhưng việc xác minh có thể chỉ phát hiện ra rằng không có gì sai sót cả. Khi hệ thống tự động hóa thường hoạt động tốt, việc kiểm tra có thể mang lại cảm giác kém hiệu quả, và con người có thể dần trở nên kém cảnh giác hơn. Mô hình này đã được tìm thấy từ hai thập kỷ trước trong một nghiên cứu về những người làm việc với các hệ thống ra quyết định tự động.
Skill swap
Hoán đổi kỹ năng
Cùng với nhau, những gánh nặng này dẫn đến việc hoán đổi kỹ năng. Trong một cuộc khảo sát gần đây, những lao động trí thức cho biết tư duy phản biện của họ đang dịch chuyển từ khâu sản xuất sang khâu xác minh. Người lao động cũng cần học cách nhận biết các năng lực và giới hạn của một tác nhân AI cụ thể, bao gồm cả những thiếu sót và sai lệch.
Những kỹ năng này khác biệt, nhưng chúng không nhất thiết là dễ hơn, và thậm chí chúng có thể không nằm trong bộ kỹ năng của những người lao động xuất sắc về mặt sáng tạo. Do đó, các công ty và tổ chức không thể coi việc xác minh là một bước đi tự nhiên không tốn chút công sức nào. Nếu người lao động vẫn phải chịu trách nhiệm về kết quả đầu ra có sự hỗ trợ của AI, tôi tin rằng họ cũng phải được cung cấp thời gian, đào tạo và quyền hạn cần thiết để xác minh nó.
Việc đo lường mức độ gia tăng năng suất không thể chỉ bao gồm việc AI tạo ra bản nháp đầu tiên nhanh đến mức nào. Thay vào đó, tiêu chuẩn đo lường là liệu toàn bộ quy trình làm việc giữa con người và AI có tạo ra công việc đáng tin cậy với tổng chi phí thấp hơn hay không.
Karen Feigh
Karen Feigh hiện đang nhận tài trợ từ Văn phòng Nghiên cứu Hải quân và Lục quân Hoa Kỳ, đồng thời từng nhận tài trợ từ Amazon, NASA, Quỹ Khoa học Quốc gia. Cô liên kết với Viện Công nghệ Georgia, Hiệp hội Chuyến bay Thẳng đứng, ACM, Hiệp hội Nhân trắc học và Côngο xưởng (Human Factors and Ergonomics Society) và AIAA.
có thể bạn cũng quan tâm
-

Phụ nữ thực sự có quyền tự quyết đến mức nào khi sinh con?
How much autonomy do women actually have when giving birth?
-

Một số thuốc chống trầm cảm có thể có hiệu quả tốt hơn những loại khác trong dài hạn – nghiên cứu mới
Some antidepressants may work better than others long term – new study