Gã khổng lồ AI từng tăng tốc điên cuồng, cuối cùng cũng bắt đầu sợ AI

Tiêu đề gốc: 《Gã khổng lồ AI từng tăng tốc điên cuồng, cuối cùng cũng bắt đầu sợ AI》
Tác giả gốc: 動察Beating

AI có thể giết chết tất cả chúng ta trong vòng mười năm.

Ngày 8 tháng 9, một chàng trai 27 tuổi đã dùng câu nói này để tuyên bố rời khỏi Anthropic. Công ty này ngay từ ngày đầu thành lập đã đưa "an toàn AI" vào câu chuyện cốt lõi của mình.

Anh ấy tên là Jacob Coxon, từng làm việc tại OpenAI và Anthropic. Chỉ cần ở lại thêm hai tháng nữa, anh ấy đã có thể nhận được một khoản thưởng khích lệ bằng cổ phiếu khổng lồ. Nhưng anh ấy vẫn ra đi.

Jacob trong tuyên bố từ chức đã chỉ trích các phòng thí nghiệm AI tiên phong đang tiến hành một cuộc đua "vô trách nhiệm". Theo anh, những công ty này đang tranh nhau tạo ra các mô hình ngày càng mạnh mẽ, và canh bạc không phải là sự thắng thua của một công ty, mà là mạng sống của tất cả mọi người.

Bài đăng này sau đó nhanh chóng lan truyền. Tính đến hiện tại, lượt xem đã vượt quá 170 triệu.

Một ngày sau khi Jacob đăng tuyên bố từ chức, một cựu nhân viên khác của Anthropic cũng công khai lý do rời đi trước đó của mình, cũng là lo ngại AI cuối cùng sẽ mất kiểm soát.

"We may not survive this."

Chúng ta có thể không sống sót qua chuyện này.

Anh ấy cảnh báo rằng các công ty đang đua nhau tạo ra những cỗ máy "thông minh hơn bất kỳ con người nào rất nhiều", nhưng không ai có thể đảm bảo rằng cuộc đua này sau một bước nào đó vẫn nằm trong tầm kiểm soát của con người.

Ngay sau đó, một lãnh đạo an toàn cấp cao của Anthropic trong một cuộc phỏng vấn với truyền thông cho biết, ông cho rằng trong vòng 10 năm tới, xác suất AI giết chết toàn bộ nhân loại vượt quá 10%.

Xác suất tử vong của trò cò quay Nga là khoảng 16,7%.

Phải giảm tốc độ

Bốn ngày sau, ngày 12 tháng 9, CEO của Anthropic là Dario Amodei đã đăng một bài viết dài, tiêu đề đã thể hiện rất rõ thái độ, gọi là 《We Must Pace the Frontier》.

Ông liệt kê ba điều khiến mình lo ngại nhất. Con người mất kiểm soát đối với hệ thống AI; AI bị sử dụng cho các cuộc tấn công mạng quy mô lớn và khủng bố sinh học; và tiến bộ công nghệ quá nhanh, gây tác động nghiêm trọng đến việc làm và nền kinh tế.

Lần này, Dario không dừng lại ở "lo ngại", ông đưa ra một bộ giải pháp giảm tốc.

Trước tiên, các công ty AI tiên phong nên mở quyền truy cập thường trú gần như "cấp nhân viên" cho các cơ quan đánh giá độc lập bên thứ ba. Người đánh giá có thể liên tục kiểm tra xem phòng thí nghiệm có tuân thủ các tiêu chuẩn an toàn hay không, quá trình huấn luyện có phù hợp với thỏa thuận hay không, và sau khi xảy ra sự cố có thể điều tra và báo cáo độc lập.

Tiếp theo, một số phòng thí nghiệm tiên phong cần thiết lập một bộ tiêu chuẩn an toàn chung với sự tham gia của chính phủ. Ai chạm vào lằn ranh đỏ, người đó phải giảm tốc, thậm chí dừng tiếp tục tiến lên.

Cuối cùng, các quy tắc còn phải vượt ra khỏi nước Mỹ. Dario hy vọng Mỹ và các quốc gia dân chủ khác trước tiên hình thành một khuôn khổ thống nhất, sau đó phối hợp với các quốc gia độc tài, cuối cùng khiến các cường quốc AI chủ chốt đều chịu cùng một ràng buộc.

Ông viết trong bài:

"The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try."

"Những biện pháp tôi đề xuất là để AI tiên phong tiếp tục tiến lên với tốc độ an toàn. Làm được điều này chắc chắn khá khó. Nhưng tôi nghĩ, chúng ta nợ nhân loại một lần thử."

Lý do Dario đột nhiên nói nặng lời như vậy vào thời điểm này cũng liên quan đến một số chuyện xảy ra gần đây.

Trước đó, một tác nhân thông minh của OpenAI từng thoát khỏi môi trường thử nghiệm, xâm nhập Hugging Face; bản thân Anthropic cũng phát hiện nhiều nhà khoa học đang cố gắng dùng Claude để hoàn thành công việc có thể liên quan đến lạm dụng sinh học. Dario thậm chí phán đoán, với tốc độ phát triển hiện tại, tác nhân thông minh AI có thể tiếp quản Internet trong vòng sáu tháng.

Vì vậy sau khi bài viết này được đăng, phản hồi đến rất nhanh. Sam Altman, Elon Musk và Demis Hassabis đều công khai bày tỏ ủng hộ việc giảm tốc độ phát triển AI tiên phong.

Sam Altman sau đó lại đăng riêng một bài, nói về hai điều khiến mình lo ngại nhất.

Thứ nhất là con người cuối cùng có thể mất kiểm soát đối với AI, ông nói điều này là không thể chấp nhận được, bản thân ông "đứng về phía con người một cách không do dự".

Rủi ro thứ hai đến từ con người. Nếu AI cực kỳ mạnh mẽ cuối cùng rơi vào tay một người, một công ty, thậm chí một quốc gia, và bị dùng để áp đặt một thế giới quan nào đó lên tất cả mọi người, kết quả có thể "cực kỳ phản địa đàng".

Vì vậy theo Sam, các phòng thí nghiệm không thể tự quyết định thế nào là an toàn nữa. Ít nhất một số công ty gần với tuyến đầu nhất cần ngồi lại với nhau, đặt ra một bộ tiêu chuẩn chung để cùng tuân thủ.

Ngày 14 tháng 9, The Information tiết lộ, thực ra trước vòng phát biểu công khai này, Anthropic, OpenAI và Google đã bắt đầu thảo luận riêng từ tháng 7 năm nay về việc có nên cùng thành lập một cơ quan tiêu chuẩn ngành AI hay không. Đàm phán hai tháng, đến nay vẫn chưa đạt được thỏa thuận.

Bất đồng không nằm ở chỗ có nên quản lý hay không, mà nằm ở chỗ ai quản lý, và quản lý đến mức độ nào.

Dario Amodei là người thúc đẩy tích cực nhất. Ông hy vọng chính phủ tham gia sâu, cơ quan quản lý không chỉ chịu trách nhiệm kiểm tra và nhắc nhở, mà khi mô hình bị đánh giá là không an toàn, còn nên có quyền ngăn chặn việc phát hành nó.

Giải pháp mà Demis Hassabis đưa ra giống một "FINRA phiên bản AI" hơn. FINRA là cơ quan quản lý tự nguyện của ngành tài chính Mỹ, do ngành tài trợ hoạt động, đồng thời chịu sự ủy quyền và giám sát của SEC.

Áp vào ngành AI, tức là các mô hình tiên phong trước khi phát hành phải được giao cho một cơ quan độc lập kiểm tra. Ban đầu có thể tự nguyện tham gia, sau khi chế độ trưởng thành, dần dần trở thành một ngưỡng cửa để vào thị trường Mỹ.

Thái độ của Sam Altman thực dụng hơn. Nếu chính phủ tạm thời không dựng nổi cơ quan này, một số phòng thí nghiệm hàng đầu có thể tự làm trước.

Vấn đề cũng chính nằm ở chỗ này. Tiêu chuẩn ngành không bao giờ chỉ quyết định thứ gì là an toàn, nó còn quyết định ai có tư cách tiếp tục ngồi lại trên bàn chơi. Những công ty tham gia xây dựng quy tắc đầu tiên có thể đưa đội ngũ an toàn, quy trình kiểm tra và khuôn khổ quản trị mà mình đã có vào "thông lệ tốt nhất". Người đến sau muốn vào thị trường này, trước tiên phải gánh một bộ chi phí tuân thủ do các công ty hàng đầu định nghĩa.

Vì vậy an toàn đương nhiên là thật, ngưỡng cửa cũng là thật.

Tháng 1 năm nay, Semafor từng đưa tin, Anthropic từ chối giao mô hình mới nhất của mình cho một cơ quan nghiên cứu an toàn AI hàng đầu của Anh kiểm tra. Chuyện này phơi bày một vấn đề rắc rối hơn, mọi người đều đồng ý mô hình nên được kiểm tra, nhưng rốt cuộc do ai kiểm tra, theo tiêu chuẩn của ai, các phòng thí nghiệm chưa sẵn sàng dễ dàng trao quyền quyết định ra ngoài.

Hiện tại ba công ty đang thảo luận thành lập cơ quan tiêu chuẩn mới, tranh giành cũng chính là phần quyền lực này.

Chiếc đồng hồ quay ngược

Khi Thung lũng Silicon bắt đầu bàn về giảm tốc, Washington và Phố Wall lại đều hy vọng AI đừng dừng lại.

Ngày 13 tháng 9, Trump công khai phản hồi vòng tranh cãi về an toàn AI này.

Ông nói hai câu. Một câu là "whoever wins AI, wins", ai thắng AI, người đó thắng. Mỹ hiện đang dẫn trước Trung Quốc, lợi thế này phải tiếp tục duy trì. Câu còn lại là, ông gọi những cảnh báo gần đây về rủi ro AI là "very negative forces", cho rằng một số người đang liên tục thổi phồng những thảm họa có thể không bao giờ xảy ra.

Lý do Trump đưa ra không liên quan nhiều đến an toàn kỹ thuật. Cách ông nhìn AI vẫn là cạnh tranh quốc gia, chỉ cần Trung Quốc còn chạy về phía trước, Mỹ không có dư địa để chủ động đạp phanh.

Mà bây giờ lại đang là tháng 9 năm 2026, cách cuộc bầu cử giữa kỳ của Mỹ chưa đầy hai tháng.

Tháng 3 năm nay, một bài viết đăng trên The Guardian đã nêu ra, AI đang trở thành một chủ đề quan trọng của cuộc bầu cử giữa kỳ lần này. Một trong các tác giả là nhà mật mã học Bruce Schneier, trong ba mươi năm qua, ông gần như luôn đứng ở tuyến đầu của các tranh cãi về công nghệ và an toàn.

Nhưng Trump cũng không có lựa chọn nào dễ chịu.

Theo báo cáo của Times vào tháng 5 năm nay, sự thù địch của cử tri MAGA đối với AI đang ngày càng rõ rệt. Họ lo AI cướp việc làm, đè lương xuống, cũng bất mãn vì các trung tâm dữ liệu tiêu thụ nước và điện của địa phương. Tiếp tục đặt cược vào AI, nghĩa là Trump sớm muộn phải đối mặt với sự phản cảm đang tích tụ trong nhóm cử tri nền tảng của mình.

Ít nhất vào lúc này, ông vẫn chọn phía bên kia. So với mâu thuẫn việc làm và tài nguyên có thể bùng phát trong tương lai, rủi ro cạnh tranh với Trung Quốc và chứng khoán Mỹ giảm điểm gần với cuộc bầu cử giữa kỳ hơn.

Phố Wall cũng đang đối mặt với vấn đề không nhỏ.

Trong vài năm qua, thị trường dám định giá trên trời cho các công ty AI này, thực chất mua vào một đường cong không ngừng đi lên, mô hình tiếp tục mạnh hơn, người dùng và doanh thu tiếp tục tăng, thế là trung tâm dữ liệu tiếp tục xây, GPU tiếp tục mua, chi tiêu vốn tiếp tục chất đống.

Bây giờ, mấy CEO đứng ở phía trước nhất của đường cong này tự mình bắt đầu nói, AI tiên phong có thể cần giảm tốc.

Phản ứng của thị trường đến nhanh hơn cả tranh cãi. Sau khi lãnh đạo các công ty như Anthropic, OpenAI và SpaceX công khai kêu gọi giảm tốc phát triển AI, giá cổ phiếu của các công ty niêm yết liên quan đến AI từng có lúc giảm 13%.

Giảm tốc thậm chí còn chưa thực sự xảy ra, Phố Wall đã bắt đầu định giá lại trước.

Nếu năng lực mô hình không thể tiếp tục lao lên với tốc độ cũ, tất cả các con số phía sau đều phải tính toán lại. Trung tâm dữ liệu cần xây bao nhiêu, GPU còn cần mua bao nhiêu, nhà cung cấp đám mây mỗi năm nên đổ bao nhiêu chi tiêu vốn, phòng thí nghiệm AI còn huy động được bao nhiêu tiền, IPO lại đáng giá bao nhiêu.

Vì vậy điều Phố Wall thực sự sợ, không bao giờ chỉ là phát hành ít đi vài mô hình. Nó sợ rằng tốc độ tăng trưởng đã chống đỡ cho thị trường bò AI trong vài năm qua, bản thân nó bắt đầu trở thành một vấn đề cần được quản lý.

Tế nhị hơn nữa là, công chúng Mỹ đứng xa cả Washington lẫn Phố Wall hơn.

Thăm dò của Trung tâm Chính sách Công Annenberg thuộc Đại học Pennsylvania cho thấy, người Mỹ nhìn chung bi quan về tác động của AI, đa số hy vọng chính phủ tăng cường quản lý. Thung lũng Silicon lo mất kiểm soát, Washington lo thua Trung Quốc, Phố Wall lo định giá tụt xuống.

Ngay trong cơn sóng gió này, hai công ty AI được chú ý nhất đã chọn hai hướng đi.

OpenAI quyết định hoãn IPO. Sam Altman cũng đã ám chỉ, nếu vấn đề an toàn cần thêm thời gian, công ty có thể lùi việc niêm yết lại.

Anthropic thì vẫn đang lao về phía trước. Công ty đã chọn Nasdaq, mục tiêu định giá lên tới 2 nghìn tỷ USD, Nvidia đang cân nhắc mua 10 tỷ USD, trở thành nhà đầu tư nền tảng. NDTV Profit đưa tin, Anthropic sớm nhất sẽ khởi động tiếp thị roadshow IPO vào giữa tháng 10.

Dario Amodei đang kêu gọi toàn ngành giảm tốc, công ty của chính ông lại đang tăng tốc lao ra thị trường công khai.

Nhưng thị trường vốn chưa chắc coi đây là mâu thuẫn.

Nếu AI tiên phong thực sự như Dario nói, nguy hiểm đến mức cần chính phủ Mỹ can thiệp, cần các phòng thí nghiệm thiết lập tiêu chuẩn chung, thậm chí cần vài cường quốc ngồi lại phối hợp, thì những công ty có thể tham gia xây dựng các quy tắc này chỉ càng trở nên quan trọng hơn.

Quản lý càng nghiêm, chi phí làm mô hình tiên phong càng cao; kiểm tra an toàn càng phức tạp, người đến sau càng khó đuổi kịp; nếu tương lai thực sự xuất hiện một hệ thống quản trị AI toàn cầu, Anthropic nhiều khả năng vẫn sẽ ngồi bên bàn xây dựng quy tắc.

Vì vậy "giảm tốc" chưa chắc chỉ có nghĩa là kiếm ít tiền hơn một chút.

Nó cũng có thể có nghĩa là, ngành này cuối cùng đã quan trọng đến mức không thể để tất cả mọi người tùy tiện vào sân. Mà đối với những công ty đã đứng ở phía trước nhất, một ngưỡng cửa cao hơn, bản thân nó chính là một phần của định giá.

Quân domino đầu tiên

Chúng ta hãy quay lại nhìn xem vòng thảo luận gay gắt về AI Safety lần này đã được châm ngòi như thế nào, xem 170 triệu lượt xem của bài đăng của Jacob đến từ đâu.

Sau khi từ chức, anh ấy nhận phỏng vấn của chương trình Anderson Cooper của CNN, tự kể về quá trình đăng bài đăng đó.

Jacob viết một bản nháp trước, tìm bạn bè cùng sửa, lại thảo luận với vài người xem diễn đạt thế nào là phù hợp nhất. Trước khi chính thức đăng, anh ấy còn cố ý nhờ bạn bè giúp chia sẻ. Lúc đó suy nghĩ của anh ấy là:

"Let's try to make this a bit viral."

Cố gắng để nó lan truyền rộng hơn một chút.

Kết quả vượt xa kỳ vọng của anh ấy. Jacob sau đó thừa nhận, bản thân chưa từng thấy một bài đăng thảo luận về an toàn AI nào đạt được mức lan truyền như vậy. Anh ấy quy phản ứng này cho một "nhu cầu tiềm ẩn" trước đó chưa được giải phóng.

Truyền thông sau đó tiếp tục truy hỏi quá trình lan truyền của bài đăng này. Jacob phủ nhận trước khi đăng đã hợp tác quảng bá với bất kỳ tổ chức nào, nhưng thừa nhận sau khi bài đăng được đăng, anh ấy lập một nhóm khoảng mười người, nhờ mọi người trong đó giúp chia sẻ, trong đó có người sáng lập tổ chức an toàn AI Encode.

Trước và sau khi đăng bài, anh ấy cũng có trao đổi với tác giả của 《AI 2027》, cựu nhân viên OpenAI Daniel Kokotajlo.

Những người coi Jacob là người thổi còi sẽ nói anh ấy sửa bản thảo nhiều lần, chủ động tìm người chia sẻ, chỉ là muốn một cảnh báo mà anh ấy cho là đủ quan trọng được nhiều người nhìn thấy hơn. Những người nghi ngờ anh ấy thì nắm lấy chính những chi tiết đó, cho rằng sự chấn động này bản thân nó đã được thiết kế kỹ lưỡng.

Hai cách nói này có thể tiếp tục tranh cãi, nhưng vấn đề rắc rối hơn là, Jacob, Dario Amodei, Sam Altman, và những người thực sự làm việc bên cạnh các mô hình tiên phong, rốt cuộc đã nhìn thấy gì, tại sao họ lại bắt đầu cùng nhau thảo luận những chuyện này vào thời điểm này.

Bạn có thể nghi ngờ cách Jacob đưa câu nói này đến trước 170 triệu người, nhưng việc sử dụng thủ pháp truyền thông không có nghĩa câu nói này là giả.

Từ mười năm trước, nhà sáng lập Ethereum Vitalik Buterin đã viết một bài dài, thảo luận về khả năng siêu trí tuệ cuối cùng hủy diệt loài người.

Khi đó ông dùng một phép so sánh rất cực đoan, con người cố gắng kiểm soát siêu trí tuệ, đại khái tương đương với một người IQ 150 cố gắng kiểm soát một tác nhân thông minh IQ 6000. Bạn bảo nó giải quyết ung thư, nó thậm chí có thể đưa ra đáp án là trước tiên tiêu diệt tất cả những người có thể mắc ung thư.

Năm 2016, những lời này chủ yếu còn tồn tại trong blog, diễn đàn và các thí nghiệm tư duy. Mười năm sau, chúng bắt đầu xuất hiện trong thư từ chức của nhân viên các phòng thí nghiệm tiên phong, xuất hiện trong tuyên bố công khai của CEO các công ty AI lớn nhất, và cũng bắt đầu đi vào chương trình nghị sự thực tế của quản lý nhà nước, thị trường vốn và cạnh tranh quốc tế.

Mà điều thực sự khiến chuyện này trở nên khó xử, còn có một tầng nữa.

Ngày 2 tháng 8 năm 1939, nhà vật lý Leo Szilard thảo một bức thư, do Einstein ký tên. Hai tháng sau, bức thư này được chuyển đến tay Roosevelt. Trong thư cảnh báo, phản ứng phân hạch hạt nhân có thể được chế tạo thành bom có sức công phá khổng lồ, mà Đức Quốc xã đã hành động trong lĩnh vực liên quan, Mỹ phải phản ứng càng sớm càng tốt.

Einstein sau đó không tham gia Dự án Manhattan, cũng hối hận lâu dài về chữ ký năm đó của mình. Nhưng vấn đề đặt ra trước mắt họ khi đó rất tàn khốc, ngay cả khi bạn cho rằng một công nghệ là nguy hiểm, chỉ cần bạn tin rằng đối thủ đang chế tạo nó, dừng lại có thể còn nguy hiểm hơn cả tiếp tục tiến lên.

Hơn tám mươi năm sau, tình thế tiến thoái lưỡng nan tương tự đã quay trở lại dưới một hình thức khác.

Dario nói phải giảm tốc, Trump nói Trung Quốc vẫn đang đuổi theo; mấy phòng thí nghiệm muốn cùng nhau xây dựng quy tắc an toàn, lại đều không muốn trao hoàn toàn quyền quyết định cho người khác. Tất cả mọi người đều đang bàn về phanh, nhưng cũng đều đang nhìn chằm chằm xem chiếc xe bên cạnh có nhả chân ga hay không.

Quan trọng hơn nữa là, chúng ta vẫn không biết, những đôi mắt ở gần các mô hình tiên phong nhất, rốt cuộc đã nhìn thấy xa đến đâu.