Meta giới thiệu Chameleon, mô hình đa phương tiện đẳng cấp

Tường Minh
28/05/2024 15:06
D

Khi sự cạnh tranh trong lĩnh vực trí tuệ nhân tạo (AI) sáng tạo chuyển sang các mô hình đa phương tiện, Meta đã công bố một phiên bản xem trước của những gì có thể trở thành câu trả lời của họ cho các mô hình được phát hành bởi các phòng thí nghiệm tiên phong. Chameleon, gia đình mô hình mới của Meta, được thiết kế để tự nhiên đa phương tiện thay vì gộp các thành phần với các phương tiện khác nhau.

Mặc dù Meta chưa phát hành các mô hình, những thí nghiệm được báo cáo của Meta cho thấy Chameleon đạt hiệu suất đẳng cấp thế giới trong nhiều tác vụ, bao gồm phụ đề hình ảnh và trả lời câu hỏi theo hình ảnh (VQA), đồng thời vẫn cạnh tranh trong các tác vụ chỉ có văn bản. Kiến trúc của Chameleon có thể mở ra các ứng dụng trí tuệ nhân tạo mới yêu cầu sự hiểu biết sâu sắc về cả thông tin hình ảnh và văn bản.

Cách phổ biến để tạo các mô hình nền tảng đa phương tiện là ghép nối các mô hình đã được đào tạo cho các phương tiện khác nhau. Cách tiếp cận này được gọi là "hợp nhất muộn". Mặc dù hợp nhất muộn hoạt động tốt, nhưng nó hạn chế khả năng của các mô hình tích hợp thông tin trên các phương tiện và tạo ra các chuỗi hình ảnh và văn bản được xen kẽ.

Meta giới thiệu Chameleon, mô hình đa phương tiện

VentureBeat được tạo ra bằng OpenAI DALL-E 3.

Chameleon sử dụng kiến trúc "hợp nhất sớm dựa trên token đa phương tiện hỗn hợp", có nghĩa là nó được thiết kế ngay từ đầu để học từ một hỗn hợp các hình ảnh, văn bản, mã và các phương tiện khác được xen kẽ. Chameleon biến đổi hình ảnh thành các token rời rạc, giống như các mô hình ngôn ngữ làm với từ. Nó cũng sử dụng một bộ từ vựng thống nhất bao gồm các token văn bản, mã và hình ảnh. Điều này làm cho việc áp dụng cùng một kiến trúc transformer đối với các chuỗi chứa cả token hình ảnh và văn bản trở nên có thể.

Mô hình tương tự nhất với Chameleon là Google Gemini, cũng sử dụng cách tiếp cận dựa trên token hợp nhất sớm. Tuy nhiên, Gemini sử dụng các bộ giải mã hình ảnh riêng biệt trong giai đoạn tạo, trong khi Chameleon là một mô hình hoàn chỉnh cả xử lý và tạo ra token. Không gian token thống nhất của Chameleon cho phép nó suy luận và tạo ra các chuỗi hình ảnh và văn bản xen kẽ một cách mạch lạc, mà không cần các thành phần cụ thể cho phương tiện.

Mặc dù hợp nhất sớm rất hấp dẫn, nhưng nó đặt ra những thách thức đáng kể khi đào tạo và mở rộng quy mô mô hình. Để vượt qua những thách thức này, các nhà nghiên cứu đã áp dụng một loạt các điều chỉnh kiến trúc và kỹ thuật đào tạo, được chi tiết trong bài báo của họ.

Quá trình đào tạo Chameleon diễn ra trong hai giai đoạn, với một tập dữ liệu chứa 4,4 nghìn tỷ token văn bản, cặp hình ảnh-văn bản và các chuỗi văn bản và hình ảnh xen kẽ. Các nhà nghiên cứu đã đào tạo phiên bản có 7 tỷ và 34 tỷ tham số của Chameleon trên hơn 5 triệu giờ GPU Nvidia A100 80GB.

Meta giới thiệu Chameleon, mô hình đa phương tiện

Logic mã hóa và giải mã của Chameleon (nguồn: arxiv)

Theo các thí nghiệm được báo cáo, Chameleon có thể thực hiện một loạt các nhiệm vụ chỉ có văn bản và đa phương tiện. Trên các bộ đánh giá trả lời câu hỏi theo hình ảnh (VQA) và phụ đề hình ảnh, Chameleon-34B đạt hiệu suất đẳng cấp thế giới, vượt trội so với các mô hình như Flamingo, IDEFICS và Llava-1.5. Theo các nhà nghiên cứu, Chameleon đạt hiệu suất tương đương các mô hình khác với ít ví dụ đào tạo nội tuyến hơn và kích thước mô hình nhỏ hơn, trong cả đánh giá mô hình tiền đào tạo và tinh chỉnh.

Mặt khác, một sự đánh đổi của tính đa phương tiện là sự giảm hiệu suất trong các yêu cầu phương tiện đơn. Ví dụ, các mô hình ngôn ngữ-hình ảnh có xu hướng có hiệu suất thấp hơn trên các câu đầu vào chỉ có văn bản. Tuy nhiên, Chameleon vẫn cạnh tranh trên các bộ đánh giá chỉ có văn bản, đạt hiệu suất tương đương các mô hình như Mixtral 8x7B và Gemini-Pro trên nhiệm vụ suy luận thông thường và đọc hiểu.

Điểm đáng chú ý, Chameleon có thể mở ra khả năng mới cho việc suy luận và tạo ra đa phương tiện hỗn hợp, đặc biệt khi các câu đầu vào mong đợi phản hồi đa phương tiện với văn bản và hình ảnh xen kẽ. Các thí nghiệm với phản hồi được đánh giá bởi con người cho thấy nhìn chung, người dùng ưu tiên các tài liệu đa phương tiện do Chameleon tạo ra.

Vừa qua, cả OpenAI và Google đều công bố các mô hình mới cung cấp trải nghiệm đa phương tiện phong phú. Tuy nhiên, họ chưa công bố nhiều chi tiết về các mô hình đó. Nếu Meta tiếp tục công khai phát hành các "trọng lượng" (weights) của mô hình này, điều đó có nghĩa là bất kỳ ai cũng có thể tải về và sử dụng mô hình cho các ứng dụng của riêng mình.

Việc phát hành trọng lượng mô hình miễn phí giúp Chameleon trở thành một "lựa chọn mở" cho các mô hình ngôn ngữ riêng tư, vì người dùng không cần phải huấn luyện lại mô hình từ đầu mà có thể sử dụng mô hình đã được huấn luyện trước đó bởi Meta.

Điều này khác với các mô hình thương mại hóa chỉ cung cấp API truy cập, vì người dùng có thể triển khai Chameleon trên phần cứng riêng để xử lý dữ liệu nhạy cảm mà không cần phải chia sẻ dữ liệu đó với bên thứ ba.

Hợp nhất sớm cũng có thể thúc đẩy các hướng nghiên cứu mới cho các mô hình tiên tiến hơn, đặc biệt khi thêm nhiều phương tiện vào hỗn hợp. Ví dụ, các startup robot đã bắt đầu thử nghiệm việc tích hợp các mô hình ngôn ngữ vào hệ thống điều khiển robot. Sẽ rất thú vị để xem hợp nhất sớm có thể cải thiện các mô hình nền tảng robot như thế nào.

"Chameleon đại diện cho một bước tiến quan trọng trong việc hiện thực hóa tầm nhìn về các mô hình nền tảng thống nhất có khả năng suy luận và tạo ra nội dung đa phương tiện một cách linh hoạt," các nhà nghiên cứu cho biết.

Theo tạp chí Điện tử và Ứng dụng

Tin cùng chuyên mục

Wacom giới thiệu dòng sản phẩm Wacom Cintiq mới

Wacom giới thiệu dòng sản phẩm Wacom Cintiq mới

NVIDIA Blackwell phá kỷ lục hiệu suất huấn luyện AI MLPerf

NVIDIA Blackwell phá kỷ lục hiệu suất huấn luyện AI MLPerf

An ninh mạng Việt Nam: khi trí tuệ nhân tạo trở thành 'vũ khí kép'

An ninh mạng Việt Nam: khi trí tuệ nhân tạo trở thành 'vũ khí kép'

Rakuten Mobile tiết kiệm 20% năng lượng mạng di động nhờ AI

Rakuten Mobile tiết kiệm 20% năng lượng mạng di động nhờ AI

Việt Nam sẽ thử nghiệm 6G năm 2030

Việt Nam sẽ thử nghiệm 6G năm 2030

Huawei tăng cường bảo mật mạng lưới 5G tại Việt Nam

Huawei tăng cường bảo mật mạng lưới 5G tại Việt Nam

Cùng 'Case 404' nhập vai ‘Thám tử an ninh mạng’

Cùng 'Case 404' nhập vai ‘Thám tử an ninh mạng’

Foxconn xây siêu máy tính AI 10.000 GPU NVIDIA Blackwell tại Đài Loan

Foxconn xây siêu máy tính AI 10.000 GPU NVIDIA Blackwell tại Đài Loan

Internet vệ tinh Seacom 8/9/10: Hệ sinh thái thông tin liên lạc toàn diện cho ngành hàng hải

Internet vệ tinh Seacom 8/9/10: Hệ sinh thái thông tin liên lạc toàn diện cho ngành hàng hải

Công nghệ đám mây thay đổi cách sản xuất truyền hình

Công nghệ đám mây thay đổi cách sản xuất truyền hình

Starlink Direct to Cell: Biến điện thoại 4G thành thiết bị liên lạc vệ tinh

Starlink Direct to Cell: Biến điện thoại 4G thành thiết bị liên lạc vệ tinh

Sandbox: Từ môi trường thử nghiệm đến công cụ thúc đẩy đổi mới

Sandbox: Từ môi trường thử nghiệm đến công cụ thúc đẩy đổi mới

Tin mới cập nhật

Hỗ trợ thanh niên Quảng Trị khởi nghiệp qua thương mại điện tử

Hỗ trợ thanh niên Quảng Trị khởi nghiệp qua thương mại điện tử

Kaspersky Việt Nam lần đầu tiên bổ nhiệm Giám đốc Quốc gia

Kaspersky Việt Nam lần đầu tiên bổ nhiệm Giám đốc Quốc gia

Việt Nam ghi dấu tại giải Vô địch an ninh mạng thế giới

Việt Nam ghi dấu tại giải Vô địch an ninh mạng thế giới

Ba siêu xu hướng định hình xã hội và công nghệ

Ba siêu xu hướng định hình xã hội và công nghệ

Tuyển sinh 2025: Ngành tự động hóa hút thí sinh với cơ hội việc làm cao

Tuyển sinh 2025: Ngành tự động hóa hút thí sinh với cơ hội việc làm cao

UNIQLO Cùng Quỹ Hy Vọng trao tặng thiết bị Y Tế cho Bệnh viện Trung Ương Huế

UNIQLO Cùng Quỹ Hy Vọng trao tặng thiết bị Y Tế cho Bệnh viện Trung Ương Huế

Elon Musk tuyên bố ngừng hoạt động tàu vũ trụ Dragon sau đe dọa từ Donald Trump

Elon Musk tuyên bố ngừng hoạt động tàu vũ trụ Dragon sau đe dọa từ Donald Trump

Mạng 4G dẫn đầu toàn cầu với 6,6 tỷ thuê bao dù 5G phát triển mạnh

Mạng 4G dẫn đầu toàn cầu với 6,6 tỷ thuê bao dù 5G phát triển mạnh

Lực lượng Hải quan cửa khẩu Nội Bài chủ trì bắt giữ 2 đối tượng mua bán, vận chuyển hơn 5,3kg ma tuý

Lực lượng Hải quan cửa khẩu Nội Bài chủ trì bắt giữ 2 đối tượng mua bán, vận chuyển hơn 5,3kg ma tuý

Những đồn đoán về Huawei Mate XT 2, điện thoại gập ba thách thức Samsung

Những đồn đoán về Huawei Mate XT 2, điện thoại gập ba thách thức Samsung

Hưng Yên phát động phong trào thi đua khoa học công nghệ giai đoạn 2025-2030

Hưng Yên phát động phong trào thi đua khoa học công nghệ giai đoạn 2025-2030

Tesla mất 152 tỷ USD vốn hóa sau cuộc khẩu chiến giữa Musk và Trump

Tesla mất 152 tỷ USD vốn hóa sau cuộc khẩu chiến giữa Musk và Trump

Tin đọc nhiều

Wacom giới thiệu dòng sản phẩm Wacom Cintiq mới

Wacom giới thiệu dòng sản phẩm Wacom Cintiq mới

NVIDIA Blackwell phá kỷ lục hiệu suất huấn luyện AI MLPerf

NVIDIA Blackwell phá kỷ lục hiệu suất huấn luyện AI MLPerf

An ninh mạng Việt Nam: khi trí tuệ nhân tạo trở thành 'vũ khí kép'

An ninh mạng Việt Nam: khi trí tuệ nhân tạo trở thành 'vũ khí kép'

Rakuten Mobile tiết kiệm 20% năng lượng mạng di động nhờ AI

Rakuten Mobile tiết kiệm 20% năng lượng mạng di động nhờ AI

Việt Nam sẽ thử nghiệm 6G năm 2030

Việt Nam sẽ thử nghiệm 6G năm 2030

Huawei tăng cường bảo mật mạng lưới 5G tại Việt Nam

Huawei tăng cường bảo mật mạng lưới 5G tại Việt Nam

Cùng 'Case 404' nhập vai ‘Thám tử an ninh mạng’

Cùng 'Case 404' nhập vai ‘Thám tử an ninh mạng’

Foxconn xây siêu máy tính AI 10.000 GPU NVIDIA Blackwell tại Đài Loan

Foxconn xây siêu máy tính AI 10.000 GPU NVIDIA Blackwell tại Đài Loan

Internet vệ tinh Seacom 8/9/10: Hệ sinh thái thông tin liên lạc toàn diện cho ngành hàng hải

Internet vệ tinh Seacom 8/9/10: Hệ sinh thái thông tin liên lạc toàn diện cho ngành hàng hải

Công nghệ đám mây thay đổi cách sản xuất truyền hình

Công nghệ đám mây thay đổi cách sản xuất truyền hình

Video xem nhiều

Giới thiệu chương trình bình chọn “Xe của năm 2022"

Giới thiệu chương trình bình chọn “Xe của năm 2022"

Ford F-150 Lightning 2022 ra mắt: Bán tải chạy điện giá khởi điểm chưa đến 40 nghìn USD

Ford F-150 Lightning 2022 ra mắt: Bán tải chạy điện giá khởi điểm chưa đến 40 nghìn USD

Isuzu Mu-X 2021 hoàn toàn mới: Thiết kế hiện đại và đầy công nghệ

Isuzu Mu-X 2021 hoàn toàn mới: Thiết kế hiện đại và đầy công nghệ

Honda MSX 125 Grom 2021 mẫu xe côn tay phiên bản đường đua

Honda MSX 125 Grom 2021 mẫu xe côn tay phiên bản đường đua

Clip: Khuyến cáo đối với người lao động, người làm việc, người bán hàng tại khu dịch vụ trong dịch Covid-19

Clip: Khuyến cáo đối với người lao động, người làm việc, người bán hàng tại khu dịch vụ trong dịch Covid-19

Lộ diện siêu xe hypercar Czinger 21C tăng tốc 0-100km/h chưa tới 2 giây

Lộ diện siêu xe hypercar Czinger 21C tăng tốc 0-100km/h chưa tới 2 giây

“Rắn tiên tri” dự đoán đội tuyển Việt Nam thắng Thái Lan

“Rắn tiên tri” dự đoán đội tuyển Việt Nam thắng Thái Lan

Một ngày trải nghiệm giấc mơ trở thành tay đua F1 chuyên nghiệp ở Nhật Bản

Một ngày trải nghiệm giấc mơ trở thành tay đua F1 chuyên nghiệp ở Nhật Bản

Bắc Sơn mây hát

Bắc Sơn mây hát

Chiếc điều hòa cá nhân này của Sony là tất cả những gì bạn cần để sống sót qua mùa hè nóng nực

Chiếc điều hòa cá nhân này của Sony là tất cả những gì bạn cần để sống sót qua mùa hè nóng nực

Những gì bạn muốn biết về 5G

Những gì bạn muốn biết về 5G

5G thay đổi tương lai của bạn như thế nào?

5G thay đổi tương lai của bạn như thế nào?

Bàn về tầm nhìn và các trụ cột của công nghệ thông tin di động 6G
04/03/2022
Chip xử lý A15 Bionic của Apple có gì mới
15/09/2021
Sex Education mùa 3 được Netflix công chiếu vào 17/9
14/09/2021
iPhone 13 không thay đổi nhiều về ngoại hình, camera được nâng cấp mạnh
13/09/2021
Cách xem trực tiếp sự kiện ra mắt iPhone 13 và Apple Watch 7
10/09/2021
VNEID của Bộ Công an khác các ứng dụng đang được vận hành?
10/09/2021
'Cái tôi' thời 4.0 và tính hai mặt của mạng xã hội
04/09/2021
'Muôn màu' cảm xúc của trẻ trong ngày khai giảng online
24/08/2021
Chủ tịch Chu Ngọc Anh giải toả 'ách tắc' về Giấy đi đường cho người dân Thủ đô
10/08/2021
Hàng loạt Macbook M1 tự dưng vỡ màn hình, Apple có đồng ý bảo hành?
02/08/2021
6 bộ phim hay nhất để xem trên VieON
29/01/2021
Bắc Ninh: Không ký kết triển khai dự án Owifi 5G với CSE Singapore
27/06/2020
Bị World Bank cấm dự thầu 7 năm, công ty Sao Bắc Đẩu thừa nhận sai sót
27/06/2020
Wefinex - Mô hình hoạt động đa cấp "đội lốt" đầu tài chính trên mạng internet
10/06/2020
Khai trừ MISA khỏi Câu lạc bộ Chữ ký số và Giao dịch điện tử Việt Nam
27/05/2020
Chuyển đổi số - Nên hiểu như thế nào cho đúng
25/05/2020
Chống thất thu thuế là thách thức lớn đối với nền kinh tế số
29/04/2020
Cách chuyển tập tin sang máy tính mới
10/11/2019
VNPT, MobiFone, VTC sẽ hoàn thành cổ phần hóa trước năm 2021
20/08/2019
5G thay đổi tương lai của bạn như thế nào?
26/07/2019
Nhận diện hành vi lừa đảo trên không gian mạng
25/07/2019
Truyền hình OTT - Hướng đi mới của các “nhà Đài”
24/07/2019