Meta giới thiệu Chameleon, mô hình đa phương tiện đẳng cấp

Tường Minh
28/05/2024 15:06
D

Khi sự cạnh tranh trong lĩnh vực trí tuệ nhân tạo (AI) sáng tạo chuyển sang các mô hình đa phương tiện, Meta đã công bố một phiên bản xem trước của những gì có thể trở thành câu trả lời của họ cho các mô hình được phát hành bởi các phòng thí nghiệm tiên phong. Chameleon, gia đình mô hình mới của Meta, được thiết kế để tự nhiên đa phương tiện thay vì gộp các thành phần với các phương tiện khác nhau.

Mặc dù Meta chưa phát hành các mô hình, những thí nghiệm được báo cáo của Meta cho thấy Chameleon đạt hiệu suất đẳng cấp thế giới trong nhiều tác vụ, bao gồm phụ đề hình ảnh và trả lời câu hỏi theo hình ảnh (VQA), đồng thời vẫn cạnh tranh trong các tác vụ chỉ có văn bản. Kiến trúc của Chameleon có thể mở ra các ứng dụng trí tuệ nhân tạo mới yêu cầu sự hiểu biết sâu sắc về cả thông tin hình ảnh và văn bản.

Cách phổ biến để tạo các mô hình nền tảng đa phương tiện là ghép nối các mô hình đã được đào tạo cho các phương tiện khác nhau. Cách tiếp cận này được gọi là "hợp nhất muộn". Mặc dù hợp nhất muộn hoạt động tốt, nhưng nó hạn chế khả năng của các mô hình tích hợp thông tin trên các phương tiện và tạo ra các chuỗi hình ảnh và văn bản được xen kẽ.

Meta giới thiệu Chameleon, mô hình đa phương tiện

VentureBeat được tạo ra bằng OpenAI DALL-E 3.

Chameleon sử dụng kiến trúc "hợp nhất sớm dựa trên token đa phương tiện hỗn hợp", có nghĩa là nó được thiết kế ngay từ đầu để học từ một hỗn hợp các hình ảnh, văn bản, mã và các phương tiện khác được xen kẽ. Chameleon biến đổi hình ảnh thành các token rời rạc, giống như các mô hình ngôn ngữ làm với từ. Nó cũng sử dụng một bộ từ vựng thống nhất bao gồm các token văn bản, mã và hình ảnh. Điều này làm cho việc áp dụng cùng một kiến trúc transformer đối với các chuỗi chứa cả token hình ảnh và văn bản trở nên có thể.

Mô hình tương tự nhất với Chameleon là Google Gemini, cũng sử dụng cách tiếp cận dựa trên token hợp nhất sớm. Tuy nhiên, Gemini sử dụng các bộ giải mã hình ảnh riêng biệt trong giai đoạn tạo, trong khi Chameleon là một mô hình hoàn chỉnh cả xử lý và tạo ra token. Không gian token thống nhất của Chameleon cho phép nó suy luận và tạo ra các chuỗi hình ảnh và văn bản xen kẽ một cách mạch lạc, mà không cần các thành phần cụ thể cho phương tiện.

Mặc dù hợp nhất sớm rất hấp dẫn, nhưng nó đặt ra những thách thức đáng kể khi đào tạo và mở rộng quy mô mô hình. Để vượt qua những thách thức này, các nhà nghiên cứu đã áp dụng một loạt các điều chỉnh kiến trúc và kỹ thuật đào tạo, được chi tiết trong bài báo của họ.

Quá trình đào tạo Chameleon diễn ra trong hai giai đoạn, với một tập dữ liệu chứa 4,4 nghìn tỷ token văn bản, cặp hình ảnh-văn bản và các chuỗi văn bản và hình ảnh xen kẽ. Các nhà nghiên cứu đã đào tạo phiên bản có 7 tỷ và 34 tỷ tham số của Chameleon trên hơn 5 triệu giờ GPU Nvidia A100 80GB.

Meta giới thiệu Chameleon, mô hình đa phương tiện

Logic mã hóa và giải mã của Chameleon (nguồn: arxiv)

Theo các thí nghiệm được báo cáo, Chameleon có thể thực hiện một loạt các nhiệm vụ chỉ có văn bản và đa phương tiện. Trên các bộ đánh giá trả lời câu hỏi theo hình ảnh (VQA) và phụ đề hình ảnh, Chameleon-34B đạt hiệu suất đẳng cấp thế giới, vượt trội so với các mô hình như Flamingo, IDEFICS và Llava-1.5. Theo các nhà nghiên cứu, Chameleon đạt hiệu suất tương đương các mô hình khác với ít ví dụ đào tạo nội tuyến hơn và kích thước mô hình nhỏ hơn, trong cả đánh giá mô hình tiền đào tạo và tinh chỉnh.

Mặt khác, một sự đánh đổi của tính đa phương tiện là sự giảm hiệu suất trong các yêu cầu phương tiện đơn. Ví dụ, các mô hình ngôn ngữ-hình ảnh có xu hướng có hiệu suất thấp hơn trên các câu đầu vào chỉ có văn bản. Tuy nhiên, Chameleon vẫn cạnh tranh trên các bộ đánh giá chỉ có văn bản, đạt hiệu suất tương đương các mô hình như Mixtral 8x7B và Gemini-Pro trên nhiệm vụ suy luận thông thường và đọc hiểu.

Điểm đáng chú ý, Chameleon có thể mở ra khả năng mới cho việc suy luận và tạo ra đa phương tiện hỗn hợp, đặc biệt khi các câu đầu vào mong đợi phản hồi đa phương tiện với văn bản và hình ảnh xen kẽ. Các thí nghiệm với phản hồi được đánh giá bởi con người cho thấy nhìn chung, người dùng ưu tiên các tài liệu đa phương tiện do Chameleon tạo ra.

Vừa qua, cả OpenAI và Google đều công bố các mô hình mới cung cấp trải nghiệm đa phương tiện phong phú. Tuy nhiên, họ chưa công bố nhiều chi tiết về các mô hình đó. Nếu Meta tiếp tục công khai phát hành các "trọng lượng" (weights) của mô hình này, điều đó có nghĩa là bất kỳ ai cũng có thể tải về và sử dụng mô hình cho các ứng dụng của riêng mình.

Việc phát hành trọng lượng mô hình miễn phí giúp Chameleon trở thành một "lựa chọn mở" cho các mô hình ngôn ngữ riêng tư, vì người dùng không cần phải huấn luyện lại mô hình từ đầu mà có thể sử dụng mô hình đã được huấn luyện trước đó bởi Meta.

Điều này khác với các mô hình thương mại hóa chỉ cung cấp API truy cập, vì người dùng có thể triển khai Chameleon trên phần cứng riêng để xử lý dữ liệu nhạy cảm mà không cần phải chia sẻ dữ liệu đó với bên thứ ba.

Hợp nhất sớm cũng có thể thúc đẩy các hướng nghiên cứu mới cho các mô hình tiên tiến hơn, đặc biệt khi thêm nhiều phương tiện vào hỗn hợp. Ví dụ, các startup robot đã bắt đầu thử nghiệm việc tích hợp các mô hình ngôn ngữ vào hệ thống điều khiển robot. Sẽ rất thú vị để xem hợp nhất sớm có thể cải thiện các mô hình nền tảng robot như thế nào.

"Chameleon đại diện cho một bước tiến quan trọng trong việc hiện thực hóa tầm nhìn về các mô hình nền tảng thống nhất có khả năng suy luận và tạo ra nội dung đa phương tiện một cách linh hoạt," các nhà nghiên cứu cho biết.

Theo tạp chí Điện tử và Ứng dụng

Tin cùng chuyên mục

Synology ra mắt bản nâng cấp AI cho Office Suite

Synology ra mắt bản nâng cấp AI cho Office Suite

Thấy gì từ vụ thiết bị gây nhiễu smart key làm 'tê liệt' xe máy tại Kim Mã

Thấy gì từ vụ thiết bị gây nhiễu smart key làm 'tê liệt' xe máy tại Kim Mã

VietChain Talents 2025: 1.000 lập trình viên trẻ tham gia, tổng giải thưởng 3,5 tỷ đồng

VietChain Talents 2025: 1.000 lập trình viên trẻ tham gia, tổng giải thưởng 3,5 tỷ đồng

Microsoft hạn chế quyền truy cập của công ty Trung Quốc sau nghi vấn tấn công SharePoint

Microsoft hạn chế quyền truy cập của công ty Trung Quốc sau nghi vấn tấn công SharePoint

FPT tiên phong đưa Internet 10Gbps đến tay người dùng Việt

FPT tiên phong đưa Internet 10Gbps đến tay người dùng Việt

Internet công nghiệp, chìa khóa để doanh nghiệp bứt phá

Internet công nghiệp, chìa khóa để doanh nghiệp bứt phá

VNPT sẵn sàng hạ tầng viễn thông cho Đại lễ

VNPT sẵn sàng hạ tầng viễn thông cho Đại lễ

Malaysia giải quyết 'cơn khát' năng lượng và nước của các trung tâm dữ liệu AI

Malaysia giải quyết 'cơn khát' năng lượng và nước của các trung tâm dữ liệu AI

Chuyển đổi số CRM: Doanh nghiệp Việt đang hướng về No-code/AI

Chuyển đổi số CRM: Doanh nghiệp Việt đang hướng về No-code/AI

Trung Quốc tung robot giá rẻ gấp 10 lần Tesla, dự báo bùng nổ nhà máy trong 2-4 năm tới

Trung Quốc tung robot giá rẻ gấp 10 lần Tesla, dự báo bùng nổ nhà máy trong 2-4 năm tới

Fortinet sử dụng giải pháp Keysight để xác thực hiệu năng SSL Deep Inspection và hiệu quả bảo mật mạng

Fortinet sử dụng giải pháp Keysight để xác thực hiệu năng SSL Deep Inspection và hiệu quả bảo mật mạng

Trung tâm Điều hành An ninh tiên tiến là chìa khóa để triển khai hệ thống phòng thủ thông minh

Trung tâm Điều hành An ninh tiên tiến là chìa khóa để triển khai hệ thống phòng thủ thông minh

Tin mới cập nhật

Concert 'Việt Nam Trong Tôi' quyên góp 4,2 tỷ đồng cho miền Trung

Concert 'Việt Nam Trong Tôi' quyên góp 4,2 tỷ đồng cho miền Trung

‘Một mảnh đất, hai mùa gặt’, hướng đi mới cho ĐMT nông nghiệp

‘Một mảnh đất, hai mùa gặt’, hướng đi mới cho ĐMT nông nghiệp

VTV hướng dẫn tiếp sóng Lễ kỷ niệm 80 năm Cách mạng Tháng Tám và Quốc khánh 2/9

VTV hướng dẫn tiếp sóng Lễ kỷ niệm 80 năm Cách mạng Tháng Tám và Quốc khánh 2/9

vivo V60 5G chính thức ra mắt, giá từ 15.990.000 đồng

vivo V60 5G chính thức ra mắt, giá từ 15.990.000 đồng

Synology ra mắt bản nâng cấp AI cho Office Suite

Synology ra mắt bản nâng cấp AI cho Office Suite

Du Lịch Việt ghi nhận tăng trưởng dịp Lễ Quốc khánh 2/9

Du Lịch Việt ghi nhận tăng trưởng dịp Lễ Quốc khánh 2/9

AI giúp phát hiện dấu hiệu ung thư da, giảm nhu cầu sinh thiết

AI giúp phát hiện dấu hiệu ung thư da, giảm nhu cầu sinh thiết

Keurig Dr Pepper chi 18 tỷ đô la thâu tóm JDE Peet’s, củng cố mảng kinh doanh cà phê

Keurig Dr Pepper chi 18 tỷ đô la thâu tóm JDE Peet’s, củng cố mảng kinh doanh cà phê

Thủ tướng chỉ đạo tập trung khắc phục hậu quả BÃO SỐ 5; quyết liệt ứng phó mưa lũ sau bão

Thủ tướng chỉ đạo tập trung khắc phục hậu quả BÃO SỐ 5; quyết liệt ứng phó mưa lũ sau bão

Trump dọa áp thuế 200% lên Trung Quốc nếu hạn chế xuất khẩu nam châm đất hiếm

Trump dọa áp thuế 200% lên Trung Quốc nếu hạn chế xuất khẩu nam châm đất hiếm

Lazada Việt Nam và POP MART 'khuấy động' Ngày Siêu Thương Hiệu

Lazada Việt Nam và POP MART 'khuấy động' Ngày Siêu Thương Hiệu

Các hãng ô tô lớn đối mặt với sự thật phũ phàng trong thời đại ‘đa khủng hoảng’

Các hãng ô tô lớn đối mặt với sự thật phũ phàng trong thời đại ‘đa khủng hoảng’

Tin đọc nhiều

Synology ra mắt bản nâng cấp AI cho Office Suite

Synology ra mắt bản nâng cấp AI cho Office Suite

Thấy gì từ vụ thiết bị gây nhiễu smart key làm 'tê liệt' xe máy tại Kim Mã

Thấy gì từ vụ thiết bị gây nhiễu smart key làm 'tê liệt' xe máy tại Kim Mã

VietChain Talents 2025: 1.000 lập trình viên trẻ tham gia, tổng giải thưởng 3,5 tỷ đồng

VietChain Talents 2025: 1.000 lập trình viên trẻ tham gia, tổng giải thưởng 3,5 tỷ đồng

Microsoft hạn chế quyền truy cập của công ty Trung Quốc sau nghi vấn tấn công SharePoint

Microsoft hạn chế quyền truy cập của công ty Trung Quốc sau nghi vấn tấn công SharePoint

FPT tiên phong đưa Internet 10Gbps đến tay người dùng Việt

FPT tiên phong đưa Internet 10Gbps đến tay người dùng Việt

Internet công nghiệp, chìa khóa để doanh nghiệp bứt phá

Internet công nghiệp, chìa khóa để doanh nghiệp bứt phá

VNPT sẵn sàng hạ tầng viễn thông cho Đại lễ

VNPT sẵn sàng hạ tầng viễn thông cho Đại lễ

Malaysia giải quyết 'cơn khát' năng lượng và nước của các trung tâm dữ liệu AI

Malaysia giải quyết 'cơn khát' năng lượng và nước của các trung tâm dữ liệu AI

Công bố 6 sản phẩm dữ liệu lõi 'Make in Vietnam'

Công bố 6 sản phẩm dữ liệu lõi 'Make in Vietnam'

ITU Digital World 2020: Doanh nghiệp kỳ vọng vào các cơ hội mới

ITU Digital World 2020: Doanh nghiệp kỳ vọng vào các cơ hội mới

Video xem nhiều

Ford F-150 Lightning 2022 ra mắt: Bán tải chạy điện giá khởi điểm chưa đến 40 nghìn USD

Ford F-150 Lightning 2022 ra mắt: Bán tải chạy điện giá khởi điểm chưa đến 40 nghìn USD

Isuzu Mu-X 2021 hoàn toàn mới: Thiết kế hiện đại và đầy công nghệ

Isuzu Mu-X 2021 hoàn toàn mới: Thiết kế hiện đại và đầy công nghệ

Honda MSX 125 Grom 2021 mẫu xe côn tay phiên bản đường đua

Honda MSX 125 Grom 2021 mẫu xe côn tay phiên bản đường đua

Geneva Motor Show 2020: Bentley hé lộ siêu xe Bacalar triệu đô

Geneva Motor Show 2020: Bentley hé lộ siêu xe Bacalar triệu đô

Lộ diện siêu xe hypercar Czinger 21C tăng tốc 0-100km/h chưa tới 2 giây

Lộ diện siêu xe hypercar Czinger 21C tăng tốc 0-100km/h chưa tới 2 giây

Xe máy điện VinFast được CNN chọn là 1 trong 5 biểu tượng mới của Hà Nội

Xe máy điện VinFast được CNN chọn là 1 trong 5 biểu tượng mới của Hà Nội

Một ngày trải nghiệm giấc mơ trở thành tay đua F1 chuyên nghiệp ở Nhật Bản

Một ngày trải nghiệm giấc mơ trở thành tay đua F1 chuyên nghiệp ở Nhật Bản

Bắc Sơn mây hát

Bắc Sơn mây hát

Trực tiếp: Apple ra mắt Iphone 11 tại Cupertino, California, Mỹ

Trực tiếp: Apple ra mắt Iphone 11 tại Cupertino, California, Mỹ

Sếp nhà bán lẻ làm lộ ngày bán iPhone 11

Sếp nhà bán lẻ làm lộ ngày bán iPhone 11

Chiếc điều hòa cá nhân này của Sony là tất cả những gì bạn cần để sống sót qua mùa hè nóng nực

Chiếc điều hòa cá nhân này của Sony là tất cả những gì bạn cần để sống sót qua mùa hè nóng nực

5G thay đổi tương lai của bạn như thế nào?

5G thay đổi tương lai của bạn như thế nào?

Bàn về tầm nhìn và các trụ cột của công nghệ thông tin di động 6G
04/03/2022
Chip xử lý A15 Bionic của Apple có gì mới
15/09/2021
Sex Education mùa 3 được Netflix công chiếu vào 17/9
14/09/2021
iPhone 13 không thay đổi nhiều về ngoại hình, camera được nâng cấp mạnh
13/09/2021
Cách xem trực tiếp sự kiện ra mắt iPhone 13 và Apple Watch 7
10/09/2021
VNEID của Bộ Công an khác các ứng dụng đang được vận hành?
10/09/2021
'Cái tôi' thời 4.0 và tính hai mặt của mạng xã hội
04/09/2021
'Muôn màu' cảm xúc của trẻ trong ngày khai giảng online
24/08/2021
Chủ tịch Chu Ngọc Anh giải toả 'ách tắc' về Giấy đi đường cho người dân Thủ đô
10/08/2021
Hàng loạt Macbook M1 tự dưng vỡ màn hình, Apple có đồng ý bảo hành?
02/08/2021
6 bộ phim hay nhất để xem trên VieON
29/01/2021
Bắc Ninh: Không ký kết triển khai dự án Owifi 5G với CSE Singapore
27/06/2020
Bị World Bank cấm dự thầu 7 năm, công ty Sao Bắc Đẩu thừa nhận sai sót
27/06/2020
Wefinex - Mô hình hoạt động đa cấp "đội lốt" đầu tài chính trên mạng internet
10/06/2020
Khai trừ MISA khỏi Câu lạc bộ Chữ ký số và Giao dịch điện tử Việt Nam
27/05/2020
Chuyển đổi số - Nên hiểu như thế nào cho đúng
25/05/2020
Chống thất thu thuế là thách thức lớn đối với nền kinh tế số
29/04/2020
Cách chuyển tập tin sang máy tính mới
10/11/2019
VNPT, MobiFone, VTC sẽ hoàn thành cổ phần hóa trước năm 2021
20/08/2019
5G thay đổi tương lai của bạn như thế nào?
26/07/2019
Nhận diện hành vi lừa đảo trên không gian mạng
25/07/2019
Truyền hình OTT - Hướng đi mới của các “nhà Đài”
24/07/2019