Meta giới thiệu Chameleon, mô hình đa phương tiện đẳng cấp

Tường Minh
28/05/2024 15:06
D

Khi sự cạnh tranh trong lĩnh vực trí tuệ nhân tạo (AI) sáng tạo chuyển sang các mô hình đa phương tiện, Meta đã công bố một phiên bản xem trước của những gì có thể trở thành câu trả lời của họ cho các mô hình được phát hành bởi các phòng thí nghiệm tiên phong. Chameleon, gia đình mô hình mới của Meta, được thiết kế để tự nhiên đa phương tiện thay vì gộp các thành phần với các phương tiện khác nhau.

Mặc dù Meta chưa phát hành các mô hình, những thí nghiệm được báo cáo của Meta cho thấy Chameleon đạt hiệu suất đẳng cấp thế giới trong nhiều tác vụ, bao gồm phụ đề hình ảnh và trả lời câu hỏi theo hình ảnh (VQA), đồng thời vẫn cạnh tranh trong các tác vụ chỉ có văn bản. Kiến trúc của Chameleon có thể mở ra các ứng dụng trí tuệ nhân tạo mới yêu cầu sự hiểu biết sâu sắc về cả thông tin hình ảnh và văn bản.

Cách phổ biến để tạo các mô hình nền tảng đa phương tiện là ghép nối các mô hình đã được đào tạo cho các phương tiện khác nhau. Cách tiếp cận này được gọi là "hợp nhất muộn". Mặc dù hợp nhất muộn hoạt động tốt, nhưng nó hạn chế khả năng của các mô hình tích hợp thông tin trên các phương tiện và tạo ra các chuỗi hình ảnh và văn bản được xen kẽ.

Meta giới thiệu Chameleon, mô hình đa phương tiện

VentureBeat được tạo ra bằng OpenAI DALL-E 3.

Chameleon sử dụng kiến trúc "hợp nhất sớm dựa trên token đa phương tiện hỗn hợp", có nghĩa là nó được thiết kế ngay từ đầu để học từ một hỗn hợp các hình ảnh, văn bản, mã và các phương tiện khác được xen kẽ. Chameleon biến đổi hình ảnh thành các token rời rạc, giống như các mô hình ngôn ngữ làm với từ. Nó cũng sử dụng một bộ từ vựng thống nhất bao gồm các token văn bản, mã và hình ảnh. Điều này làm cho việc áp dụng cùng một kiến trúc transformer đối với các chuỗi chứa cả token hình ảnh và văn bản trở nên có thể.

Mô hình tương tự nhất với Chameleon là Google Gemini, cũng sử dụng cách tiếp cận dựa trên token hợp nhất sớm. Tuy nhiên, Gemini sử dụng các bộ giải mã hình ảnh riêng biệt trong giai đoạn tạo, trong khi Chameleon là một mô hình hoàn chỉnh cả xử lý và tạo ra token. Không gian token thống nhất của Chameleon cho phép nó suy luận và tạo ra các chuỗi hình ảnh và văn bản xen kẽ một cách mạch lạc, mà không cần các thành phần cụ thể cho phương tiện.

Mặc dù hợp nhất sớm rất hấp dẫn, nhưng nó đặt ra những thách thức đáng kể khi đào tạo và mở rộng quy mô mô hình. Để vượt qua những thách thức này, các nhà nghiên cứu đã áp dụng một loạt các điều chỉnh kiến trúc và kỹ thuật đào tạo, được chi tiết trong bài báo của họ.

Quá trình đào tạo Chameleon diễn ra trong hai giai đoạn, với một tập dữ liệu chứa 4,4 nghìn tỷ token văn bản, cặp hình ảnh-văn bản và các chuỗi văn bản và hình ảnh xen kẽ. Các nhà nghiên cứu đã đào tạo phiên bản có 7 tỷ và 34 tỷ tham số của Chameleon trên hơn 5 triệu giờ GPU Nvidia A100 80GB.

Meta giới thiệu Chameleon, mô hình đa phương tiện

Logic mã hóa và giải mã của Chameleon (nguồn: arxiv)

Theo các thí nghiệm được báo cáo, Chameleon có thể thực hiện một loạt các nhiệm vụ chỉ có văn bản và đa phương tiện. Trên các bộ đánh giá trả lời câu hỏi theo hình ảnh (VQA) và phụ đề hình ảnh, Chameleon-34B đạt hiệu suất đẳng cấp thế giới, vượt trội so với các mô hình như Flamingo, IDEFICS và Llava-1.5. Theo các nhà nghiên cứu, Chameleon đạt hiệu suất tương đương các mô hình khác với ít ví dụ đào tạo nội tuyến hơn và kích thước mô hình nhỏ hơn, trong cả đánh giá mô hình tiền đào tạo và tinh chỉnh.

Mặt khác, một sự đánh đổi của tính đa phương tiện là sự giảm hiệu suất trong các yêu cầu phương tiện đơn. Ví dụ, các mô hình ngôn ngữ-hình ảnh có xu hướng có hiệu suất thấp hơn trên các câu đầu vào chỉ có văn bản. Tuy nhiên, Chameleon vẫn cạnh tranh trên các bộ đánh giá chỉ có văn bản, đạt hiệu suất tương đương các mô hình như Mixtral 8x7B và Gemini-Pro trên nhiệm vụ suy luận thông thường và đọc hiểu.

Điểm đáng chú ý, Chameleon có thể mở ra khả năng mới cho việc suy luận và tạo ra đa phương tiện hỗn hợp, đặc biệt khi các câu đầu vào mong đợi phản hồi đa phương tiện với văn bản và hình ảnh xen kẽ. Các thí nghiệm với phản hồi được đánh giá bởi con người cho thấy nhìn chung, người dùng ưu tiên các tài liệu đa phương tiện do Chameleon tạo ra.

Vừa qua, cả OpenAI và Google đều công bố các mô hình mới cung cấp trải nghiệm đa phương tiện phong phú. Tuy nhiên, họ chưa công bố nhiều chi tiết về các mô hình đó. Nếu Meta tiếp tục công khai phát hành các "trọng lượng" (weights) của mô hình này, điều đó có nghĩa là bất kỳ ai cũng có thể tải về và sử dụng mô hình cho các ứng dụng của riêng mình.

Việc phát hành trọng lượng mô hình miễn phí giúp Chameleon trở thành một "lựa chọn mở" cho các mô hình ngôn ngữ riêng tư, vì người dùng không cần phải huấn luyện lại mô hình từ đầu mà có thể sử dụng mô hình đã được huấn luyện trước đó bởi Meta.

Điều này khác với các mô hình thương mại hóa chỉ cung cấp API truy cập, vì người dùng có thể triển khai Chameleon trên phần cứng riêng để xử lý dữ liệu nhạy cảm mà không cần phải chia sẻ dữ liệu đó với bên thứ ba.

Hợp nhất sớm cũng có thể thúc đẩy các hướng nghiên cứu mới cho các mô hình tiên tiến hơn, đặc biệt khi thêm nhiều phương tiện vào hỗn hợp. Ví dụ, các startup robot đã bắt đầu thử nghiệm việc tích hợp các mô hình ngôn ngữ vào hệ thống điều khiển robot. Sẽ rất thú vị để xem hợp nhất sớm có thể cải thiện các mô hình nền tảng robot như thế nào.

"Chameleon đại diện cho một bước tiến quan trọng trong việc hiện thực hóa tầm nhìn về các mô hình nền tảng thống nhất có khả năng suy luận và tạo ra nội dung đa phương tiện một cách linh hoạt," các nhà nghiên cứu cho biết.

Theo tạp chí Điện tử và Ứng dụng

Tin cùng chuyên mục

Home Credit lọt Top 50 Doanh nghiệp phát triển bền vững tiêu biểu

Home Credit lọt Top 50 Doanh nghiệp phát triển bền vững tiêu biểu

Keysight triển khai hệ thống lượng tử lớn nhất thế giới tại Nhật Bản

Keysight triển khai hệ thống lượng tử lớn nhất thế giới tại Nhật Bản

VNPT làm chủ hạ tầng kết nối

VNPT làm chủ hạ tầng kết nối

Yêu cầu cấp thiết bảo đảm an toàn cho Blockchain Việt Nam

Yêu cầu cấp thiết bảo đảm an toàn cho Blockchain Việt Nam

TikTok một thời làm rung chuyển thế giới, giờ AI Trung Quốc sắp làm điều tương tự

TikTok một thời làm rung chuyển thế giới, giờ AI Trung Quốc sắp làm điều tương tự

Google Marketing Live Việt Nam mang gì đến cho doanh nghiệp Việt

Google Marketing Live Việt Nam mang gì đến cho doanh nghiệp Việt

Liên minh châu Âu quyết tâm giành lại 'chủ quyền công nghệ'

Liên minh châu Âu quyết tâm giành lại 'chủ quyền công nghệ'

Cảnh báo chiêu trò lừa đảo Quishing và dấu hiệu nhận biết mã QR giả

Cảnh báo chiêu trò lừa đảo Quishing và dấu hiệu nhận biết mã QR giả

GLM-4.5 của Z.ai: AI mã nguồn mở rẻ hơn DeepSeek, đấu ChatGPT

GLM-4.5 của Z.ai: AI mã nguồn mở rẻ hơn DeepSeek, đấu ChatGPT

AI Fabric hỗ trợ dữ liệu và AI thế hệ tiếp theo như thế nào?

AI Fabric hỗ trợ dữ liệu và AI thế hệ tiếp theo như thế nào?

Fortinet ứng phó với các mối đe dọa mới nổi

Fortinet ứng phó với các mối đe dọa mới nổi

MobiFone và Agribank ký hợp tác chiến lược thúc đẩy chuyển đổi số nông thôn

MobiFone và Agribank ký hợp tác chiến lược thúc đẩy chuyển đổi số nông thôn

Tin mới cập nhật

Đại hội đại biểu Đảng bộ phường Hà Đông nhiệm kỳ 2025-2030 thành công tốt đẹp

Đại hội đại biểu Đảng bộ phường Hà Đông nhiệm kỳ 2025-2030 thành công tốt đẹp

Home Credit lọt Top 50 Doanh nghiệp phát triển bền vững tiêu biểu

Home Credit lọt Top 50 Doanh nghiệp phát triển bền vững tiêu biểu

Ford Việt Nam triển khai chương trình ưu đãi mới

Ford Việt Nam triển khai chương trình ưu đãi mới

Visa và Petrolimex ra mắt thẻ đồng thương hiệu

Visa và Petrolimex ra mắt thẻ đồng thương hiệu

Phá đường dây buôn lậu chip AI Nvidia trị giá hàng chục triệu USD từ Mỹ sang Trung Quốc

Phá đường dây buôn lậu chip AI Nvidia trị giá hàng chục triệu USD từ Mỹ sang Trung Quốc

Bên trong Sân bay JFK quốc tế 'khủng' nhất nước Mỹ được đầu tư 9,5 tỷ USD có những gì?

Bên trong Sân bay JFK quốc tế 'khủng' nhất nước Mỹ được đầu tư 9,5 tỷ USD có những gì?

ASUS khai trương cửa hàng trải nghiệm ASUS Exclusive Store đầu tiên tại TP.HCM

ASUS khai trương cửa hàng trải nghiệm ASUS Exclusive Store đầu tiên tại TP.HCM

Samsung One UI 8 Beta sẽ có mặt trên các thiết bị Galaxy từ tuần sau

Samsung One UI 8 Beta sẽ có mặt trên các thiết bị Galaxy từ tuần sau

OPPO Reno14 Series ghi nhận 65.000 máy bán ra sau 1 tháng

OPPO Reno14 Series ghi nhận 65.000 máy bán ra sau 1 tháng

Google cùng Bộ Công an ra mắt chiến dịch Phòng chống lừa đảo trực tuyến

Google cùng Bộ Công an ra mắt chiến dịch Phòng chống lừa đảo trực tuyến

7 cụm từ hữu ích giúp cha mẹ xử lý cơn giận dữ của trẻ mà không cần la mắng

7 cụm từ hữu ích giúp cha mẹ xử lý cơn giận dữ của trẻ mà không cần la mắng

10 thành phố hàng đầu tại Mỹ về cơ hội việc làm và thu nhập vắng bóng New York và Los Angeles

10 thành phố hàng đầu tại Mỹ về cơ hội việc làm và thu nhập vắng bóng New York và Los Angeles

Tin đọc nhiều

Home Credit lọt Top 50 Doanh nghiệp phát triển bền vững tiêu biểu

Home Credit lọt Top 50 Doanh nghiệp phát triển bền vững tiêu biểu

Keysight triển khai hệ thống lượng tử lớn nhất thế giới tại Nhật Bản

Keysight triển khai hệ thống lượng tử lớn nhất thế giới tại Nhật Bản

VNPT làm chủ hạ tầng kết nối

VNPT làm chủ hạ tầng kết nối

Yêu cầu cấp thiết bảo đảm an toàn cho Blockchain Việt Nam

Yêu cầu cấp thiết bảo đảm an toàn cho Blockchain Việt Nam

TikTok một thời làm rung chuyển thế giới, giờ AI Trung Quốc sắp làm điều tương tự

TikTok một thời làm rung chuyển thế giới, giờ AI Trung Quốc sắp làm điều tương tự

Google Marketing Live Việt Nam mang gì đến cho doanh nghiệp Việt

Google Marketing Live Việt Nam mang gì đến cho doanh nghiệp Việt

Liên minh châu Âu quyết tâm giành lại 'chủ quyền công nghệ'

Liên minh châu Âu quyết tâm giành lại 'chủ quyền công nghệ'

Fortinet ứng phó với các mối đe dọa mới nổi

Fortinet ứng phó với các mối đe dọa mới nổi

Công bố 6 sản phẩm dữ liệu lõi 'Make in Vietnam'

Công bố 6 sản phẩm dữ liệu lõi 'Make in Vietnam'

ITU Digital World 2020: Doanh nghiệp kỳ vọng vào các cơ hội mới

ITU Digital World 2020: Doanh nghiệp kỳ vọng vào các cơ hội mới

Video xem nhiều

Đại học Miami tạo ra cảm biến chất lượng không khí phát hiện Covid-19

Đại học Miami tạo ra cảm biến chất lượng không khí phát hiện Covid-19

Ford F-150 Lightning 2022 ra mắt: Bán tải chạy điện giá khởi điểm chưa đến 40 nghìn USD

Ford F-150 Lightning 2022 ra mắt: Bán tải chạy điện giá khởi điểm chưa đến 40 nghìn USD

Honda MSX 125 Grom 2021 mẫu xe côn tay phiên bản đường đua

Honda MSX 125 Grom 2021 mẫu xe côn tay phiên bản đường đua

Thông điệp lan tỏa mùa dịch COVID-19

Thông điệp lan tỏa mùa dịch COVID-19

Clip: Khuyến cáo đối với người lao động, người làm việc, người bán hàng tại khu dịch vụ trong dịch Covid-19

Clip: Khuyến cáo đối với người lao động, người làm việc, người bán hàng tại khu dịch vụ trong dịch Covid-19

“Rắn tiên tri” dự đoán đội tuyển Việt Nam thắng Thái Lan

“Rắn tiên tri” dự đoán đội tuyển Việt Nam thắng Thái Lan

Một ngày trải nghiệm giấc mơ trở thành tay đua F1 chuyên nghiệp ở Nhật Bản

Một ngày trải nghiệm giấc mơ trở thành tay đua F1 chuyên nghiệp ở Nhật Bản

Pretzel - Bánh quy cây: Biểu tượng văn hoá châu Âu với nhiều tranh cãi về nguồn gốc

Pretzel - Bánh quy cây: Biểu tượng văn hoá châu Âu với nhiều tranh cãi về nguồn gốc

Trực tiếp: Apple ra mắt Iphone 11 tại Cupertino, California, Mỹ

Trực tiếp: Apple ra mắt Iphone 11 tại Cupertino, California, Mỹ

Khám phá Huawei Mate X đối thủ của Galaxy Fold tại IFA 2019

Khám phá Huawei Mate X đối thủ của Galaxy Fold tại IFA 2019

Chiếc điều hòa cá nhân này của Sony là tất cả những gì bạn cần để sống sót qua mùa hè nóng nực

Chiếc điều hòa cá nhân này của Sony là tất cả những gì bạn cần để sống sót qua mùa hè nóng nực

5G thay đổi tương lai của bạn như thế nào?

5G thay đổi tương lai của bạn như thế nào?

Bàn về tầm nhìn và các trụ cột của công nghệ thông tin di động 6G
04/03/2022
Chip xử lý A15 Bionic của Apple có gì mới
15/09/2021
Sex Education mùa 3 được Netflix công chiếu vào 17/9
14/09/2021
iPhone 13 không thay đổi nhiều về ngoại hình, camera được nâng cấp mạnh
13/09/2021
Cách xem trực tiếp sự kiện ra mắt iPhone 13 và Apple Watch 7
10/09/2021
VNEID của Bộ Công an khác các ứng dụng đang được vận hành?
10/09/2021
'Cái tôi' thời 4.0 và tính hai mặt của mạng xã hội
04/09/2021
'Muôn màu' cảm xúc của trẻ trong ngày khai giảng online
24/08/2021
Chủ tịch Chu Ngọc Anh giải toả 'ách tắc' về Giấy đi đường cho người dân Thủ đô
10/08/2021
Hàng loạt Macbook M1 tự dưng vỡ màn hình, Apple có đồng ý bảo hành?
02/08/2021
6 bộ phim hay nhất để xem trên VieON
29/01/2021
Bắc Ninh: Không ký kết triển khai dự án Owifi 5G với CSE Singapore
27/06/2020
Bị World Bank cấm dự thầu 7 năm, công ty Sao Bắc Đẩu thừa nhận sai sót
27/06/2020
Wefinex - Mô hình hoạt động đa cấp "đội lốt" đầu tài chính trên mạng internet
10/06/2020
Khai trừ MISA khỏi Câu lạc bộ Chữ ký số và Giao dịch điện tử Việt Nam
27/05/2020
Chuyển đổi số - Nên hiểu như thế nào cho đúng
25/05/2020
Chống thất thu thuế là thách thức lớn đối với nền kinh tế số
29/04/2020
Cách chuyển tập tin sang máy tính mới
10/11/2019
VNPT, MobiFone, VTC sẽ hoàn thành cổ phần hóa trước năm 2021
20/08/2019
5G thay đổi tương lai của bạn như thế nào?
26/07/2019
Nhận diện hành vi lừa đảo trên không gian mạng
25/07/2019
Truyền hình OTT - Hướng đi mới của các “nhà Đài”
24/07/2019