66B là một mô hình ngôn ngữ lớn với khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản, trả lời câu hỏi và tham gia vào các tác vụ phân tích ngôn ngữ.
66B có kiến trúc transformer hiện đại, với nhiều lớp tự chú ý (self attention) và mạng feedforward, tối ưu hóa cho khả năng ghi nhớ và khái quát trên nhiều chủ đề.
Quá trình huấn luyện dựa trên tổng hợp dữ liệu đa dạng từ nhiều nguồn công khai và hợp tác, bao gồm văn bản từ web, sách và tập dữ liệu ngôn ngữ. Việc làm sạch dữ liệu và đánh giá rủi ro là phần quan trọng để giảm sai lệch và thông tin sai lệch.
66B có khả năng sinh văn bản tự nhiên, tóm tắt nội dung, trả lời câu hỏi và hỗ trợ sáng tác. Hạn chế bao gồm nguy cơ phát tán thông tin sai lệch, thiên vị dữ liệu và chi phí vận hành cao.
Trong doanh nghiệp, 66B có thể hỗ trợ chat bot, trợ lý nội dung và tự động hóa chăm sóc khách hàng. Trong giáo dục, nó có thể giải thích khái niệm, gợi ý bài tập và tạo nội dung minh họa.
Định hướng tương lai tập trung vào cải thiện hiệu suất, giảm chi phí, tăng an toàn và kiểm soát nội dung. Các nghiên cứu mới nhắm tới học sâu có tính định hướng, sự minh bạch và sự tôn trọng quyền riêng tư của người dùng.