Kiến trúc của 66B dựa trên biến thể của Transformer, với cân nhắc về số lớp, kích thước vector và cơ chế attention. Với 66 tỷ tham số, mô hình cân bằng giữa chất lượng sinh văn bản và chi phí tính toán, đồng thời hỗ trợ tinh chỉnh cho các tác vụ đặc thù.
\n\n66B được huấn luyện từ nguồn dữ liệu văn bản đa dạng và được cấp phép, kết hợp dữ liệu công khai và dữ liệu được cấp phép để đảm bảo tầm nhìn ngôn ngữ rộng và độ tin cậy cao. Quá trình tiền huấn luyện tập trung vào dự đoán từ tiếp theo và sáng tạo nội dung, sau đó có thể được tinh chỉnh cho các ứng dụng cụ thể.
\n\nCác ứng dụng điển hình gồm trả lời câu hỏi, tóm tắt văn bản, sinh nội dung sáng tạo, hỗ trợ lập trình, và trợ giúp ngôn ngữ. Tuy nhiên 66B vẫn có hạn chế về an toàn, khả năng sai lệch thông tin và cần giám sát khi tích hợp vào sản phẩm thương mại hoặc quy trình ra quyết định.
