66B là một mô hình ngôn ngữ quy mô lớn được thiết kế để xử lý nhiều tác vụ ngôn ngữ tự nhiên, từ đặt câu hỏi cho tới sinh ngữ và tổng hợp văn bản. Quy mô 66B tham số giúp nó nắm bắt các mẫu ngôn ngữ phong phú và phức tạp.
Mô hình dựa trên kiến trúc Transformer với nhiều lớp tự chú ý, tối ưu hoá cho hiệu suất và khả năng tổng quát. Số lượng tham số lên đến khoảng 66 tỷ, cho phép nén và tái tạo ngữ nghĩa phức tạp.
66B được huấn luyện trên tập dữ liệu khổng lồ đa ngôn ngữ và đa nguồn, từ văn bản web cho tới sách và bài viết kỹ thuật. Quá trình huấn luyện tập trung vào tối ưu hoá đo lường lỗi dự báo từ ngữ cảnh và giảm thiểu thiên vị dữ liệu bằng cách lọc và cân bằng nguồn dữ liệu.
66B có thể được ứng dụng trong trả lời câu hỏi, tóm tắt văn bản, dịch máy và sáng tác. Tuy nhiên, nó cũng đặt ra thách thức về đạo đức, bảo mật và kiểm soát sai lệch, đòi hỏi đánh giá và giám sát liên tục.
