66B là một mô hình ngôn ngữ quy mô lớn được phát triển nhằm tối ưu hóa khả năng hiểu và sinh ngữ, với lượng tham số lên tới 66 tỷ.
66B sử dụng kiến trúc transformer, có nhiều lớp tự chú ý và feed-forward. Các biện pháp tối ưu hóa như chuẩn hóa layer, quy hoạch dữ liệu và kỹ thuật parallelization được áp dụng để xử lý dữ liệu lớn và tăng tốc huấn luyện.
Quá trình huấn luyện 66B dựa trên dữ liệu đa dạng, bao gồm văn bản từ sách, bài báo và web. Đánh giá mô hình dựa trên các tiêu chí như độ chính xác, khả năng lý giải và an toàn ngôn ngữ.
66B có thể được áp dụng trong trợ lý ảo, tóm tắt văn bản, dịch máy và tổng hợp nội dung. Tuy nhiên đi kèm là thách thức về an toàn, xử lý nguồn tin và giảm thiểu thiên lệch dữ liệu.
