Bài kiểm tra được sử dụng dưới dạng một tổ hợp 800 câu hỏi giống nhau trên mỗi hệ thống AI. Trợ lý Google đã một lần nữa dẫn đầu với tỷ lệ nghe hiểu 100% các câu được hỏi và trả lời đúng 92% trong số đó. Con số này đã tăng so với 85,5% của năm ngoái và ngày càng chính xác hơn.

Siri của Apple cũng tiến bộ khi mức độ nghe hiểu đã tăng từ 99% của năm ngoái lên 99,8%, số câu trả lời đúng cũng tăng từ 78,5% lên 83,1%.

Alexa của Amazon vẫn là trợ lý ảo về thứ 3 nhưng đã có sự đột phá lớn khi tỉ lệ nghe hiểu câu hỏi đạt đến 99% và đưa ra 79,8% câu trả lời đúng, thậm chí còn tốt hơn màn thể hiện của Siri năm trước. Đây là bước nhảy vọt cho Alexa khi trợ lý ảo này chỉ đưa ra được 61,4% câu trả lời đúng ở bài kiếm tra năm ngoái. Loup cũng ghi nhận đây là mức tăng nhanh nhất kể từ khi họ bắt đầu thực hiện các bài kiểm tra.

Đáng nói là các nhà phân tích đã loại Cortana của Microsoft ra khỏi bài kiểm tra năm nay - không đáng ngạc nhiên lắm khi AI chỉ đứng ở vị trí thứ tư này đã biến mất khỏi các sản phẩm của Microsoft và thiết bị của bên thứ ba thời gian gần đây. Trong bài kiểm tra năm ngoái, Cortana chỉ trả lời đúng 52,4% số câu hỏi, con số này không được đánh giá cao vì chỉ được coi là may mắn trả lời đúng.

Một trong những khía cạnh thú vị của thử nghiệm Loup là nó bao gồm câu hỏi ở năm lĩnh vực: vị trí, thương mại, điều hướng, thời gian, thông tin, nhận lệnh, mỗi nhóm được thiết kế để kiểm tra một lĩnh vực hỗ trợ AI tiềm năng khác nhau. Do đó, điểm số cao nhất thuộc về các trợ lý đa năng thay vì chỉ thành thạo trong một lĩnh vực duy nhất, vì vậy khi Alexa tập trung nhiều vào thương mại của Amazon nhưng ở phần thông tin địa điểm hoặc điều hướng thì lại làm không tốt.

Google Assistant thống trị 4 trong số 5 loại đó, mở ra một khoảng cách đặc biệt lớn ở mảng thương mại, trong đó độ chính xác 92% của nó vượt trội so với Alexa (71%) và Siri (68%). Nó thực sự đạt được điểm số cao nhất trong tất cả mọi lĩnh vực, ngoại trừ phần nhận lệnh, trong đó Siri đã đánh bại nó với tỷ lệ 93% đến 86% – lần duy nhất trợ lý Google giảm xuống dưới 92% khi đưa ra các phản hồi chính xác.

Alexa xếp sau cả hai đối thủ trong các lĩnh vực về địa điểm, điều hướng, nhận lệnh và chỉ vượt qua Siri một chút trong phần thương mại, trong mảng thông tin Alexa thể hiện kém hơn hẳn các AI khác: câu trả lời đúng 76% so với 93% của Alexa và 96% của Google.

Như Loup đã đề cập trước đó, việc tiếp tục tiến tới 100% điểm là rất ấn tượng, nhưng không nên cho rằng các trợ lý này là “thông minh”. Các trợ lý này hiểu được những gì bạn nói và thực hiện mệnh lệnh trong quyền hạn cho phép chứ không phải là một thực thể có các kỹ năng mềm như con người.