Google đang nâng cấp ứng dụng tìm kiếm trực quan Lens với khả năng trả lời các câu hỏi gần như theo thời gian thực về môi trường xung quanh bạn.
Người dùng Android và iOS nói tiếng Anh đã cài đặt ứng dụng Google hiện có thể bắt đầu quay video qua Lens và đặt câu hỏi về các đối tượng quan tâm trong video. Terus cũng đã sử dụng Lens cho mục đích tìm kiếm, do đó việc có thể search thông qua video sẽ hỗ trợ rất nhiều trong suốt quá trình này.
Lou Wang, giám đốc quản lý sản phẩm của Lens, cho biết tính năng này sử dụng mô hình Gemini "tùy chỉnh" để hiểu video và các câu hỏi liên quan. Gemini là mô hình AI của Google và cung cấp năng lượng cho một số sản phẩm trong danh mục đầu tư của công ty.
“Giả sử bạn muốn tìm hiểu thêm về một số loài cá thú vị,” Wang nói trong một cuộc họp báo. “[Lens] sẽ đưa ra bản tổng quan giải thích lý do tại sao chúng bơi theo vòng tròn, cùng với nhiều tài nguyên và thông tin hữu ích hơn.”
Để truy cập tính năng phân tích video mới của Lens, bạn phải đăng ký chương trình Search Labs của Google , cũng như lựa chọn tham gia các tính năng thử nghiệm "AI Overviews and more" trong Labs. Trong ứng dụng Google, giữ nút chụp trên điện thoại thông minh của bạn sẽ kích hoạt chế độ quay video của Lens. (Terus đã có một bài về AI Overviews)
Đặt câu hỏi trong khi quay video và Lens sẽ liên kết đến câu trả lời do AI Overviews cung cấp, tính năng này trong Google Tìm kiếm sử dụng AI để tóm tắt thông tin từ khắp trang web.
Theo Wang, Lens sử dụng AI để xác định khung hình nào trong video là "thú vị" và nổi bật nhất — và trên hết là có liên quan đến câu hỏi đang được đặt ra — và sử dụng những điều này để "làm cơ sở" cho câu trả lời từ AI Overviews.
“Tất cả những điều này xuất phát từ việc quan sát cách mọi người đang cố gắng sử dụng những thứ như Lens ngay lúc này,” Wang nói. “Nếu bạn hạ thấp rào cản khi đặt ra những câu hỏi này và giúp mọi người thỏa mãn sự tò mò của họ, mọi người sẽ tiếp thu điều này một cách khá tự nhiên.”
Việc ra mắt video cho Lens diễn ra sau một tính năng tương tự mà Meta đã giới thiệu trước đó vào tháng trước cho kính AR của mình, Ray-Ban Meta. Meta có kế hoạch đưa khả năng video AI thời gian thực vào kính, cho phép người đeo đặt câu hỏi về những gì xung quanh họ (ví dụ: "Đây là loại hoa gì?").
OpenAI cũng đã hé lộ một tính năng cho phép công cụ Advanced Voice Mode hiểu được video. Cuối cùng, Advanced Voice Mode — một tính năng cao cấp của ChatGPT — sẽ có thể phân tích video theo thời gian thực và tính đến ngữ cảnh khi trả lời bạn.
Có vẻ như Google đã đánh bại cả hai công ty — trừ thực tế là Lens không đồng bộ (bạn không thể trò chuyện với nó theo thời gian thực) và giả định rằng tính năng video hoạt động như quảng cáo. Chúng tôi đã không được xem bản demo trực tiếp trong buổi họp báo và Google có lịch sử hứa hẹn quá mức khi nói đến khả năng AI của mình.
Ngoài phân tích video, Lens hiện cũng có thể tìm kiếm bằng hình ảnh và văn bản cùng một lúc. Người dùng nói tiếng Anh, bao gồm cả những người không đăng ký Labs, có thể khởi chạy ứng dụng Google và giữ nút chụp để chụp ảnh, sau đó đặt câu hỏi bằng cách nói to.
Cuối cùng, Lens cũng có thêm chức năng mới dành riêng cho thương mại điện tử.
Bắt đầu từ hôm nay, khi Lens trên Android hoặc iOS nhận dạng được một sản phẩm, nó sẽ hiển thị thông tin về sản phẩm đó, bao gồm giá cả và ưu đãi, thương hiệu, đánh giá và hàng tồn kho. ID sản phẩm hoạt động trên ảnh đã tải lên và mới chụp (nhưng không phải video) và hiện tại chỉ giới hạn ở một số quốc gia và một số danh mục mua sắm nhất định, bao gồm đồ điện tử, đồ chơi và làm đẹp.
"Giả sử bạn nhìn thấy một chiếc ba lô và bạn thích nó", Wang nói. "Bạn có thể sử dụng Lens để nhận dạng sản phẩm đó và bạn sẽ có thể thấy ngay các chi tiết mà bạn có thể thắc mắc".
Cũng có một thành phần quảng cáo trong việc này. Google cho biết trang kết quả cho các sản phẩm được Lens xác định cũng sẽ hiển thị các quảng cáo mua sắm "có liên quan" với các tùy chọn và giá cả.
Tại sao lại gắn quảng cáo vào Lens? Bởi vì theo Google, mỗi tháng có khoảng 4 tỷ lượt tìm kiếm trên Lens liên quan đến mua sắm. Đối với một gã khổng lồ công nghệ mà mạch sống là quảng cáo, thì đây đơn giản là một cơ hội quá béo bở để bỏ qua.
