Trong một báo cáo gần đây, Google đã tiết lộ kế hoạch cách mạng hóa trải nghiệm nhà thông minh bằng cách tích hợp Gemini, mẫu AI mới nhất của họ, vào máy ảnh Nest, Google Home và Google Assistant. Sự phát triển này có khả năng thay đổi cách chúng ta tương tác với ngôi nhà của mình, khiến chúng thông minh hơn, an toàn hơn và trực quan hơn.

Một trong những thay đổi quan trọng nhất là về camera Nest. Với các khả năng nâng cao của Gemini, camera Nest sẽ không còn bị giới hạn ở khả năng phát hiện chuyển động cơ bản nữa. Giờ đây, họ sẽ có thể hiểu và diễn giải những gì họ thấy và nghe, cung cấp cho người dùng những hiểu biết sâu sắc có ý nghĩa hơn.

Ví dụ: thay vì chỉ phát hiện một con vật, camera Nest có thể cho bạn biết rằng con chó của bạn đang đào bới trong vườn. Sự hiểu biết nâng cao này sẽ làm cho các clip camera trong ứng dụng Google Home trở nên hữu ích hơn nhiều. Ngoài ra, tính năng tìm kiếm hoạt động camera mới cho phép bạn dễ dàng tìm thấy các sự kiện cụ thể trong lịch sử camera của mình.

Google Home cũng đang nhận được một bản nâng cấp lớn với việc giới thiệu tính năng “Help me create”. Tính năng này sử dụng Gemini để đơn giản hóa quá trình tạo tự động hóa ngôi nhà. Người dùng có thể mô tả những gì họ muốn bằng ngôn ngữ đơn giản và Google Home sẽ lo phần còn lại.

Ví dụ: bạn có thể nói: “Khóa cửa và tắt tất cả đèn khi đi ngủ” và Google Home sẽ thiết lập tính năng tự động hóa cho bạn. Tính năng này được kỳ vọng sẽ giúp việc tự động hóa ngôi nhà trở nên dễ tiếp cận hơn với nhiều đối tượng hơn.

Trợ lý Google trên loa và màn hình Nest cũng đang nhận được sự hỗ trợ từ Gemini. Trợ lý được nâng cấp sẽ hiểu ngôn ngữ tự nhiên tốt hơn, cho phép tương tác đàm thoại nhiều hơn. Bạn sẽ có thể đặt các câu hỏi tiếp theo, diễn đạt lại các truy vấn của mình và thậm chí hỏi những sự thật hoặc ý kiến ​​​​thú vị. Thậm chí còn có giọng nói Trợ lý mới và một số giọng nói khác dự kiến ​​sẽ được tung ra vào cuối năm nay.

Những cải tiến này ban đầu sẽ được triển khai cho một số lượng hạn chế người đăng ký Nest Aware trong Bản xem trước công khai vào cuối năm nay và dự kiến ​​sẽ phát hành rộng rãi hơn trong tương lai.

Tại hội nghị I/O mới diễn ra, Google đã tiết lộ một tính năng mới cho Circle to Search. Bây giờ nó có thể giúp học sinh làm bài tập về nhà. Khi một học sinh khoanh tròn một lời nhắc mà họ mắc kẹt, họ sẽ nhận được hướng dẫn từng bước để giải “một loạt các bài toán đố về vật lý và toán học mà không cần rời khỏi bảng thông tin kỹ thuật số hoặc giáo trình”.

Và Google cho biết cuối năm nay Circle to Search sẽ có thể giúp giải quyết các vấn đề phức tạp hơn liên quan đến các công thức, sơ đồ và đồ thị mang tính biểu tượng. Tất cả điều này có thể thực hiện được nhờ LearnLM mới của Google, một nỗ lực nhằm nâng cao các sản phẩm và mô hình học tập của Google.

Google cho biết Circle to Search hiện đã có mặt trên hơn 100 triệu thiết bị và sẽ có thêm 100 triệu thiết bị nữa vào cuối năm nay.

Gemini trên Android sẽ sớm hiểu bạn đang sử dụng ứng dụng nào và bạn đang làm gì trong ứng dụng đó để trở nên hữu ích hơn. Vì vậy, nếu bạn đang xem một video trên YouTube, bạn có thể hỏi Germini về video đó. Nó cũng sẽ cho phép bạn kéo và thả hình ảnh được tạo vào Gmail, Google Messages và “những nơi khác”.

Nếu bạn sử dụng Gemini Advanced, bạn cũng có thể hỏi nó những thông tin về tệp PDF bạn đang xem mà không cần phải cuộn qua nhiều trang. Google cho biết tính năng này sẽ được triển khai cho hàng trăm triệu thiết bị trong vài tháng tới.

Gemini Nano, mô hình nền tảng trên thiết bị, sẽ nhận được bản cập nhật vào cuối năm nay trên các thiết bị Pixel, khi nó trở thành Gemini Nano với Đa phương thức. Vì vậy, nó sẽ không chỉ xử lý nội dung nhập văn bản cục bộ trên thiết bị mà còn hiểu thêm thông tin trong ngữ cảnh như hình ảnh, âm thanh và ngôn ngữ nói.

Khả năng đa phương thức của Gemini Nano sẽ có mặt trên TalkBack “vào cuối năm nay”, giúp những người mù hoặc thị lực kém “có được những mô tả phong phú hơn và rõ ràng hơn về những gì đang diễn ra trong một hình ảnh”. Và vì Gemini Nano có sẵn trên thiết bị nên các mô tả diễn ra nhanh chóng và hoạt động ngay cả khi không có kết nối mạng.

Cuối cùng, Google đang thử nghiệm một tính năng mới sử dụng Gemini Nano để cung cấp cảnh báo theo thời gian thực trong cuộc gọi nếu phát hiện “các kiểu hội thoại thường liên quan đến lừa đảo”. Ví dụ nếu “đại diện ngân hàng” yêu cầu bạn chuyển tiền khẩn cấp hay những cuộc gọi đại loại vậy sẽ được cảnh báo ngay cho bạn.

Tất cả quá trình bảo vệ đều diễn ra trên thiết bị nên cuộc trò chuyện “được giữ riêng tư với bạn”. Đây sẽ là một tính năng chọn tham gia và Google hứa hẹn sẽ cho chúng ta biết thêm thông tin “vào cuối năm nay”.