Определенные зачатки визуального поиска поисковые системы демонстрируют довольно давно.

Это известные всем пользователям сервисы поиска по картинкам.

Сегодня практически каждая поисковая система предоставляет своим посетителям широкие возможности сортировки найденных изображений. Но назвать существующие сегодня сервисы поиска по изображениям полноценными сервисами визуального поиска нельзя.

Во-первых, поисковые системы ориентируются на описание изображения, составленное владельцем или оптимизатором сайта, на котором оно расположено, а это описание не всегда может соответствовать действительности. Во-вторых, роботы поисковых систем все еще не умеют корректно сортировать изображения по заданным признакам.
Безусловно, существует множество различных критериев сортировки найденных изображений, предлагаемых поисковыми сервисами, но в большинстве случаев они бесполезны, так как на подавляющем большинстве картинок изображено не совсем то, что ищет пользователь.

Основной задачей поисковых систем, в плане разработки визуального поиска, является создание сервисов, которые смогли бы анализировать и выдавать информацию о картинках на лету.

Представьте следующую ситуацию. В своем старом семейном альбоме вы нашли фотографию прадедушки, который стоит рядом с неким средневековым замком, где-то в Европе. Вам вдруг ужасно захотелось узнать о том, что именно это за замок, где он расположен и какова его история.
Так вот, используя визуальный поиск будущего, каждый желающий сможет загрузить подобную фотографию на сервер поисковой системы и получить исчерпывающую информацию о том, что на ней изображено.

Некоторым прорывом в области визуального поиска можно считать приложение Google Goggles, которым оснащены смартфоны, работающие на базе OS Android. Во время наведения камеры на какой-либо объект, приложение отсылает его изображение на сервер поискового сервиса Google, где происходит его анализ. Если поисковик находит информацию о таком объекте, то владелец телефона получает его описание в виде ссылок, перейдя по которым можно узнать точную информацию об этом объекте.
Реализация подобных сервисов требует серьезных трудовых и временных затрат, поэтому говорить о появлении полноценного визуального поиска в скором времени еще рано.

Сам по себе визуальный поиск предполагает наличие у поисковых систем огромной базы данных, содержащей фото практически каждого метра земной поверхности, изображения всех мыслимых и немыслимых одушевленных и неодушевленных предметов, которые можно встретить по всей Земле и за ее пределами. Кроме того, должно присутствовать детальное описание этих объектов и предметов.
Безусловно, работа по созданию такой базы данных ведется поисковыми системами не один год. В 2005 году компания Google пошла на маленькую хитрость и запустила сервис Google Base, позволяющий загружать на сервера поисковика файлы абсолютно любого типа, а также давать им название, составлять описание и назначать метки.