Работает система Photosynth следующим образом. Вначале специальное программное обеспечение анализирует пакет фотоснимков, выискивая на них общие элементы, например, окна на зданиях, дверные ручки, лица людей и так далее. Затем между снимками, на которых были обнаружены характерные черты, устанавливаются связи. В том случае, если системе удастся найти достаточно большое количество фотографий с общими элементами, может быть сформирована 3D-модель сцены.

Комплекс Photosynth позволяет просматривать объекты или сцены с различных углов, приближать или отдалять отдельные элементы, искать похожие фотографии и пр. Изображения для формирования 3D-модели не обязательно должны быть сделаны в одно время и одним человеком. Система Photosynth может связывать в единое целое фотографии различных фотографов, снятые с разным разрешением, при различных условиях и в разное время года.

В основу комплекса Photosynth положены как собственные разработки Microsoft, так и технологии компании Seadragon, в частности, методика быстрого масштабирования изображений. В Microsoft отмечают, что система Photosynth способна обрабатывать коллекции из сотен и даже тысяч фотографий высокого разрешения. Для работы с системой потребуется компьютер, оборудованный минимум 256 Мб оперативной памяти (рекомендуется 1 Гб) и современным графическим контроллером с поддержкой программного интерфейса DirectX 9. Пакет Photosynth совместим с операционными системами Microsoft Windows ХР и Windows Vista, а также браузерами Internet Explorer и Firefox.