IMPRESSIONS

To what extent can a neural network be an author or co-author of an artwork? In my project I decided to give the computer vision technology

a role of an active co-author, and I left more passive part for myself – to shot objects “seen” by bot in abstract macrophotographies.

I experimented with the service CaptionBot by Microsoft which is made to recognize and give verbal description of images.

I wanted to explore if the neural network is prone to pareidolia – the type of visual illusions when we mistakenly recognize familiar images in abstract shapes (the common example is seeing of animal figures in the clouds). I uploaded different abstract photos at CaptionBot – from fragments of cloudy sky

to folds of fabric – and found out that its “fancy” was very active with roughly made fingerprints. It seemed interesting to me:

it would seem, a fingerprint is

a trivial ID usually read by automatic devices. Today we perceive a fingerprint as a sing, a symbol, but not as

a meaningful image.

The paradox is that neural network “saw” almost a poetry in uploaded fingerprints: body of water, animals, birds.

So the theme of my series was determined: I uploaded the macrophotographies of fingerprints of different people at the service and got the verbal descriptions from CaptionBot. Then I shot the objects “seen” by the bot and the portraits of those, who had left the prints, in the relevant scenes.

ОТПЕЧАТКИ

До какой степени можно считать нейросеть автором/соавтором произведения?

В этом проекте я решила отдать технологии компьютерного зрения роль активного соавтора, а себе оставить в чем-то более пассивную функцию: снимать то, что бот увидел

в абстрактных макроснимках и описал словами.

Для экспериментов я выбрала сервис CaptionBot от Microsoft, который умеет распознавать

и описывать изображения. Мне хотелось проверить, подвержена ли нейросеть парейдолии — зрительным иллюзиям, когда в объектах

и абстрактных очертаниях

мы ошибочно распознаём знакомые образы (самый простой пример — фигуры животных в облаках). Для этого я сначала загружала

на CaptionBot разные условно абстрактные фотографии —

от фрагментов облачного неба до складок ткани —

и выяснила, что у бота особенно сильно «разыгрывается фантазия», если показывать ему небрежно сделанные отпечатки пальцев крупным планом. Мне показалось это интересным: казалось бы, отпечаток пальца — банальный идентификатор, который часто считывается автоматическими устройствами. Мы уже воспринимаем его как знак, символ, но не как самостоятельное изображение. Парадокс в том, что нейросеть «разглядела»

в отпечатках чуть ли не поэзию: поверхность воды, птиц, животных.

Так определилась тема серии: я загружала макроснимки отпечатков пальцев разных людей на CaptionBot

и получала от бота описания того, что он видит на этих фото. А затем снимала «увиденные» им объекты плюс портреты хозяев отпечатков

в соответствующих сценах.