IMPRESSIONS
To what extent can a neural network be an author or co-author of an artwork? In my project I decided to give the computer vision technology
a role of an active co-author, and I left more passive part for myself – to shot objects “seen” by bot in abstract macrophotographies.
I experimented with the service CaptionBot by Microsoft which is made to recognize and give verbal description of images.
I wanted to explore if the neural network is prone to pareidolia – the type of visual illusions when we mistakenly recognize familiar images in abstract shapes (the common example is seeing of animal figures in the clouds). I uploaded different abstract photos at CaptionBot – from fragments of cloudy sky
to folds of fabric – and found out that its “fancy” was very active with roughly made fingerprints. It seemed interesting to me:
it would seem, a fingerprint is
a trivial ID usually read by automatic devices. Today we perceive a fingerprint as a sing, a symbol, but not as
a meaningful image.
The paradox is that neural network “saw” almost a poetry in uploaded fingerprints: body of water, animals, birds.
So the theme of my series was determined: I uploaded the macrophotographies of fingerprints of different people at the service and got the verbal descriptions from CaptionBot. Then I shot the objects “seen” by the bot and the portraits of those, who had left the prints, in the relevant scenes.
ОТПЕЧАТКИ
До какой степени можно считать нейросеть автором/соавтором произведения?
В этом проекте я решила отдать технологии компьютерного зрения роль активного соавтора, а себе оставить в чем-то более пассивную функцию: снимать то, что бот увидел
в абстрактных макроснимках и описал словами.
Для экспериментов я выбрала сервис CaptionBot от Microsoft, который умеет распознавать
и описывать изображения. Мне хотелось проверить, подвержена ли нейросеть парейдолии — зрительным иллюзиям, когда в объектах
и абстрактных очертаниях
мы ошибочно распознаём знакомые образы (самый простой пример — фигуры животных в облаках). Для этого я сначала загружала
на CaptionBot разные условно абстрактные фотографии —
от фрагментов облачного неба до складок ткани —
и выяснила, что у бота особенно сильно «разыгрывается фантазия», если показывать ему небрежно сделанные отпечатки пальцев крупным планом. Мне показалось это интересным: казалось бы, отпечаток пальца — банальный идентификатор, который часто считывается автоматическими устройствами. Мы уже воспринимаем его как знак, символ, но не как самостоятельное изображение. Парадокс в том, что нейросеть «разглядела»
в отпечатках чуть ли не поэзию: поверхность воды, птиц, животных.
Так определилась тема серии: я загружала макроснимки отпечатков пальцев разных людей на CaptionBot
и получала от бота описания того, что он видит на этих фото. А затем снимала «увиденные» им объекты плюс портреты хозяев отпечатков
в соответствующих сценах.