В данной статье рассмотрено развитие исследований в области аудиовизуального взаимодействия, обоснована необходимость изучения мультимодального человеческого восприятия, приведены примеры экспериментов по анализу восприятия пространственного звука и стереоизображения, в том числе «кибер-глаз», принципиально новый метод исследования с помощью отслеживания движений глаз, который предлагается использовать для измерения взаимодействия пространственных аудиовизуальных образов. Автор считает, что количественные данные, полученные в результате изучения пространственного взаимодействия сигналов, могут быть использованы для творческих задач в сфере мультимедиа.
Ключевые слова: аудиовизуальное взаимодействие в восприятии человека, мультимедиа, пространственный звук и стереоизображения, эволюция исследований.
Список литературы
1. Манъкоеский В. С. Влияние зрительного восприятия на слуховую локализацию источника звука// Вопросы психологии. 1969. № 4.
2. Blauert J. Communication Acoustics. Springer-Verlag. Berlin: Heidelberg, 2005.
3. Barfield W., Hendrix C, Bjorneseth O., Kaczmarek K., andLotens W. Comparison of Human Sensory Capabilities with Technical Specifications of Virtual Environment Equipment // Presence, Vol. 4, No. 4, Fall 1995. P. 329-356.
4. Gilbert G. M. Inter-Sensory Facilitation and Inhibition // Journal of General Psychology, Vol. 24, 1941. P. 381-407.
5. Ivan D. Research on Sensory Interaction in the Soviet Union // Psychological Bulletin, Vol. 51, No. 6, 1954. P. 531-568.
6. Kunka В., Kostek B. Exploiting Audio-Visual correlation by means of gaze traking // International Journal of Computer Science and Applications, Technomathematics Research Foundation 2010. Vol. 7 No. 3, pp. 104-123.
7. Kunze К., Liebetrau J., and Korn T. Evaluating spatial congruency of 3D audio and video objects. Fraunhofer Institute for Digital Media Technology, IDMT, Ilmenau, Germany. AES Convention: 132 (April 2012). Paper Number: 8679.
8. Mannerheim P. Spatial sound and stereoscopic vision, AES International Conference, 2011.
9. Russell L. Storms «Auditory-visual cross-modal perception phenomena» Naval postgraduate school, Monterey, California, 1998. Dissertation.
