What is art collab ?

Art Collab is a web service that allows you to associate music from 5 proposals with a painting in a museum and then discuss your choices with other users of this web service. It is dedicated to musicians and attempts to reinvent the traditional museum visit.

Why artcollab is an interesting project that reaches our target audience ?

Art Collab targets musicians because musicians have a particular interest in all art forms and are eager to combine visual and auditory art. Indeed, Debussy stated that he "loved images almost as much as music". This is why the exhibition Debussy, Music and the Arts at the Musée de l'Orangerie aims to show the presence of visual arts in Debussy's entourage, and to show how they have influenced him in the writing of his greatest works. There is a real connection between the auditory and visual arts, which is what Art collab aims to recreate.

Debussy, musicien esthète

In addition, the links between music and the visual arts are reflected in the fact that many painters, sculptors or architects play an instrument, compose music or simply enjoy listening to it while working. Seeing the music, listening to the painting: "Perfumes, colours and sounds respond to each other" writes Charles Baudelaire in the poem "Correspondences" of the Fleurs du mal.

See the music

This feeling is supported by scientific work on synesthesia, i.e. the ability to hear colours: to know more about it Musicians are therefore a particularly interesting target for developing an application like Art collab. There is a real desire on their part to be able to enjoy several arts at the same time.

Why artcollab reinvents the way you visit a museum and why is it interesting ?

The museum very often becomes an obsolete place and visiting museums lacks interaction. More and more museums are trying to reinvent the traditional way of visiting museums. Indeed, some museums provide visitors with period costumes or costumes to immerse themselves in an atmosphere, as is the case with the Charles Dickens Museum. 

7 different ways to visit a museum

Music can therefore be a way to reinvent the visit to a museum because the musical experience allows a theme to be approached from a new angle. The Musée de l'Homme has already launched this trend by allowing visitors to discover the themes of the exhibition "Nous et les Autres" through musical trajectories.

Music to discover ourselves

Why Art collab goes further than its direct competitors ?

Art collab succeeded in bringing together the collaborative and sharing aspect, dear to musicians, in a museum visit context. It is on this point that art collab differs from its competitors. Indeed, the collaborative aspect already exists with Kompoz Music Collaboration, which allows musicians from all over the world to create music collaboratively via the web. But this web service has no links with museums and therefore neglects the link between visual and auditory art. This is also the case with sites like Deezer or Spotify which allow us to share our favorite songs with our followers through a playlist made public. On the other hand, the sonography in the museum (already present in many museums: museums of Orsay, Quai-Branly, Louvre...) does not imply the collaborative aspect between visitors. It remains in the background behind the visual works and is not the subject of any discussion.

Thus Art collab has the ambition to combine these two aspects in a single web service to reinvent an original way of visiting a museum for musicians.

How to use the ArtCollab WebService?

Let's get started

Send your image

You can use AJAX to call the ArtCollab. You'll have to pass an URL which links to an image, and will receive an array of musics matching the image in return. If you are using jQuery, you can use the $.ajax() function in the code snippet below to get started.

$.ajax({
url: 'https://artcollab.com/api/',
data: '{ "imageUrl" : "http://mysite.com/myimage" }'
dataType: 'json',
success: function(data) {
console.log(data);
}
});

Results

The API will provide you with a formatted object which contains an array with all the matching musics.

{
"results": [ { "author": "Kanye west",
"title": "Stronger",
"album": "graduation",
"date":"2006–07",
"music_link": "https://spotify.me/kanye/stronger",
"album_image": "https://album.img/graduation.png",
"matching_result": "80%"
}]
}

Beginning of the project

This part is in french, sorry ...

Context

IART est un web service qui peut être développé dès maintenant grâce aux technologies actuelles. Il s'agit d'un appplication que l'on télécharge sur son téléphone portable ou sur une tablette tactile. Ce web service est, pour les musiciens et mélomanes, une nouvelle facon de visiter les musées et de découvir de nouvelles musiques. En effet, le but est de transformer la façon dont les musiciens visitent les musées en alliant musique, peinture et sculture. Les musiciens sont des artistes et la grande majorité d'entre eux s'intéressent à toutes les formes d'art. Ainsi, une application qui réussit à réunir deux arts en même temps est parfaitement adaptée à cette cible. Grâce à cette application, deux sens soit l'ouïe et la vue sont stimulées afin de rendre l'expérience artistique plus intense. Cette expérience artistique inédite peut ensuite être revécue car l'application enregistre la liste de musique et les photos prises en visitant le musée. Utilisable de nos jours. Le lieu est imposé par le sujet, ce web service est donc dédié aux musées, ainsi qu'à l'audience ciblée, qui se trouve dans notre cas être les musiciens.

Le but de ce web service est de créer un espace artistique qui allie l'ouïe et la vue, la musique et la peinture pour un donner aux musiciens une nouvelle expérience de la viste des musées mais aussi de pouvoir prolonger cette expérience une fois avoir quitté le musée.

Target

Cette application s'adresse principalement aux musiciens. Il s'agit de la cible d'individus pour qui cette application serait la plus appropriée. En effet, les musiciens ont un intérêt particulier pour tout ce qui touche à l'art et sont donc plus enclins à visiter des musées par rapport à d'autres catégories sociales. Les musiciens sont particulièrement intéresssés par tout ce qui touche aux sens, cette application est une façon de découvir un musée par les sens. Enfin, les musiciens sont souvent menés à utiliser des nouvelles technologies pour écouter de la musique et ont donc des connaissances suffisantes dans ce domaine pour leur permettre d'utiliser cette application au mieux. Ce web service est dédié aux musiciens car ils ont tendance à être intéressés par les arts de façon transversale donc une application qui allie peinture et musique est faite pour eux. Les musiciens sont des passionnés ainsi ce service leur permet d'avoir à la fois une expérience musicale et d'explorer le musée.

Service offered

Il s'agit d'un web service qui prend en input une image d'oeuvre d'art et qui renvoit en output la musique correspondante se basant sur des paterns en commum définis par un instrument IA de deep learning. L'application enregistre la liste de musique qui a été écoutées pendant la visite du musée ainsi que les photos prises. Ainsi, grâce à l'application et à une connection internet, l'utilisateur (ici le musicien) peut revivre la visite de son musée et réécouter les morceaux de musique qu'il aura découvert pendant cette expérience.

Identity

Web interface

Il faut un web service qui ait une capacité suffisante pour recevoir toutes les données. Les utilisateurs vont avoir une application qui leur donnera accès au service. Les utilisateurs vont prendre en photo une oeuvre avec leur téléphone qui va ensuite leur renvoyer une musique en fonction de cette oeuvre.

Ce projet est relié au web car il permet d'enregistrer la photo qui a été prise et la musique qui aura été associée à cette photo pour que l'utilisateur puisse la réécouter une fois être sorti du musée grâce à une connection internet.


L'utilisateur va utiliser cette application de la façon suivante:

  • L'utilisateur se trouve dans un musée et souhaite avoir une expérience inédite qui mélange peinture, sculpture et musique. Il lui suffit donc de prendre son téléphone portable, de se connecter et de commencer en cliquant sur "What music with this masterpiece".
  • L'utilisateur prend la photo de l'oeuvre et l'application l'associe à une musique. L'appplication enregistre également l'ensemble des photos et des musiques écoutées.
  • L'utilisateur rentre chez lui mais ressent l'envie d'écouter de nouveau les musiques qu'il a découvertes. Il lui suffit d'avoir une connection internet, de retourner sur l'aplication, de s'identifier et de cliquer sur "Playlist". Il peut dès lors avoir la liste des musiques ainsi que le tableau associé. L'utilisateur peut renouveler cette opération autant de fois qu'il le souhaite.


  • Les différentes étapes pour utiliser l'application sont les suivantes:

  • L'utilisateur arrive sur la page d'accueil où il doit s'inscrire. Il choisit un nom d'utilisateur et fournit des informations sur son identité (nom, âge, vill, l'instrument qu'il joue).
  • L'utilisateur arrive alors sur la page principale où se trouve le menu principal et les différentes fonctionnalités de l'application. Dans le menu, il peut choisir: "What music with this masterpiece" // "Playlist" // "Personnal page// "Parameters"
  • S'il choisit "What music with this masterpiece", l'appareil photo du téléphone portable s'ouvre automatiquement. Il n'a plus qu'à prendre l'oeuvre en photo. L'application associe alors la photo prise à une musique. L'utilisateur n'a qu'à cliquer sur cette musique pour l'écouter. Il peut ensuite décider de la supprimer avec le bouton "Delete". Il peut alors reprendre une nouvelle photo et une autre musique sera associée à cette nouvelle photo. S'il ne supprime pas la musique, elle sera enregistrée automatiquement par l'application.
  • Sur le menu principal, l'utilisateur peut choisir "Playlist". Il pourra alors écouter toutes les playlists qui ont été enregistrées grâce à une connection internet. L'utilisateur peut à tout moment renommer les playlists ou les supprimer.
  • S'il choisit "Personnal pages", l'utilisateur aura accès à sa photo de profil, son nom d'utilisateur et ses informations personnelles.
  • S'il choisit "Parameters", il pourra modifier et ajuster les points techniques de son application.
  • Lorsque l'utilsateur prend des photos, il utilise l'application mais lorsqu'il souhaite accèder à "playlist", il utilise le web.

    Benchmark

    • google art car c'est un web service en relation avec les expositions mais ils n'intègrent pas la dimension musicale dans leur projet
    • les audioguides car ils fournissent une expérience auditive lors de la visite du musée mais l'expérience musicale est très limitée
    • les algorythmes de recommandations de youtube car ils permettent de faire découvir de la musique mais ils n'intègrent la visite d'un musée avec cette découverte

    References

    books/films/articles/...


    Mockup

    No need of screenshots when you can play !
    Use our live mockup directly from the embed phone in our landing page