J'utilise hadoop pour écrire des données que je gratte.
J'ai un service Spring qui est appelé à partir de plusieurs threads pour écrire du contenu sur le HDFS.
@Service
public class WriteService
{
public void write(String path, String content)
{
FileSystem fs = FileSystem.get(conf);
}
}
Je ne sais pas si l'objet FileSystem peut être membre de WriteService et je ne trouve pas s'il est thread-safe ou non. J'utilise l'objet DistributedFileSystem.
Savez-vous s'il est thread-safe et je peux l'utiliser en tant que membre de mon service ?
Merci
Solution du problème
Hadoop DFS utilise un soi-disant WORM-Model. Cela le rend plus robuste en ce qui concerne les problèmes de concurrence.
Mais, pour répondre à la question, ce n'est pas sûr en général. Vous devez toujours réfléchir aux exigences de contrôle de la concurrence.
Aucun commentaire:
Enregistrer un commentaire