GOOGLE ADS

jeudi 28 avril 2022

Hadoop DistributedFileSystem est-il sûr pour les threads ?

J'utilise hadoop pour écrire des données que je gratte.

J'ai un service Spring qui est appelé à partir de plusieurs threads pour écrire du contenu sur le HDFS.

@Service
public class WriteService
{
public void write(String path, String content)
{
FileSystem fs = FileSystem.get(conf);
}
}

Je ne sais pas si l'objet FileSystem peut être membre de WriteService et je ne trouve pas s'il est thread-safe ou non. J'utilise l'objet DistributedFileSystem.

Savez-vous s'il est thread-safe et je peux l'utiliser en tant que membre de mon service ?

Merci


Solution du problème

Hadoop DFS utilise un soi-disant WORM-Model. Cela le rend plus robuste en ce qui concerne les problèmes de concurrence.

Mais, pour répondre à la question, ce n'est pas sûr en général. Vous devez toujours réfléchir aux exigences de contrôle de la concurrence.

Aucun commentaire:

Enregistrer un commentaire

Comment utiliseriez-vous .reduce() sur des arguments au lieu d'un tableau ou d'un objet spécifique ?

Je veux définir une fonction.flatten qui aplatit plusieurs éléments en un seul tableau. Je sais que ce qui suit n'est pas possible, mais...