Décomposer un gros flux JSON

RPG (3 et 4, free), CL, SQL, etc...
Répondre
guiscard
Messages : 8
Enregistré le : jeu. 23 oct. 2008, 11:06:48

Décomposer un gros flux JSON

Message par guiscard »

Bonjour

Nous allons recevoir des flux avec du JSON pouvant contenir jusqu'à 1 giga de données.
Je cherche à savoir quelle est la solution la plus performante pour décomposer le flux.

Merci d'avance pour votre aide.

nbonnet
Messages : 133
Enregistré le : mar. 11 sept. 2018, 08:20:13
Localisation : Lyon

Re: Décomposer un gros flux JSON

Message par nbonnet »

Bonjour,

Json_table supporte des CLOB, donc jusqu'à 2Go en entrée normalement.
Je n'ai pas de comparatif de performance par rapport à d'autres technologies (je pense à node.js qui manipule json de façon très naturelle par exemple).
Nathanaël

guiscard
Messages : 8
Enregistré le : jeu. 23 oct. 2008, 11:06:48

Re: Décomposer un gros flux JSON

Message par guiscard »

Bonjour,

Merci pour les solutions proposées.
J'ai essayé un flux de 600 Mo avec la fonction JSON_TABLE et les temps de traitement sont par contre ..... un peu désastreux (Cf. une journée pour parser et lire les données).
Pour un flux donné, j'ai un truc que je ne m'explique pas.
Il s'agit là aussi d'un flux du même tonneau et la lecture du curseur généré à partir du JSON_TABLE me renvoie un SQLCOD à 100 alors que le fichier est bien rempli.
Si quelqu'un a une idée du pourquoi, je suis preneur.

Merci d'avance

Répondre