Software » Memory FS?
Memory FS?
Publié le 08/06/2006 @ 13:13:18,
Par zionHellu la foule
Je suis à la recherche d'un moyen de mettre en mémoire un répertoire sur ma machine Linux pour lui donner un petit coup de vif. Le principe, c'est que j'ai un disque de 80go, avec peut être 4go d'occupé réellement... et dans ces 4go, il y a 100mb qui sont utilisés quasi en permanence.
Du coup, je reviens avec l'idée du memdisk qui existait sous dos à la bonne vieille époque, mais sous Linux, ca a l'air un rien plus complexe.
En fait, j'aurais espéré qu'avec le temps, un FS me permettre de placer un répertoire en mémoire et sur disque et qu'il gère la synchro par lui même (il y a très peu de modifications, mais ca doit tourner directement au boot et permettre une maj facile).
J'avais trouvé qu'apparemment, on peut utiliser /dev/memXXX (si je me plante pas), mais ce sont des blocs de 4MB par défaut, et bon, de devoir faire pleins de répertoires de 4MB ou recompiler le kernel pour pouvoir avoir plus gros, ca le fait pas
Bref, qqn a une idée, un outil quivabien, etc, etc?
Je suis à la recherche d'un moyen de mettre en mémoire un répertoire sur ma machine Linux pour lui donner un petit coup de vif. Le principe, c'est que j'ai un disque de 80go, avec peut être 4go d'occupé réellement... et dans ces 4go, il y a 100mb qui sont utilisés quasi en permanence.
Du coup, je reviens avec l'idée du memdisk qui existait sous dos à la bonne vieille époque, mais sous Linux, ca a l'air un rien plus complexe.
En fait, j'aurais espéré qu'avec le temps, un FS me permettre de placer un répertoire en mémoire et sur disque et qu'il gère la synchro par lui même (il y a très peu de modifications, mais ca doit tourner directement au boot et permettre une maj facile).
J'avais trouvé qu'apparemment, on peut utiliser /dev/memXXX (si je me plante pas), mais ce sont des blocs de 4MB par défaut, et bon, de devoir faire pleins de répertoires de 4MB ou recompiler le kernel pour pouvoir avoir plus gros, ca le fait pas
Bref, qqn a une idée, un outil quivabien, etc, etc?
Je suis le Roy
Memory FS?
Publié le 08/06/2006 @ 13:18:29,
Par zionAlors, correction, c'est /dev/ram, mais j'avais testé c'est pas concluant (à cause de la taille fixée pénible à changer et des soucis de synchros vis à vis d'un répertoire persistant).
Je suis le Roy
Memory FS?
Publié le 08/06/2006 @ 13:27:02,
Par ovhD'après ce que je vois ici, tu peux changer la taille du ramdisk sans devoir recompiler
Il parle juste d'une option de lilo
http://www.tldp.org/linuxfocus/Francais/November1999/article124.html
Bon l'article est vieux, il doit y avoir mieux depuis
Il parle juste d'une option de lilo
http://www.tldp.org/linuxfocus/Francais/November1999/article124.html
Bon l'article est vieux, il doit y avoir mieux depuis
Je n'ai rien à voir avec www.ovh.com
Memory FS?
Publié le 08/06/2006 @ 13:34:24,
Par zionOui, mais j'avais fait le tour, c'était une option à rebalancer à chaque boot.
Hors la machine est live, et je peux pas me permettre de faire des reboots pour tester si ca va merder au prochain boot ou pas.
J'ai trouvé des infos sur tmpfs ou ramfs pour le moment, je continue mon investigation, mais mon rêve serait vraiment d'avoir un truc géré dynamiquement (pour la taille) et qui s'occupe de la synchro tout seul... Le rêve quoi
Hors la machine est live, et je peux pas me permettre de faire des reboots pour tester si ca va merder au prochain boot ou pas.
J'ai trouvé des infos sur tmpfs ou ramfs pour le moment, je continue mon investigation, mais mon rêve serait vraiment d'avoir un truc géré dynamiquement (pour la taille) et qui s'occupe de la synchro tout seul... Le rêve quoi
Je suis le Roy
Memory FS?
Publié le 08/06/2006 @ 13:35:10,
Par zionphilfr> oui, mais si je veux une synchro (à sens unique, disque -> ram), c'est pour ma gueule?
Je suis le Roy
Memory FS?
Publié le 08/06/2006 @ 13:37:51,
Par philfrTu ne gagneras pas de performances en copiant tes données en ramdisk.
Car tmpfs, la cache disque de l'OS et la mémoire virtuelle ne font qu'un sous linux...
Si tes 100MB sont souvent utilisés, ils restent en cache OS comme s'ils étaient en ramdisk.
Car tmpfs, la cache disque de l'OS et la mémoire virtuelle ne font qu'un sous linux...
Si tes 100MB sont souvent utilisés, ils restent en cache OS comme s'ils étaient en ramdisk.
Memory FS?
Publié le 08/06/2006 @ 13:40:49,
Par zionSincèrement, vu le nombre d'accès disque alors que la plupart du temps il n'y a accès qu'à ces 100mb (et que j'ai 2gb de ram), j'en doute.
J'avais tenté le coup en placant un petit site en me basant sur /dev/ram et la différence de performance était énorme.
Même si le système utilise d'autres fichiers, j'aimerais réellement que ces 100MB soient en ram, quoi qu'il arrive
EDIT: En fait, si je pouvais donner une priorité plus importante à ce répertoire pour qu'il soit en cache automatiquement, ce serait encore mieux
Dernière édition: 08/06/2006 @ 13:41:53
J'avais tenté le coup en placant un petit site en me basant sur /dev/ram et la différence de performance était énorme.
Même si le système utilise d'autres fichiers, j'aimerais réellement que ces 100MB soient en ram, quoi qu'il arrive
EDIT: En fait, si je pouvais donner une priorité plus importante à ce répertoire pour qu'il soit en cache automatiquement, ce serait encore mieux
Dernière édition: 08/06/2006 @ 13:41:53
Je suis le Roy
Memory FS?
Publié le 08/06/2006 @ 13:43:33,
Par zionSinon, pour en dire un peu plus, c'est pour ce serveur que j'y pense. Sur HFR, ils ont foutu toutes les images dans un ramdisk pour soulager les disques, et ca avait donné un bon coup de fouet à la machine.
Donc voila, j'aurais voulu faire la même chose sur ma machine
Donc voila, j'aurais voulu faire la même chose sur ma machine
Je suis le Roy
Memory FS?
Publié le 08/06/2006 @ 13:46:16,
Par gizmoet un I-RAM, ça serait pas plus simple à mettre en oeuvre?
Concept vivant.
Memory FS?
Publié le 08/06/2006 @ 13:50:09,
Par zionAh oui, pas mal l'I-RAM, je connaissais pas.
Mais faut alors que j'achète le matos, retourne au serveur, etc, etc... Mais je peux y penser pour le futur, c'est pas mal. Reste par contre à faire un sync de temps à autre pour éviter de tout perdre si la batterie claque
Mais faut alors que j'achète le matos, retourne au serveur, etc, etc... Mais je peux y penser pour le futur, c'est pas mal. Reste par contre à faire un sync de temps à autre pour éviter de tout perdre si la batterie claque
Je suis le Roy
Memory FS?
Publié le 08/06/2006 @ 13:50:47,
Par philfrTu gagneras du temps en écriture dans ces fichiers. En lecture, tmpfs EST la cache et les accès mémoire n'ont pas de seek time.
Je viens de le redemander à un collègue qui a développé un file system pour Linux ...
Si ton disque fait du bruit quand les fichiers sont sur disque et pas quand ils sont en ramdisk, c'est que tu as un autre problème. Combien de RAM as-tu ? Quelles sont les options de mount de ton disque ? Ne serais-tu pas en train de swapper (voir free et vmstat) ?
Je viens de le redemander à un collègue qui a développé un file system pour Linux ...
Si ton disque fait du bruit quand les fichiers sont sur disque et pas quand ils sont en ramdisk, c'est que tu as un autre problème. Combien de RAM as-tu ? Quelles sont les options de mount de ton disque ? Ne serais-tu pas en train de swapper (voir free et vmstat) ?
Memory FS?
Publié le 08/06/2006 @ 13:52:28,
Par philfrCela dit, un petit script au boot qui copie ton répertoire en tmpfs, c'est pas dur...
Dernière édition: 08/06/2006 @ 13:53:25
Dernière édition: 08/06/2006 @ 13:53:25
Memory FS?
Publié le 08/06/2006 @ 13:55:35,
Par ovhIl a 2 GB de RAM il a dit
Je n'ai rien à voir avec www.ovh.com
Memory FS?
Publié le 08/06/2006 @ 13:58:22,
Par zionNon, ma ram se porte bien:
Mem: 2074952k total, 1845516k used, 229436k free, 24k buffers
Swap: 2040212k total, 2568k used, 2037644k free, 1258140k cached
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 2568 230312 24 1258404 0 0 14 18 11 10 19 1 80 1
Pour le disque, je sais pas trop le surveiller, il est à diegem. Mais quand j'y vais, je vois la led du disque qui s'éteint quasi jamais
Dernière édition: 08/06/2006 @ 13:58:40
Mem: 2074952k total, 1845516k used, 229436k free, 24k buffers
Swap: 2040212k total, 2568k used, 2037644k free, 1258140k cached
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 2568 230312 24 1258404 0 0 14 18 11 10 19 1 80 1
Pour le disque, je sais pas trop le surveiller, il est à diegem. Mais quand j'y vais, je vois la led du disque qui s'éteint quasi jamais
Dernière édition: 08/06/2006 @ 13:58:40
Je suis le Roy
Memory FS?
Publié le 08/06/2006 @ 14:13:42,
Par didixEt en demandant à HFR comment qu'ils ont fait ?
Memory FS?
Publié le 08/06/2006 @ 14:21:25,
Par zionNon, je sais, il s'en fout lui, un simple bloc de 8 ou 16mb suffit amplement, mais j'ai plus en pages/images qu'hfr à stocker quand même
Je suis le Roy
Memory FS?
Publié le 08/06/2006 @ 14:25:26,
Par philfrPour l'activité de ton disque, laisse tourner "vmstat 5" pendant 30 secondes, et tu verras s'il y a effectivement de l'activité dans la colonne io (bo/bi)...
Memory FS?
Publié le 08/06/2006 @ 14:32:17,
Par zionprocs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
2 0 2568 233476 24 1264612 0 0 14 18 12 10 19 1 80 1
0 0 2568 233492 24 1264612 0 0 0 26 1005 37 0 0 100 0
0 0 2568 233508 24 1264624 0 0 0 108 1032 133 5 0 94 0
0 0 2568 233652 24 1264668 0 0 0 362 1048 186 26 1 73 0
0 0 2568 229924 24 1264740 0 0 0 56 1072 114 4 1 95 0
0 0 2568 232060 24 1264700 0 0 0 98 1051 139 11 1 88 0
0 0 2568 232084 24 1264712 0 0 0 26 1015 80 16 0 84 0
0 0 2568 232288 24 1264460 0 0 0 218 1077 97 0 0 99 0
2 0 2568 232328 24 1264460 0 0 0 17 1010 57 1 0 98 0
r b swpd free buff cache si so bi bo in cs us sy id wa
2 0 2568 233476 24 1264612 0 0 14 18 12 10 19 1 80 1
0 0 2568 233492 24 1264612 0 0 0 26 1005 37 0 0 100 0
0 0 2568 233508 24 1264624 0 0 0 108 1032 133 5 0 94 0
0 0 2568 233652 24 1264668 0 0 0 362 1048 186 26 1 73 0
0 0 2568 229924 24 1264740 0 0 0 56 1072 114 4 1 95 0
0 0 2568 232060 24 1264700 0 0 0 98 1051 139 11 1 88 0
0 0 2568 232084 24 1264712 0 0 0 26 1015 80 16 0 84 0
0 0 2568 232288 24 1264460 0 0 0 218 1077 97 0 0 99 0
2 0 2568 232328 24 1264460 0 0 0 17 1010 57 1 0 98 0
la colonne bo bouge en effet...
Dernière édition: 08/06/2006 @ 14:33:41
Je suis le Roy
Memory FS?
Publié le 08/06/2006 @ 14:33:28,
Par zionprocs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
5 0 2568 234272 24 1264548 0 0 14 18 12 10 19 1 80 1
0 0 2568 231684 24 1264580 0 0 0 50 1058 153 14 1 85 0
0 0 2568 230312 24 1264576 0 0 0 138 1078 199 48 1 51 0
1 0 2568 213100 24 1264592 0 0 0 649 1179 200 62 2 29 7
0 0 2568 211732 24 1264832 0 0 0 387 1096 139 29 1 69 0
0 0 2568 208780 24 1264660 0 0 0 30 1062 155 41 0 58 0
r b swpd free buff cache si so bi bo in cs us sy id wa
5 0 2568 234272 24 1264548 0 0 14 18 12 10 19 1 80 1
0 0 2568 231684 24 1264580 0 0 0 50 1058 153 14 1 85 0
0 0 2568 230312 24 1264576 0 0 0 138 1078 199 48 1 51 0
1 0 2568 213100 24 1264592 0 0 0 649 1179 200 62 2 29 7
0 0 2568 211732 24 1264832 0 0 0 387 1096 139 29 1 69 0
0 0 2568 208780 24 1264660 0 0 0 30 1062 155 41 0 58 0
et ca, c'est en loadant sur le site en même temps...
Je suis le Roy