Freebox Server (Ultra V9/ Pop V8/ Delta V7 / Revolution V6 / Mini 4K)

Après plusieurs reboot:

Onglet disques” :
Supports de stockage
Disque Sata 0 de 2 To - Etat : Inactif - Table de partition : RAID - Connecteur SATA 0
Disque Sata 1 de 2 To - Etat : Inactif - Table de partition : RAID - Connecteur SATA 1
Disque Sata 3 de 2 To - Etat : Inactif - Table de partition : RAID - Connecteur SATA 3
Disque Sata 2 de 2 To - Etat : Inactif - Table de partition : RAID - Connecteur SATA 2

Onglet “Array Raid”:
Array Raid
Freebox – Etat Arrêté -Sync : Synchronisé – Type : RAID 5 – Taille : 6 To – Nombre de Disques : 4
Membres
Disque 1 - État: Disque de remplacement - Modèle : ST2000LX001-1RG174
Disque 2 - État: Dégradé - Modèle : ST2000LX001-1RG174
Disque 3 - État: Actif - Modèle : ST2000LX001-1RG174
Disque 4 - État: Actif - Modèle : ST2000LX001-1RG174

impossible de relancer le raid.

Je suis passé en 4.9.11 et impossible d'intégrer le disque de remplacement dans le Raid.

J'ai appelé le support… La personne ne connaissait pas le mot RAID. Dans ces conditions impossible d'être dépanné.
J'ai demandé à ce qu'un technicien prenne en charge mon ticket sur dev.free.fr/bug et la personne a lu mon call et m'a dit qu'on prendrai ma demande en compte et depuis RIEN.
Dans l'application RAID je n'ai aucun menu et impossible d'ajouter le 4 ème disque dans le raid. Je me retrouve avec un disque de remplacement alors que j'avais un Raid à 4 disques.

Petite question : Y a t'il un support pour le RAID chez Free ?

Impossible de remplacer un disque défaillant. La Freebox me propose un formatage avec table de partitions GUID ou MBR et dans ce cas le disque est vue comme manquant.
Merci pour votre aide.

Bonjour,
N'ayant plus accès à mes données en RAID 5, j'ai ouvert un ticket Critique. Depuis plus de 15 jours je n'ai aucun retour de Free malgré un appel au support.
Merci pour votre aide…

Bonjour Thibault,

J'ai remplacé le disque et il a été formaté en QUID et non en raid.
Pouvez vous m'aider à récupérer mes données ?
Merci

Bonjour

Je ne travail pas pour Free mais j'ai réparé des dizaines de RAID multi-devices de tous types, tout HS… À votre place,

Si vous vous sentez dépassés, ne faites plus rien d'autre à part lire la doc officielle du point 3, et éventuellement le code officiel

PS:
Ces 2 tickets sont à lire dans leur intégralité, particluièrement mes commentaires:
https://dev.freebox.fr/bugs/task/39915
https://dev.freebox.fr/bugs/task/39812

NB:
Si vous ne vous en sortez pas, revenez ici j'essayerai de vous aider

Cordialement
nbanba

Bonjour,
Je vous remercie car vous êtes le premier à répondre à mon problème.
Je vais de ce pas lire toutes les infos envoyées.
Cordialement,
e-jack

PS : Je n'ai qu'un laptop comme machine sous Debian.

Bonjour

Vous n'avez qu'un laptop sous Debian ?
EXCELLENTE NOUVELLE !!
Cela signifie que vous êtes déjà familier avec Linux et pour remonter un raid, il est préférable de connaitre un minimum Linux…

Pour brancher les disques sur le LAPTOP, ça peut fonctionner en utilisant:

1) 5 fois cet adaptateur
https://www.amazon.fr/dp/B07F5GBQGW/ref=sspa_dk_detail_3?psc=1&pd_rd_i=B07F5GBQGW&pd_rd_w=ncSp0&content-id=amzn1.sym.d28e3d6a-4412-4be7-a4f8-1c4a85ce86d9&pf_rd_p=d28e3d6a-4412-4be7-a4f8-1c4a85ce86d9&pf_rd_r=TP9BHVRGVADYS95FZFFH&pd_rd_wg=WvzDI&pd_rd_r=4acd726c-5503-4fd2-a34e-35def7837089&sp_csd=d2lkZ2V0TmFtZT1zcF9kZXRhaWw

2) 1 fois ce hub USB3
https://www.amazon.fr/Interrupteurs-Individuels-Ordinateurs-P%C3%A9riph%C3%A9riques-dalimentation/dp/B0FKH2T7JR/ref=sr_1_22?__mk_fr_FR=%C3%85M%C3%85%C5%BD%C3%95%C3%91&crid=4AR83WVZSLS7&dib=eyJ2IjoiMSJ9.jDSRGFlhw41ojR7RrR3NZdE9IxueOBKfEB2n8U2Vt_KrbNawW6TOs7D6e9bilAw2OZ3G6o_7bCLPb7HOE2pofHisX11Yk2vYN_uZofTHSVM6fswljlTtcmECpi2PuCOtRuCy3OqN6MTyKkXLpK6OZc723oOj6nsC5y5ZONKGnHPnAAlVCQABrUkNJ13EpTFhrRjPZvqcfYcs9ex6myIDTLfaUVmtSJnS7o80g3rPowLIjg8qnEZbntUBh_jba7WaLA1cpbqjBOuLsx5KYI5EjVP5kTe2oaGsubEI_HHOyVg.pLqUaV0qxagCPwMjw_bU7ME_FBWtQSqBqutvGoLCUO0&dib_tag=se&keywords=usb+to+5+usb&qid=1761471384&s=electronics&sprefix=usb+to+5+usb+%2Celectronics%2C39&sr=1-22

Par contre je vous recommande aussi de vous procurer un disque de taille supérieur à 2 fois la taille de tous les disques (ici 5 disques de 2T soit 10T*2 + minimum 6T pour la copie des données de la grappe reconstituée soit 26 T minimum, après + est encore mieux (on peut avoir 2 disques de 12T + 1 de 8T )

Ce n'est pas indispensable mais cela permet de travailler en toute sécurité sans "abîmer" plus les disques déjà défectueux:

L'idée est de faire une "block copy" de chacun des 5 disques 1 seule fois afin de générer 5 fichiers images de 2T chacun. Puis on range les disques physiques en sécurité (non branchés électriquement) et on n'y touche plus avant la toute fin du processus de restoration.

Ensuite, on travail sur les images et non sur les disques physiques eux même ce qui permet de passer des commandes potentiellement destructives.

Comme les images des 5 disques sont des fichiers, on peut en faire autant de copies que l'on souhaites donc autant de tentatives de reconstructions que l'on veut même si certaines tentatives n'aboutissent pas et sont destructives.

Le meilleur process pour travailler en toute sécurité serait donc (je pars du principe que l'on dispose temporairement de 2 disques de 12T + 1 disque de 8T, par exemple que quelqu'un nous aurai prêté le temps de l'opération):

- Faire une block copy de chacun des disques de 2T sur 1 des disques de 12T
- Copier ce disque de 12T sur le second disque de 12T
- Ranger un des 2 disques de 12T et le conserver comme backup des images initiales
- Ranger (débrancher) les 5 disques de 2T et ne plus y toucher
- Travailler sur les images du second disque de 12T
–> Si on réussi, monter la grappe de 6T et la copier sur le disque de 8T
–> Si on détruit les images sans réussir, faire une nouvelle copie du disque de 12T de backup sur le disque de 12T de travail et recommencer ce processus autant de fois que nécessaire jusqu'à réussir à remonter la grappe raid

Une fois les données copiées en sécurité sur le disque de 8T, vider le disque de travail de 12T et faire une seconde copie des données copiées sur le disque de 8T.

Puis ressortir les disques de 2T et vérifier l'état du SMART.
Ceux qui sont encore valides pourront être utiliser, il faudra par contre changer ceux qui ont des erreurs remontées dans le SMART.
Puis remettre les 4 disques en mode "sortie d'usine" (/!\ commande hyper destructive /!\)

remplacer /dev/sdX par le device à remettre en mode sortie d'usine

sudo dd if=/dev/zero of=/dev/sdX bs=128M oflag=direct

- recommencer sur les 3 autres disques
- puis créer une nouvelle table de partition GPT sur les disques de 2T et sélectionnez le type FD00 (Linux RAID autodetect)
- puis recréez une grappe raid5 avec les 4 disques, formatez, montez
- puis copiez les 6T de données backup sur le disque de 8T sur la nouvelle grappe raid et démontez la et stoppez la
- puis remettez cette grappe dans la Freebox

Et vous serez revenu au stade d'avant l'incident

Il est également possible de travailler directement sur les disques physiques mais c'est très risqué (des commandes peuvent être destructives, on n'a qu'un seul essaie), surtout quand 2 disques dur 4 ont déjà lâchés et que le 5è disque n'a jamais été réintégré dans la grappe.
La probabilité qu'un 3è disque lâche est grande, je ne recommande pas cette méthode

Bref, quelque soit la méthode choisie, je pourrais vous aider à chaque étapes et les détailler.

NB: Extrait de mes notes la dernière fois que j'ai remonté une grappe raid5 à 4 disques dont 2 étaient HS et SANS POSSIBILITE de travailler sur des images disques (opération très risquée, pas de retour arrière possible)

La partie "pure NVMe: Rebind NVME drive after nvme controler reset failiure" ne vous concerne pas, je ne l'ai pas mise

# Rebind NVME drive after nvme controler reset failiure 
# and rebuild RAID5 array 

# Make the NVMe comes active again:
...
setpci -s 0000:00:02.0 BRIDGE_CONTROL=$(printf "%04x" $(("0x$bc" | 0x40)))
echo '0000:00:02.0' >/sys/bus/pci/drivers/pcieport/bind

Now All drives comes UP without rebooting (reboot add some "write" on MDADM devices counter ⇒ avoid rebooting and repair in-place)

Starting the rebuild of RAID5 array

### RAID 5 REBIND : 
#0) see:
https://docs.kernel.org/admin-guide/md.html
https://archive.kernel.org/oldwiki/raid.wiki.kernel.org/index.php/RAID_Recovery.html
 
#1) backup the superblock info
mdadm --examine /dev/nvme[0-3]n1p1 >raid.status.p1
mdadm --examine /dev/nvme[0-3]n1p2 >raid.status.p2
mdadm --examine /dev/nvme[0-3]n1p3 >raid.status.p3
 
#1b) backup whole diskS (if you have a share with sufficient free space)
dd if=/dev/nvme0n1 of=/mnt/BIGshare/nvme0n1.dd bs=1G status=progress
dd if=/dev/nvme1n1 of=/mnt/BIGshare/nvme1n1.dd bs=1G status=progress
dd if=/dev/nvme2n1 of=/mnt/BIGshare/nvme2n1.dd bs=1G status=progress
dd if=/dev/nvme3n1 of=/mnt/BIGshare/nvme3n1.dd bs=1G status=progress
 
#1c) work on 1b) images with 'losetup' if you have a share with sufficient free space (do next steps on 1b images)
 
#2) find the device with the most AAAA (or AAA. or AA.. or badly A...)
grep active raid.status.p* | grep A
 
#3) find the nurber of write events on each drives for each partions :
mdadm --examine /dev/nvme[0-3]n1p3 |egrep 'Event|/dev/nvme'
mdadm --examine /dev/nvme[0-3]n1p1 |egrep 'Event|/dev/nvme'
mdadm --examine /dev/nvme[0-3]n1p2 |egrep 'Event|/dev/nvme'
 
#4) stop the array 
mdadm --stop /dev/md125
mdadm --stop /dev/md126
mdadm --stop /dev/md127
 
#5) if number of events between drives is LESS than 50 do :
mdadm --assemble --force /dev/md125 /dev/nvme[0-3]n1p2
mdadm --assemble --force /dev/md126 /dev/nvme[0-3]n1p3
mdadm --assemble --force /dev/md127 /dev/nvme[0-3]n1p1
 
#6) wait for stable UUU_ if the 4th device don t comes up by itself, readd it : 
mdadm --manage /dev/md125  --add /dev/nvme0n1p2
mdadm --manage /dev/md126  --add /dev/nvme0n1p3
mdadm --manage /dev/md127  --add /dev/nvme0n1p1
 
#7)if failed to assemble with 4 drives, force assemble with only 3 (the 3 with the more A in superblock AAAA)
mdadm --assemble --force /dev/md125 /dev/nvme[0-1]n1p2 /dev/nvme3n1p2
mdadm --assemble --force /dev/md126 /dev/nvme[0-1]n1p3 /dev/nvme3n1p3 
mdadm --assemble --force /dev/md127 /dev/nvme[0-1]n1p1 /dev/nvme3n1p1
 
#7b) re-add the last drive as "spare"
mdadm /dev/md125 --spare /dev/nvme2n1p2
mdadm /dev/md126 --spare /dev/nvme2n1p3
mdadm /dev/md127 --spare /dev/nvme2n1p1
 
#7c) if 6 failed or after 7b force (--force) 
mdadm --manage /dev/md125  --add /dev/nvme2n1p2 --force
mdadm --manage /dev/md126  --add /dev/nvme2n1p3 --force
mdadm --manage /dev/md127  --add /dev/nvme2n1p1 --force
 
 
8) WARNING (no return back, if failed => data loss) if all failed try to recreate the raid5 array 
ex: 
mdadm --create --assume-clean --level=6 --raid-devices=10 --size=1953513344 /dev/md0 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 missing missing /dev/sdl1 /dev/sdk1 /dev/sdj1

Après en fonction de comment vous souhaitez vous y prendre, dites moi et je vous aiderai (étape par étape)

Cordialement
nbanba

Bonjour,

Aujourd'hui j'ai 4 disques de 2To. Un des disques est HS. Je suis donc en mode dégradé. J'ai un disque de 2To neuf. Ma Freebox Delta ne veut pas intégrer ce disque dans le raid5. il est impossible de réactiver le raid5.

cordialement,
e-jack

Bonjour

A) Vous avez une grappe raid5 de 4 disques avec 3 disques OK + 1 HS remplacé par 1 spare que la box ne veut pas intégrer ?

B) Vous avez une grappe raid5 de 4 disques avec 2 disques OK + 1 HS remplacé par 1 spare que la box ne veut pas intégrer + 1 autre disques HS ?

A ou B ?

Dans tous les cas je vous recommande de retirer AU PLUS VITE les 4 disques de la box en les numérotant en fonction de leur emplacement dans la box et de travailler depuis une machine Linux avec accès à un shell bash en root - le laptop debian est un bon candidat …

Je dis "au plus vite" car le kernel de la box écrit sur les disques à chaques opérations et à chaque reboot de la box ce qui incrémente les "write counter des
Cordialement
nbanba

PS: Si vous ne vous en sortez vraiment pas, dites moi et on essayera de trouver une solution (on peut faire des images dans mon lab pour reparer sans risques).

Bonjour,
il y a aussi des outils sous Windows qui permettent de corriger un Raid.
Cela dit le backup image est quand même une bonne idée.
https://www.freeraidrecovery.com/

Bonjour

Désolé je ne connais pas Windows et de tout ce que j'ai pu voir depuis 25 ans c'est un système opaque et peu performant que je n'utiliserai pas

Cordialement
nbanba

Bonjour Padrys,

Je vais regarder car je maitrise mieux Windows.

Merci,

Bonsoir

Il est préférable de corriger votre problème de raid5 'multi-devices' (mdadm) depuis une machine Linux (pour lequel ce système de raid a été créé).

Pour bien comprendre, vous avez 1 disques HS remplacé par 1 spare qui ne s'intègre pas ou vous avez 2 disques HS dont 1 remplacé par 1 spare qui ne s'intègre pas ?

Vous pouvez me contacter si vous avez besoin d'aide pour réparer la grappe sous Linux.

Cordialement
nbanba

bonjour,

Sur 4 disques j'en ai un HS, un qui depuis est passé dégradé et 2 en bon état.

Cordialement

Bonjour

2/4 OK
1/4 HS
1/4 dégradé

Je pense qu'il faut réparer la grappe raid en dehors de la Freebox sur une machine Linux sur laquelle on dispose d'un accès 'root'

Si pas déjà fait, à votre place je retirerai physiquement les disques de la freebox (au plus vite) pour éviter que les write counter ne s'incrementent dans les superblocks multi-devices des disques.

Cordialement
nbanba

Bonjour,
J'ai lu votre tuto mais il m'est impossible d'acheter de disque de 8, 10 ou 12 To car ils sont trop chers.

Cordialement,

Bonjour

On peut réparer directement les disques, mais il y a un risque de perdre les données…

Le laptop debian est le meilleur candidat pour ça, il faut juste 1 dongle usb3 4 ports et 4 adapter usb3 to sata3 (j'avais mis des liens plus haut)
Dans ce cas ce n'est pas le meme budget, c'est beaucoup moins cher.

Aussi comme compromis, 8 teras pourraient suffir pour faire un backup de chaque disques et pour travailler sur des images.

Question:
Une fois la grappe de 6t assemblée, savez vous quelle quantité de données étaient écrites sur la grappe raid ?

Une idée parmi d'autres:
je dispose d'un serveur connecté à internet avec 8+ teras de disponible sur lequel on peut uploads les images en ssh (un truc comme "dd if=/dev/sdX | ssh user@host | dd of=/bigshare/images0.dd" devrait fonctionner)…
Après si j'arrive à monter la grappe depuis les images, on pourrait reproduire le process sur les disques physiques puis copier les données dessus

Cordialement
nbanba

Bonjour,

J'avais 4,5 To de datas. J'ai également un vieux Synology DS207+ avec 2 disques de 3 To.

Cdlt,

Bonjour nbanba,

Par mesure de confidentialité, mes données ne sortirons pas de chez moi. Je ne les enverrai donc pas sur internet.

Cordialement,

Bonjour

Comme vous voulez, je comprends.

Je proposais juste mon aide de manière totalement désintéressée comme toujours sur ce forum (cf mes nombreux postes pour aider les utilisateurs alors que je ne travail pas pour Free), et si vous aviez souhaité le faire nous aurions tous les deux signer un NDA (Non Disclosure Agrement), vous pour l'accès à mon réseau privé et modification du contenu de mes infrastructures de stockage et moi pour pouvoir héberger vos données le temps de la réparation de la grappe raid

Pour précision, ssh est un des protocole de transfert de données les plus sécurisée en 2025 (aujourd'hui incassable même par un ordinateur quantiques en utilisant les algorithms de cryptage mlkem768x25519-sha256 et sntrup761x25519-sha512 )

Votre seule option est donc de réparer directement la grappe de disque chez vous avec les risques que ça comporte.

J'ai déjà posté le process ici, les risques et les adaptateurs à acheter pour brancher les 4 disques à votre laptop debian.

Je reste néanmoins disponible pour vous aider à réparer la grappe raid

Cordialement
nbanba

Bonjour,

J'ai eu mon problème de RAID 5 juste après la mise à jour en 4.9.10. Malgré mes appels auprès du support de Free, je n'ai eu aucun retour.
Normalement, quand on vend un service on doit en assurer le support.

Comme Sœur Anne je ne voit toujours rien venir…

Bonjour

@ejacke
des avancées de votre côté (free ne fera rien pour vous, enfin je crois) ?

Si vous voulez tenter une réparation sur les disques en directe, branchez les sur votre laptop debian et si besoin je vous guiderai

Cordialement
nbanba