Freebox Server (Ultra V9/ Pop V8/ Delta V7 / Revolution V6 / Mini 4K)

Bonjour Marios,
Non les fichiers de la VM ne sont plus visibles

Bonjour

Pas eu de soucis lors des passages en 4.5.5.1 ni en 4.5.5.2 avec les VMs, mais bien qu'une commande ACPI de shutdown soit normalement envoyée aux VMs avant le reboot de la freebox, par précaution, je shutdown systématiquement mes VMs avant de reboot la box. Cela me semble d'ailleurs conseillé d'éteindre proprement les instances virtuelles avant de reboot la couche physique.
Dernier point qui peut être différent pour vous, mes VMs (11 VMs dont 3 running) sont sur une grappe en RAID5.
Si vous voulez, je peux vous passer des scripts en bash utilisant l'API de la freebox delta et qui permettent d'allumer, d'éteindre, de récupérer l'état des VMs et également de reboot la freebox

Pour votre souci, êtes vous sur une grappe RAID ou sur un disque simple ?
Le disque remonte t'il des erreurs dans FreeboxOS ?
Est il toujours visible ?

À votre place, après avoir essayer tout ce qu'il est académiquement possible de faire avec la freebox et après avoir suivi les conseils de Free, si je sentais que la situation était perdue, alors perdu pour perdu, j'essayerai de démonter le(s) disques (en les numérotant si grappe raid), puis je les brancherai sur une machine sous Linux pour voir si j'arrive à monter les partitions et à récupérer des données.
Ensuite, si un des disque semble HS, si il tourne encore, j'essayerai de passer un coup de 'testdisk' dessus, mais avant je ferais une "block copie" (=dd) du disque vers un fichier : Cela permet de travailler sur une copie du fichier image du disque avant de travailler sur le disque physique lui même (souvent le nombre de rotations restante du disque est compté quand il commence à faillir…)

Cordialement
nbanba

Bonjour nbanba et merci pour ton aide,

En effet, je n'ai pas arrêté la VM avant redémarrage de la box.

Je suis sur un disque simple mais j'avais une sauvegarde des données importantes. Du coup, j'ai tout réinstallé. Aucune erreur n'avait été remontée dans FreeboxOS si ce n'est que les fichiers qcow2 n'étaient plus visible. Le disque SSD ne semble pas défaillant.

J'espère que ça ne se reproduira pas, mais j'arrêterai précautionneusement la VM au prochain redémarrage.

Bonne continuation.

Hello Alex
Merci pour ton retour, et content que tu ai réussi à remonter une configuration fonctionnelle.
Avec la virtualisation il y a 1 truc bien : l ordinateur devient un programme, donc quand l ordinateur virtuel est éteint (=à froid, =le programme KVM (qemu-kvm) ne tourne pas dans la Freebox), les fichiers sourcés par ce programme (KVM) sont donc statics et cohérents ⇒ une simple copie des fichiers *.qcow2 et *.qcow2.efivars constitue une sauvegarde fiable des vm, dans leurs derniers états avant shutdown.
Pour le moment, mes vms ne font que quelques giga à quelques dizaines de giga, je les backup donc à froids après chaque changement majeur ou avant chaque mise a jour FreeboxOS. Avec le port sfp+ de la box, le backup à froids de mes 11 vm (165g au total) vers 1 machines du lan prends 6 minutes.

Si vous voulez des scripts pour gerer les vm depuis la couche basse en utilisant l API du châssis métal (Freebox), je peux vous passez ceux que j ai fait, et avec de toutes petites modifs, on peut faire un script qui éteint proprement les vm au niveau OS, puis qui vérifie qu elles sont bien eteinte sur le châssis, et qui lance un backup des vm et contrôle la cohérence des fichiers backups avant de reboot la Freebox (pour upgrade).

Dernier point, vous dites n utiliser qu un seul disque. Avec des instances virtuelles exploitant les données de ce disque, personnellement je ne serais pas confiant, et j ajouterai à minima 1 second disque de capacité (et de performances) identique afin d assembler une grappe RAID1 voir RAID5 (avec 3 disques)
C est supportée par la Freebox !
En cas de défaillance d 1 des 2 disques, le second prends le relais.

Cordialement
nbanba

Bonjour,

Suite à la mise à jour 4.6.0 (via un redémarrage logiciel), j'ai eu exactement le même problème : les fichiers de la VM ont tout simplement disparus…

Cordialement,

Gaël

Bonjour

Votre/vos disques sont ils des SSD ?
(La personne qui a ouvert ce ticket utilisait 1 SSD et pour ma part je n ai jamais eu de soucis avec des disques a plateaux en raid.)

Avez-vous démonté le/les disques pour vérifier si les fichiers sont toujours là en le connectant à une machine Linux ?

Je viens de recevoir 4 nouveaux disques pour changer la grappe raid actuelle contre une grappe SSD beaucoup plus grosse.
J espère ne pas avoir de soucis… Le cas échéant, je ferais une analyse poussée des disques depuis une autre machine pour voir si j arrive à restorer les fichiers depuis les inodes.

Cordialement
nbanba

Il s'agit bien d'un SSD, en ext4, sans RAID.
Je n'ai pas de machine Linux sous la main. Une vérification de la partition n'a donné aucune détection d'erreur.

Gaël

Bonjour
Les 2 fois ou le souci a été remonté c est avec un SSD.
Ca vaudrait le coup de regarder de plus près.
Si vous avez un autre disque et un câble sata usb, mettez l autre disque dans la box, faite 1 vm avec port usb et connectez le ssd ayant eu le souci à la box.
Puis testdisk.

Cordialement
nbanba

Pour info, J'ai rencontré le même problème en raid 10 avec des hhd a plateaux. Je ne saurais pas vous dire sur c'était sur la même maj de la box.

La disparition de fichier ne s'est produit qu'une seule fois.

Cependant ; et systématiquement, après plusieurs jours de fonctionnement, quelques soit l'OS, mes VM ne démarraient plus et je n'ai jamais réussi à faire fonctionner une sauvegarde (je débute sur les VM).

J'ai du en installer une 15n dans l'année, sur la fin je cherchais même a automatiser les instructions.

J'ai augmenté la RAM, mais ça n'a rien changé ; pire, plus le temps a passé depuis ma 1ere VM sur delta, plus la vie des leurs vies ont été courtes.

Il faudrait simplifier tout ça.

Au début la génération du script init était non fonctionnelle, puis problématique, contenant des erreurs de syntaxe.
Maintenant il marche mais l'utilisation de clefs est conseillée, ou plutôt, le mot de passe déconseillé mais rien (mode emploi free) ni personne (sur youtube) ne peut expliquer simplement comment utiliser puttygen dans le cadre d'une VM free.

De plus, un double nat poserait des problèmes d'authentificité des clefs et de stabilité des connexions…
De ce que je comprends, il faut être passionné ou ingénieur réseau pour créer et maintenir des VM fonctionnelles et accessibles intra et extra net.
Mais les passionnés sont des gens déjà équipés de vrai matos dont ils sont propriétaires, donc ils n'ont pas besoin d'une delta … Finalement, les bugs et le manque de tuto pousse à la transformation des compétences, jusqu'à vouloir se passer du produit. C'est une forme de pédagogie par objectif offerte par free ? :)

Bonjour

Merci pour votre retour d'expérience et pour les symptômes remontés sur des HDD (non SSD), c'est la première remontée ici sur des disques non SSD.

@pierre-Brice Levy (Brarbri) :
Aillant une expérience à l'opposée de la votre concernant les VM Freebox, votre box (ou/et les disques) aurai- t'elle souci hardware provoquant des défaillances du firmware ?

De mon côté, j'ai + de 10 VM dont 3 actives en permanence avec 16g de RAM en 2666MHz-C16(non ECC) sur une grappe RAID5 de 4 disque SSD (c'était encore une grappe R5 de 3 HDD non SSD il y a qq temps) et mes VM ont soit 2G soit 4G de RAM car on ne peut pas en faire tourner + de 3 en parallèle, et je laisse toujours quelques giga de libre pour la couche physique
Ces 3 VM ne sont pas forcément les 3 même VM en permanence, je pop dynamiquement les VM en fonction des besoins instantanés sauf 1 des VM qui tourne en permanence.

Je n'ai dénoté aucune failiure sur les VM, notamment depuis qu'une commande ACPI de shutdown est envoyée aux VM avant un reboot orchestré de la box (même en utilisant BTRFS file system qui est plutôt fragile)
Cependant, je ne reboot jamais volontairement la box sans avoir préalablement éteint les VM.

On peut facilement tout automatiser avec l'API: start, stop, restart, create, modifs,… et même récupérer la console série ou l'écran au travers des websockets API de la box.
Si vous savez utiliser un tout petit peu Linux, vous pourrez trouver des scriptes en bash qui vous permettent de faire ça ici : https://github.com/nbanb
Si vous avez besoin d'images debian11 qui ne sont pas celles fournies par Free on peut faire une image vierge pour Freebox Delta

D'autre part, je n'ai pas vraiment compris vos problématiques de double NAT.
Il n'y a aucune instabilité à faire des configurations réseaux impliquant la box + les VM et avec un switch paramètrable, on peut mettre les VM dans un réseau différent de celui de la Freebox (192.168.XXX.YYY) …

Cordialement
nbanba

Merci de votre réponse.
Je soupçonne aussi un arrêt intempestif lors de la disparition des fichiers.

Concernant les VM qui du jour au lendemain ne démarrent plus, je soupçonne des problèmes issus lors de mise a jour / mise a niveau de l'OS, et/ou des problèmes de sécurité.
L'interprétation des scripts cloud-init m'a semblé également assez aléatoire, pour la clef publique comme pour le montage des disques réseau. J'ai parfois réparé les VM en modifiant la syntaxe…

Concernant le problème double nat et des certificats SSl, je n'y comprends rien. C'est l'interface Plex qui le diagnostique en accès distant lorsque le serveur plex est ajouté à une VM, bien que tout soit sur le même réseau, d'où l'utilisation du conditionnel dans mon commentaire précédent.

Pour le moment j'ai laissé tomber les VM sur la delta et mon serveur tourne sur maintenant sur une Shield TV sans problème.
J'envisage de reprendre un syno et de laisser tomber également les fonctionnalités NAS de la Freebox.

J'espère vivement que des tutoriels complets de free seront proposés un jour.

Merci pour vos liens et proposition d'image debian 11.

Bonjour

Merci pour votre retour d'expérience et pour les symptômes remontés sur des HDD (non SSD), c'est la première remontée ici sur des disques non SSD.

@pierre-Brice Levy (Brarbri) :
Aillant une expérience à l'opposée de la votre concernant les VM Freebox, votre box (ou/et les disques) aurai- t'elle souci hardware provoquant des défaillances du firmware ?

De mon côté, j'ai + de 10 VM dont 3 actives en permanence avec 16g de RAM en 2666MHz-C16(non ECC) sur une grappe RAID5 de 4 disque SSD (c'était encore une grappe R5 de 3 HDD non SSD il y a qq temps) et mes VM ont soit 2G soit 4G de RAM car on ne peut pas en faire tourner + de 3 en parallèle, et je laisse toujours quelques giga de libre pour la couche physique
Ces 3 VM ne sont pas forcément les 3 même VM en permanence, je pop dynamiquement les VM en fonction des besoins instantanés sauf 1 des VM qui tourne en permanence.

Je n'ai dénoté aucune failiure sur les VM, notamment depuis qu'une commande ACPI de shutdown est envoyée aux VM avant un reboot orchestré de la box (même en utilisant BTRFS file system qui est plutôt fragile)
Cependant, je ne reboot jamais volontairement la box sans avoir préalablement éteint les VM.

On peut facilement tout automatiser avec l'API: start, stop, restart, create, modifs,… et même récupérer la console série ou l'écran au travers des websockets API de la box.
Si vous savez utiliser un tout petit peu Linux, vous pourrez trouver des scriptes en bash qui vous permettent de faire ça ici : https://github.com/nbanb
Si vous avez besoin d'images debian11 qui ne sont pas celles fournies par Free on peut faire une image vierge pour Freebox Delta

D'autre part, je n'ai pas vraiment compris vos problématiques de double NAT.
Il n'y a aucune instabilité à faire des configurations réseaux impliquant la box + les VM et avec un switch paramètrable, on peut mettre les VM dans un réseau différent de celui de la Freebox (192.168.XXX.YYY) …

Cordialement
nbanba

Bonjour

Désolé pour le repost, le Flyspray du bug tracker n'expire visiblement pas les cookies de sessions, même au bout de plusieurs jours
Quand est ce que Free migre ce bugtracker sur un truc plus moderne ? (genre GitLab ?)

Pour créer une clé ssh pour les VM freebox, il suffit de faire comme pour n'importe quelle VM Linux (pas particulièrement Freebox).
Pour mettre ces clés dans le cloudinit, il faut faire comme décrit ici :
https://cloudinit.readthedocs.io/en/latest/topics/examples.html

Il faut bien mettre le user-data au format yaml (.yml)

Si vous utilisez l'API, il faudra mettre ce "fichier au format yaml" en mode one line pour l'injecter dans le json_vm_object décrivant la VM (one line également)
Voici un 'sed' qui fait ça pour vous :

$ sed -e ':a' -e 'N' -e '$!ba' -e 's/\n/\\n/g' <cloud-init_userdata.yml>

Pour le soucis remontés par plex sur le double nat, utilisez vous une IP full stack sur la box (à demander dans l'espace client) ?
Il semblerait que le souci soit connu avec PLEX et les freebox en IP publique partagée avec 4 abonnés et le souci plus large est décrit ici dans la doc de plex, environ au milieu de la page :
https://support.plex.tv/articles/200931138-troubleshooting-remote-access/

Dans la doc PLEX, ils parlent de CG NAT (Carrier Grade Nat ) avec du NAT massif opérateur sur les subnets semi publics (non RFC1918) réservés à cet effet (sur la plage IP commençant par 100.64.0.0).
Dans le cas de Free, le nat n'est pas fait pareil mais si vous êtes en IP partagé, il n'en est pas moins du NAT.

Je vous recommande dans ce cas de passer en "IPv4 Full Stack" depuis votre espace abonné sur free.fr.

Si vous êtes déjà sur une ip full stack, il faudrait des logs et des traces réseaux à analyser (tcpdump -nnei any -vvvtttt ) sur la pate physique monté dans la VM.

Cordialement
nbanba

Bonjour, merci bcp, je vais regarder les liens. Si j'ai le temps, j'essaierai en août de remonter une VM Plex. Oui oui, j'ai testé IP full stack et nom de domaine .free.fr, même résultat. Ce que je ne comprends pas c'est que cette erreur ne m'est pas encore apparue avec la ShieldTV.
Bien cordialement,