17 Février 2012, le jour qui a changé le visage de Rappelz

Partager:

Temps de lecture estimé : 11 minutes

C’était il y a maintenant 4 ans. Rappelz a fermé ses portes quelques jours, parce que ce jour là… Un problème critique est arrivé.

C’était un vendredi comme les autres, tous contents d’être enfin en Week-End, certains étaient plus contents que d’autres, quelque chose de terrible se passait sur le jeu, et très peu de personnes étaient au courant. On va parler sérieusement de cet épisode de l’histoire de Rappelz, avec un témoignage, celui de Wulkrhym, CM de l’époque (on le remercie d’ailleurs 😉 ), voilà le sommaire de ce long article:

  1. Ce qui s’est passé ce jour là
  2. Le témoignage de Wulkrhym

1: Ce qui s’est passé ce jour là:

On était Vendredi, j’sais pas vous, mais chez moi le vendredi c’est le meilleur jour de tous. Et là… Message sur Facebook:

« Nous avons découvert récemment un problème critique sur le jeu Rappelz.
Afin de pouvoir travailler à la résolution de ce problème, nous devons passer en maintenance prolongée de manière immédiate.
Nous continuerons de vous tenir au courant sur Twitter et sur le forum officiel. »

Là, ca veut dire deux choses: On peut pas jour ce WE et… Qu’est-ce qui se passe ?. Puis… On se rappelle des derniers jours avant que tout ça n’arrive, certains devenaient riche d’un coup, certains avaient des pets de fou, certains étaient soudainement plus costauds… Ca sentait pas bon

On s’est alors demandé (moi et les potos de l’époque) si c’était pas lié à l’évent de noël qui était pété (on y reviendra une autre fois), mais en fait non… La rumeur courait doucement, un bug de duplication était là, et facile à faire en plus…

Le jeu était fermé, dans tous les pays du monde. Sans aucune exception ! Même Eagle Game avait fermé son unique serveur (Y’avais juste Pheonix à l’époque) ! Tout le monde avait le même discours, dans toutes les langues « un problème a été détecté » sauf Gala.

Gala a alors lancé une première maintenance en Corée, qui ne devait durer que 30 minutes. Pour « Fermer temporairement l’hôtel des ventes suite à un bug », et pendant la maintenance, Gala a changé son planning. Les 30 minutes se sont transformés en texte barré, et… Plus rien. Gala a simplement annoncé une fermeture temporaire des serveurs à cause d’un « problème à l’HDV »

Puis, d’un coup, les serveurs Coréens réouvrent leur propres serveurs. Et annoncent deux nouvelles maintenances.

Wulkrhym, qui était chez Gala Networks Europe (gPotato EU) à cette époque nous livre son témoignage à travers une interview exclusive.

Wantmytip:

On va placer le contexte :p Tu étais jeune CM et tu venais d’arriver, c’était un vendredi (le jour avant le Week-End, le meilleur jour de la semaine, et le pire quand y’a un pépin), et là, un matin… Tu postes un message étrange sur Facebook qui parle de « Problème Critique », comment tu as appris la nouvelle ? Qui l’a découvert et quelle a été ta réaction ?

Wulkhrym: 

En effet, cela faisait à peine une semaine que j’avais intégré l’équipe Rappelz. Le Producer de l’époque était heureux de pouvoir célébrer une équipe enfin complète.

On avait prévu de me former pendant un mois aux outils de gestion pour Rappelz, et j’avais demandé un peu de temps avant de me présenter à la communauté. Il fallait découvrir mes coéquipiers, la façon de travailler avec la communauté, analyser les données à disposition… Énormément de travail pour bien démarrer.

Et puis un vendredi matin, deux collègues allemands ont commencé à parler assez rapidement sur les coups de 9h/9h30. Ne parlant pas la langue de Goethe, j’ai laissé tombé : l’équipe Rappelz, à l’époque, était généralement assez bruyante, et c’était bon pour le moral.

Dès 11h, nous avons été réunis sur le tas pour un meeting exceptionnel : Producer : « OK les gars, on a un sérieux problème. Un joueur allemand s’était plaint d’une forme de triche vraiment pas cool auprès de nos Game Masters allemands. Ils ont vérifié, j’ai vérifié aussi… il existe un bug de duplication d’objets en jeu. Super simple à mettre en place. » Gros silence. Je suppose que tout le monde se préparait mentalement à un scénario catastrophe d’une demi-journée. Je m’attendais à un peu plus que ça, et j’ai su que j’étais dans le vrai quand le Producer nous a expliqué que tous les objets pouvaient être dupliqués, parfois inconsciemment (les aciers, notamment).

Nous avons passé une demi-heure à nous entretenir sur le meilleur moyen de gérer l’affaire, pendant que les Executive Producers et le CEO de gPotato étaient mis au courant. Sans mauvais jeu de mots, on en avait gros sur la patate. Rappelz a toujours été l’un des jeux les plus importants aux yeux de gPotato, avec Flyff, et dans le pire des scénarii envisagés (impossible de corriger le bug), c’était l’arrêt complet du support du jeu, puis la fermeture du jeu.

Je t’avoue que c’était un moment très délicat pour moi : à peine une semaine dans la boîte, le jour de la saint valentin (et donc de l’anniversaire FR de Rappelz), et paf, un bon gros scénario de crise. Pendant que l’on discutait de tout ça, je reçois un mail d’une grosse boîte télécom espagnole qui me proposait un entretien pour un poste de Lead CM à Barcelone. J’adore l’Espagne. Mon cœur a été complètement déchiré : est-ce que gPotato, c’est tout le temps comme ça ? Est-ce que je serais idiot de ne pas aller tenter d’avoir ce poste à Barcelone ? C’est un moment vraiment difficile. Je prends 5 minutes pour me rafraîchir la tête, et je reviens, prêt à assurer. Si je dois partir de cette boîte, autant faire de mon mieux pour les joueurs. C’est ce que j’aurais voulu qu’on fasse pour moi. Un quart d’heure plus tard, l’équipe de Community Managers (à l’époque encore connus par les joueurs comme GMs) dont je fais partie à le feu vert pour poster un message sur nos différentes plateformes de communication afin d’avertir d’un arrêt des serveurs dû à un problème critique.

Want: 

Donc c’est la crise un peu partout, et comment Gala a réagi ? On peut voir qu’en Corée c’était presque pareil. Ils disaient simplement couper le jeu, mais c’était « suite à un problème à l’HDV », ce qui n’était pas le cas en Europe. Quelles ont été les directives de Gala Lab vis à vis de ce bug ? Qui a décidé de tout couper, Gala Lab ou GNE (Gala Networks Europe, le gPotato d’avant 2013) ?

Wulk: 

Alors avant tout, une minute « Le saviez-vous ? » sur GNE, gPotato et Gala Lab : GNE = gPotato. gPotato est la marque. Gala Networks Europe est le nom de l’entreprise qui édite le jeu, sous la marque gPotato, tout comme Fererro, si je ne me trompe pas, est l’entreprise qui distribue un produit chocolat-noisette sous la marque Nutella au moins en Europe et aux USA. Gala Lab est à la fois éditeur et développeur. Ils créent tout ce qui est contenu dans le jeu, et propose aussi à la communauté coréenne de joueur sur leurs serveurs. GNE et Gala Lab étaient des branches de Gala Inc., la société-mère japonaise.

Comme souvent, la communauté européenne (France, Allemagne, Pologne, Italie, Turquie) est plus réactive sur les soucis du jeu. Notre Producer a donc averti dès que possible non seulement Gala Lab, mais aussi les autres éditeurs du jeu. gPotato est un éditeur de Rappelz : elle ne crée rien pour le jeu, elle le fournit à un public local. Notre équipe de techniciens informatiques ont donc la possibilité de couper les serveurs. C’est d’ailleurs ce qu’il se passe à chaque maintenance. Nous avons donc coupé très peu de temps après l’annonce de la fermeture des serveurs, car nous savions qu’un petit groupe de joueurs utilisait le bug à outrance, et « savait que nous savions ». Le rush pour quelques milliers d’objets CS en plus avant correction du bug, je suppose.

La réaction de Gala Lab fut… euh… difficile. Il faut savoir qu’il y a 9 heures de différence entre Dublin et Séoul.

Le développement était à l’époque assez calme, donc pas tellement d’heures supp’ pour eux. On était donc en train d’avertir des gens qui étaient soit à regarder un film à la maison, soit en train de manger, soit au lit. Faire revenir en urgence des programmeurs pour une durée indéterminée au bureau, en plein milieu de la nuit, cela implique non seulement de possibles soucis en terme de lois (obligation de repos entre deux journées de travail) mais aussi de fatigue et de problèmes familiaux, tout simplement.

Nous avons tout de même réussi à avoir une équipe qui s’est attelé à parcourir les millions de lignes de code, à analyser les étapes de reproduction du bug, pour démarrer la chasse à la duplication.

Want: 

Quelle a été la réaction des autres éditeurs (Nikita Online en Russie, Eagle Game pour les pays MASG-PH et GamePower7 pour l’Afrique du Nord/Moyen-Orient ) ?

Wulk: 

À ce moment-là, pour être honnête, nous n’en avions cure… nous étions tous débordés de travail. Les Community Managers tentaient de rassurer la communauté et communiquer autant que possible pour agir en toute transparence, tandis que le Producer et les Game Masters avaient le nez collé dans les bases de données, en collaboration avec nos propres techniciens, pour établir un compte le plus précis possible des objets dupliqués sur tous les personnages de tous les serveurs européens.

Want: 

Quand le path était arrivé, quelle était la réaction en interne  ?

Wulk :

On connaissait la façon dont le patch a été créé : en plein milieu de la nuit, les devs arrachés à leur famille et leur sommeil mérité… Pour avoir travaillé dans l’industrie du jeu vidéo depuis bien plus longtemps que mon entrée chez gPotato, je me préférais rester stoïque. Certains de l’équipe se disait « cool, on va voir le bout du tunnel ». Nous avons communiqué par transparence, par souci de montrer que nous ne restions pas inactifs alors que nous étions à la veille d’un week-end. Beaucoup de gens avaient peur que nous partions en week-end pour travailler dessus le lundi suivant. Il était hors de question de laisser croire cela. Mais je pense que tu sais ce qu’a été le message suivant, si je ne me trompe pas…

Want: 

J’imagine qu’il y avait un « système de contact » entre GNE et Gala Lab, comment était le ton lors des discussions ?

Wulk:

À l’époque, seul le Producer était en contact direct avec Gala Lab, via divers outils. Il n’y avait pas de colère ni de sentiments négatifs : c’est une perte de temps inutile lorsque l’on souhaite résoudre un problème, ça n’aurait rien apporté sur la table. Le plus efficace a toujours été de coopérer et de rester ouvert et courtois.

Là, on papote un peu. Y’avais des éléments de l’histoire que personne n’avait, ce que vous allez lire est une première, c’est la première fois que c’est évoqué quelque part 😉

Wulk: 

Donc, voilà, on en est à notre premier patch, alors que le doute existe encore sur nos pizzas payées par la boîte ou non. Après l’annonce du patch, celui fait l’objet de tests en interne. Le bide : ça ne marche pas. Retour à l’expéditeur, en expliquant les méthodes de test, les résultats, et ce qu’on souhaiterait avoir. C’est à ce moment-là qu’on commande les pizzas, et que le Producer vient me voir avec un grand sourire aux lèvres : « Alors, heureux de bosser chez nous ? »

Alors que mes collègues continuaient de se battre sur le forum pour communiquer avec la communauté, j’avais déjà pris le parti d’utiliser deux outils plus pratiques : Facebook et Twitter. En permettant aux joueurs d’avoir un accès direct et immédiat au déroulement du correctif, j’ai senti que de nombreuses personnes trouvaient cela moins frustrant. Une réponse directe, pas emmêlée dans un flood non-stop d’inquiétudes tout à fait réelles et valables. Je pense que la communauté FR à vraiment apprécié à ce moment-là. Et en passant, j’ai prouvé que c’était facile de faire grimper quelques chiffres que mes collègues avaient du mal à faire décoller (followers, fans). Faut vivre avec son temps 😉

Nos pizzas mangées, les choses sont devenues plus calmes : les devs devaient se remettre au travail, une équipe arrivait au petit matin pour les remplacer et travailler avec les yeux ouverts, nous étions plus ou moins en attente.
J’ai vu quelques goodies qui traînaient, et ça a fait tilt. J’ai proposé de créer un événement pour occuper les joueurs qui, comme nous, attendaient le retour du jeu en ligne.

De là est né le « concours anti-stress » 🙂
L’idée de base était simple : on est tous frustrés d’attendre que rappelz revienne, on est fatigués mais on apporte un support moral aux devs.Donc on a envie de se défouler.

Et c’est là que j’ai créé les conditions du jeu, les lots à gagner en accord avec le Producer, et comment on allait gérer ça.

La discussion se poursuit, et Wulkrhym dit alors:

Wulk :

J’ai mes convictions, et aussi bête que je peux l’être parfois, j’aime finir ce que je commence.

À l’époque, j’emménageais à peine, donc pas d’internet à la maison sauf via le forfait téléphonique que j’avais pris (internet illimité pour 20€/mois, à la carte ! Vive l’Irlande !). J’ai récupéré les identifiants Facebook et Twitter de nos comptes officiels sur mon téléphone, et malgré un calme complet niveau news en interne, il y avait toujours des joueurs qui découvrait toute l’histoire le samedi, et le dimanche encore.

J’ai répondu à leurs questions pendant tout ce temps. Je crois, si ma mémoire ne me trompe pas, que l’on a redémarré les serveurs le dimanche dans la journée, après avoir reçu ce fameux patch.

Les GMs étaient retournés au boulot en premier pour tester non seulement ce patch, mais aussi la requête serveur qui permettait d’effacer des milliards d’objet dupliqués tout en récupérant les noms des comptes ainsi que les items dupliqués, leur quantité, etc.

Les CMs étaient en attente, prêt à revenir pour communiquer. Ce qui fut le cas. Par souci de ne pas faire tomber Rappelz à nouveau dans le monde entier en moins de quelques heures, on a procédé, comme tu l’as dit auparavant, à une ouverture échelonnée des serveurs. Avec une surveillance accrue des mouvements des joueurs, ainsi qu’une communication régulière.

Et pour finir cette interview, il dit alors:

Tout s’est bien passé, et on est reparti comme en 40 après cela.
En 72h, j’ai dormi environ 4h, tombé d’épuisement. Mais je crois que pour quelqu’un qui est arrivé à peine une semaine avant dans l’équipe, je pouvais être satisfait de la réaction de la communauté avec le concours anti-stress ainsi que du professionnalisme de mes collègues.

Cet épisode de l’histoire de Rappelz est assez sombre, mais il faut quand même se dire que le pire a été évité grâce à Gala Lab et à gPot, je remercie Wulk pour m’avoir accordé cet interview, petite parenthèse qui n’a aucun rapport avec Rappelz ou HOR, Wulk a changé de métier. En Janvier 2014 il quitte Webzen et il est devenu Consultant en communication en ligne expérimenté, gamer invétéré et avide utilisateur des réseaux sociaux, Aurélien étudie constamment les tendances du web pour être à l’affût des nouveautés disponibles. Vous pouvez aller checker son site ici: http://diodon-media.fr/blog/ 🙂

On lui souhaite bien évidemment plein de bonnes chose et une très bonne continuation dans sa carrière ! 😀 A très vite pour un prochain article sur HOR 😉

 

Partager:

1
Poster un commentaire

avatar
1 Comment threads
0 Thread replies
0 Followers
 
Most reacted comment
Hottest comment thread
1 Comment authors
Hirlorwin Recent comment authors

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

  Subscribe  
plus récents plus anciens plus de votes
Me notifier des
Hirlorwin
Membre
Hirlorwin

Très intéressant cet article, ça donne une idée sur l’envers du décors.

Petite pensée pour tous les copains banni ce jour-là. (enfin, « pseudo-copains », ils m’avaient pas expliqué le bug et se sont gavés sans moi :o)