C'est vers les Vosges que vont s'orienter les prétentions des descendants de Hermann Ier. Hermann II aussi fait partie de la fine fleur de la noblesse: on en veut pour preuve ses épousailles avec cette grande dame de Lorraine qu'est la nièce du pape Callixte II, Agnès de Montbéliard-Mousson-Bar. Hermann II obtient la charge rémunératrice et influente d'avoué de l'abbaye de Senones, c'est-à-dire protecteur laïque s'occupant des affaires temporelles de l'abbaye. Car, suivant les paroles de Saint Paul, les clercs ne doivent pas s'occuper d'affaires séculières. Ils confient donc la tâche de les protéger à un laïc: l'avoué (du latin : advocatus : avocat). La tentation est grande pour ce seigneur laïque d'outrepasser ses droits et de se sentir maître chez l'autre.
       Au Moyen Age, les biens des riches abbayes étaient forts convoités; l'avouerie constituait un moyen facile pour distraire de l'abbaye une partie de son patrimoine. On comprend dès lors le zèle déployé par les grands féodaux pour s'assurer les charges d'avoués.
       C'est à Pierre-Percée, en 1111 que s'est installé le Comte Hermann II. L'implantation définitive dans les Vosges est réalisée à la fin du XIIe siècle. Elle est l'œuvre d'Henri II, le petit-fils d'Hermann II.
       Lors de la troisième croisade (1189-1192), ce chevalier chrétien a accompagné l'empereur Frédéric Barberousse en Terre Sainte; il installe son château sur les terres de Senones à Salm… l'autre Salm, sur les hauteurs de La Broque. Salm, deuxième du nom est né. Henri, bien qu'ayant vu le jour à " Salm ", se désintéresse de Salm en Ardenne et l'abandonne à sa sœur Elise. La comtesse héritière Elise de Salm épouse Frédéric de Vianden et cette union consacre une nouvelle dynastie, celle des Salm-Vianden.
       La séparation est consommée: on distingue désormais Salm en Ardenne ou Niedersalm et Salm en Vosges ou Obersalm. Plus tard, le comté de Salm en Vosges, sera élevé au rang de principauté avant d'être englouti dans la France révolutionnaire.

       Le quatorzième siècle est fertile en événement à Salm. A l'étroit dans leur comté, les Seigneurs de Salm le sont aussi dans leur château. Certes, depuis 1150, la bâtisse a sans doute été aménagée. Mais elle vieillit et l'exiguïté de son assise ne permet pas d'offrir le confort qu'exige la maison d'un Seigneur important
       Les mœurs du temps évoluent ; la fonction essentiellement défensive de la demeure est oubliée. Soucieux de bien-être, de puissance et d'espace, les Comtes font construire un nouvel édifice. Leur choix se porte sur un autre escarpement rocheux qui, lui aussi, domine la vallée du Glain et se trouve à deux kilomètres en amont. L'endroit est alors désert. Mahaut de Thuin, Comtesse de Salm, va d'ailleurs s'emparer à y attirer les habitants, en accordant une charte de franchise (1362) (2) au manant (du latin manere : rester, demeurer) qui souhaiterait s'installer au voisinage de son château. Mais en décidant de changer de résidence, les Comtes de Salm n'ont pas renoncé au nom de Salm. Salm va donc désigner le nouveau château et l'agglomération qui se développe à ses pieds. Pour éviter toute confusion avec la Salm primitive, on lui accole très vite l'adjectif " nouveau ". On parle de Nova Salma, Nouvelle Salm puis le terme évolue vers Salma Castri, Salma Castellensi, Salm-au-Château, Salmchâteau; le château devenant un élément distinctif puisque l'antique ensemble fortifié (Vielsalm) a fini par disparaître (ruines vendues au meunier).

       La Salm primitive du XIe siècle s'est tout naturellement nommée Salme la Vieille, Vieille Salm, Alt Salm selon la traduction d'un cartographe allemand du XVIe siècle, Vieille Saulme en ancien français et par contraction Vielsalm.