А, ну тогда не нужно вовсе создавать между ними связь, а использовать ограничитель Copy Location/Rotation. И временно отключать его воздействие (Influence).
От все что я сказал выше, только с ограничителями ошибочка вышла. Для твоего случая идеальным будет вариант Child Of. И вот уже его Influence анимируем (0 когда меч лежит, 1 когда следует за рукой).
