Նորշենից Հարթաշեն, Գրիգորյանների կյանքը՝ սահմանին