Née dans l'ancienne colonie hollandaise du comté d'Ulster, au sein d'une famille de 13 enfants, elle ne parlait que le néerlandais lorsqu'elle fut vendue à l'âge de 11 ans.
De par sa condition d'esclave, elle fut unie contre son gré à Thomas Jeffery Harvey, un esclave plus âgé. De cette union non souhaitée naquirent 5 enfants.
En 1827, elle s'enfuit de la ferme de John Dumont, son troisième maître, pour trouver refuge au Canada avec Sophie, la plus jeune de ses filles, alors enfant en bas âge, car son maitre refusa de la libérer après l'abolition de l'esclavage dans l'État de New York (1827). Elle retourna dans cet État en 1829, pour y travailler une décennie en tant que servante au sein de multiples communautés religieuses. L'une d'entre elles, connue sous le nom de "Royaume de Matthias" fut impliquée dans un scandale de meurtre et d'adultère. Isabella joignit alors Elijah Pierson, le leader de ce groupuscule religieux dans des prêches évangéliques.