当然他不能继续尤利乌斯二世的纪念建筑了。但最可悲的是连圣洛伦佐教堂也不能建立起来。拒绝和任何人合作犹以为未足,由着他的可怕的脾气,要一切由他自己动手的愿欲,他不留在翡冷翠做他的工作,反而跑到卡拉雷地方去监督斫石工作。他遇着种种困难,梅迪契族人要用最近被翡冷翠收买的皮耶特拉桑塔石厂的出品。因为米开朗琪罗主张用卡拉雷的白石,故他被教皇诬指为得贿;为要服从教皇的意志,米开朗琪罗又受卡拉雷人的责难,他们和航海工人联络起来,以致他找不到一条船肯替他在日纳与比萨中间运输白石。他逼得在远亘的山中和荒确难行的平原上造起路来。当地的人又不肯拿出钱来帮助筑路费。工人一点也不会工作,这石厂是新的,工人亦是新的。米开朗琪罗呻吟着:
“我在要开掘山道把艺术带到此地的时候,简直在干和令死者复活同样为难的工作。”