Вы знаете, я даже никого и не спрашиваю, если это на моей территории, строю и все, будь-то сарай или еще что-нибудь. Метр только отступить и можно делать все что угодно. 

А кто вам сказал что нет, конечно вы можете построить сарай на своём участке отступив только 1 метр от забора, это ваше право, что хотите, то и делаете. 

Совершенно можете сделать такое, тем более что вы отступили уже метр, стройте сарай, или что вы собрались делать. А соседи тоже не правы, что построили впритык дом к забору. 

Значит все будет нормально, соседу разрешено, а вам почему не должно быть разрешено?! Совершенно ни о чем не беспокойтесь и делайте все что задумали.  

Предполагаю что вы сможете отступив метр от забора построить сарай, сосед же смог построить впритык к забору, вот и вы стройте как вам угодно, посмотрите, он ничего и не скажет.