《合同法》第216条规定：“出租人应当按照约定将租赁物交付承租人，并在租赁期间保持租赁物符合约定的用途。”本条规定了出租人两项重要义务：一是交付租赁物的义务；二是对租赁物的瑕疵承担担保责任。租赁既然是有偿合同，那么出租人也就如同出卖人一样，就应该对其提供的标的物承担瑕疵担保责任，保证该物的品质及其使用和收益均符合约定。
但如果属于以下三种情况，出租人可以免除自己的责任:一是承租人明知。承租人在订立合同时，明知租赁物存在瑕疵的，出租人不负瑕疵担保责任，承租人无权要求出租人进行维修、减少租金或解除合同。但在特殊情况下，如租赁物危及承租人安全或者健康的，即使承租人明知，根据法律规定承租人仍有权随时解除合同；二是承租人怠于行使瑕疵通知义务。在租赁期间，如果出现租赁物有修理防止危害的必要或第三人就租赁物主张权利以及其他依据诚实信用原则应当通知的情形出现，而承租人怠于通知，只是自己遭受损失或出租人损害的，承租人应承担责任；三是瑕疵系承租人过错所致。承租人速还租赁物，按约定或者习惯应由承租人修理的，出租人不承担责任。
因此，因租赁的房屋缺陷对承租人造成损害的，如果出租人不存在以上所说的免责条件，就应该向承租人承担相应责任。
按照以上法律规定，被告李某应对房屋瑕疵负责，赔偿原告方的损失。