单位在确定火灾隐患整改的优先级时，应当综合考虑隐患的严重程度、整改难度、发生时间以及发生的频率等因素，以确保整改工作有序高效。