司法赔偿的管理部门主要是 司法行政机关及其法制工作部门。具体来说，司法行政机关的法制工作部门负责赔偿案件的初步审查并决定是否立案，而监狱、劳动教养管理所的赔偿案件则由这些机构自行受理、承办和审核。
此外，根据《中华人民共和国国家赔偿法》的相关规定，行使侦查、检察、审判职权的机关以及看守所、监狱管理机关及其工作人员在行使职权时侵权造成损害的，该机关为赔偿义务机关。
因此，司法赔偿的管理涉及多个层级和部门，但主要归司法行政机关负责，具体处理赔偿案件的部门包括法制工作部门和监狱、劳动教养管理所等。
