简易程序是当场实施处罚的一种简便程序。 正确。 错误。
法律、行政法规对违法行为已经作出行政处罚规定，地方性法规需要作出具体规定的，必须在法律、行政法规规定的给予行政处罚的行为、种类和幅度的范围内规定。 正确。 错误。
为解决行政机关的办案经费问题，财政部门可以适当向作出行政处罚决定的行政机关返还罚款、没收的违法所得或者返还没收非法财物的拍卖款项。 正确。 错误。
对情节复杂或者重大违法行为给予较重的行政处罚，行政机关的负责人应当集体讨论决定。 正确。 错误。
行政执法人员与当事人有直接利害关系的，应当回避。 正确。 错误。
行政处罚由被处罚人所在地或者违法行为发生地的县级以上地方人民政府具有行政处罚权的行政机关管辖。
