违反税收法律、行政法规应当给予行政处罚的行为，在2年内未被发现的，不再给予行政处罚。 正确。 错误。
税务机关发现纳税人多缴税款的，应当自发现之日起10日内办理退还手续；纳税人发现多缴税款，要求退还的，税务机关应当自接到纳税人退还申请之日起30日内查实并办理退还手续。 正确。 错误。
个体工商户需要停业的，可以在停业前向税务机关申报办理停业登记。 正确。 错误。
税务机关向被检查单位提取发票原件时，应当向其出具《发票换票证》。 正确。 错误。
当纳税人第一次采取欺骗、隐瞒手段进行虚假纳税申报或者不申报，逃避缴纳税款数额较大并且占应纳税额的10%以上，经税务机关依法下达追缴通知后，补缴应纳税款缴纳滞纳金，并且已受行政处罚的，不予追究刑事责任。 正确。 错误。
所有税收的征收管理，均适用《税收征管法》。
