本题考查税务登记。

纳税人不办理税务登记的，税务机关应当自发现之日起3日内责令其限期改正；逾期不改正的，处2 000元以下的罚款；情节严重的，处2 000元以上10 000元以下的罚款。注意选项A为情节严重的情况。

因此，本题正确答案为选项B。

本题考查账簿、凭证管理。

【选项A错误】从事生产、经营的纳税人应自领取营业执照或者发生纳税义务之日起15日内，按照国家有关规定设置账簿。

【选项B错误】生产、经营规模小又确无建账能力的纳税人，聘请相关机构或者人员有实际困难的，经县以上税务机关批准，可以按照税务机关的规定，建立收支凭证粘贴簿、进货销货登记簿或使用税控装置。

【选项C错误】扣缴义务人应在税收法律、行政法规规定的扣缴义务发生之日起10日内，按照所代扣、代收的税种，分别设置代扣代缴、代收代缴税款账簿。

因此，本题正确答案为选项D。

本题考查发票管理。

发票作为我国经济交往中基本的商事凭证，是记录经营活动的一种书面证明，是在购销商品、提供或者接受服务以及从事其他经营活动中开具、收取的收付款凭证，是加强财务管理、保护国家财产安全的重要手段，是财务会计核算的原始凭证和税务稽查的重要依据，是维护社会经济秩序的重要工具。

因此，本题正确答案为选项D。

本题考查账簿、凭证管理。

税收凭证通常分为两类：

①完税凭证类。

②综合凭证类，包括各种提退减免凭证【选项C】、罚款收据【选项D】、票款结算单、代扣代缴税款专用发票【选项E】、纳税保证金收据、税票调换证【选项A】等。

【选项B错误】完税证明属于完税凭证类的税收凭证。

因此，本题正确答案为选项ACDE。