Det var ikke i orden at Karsten Hønge dagen efter EP-valget meddelte at han ikke ville til EU.