WHEREはGROUP BYより前に各行を絞り、HAVINGはGROUP BYより後にグループを絞ります。HAVING COUNT(*) >= 2とすると、2行以上あるcityグループだけが残ります。