Ich sehe dieses "Komitee" nicht dafür zuständig, über jedes einzelne Downvote schon im Vorfeld manuell zu entscheiden

Ich auch nicht. Auf gar keinen Fall!

Ich habe es so gemeint: Natürlich darf noch jeder downvoten, muss dafür aber über ein Menü angeben, weshalb.
Angenommen, ich flagge einen User, weil mir seine Nase nicht passt, gebe aber als Begründung "Plagiat" an, dann hat dieser User einen berechtigten Grund, sich ans Komitee zu wenden. Aber nur in solchen Fällen, denn - wie gesagt - alles andere wäre nichts als ABM.

Wie das technisch funktionieren sollte, ein Downvote "zurückzuziehen", statt es mit einem Upvote zu überschreiben (das ist es, was ich mit "kontern" meine), ist mir nicht ganz klar.

Mir auch nicht. Mir ist nicht eine technische Möglichkeit oder Umsetzung klar. Ich denke nur laut... ;-)