Also könnte man ganz primitiv zusammengefasst sagen, dass sich im basischen Milieu irgendwo ein H+ abspaltet und im sauren Milieu ein H+ anlagert, oder?

Richtig; liegt daran, dass OH- Ionen im alkalischen Milieu mit den Protonen des Farbstoffes reagieren können zu Wasser. Also findet eine Deprotonierung des Farbstoffes statt.
Im sauren Milieu ist es andersherum. Dort liegen H3O+ Ionen in der Lösung vor, die durch eine Protonenabgabe zu Wasser reagieren können. Funktionelle Gruppen am Farbstoff, die ein freies Elektronenpaar haben (-OH, -NH2, usw.) werden also protoniert .