“Der Grossvater unseres Johannes Karg, der Schuhmacher Conrad Karg, wohnte 1497 bei St. Antonino (es war dies die Bezeichnung für den Steuerbezirk 77 in der Oberstadt) und zahlte ausser den üblichen Kopfsteuern keine Vermögenssteuer, die nur bei Vermögen über 100 Gulden erhoben wurden. Als dessen Vater wird Luitpold Karg angesehen, der immerhin 1 Gulden Vermögenssteuer zahlte und 1472 gestorben sein muss. Dessen Vater gleichen Namens wohnte seit 1416 „beim Haustetter Torhaus“ und hatte 3 Gulden zu entrichten. Er ist zweifellos identisch mit dem Brunnenmeister Leopold Karg „aus einem angesehenen und vermöglichen Geschlecht“, der im Jahre 1412 ein Wasserwerk erbaute, das mit 7 Röhren das Wasser beim Schibbogen in die Stadt leiten sollte, aber zu kostspielig ausfiel und keinen Nutzen brachte. Durch seinen darüber entstandenen Prozess mit der Stadt Augsburg verarmte er, was das Absinken seiner Nachkommen in die geringste Steuerklasse verständlich macht. Der sogenannte „Erste Zunftbrief“ der Stadt Augsburg vom 24. November 1368, der nach den Zunftunruhen den Bürgern mehr Einfluss auf die Besteuerung gegeben hat, trägt an einem Pergamentstreifen das Stadtsiegel sowie 29 kleinere Siegel, darunter das von „Her Liupolt der Karg“ neben dem von „her Hans der Welser“, was auf die einstige Bedeutung der Familie Karg hinweist.”