This is material I got from Julia (the author). Apologies it's in German, and it's actually about the best we have in terms of docs. --------------------------------------[2025-06-23] ich habe (endlich) den gematchten GDS-Katalog hochgeladen (robott/BGDS_matched_cat). Die Lichtkurven und Photometrie habe ich auch korrigiert und noch einmal in einen zusätzlichen Ordner hochgeladen (robott/BGDS_Gaia). Die bisherige Version der Lichtkurven und Photometrie habe ich nicht gelöscht, weil ich mir nicht sicher bin, ob das den GAVO-Service killt, der gerade läuft. Diese kann spätestens dann gelöscht werden, wenn die neue Version läuft. robott/BGDS_Gaia: Die neue Verson der Lichtkurven und Photometrie enthält eine zusätzliche Zeile für die Gaia DR3 ID. Diese ist notwendig, damit man nachvollziehen kann, welche Lichtkurven und Photometrie in die Median-Werte im gematchten Katalog eingeflossen sind oder um passende Lichkurven zu finden. In den Dateien in robott/BGDS_Gaia/phot/ ist Gaia_DR3_ID die 11. und letzte Spalte. In den Dateien robott/BGDS_Gaia/light_curves/ ist Gaia_DR3_ID die 16. Spalte. Bei den Hauptfiltern r' und i' in robott/BGDS_Gaia/light_curves/ gibt es wie bisher eine zusätzliche Spalte VARIABLE (0: Quelle wurde nicht als variabel klassifiziert, 1: Quelle wurde als variabel klassifiziert), die jetzt die 17. Spalte ist. Außerdem hatte ich die Lichtkurven verbessert, aber das sollte auf l2.rd keinen Einfluss haben. robott/BGDS_matched_cat: Es gibt eine Datei pro Feld; Median-Magnituden von Quellen in überlappenden Feldern berücksichtigen alle Felder und wurden nur einer der Dateien zugeordnet. Die Feld-Beschriftung spielt also eigentlich keine Rolle. Weil es im gematchten Katalog keine Lichtkurven gibt, habe ich keine .fits, sondern nur plain text gemacht. Alle Dateien sind gleich, haben keine Tabellenkopfzeile, Separator ',' und bei fehlenden Werten ist die Spalte leer. Wenn das unpraktisch ist, sag bitte Bescheid, wie ich es besser machen kann. Die Spalten sind ra, dec, gaia_id, var (mit 0 und 1 wie bei robott/BGDS_Gaia), spt (geschätzer Spektraltyp aus GDS UBV) und dann je med_mag, err_mag, flux, err_flux für alle 10 Filter, also: ra,dec,gaia_id,u_med_mag,u_err_mag,u_flux,u_err_flux,b_med_mag,b_err_mag,b_flux, b_err_flux,v_med_mag,v_err_mag,v_flux,v_err_flux,r_med_mag,r_err_mag,r_flux,r_er r_flux,i_med_mag,i_err_mag,i_flux,i_err_flux,z_med_mag,z_err_mag,z_flux,z_err_fl ux,oiii_med_mag,oiii_err_mag,oiii_flux,oiii_err_flux,sii_med_mag,sii_err_mag,sii _flux,sii_err_flux,nb_med_mag,nb_err_mag,nb_flux,nb_err_flux,ha_med_mag,ha_err_m ag,ha_flux,ha_err_flux,var,spt Melde dich bitte, wenn noch Infos fehlen oder ein anderes Format besser wäre. ---------------------------------------[2025-07-01] danke schön, dass du dich an die Tabelle machst! > gds_big brauche ich für die Bilder; und ich glaube, das > ist auch nichts (mehr) anderes als die Bilder drin. Denke ich auch. > Vorneweg: die alten dr2curves/ und dr2phot/-Verzeichnisse kann ich > dann löschen? > Gut: dr2curves, dr2phot und auch die tables? Ja, die alten dr2curves/ und dr2phot/-Verzeichnisse können gelöscht werden! tables weiß ich leider nicht, siehe unten. > Das gleiche gilt wohl für das, was noch in tables ist (das sind Dateien > wie > GDS_0644-0035/B_j/photcat.fits.gz); allerdings sehe ich die jetzt > auch in DR1 nicht referenziert, und leider sagt meine eigene Doku > dazu auch nicht viel. Ich denke, DR1 hatte Dateien wie GDS_0644-0035/B_j/photcat.fits.gz. Kann es sein, dass es noch sowohl Dateien mit data/tables/*/\pathspec/*.fits.gz (z. B. GDS_0644-0035/B_j/photcat.fits.gz, ich glaube das wäre DR1) als auch Dateien mit data/tables/light_curves/*\pathspec*.fits.gz und data/tables/phot/*\pathspec*.fits.gz (z. B. light_curves/GDS_0644-0035/r_s/photcat.fits.gz und phot/GDS_0644-0235/U_j/photcat.fits.gz, das könnte ein altes DR2 sein). Sag mir bitte noch einmal Bescheid, damit wir nicht versehentlich DR1 löschen! > (Du ahnst, ich würde immer noch gerne die DR1-Lichtkurven > depublizieren, wenn DR2 da ist.) Ja, es wäre schön, wenn die DR1-Lichtkurven von Moritz bleiben! > Ich hätte also am Schluss nur doch gds_big und robott in meinem > Data-Verzeichnis, richtig? robott/V16 robott/BEST robott/IRIS robott/ > Also: die phot_-Tabellen fülle ich aus > robott/BGDS_Gaia/phot/? Ja! > Aber was ist dann der BGDS_matched_cat? Das ist eine Tabelle, die > ich so noch nicht habe, ober? Ja, BGDS_matched_cat gab es noch nicht. > Kannst du, am besten in so kurzen Phrasen wie für die anderen Tabellen, > kurz schreiben, was genau das > ist? Bei den bisherigen Lichtkurven und Photometrie gab es keine Angaben, welche Filter-Messungen zu einem Stern gehören. Dazu kommt, dass sich die GDS-Felder überschneiden, also kann es für einen Stern auch mehrere Lichtkurven pro Filter geben. BGDS_matched_cat ist eine Umsetzung von deinem Vorschlag, den du mir deswegen schon vor einer ganzen Weile gemacht hast (sorry, hat alles länger gedauert...): "Etwas weiter geblickt: Die ganze Datenstruktur ist so schon ziemlich komplex, und alles wäre *viel* schöner und nützlicher, wenn die verschiedenen Beobachtungen gematcht wären. Ich bin ziemlich fest überzeugt, dass das, zumal mit der Datenbank im Hintergrund, mit einer Fehlerrate im niedrigen einstelligen Prozentbereich geht (Position plus Magnitude plus x). Wenn du mal irgendwann ein wenig Zeit findest, könnte ich mir gut vorstellen, ein paar Stunden auf einen Prototypen eines Matchers zu verwenden." Du hattest mehrere Vorschläge, wie man es machen könnte, und ich habe diesen genommen: "Aber ganz ehrlich: Wenn eure Astrometrie gut genug ist, würde ich wahrscheinlich einfach Gaia als Master-Katalog verwenden und heuristische Plausibilitätskriterien für die Photometrie ansetzen. Wenn das keine überbordende Fehlerrate hat, würde ich alles weitere auf später verschieben." Jede Tabelle für eine Filter-Feld-Kombination habe ich mit stilts mit Gaia gematcht (best pair mode; 3-arcsec-Radius; maximale Magnitudendifferenz abhängig vom Filter). In BGDS_matched_cat sind die Daten pro Gaia DR3 ID zusammengestellt. ra, dec: Median aus allen RA- und DEC- Werten aller r- und i-Messungen. Wenn es kein r oder i gibt, dann Median aus allen RA- und DEC- Werten aller vorhandenen Filter. x_med_mag, x_err_mag, x_flux, x_err_flux: Es werden je alle Messungen (auch aus unterschiedlichen Feldern) des Filters berücksichtigt. var: Wie VARIABLE (0: Quelle wurde nicht als variabel klassifiziert, 1: Quelle wurde als variabel klassifiziert) bei den Lichtkurven, damit der Wert 1 ist, muss nur eine der r- oder i-Lichtkurven variabel sein. spt: Geschätzer Spektraltyp aus GDS UBV mithilfe von reddening path und der Eigenfarben der Spektraltypen. Wird angegeben, wenn es Werte für UBV gibt und der reddening path genau 1 Spektraltyp schneidet. > Soll phot_all immer noch ein view aus diesen Tabellen sein oder lasse > ich das besser weg, wo es doch jetzt BGDS_matched existiert? Es wäre schön, wenn phot_all so unabhängig von BGDS_matched bleiben könnte: phot_all enthält die zusätzlichen Spalten Ra, Dec und Amplitude für jeden Filter. Ra und Dec für einzelne Filter könnte relevant sein, weil vermutlich ein geringer Teil der Sterne falsch gematcht ist. Im GDS sind ja nicht alle Quellen aufgelöst, die Gaia als 2 Quellen erkennt. Diese sehen im GDS wie Punktquellen, Ellipsen oder zwei sich überlagernde Punktquellen aus. Bei zwei sich überlagernden Punktquellen liegen die Koordinaten manchmal zwischen den Quellen und manchmal auf einer der beiden Quellen. Im Zweifel könnte man mithilfe der Koordinaten für jeden Filter in phot_all und den Bildern prüfen, ob der Match plausibel ist. Außerdem sind die Median-Magnituden in phot_all je nur für ein Feld. Es kann merkliche Magnituden-Offsets zwischen den Feldern geben, deswegen habe ich in BGDS_matched_cat keine Amplituden aufgenommen, aber in phot halte ich die Amplituden für zuverlässig. > Auch das ist neu, richtig? Das sollte ich wahrscheinlich in > Präferenz zu phot_all nehmen und damit das View-Machen lassen? Ich dachte an eine zusätzliche Tabelle für BGDS_matched und der Rest bleibt so wie er ist (außer einer zusätzlichen Spalte für Gaia DR3 ID), wäre das ok? > Mit "Feld-Beschriftung" meinst du den Inhalt der Spalte fieldid? > Sollten wir sie dann nicht gleich rauslassen? fieldid kann für BGDS_matched_cat weg. Wenn jemand die Felder wissen möchte, kann man mithilfe der Gaia DR3 ID in den Lichtkurven und der Photometrie die Felder nachschauen. > Ok, ich *denke*, die packe ich in ein Array (so, wie ich das auch > schon für sdssdr16.main in meinem TAP-Dienst mache). Das mag im > Einzefall eine kleine Hürde sein, aber ich glaube, schon kurzfristig > werden das Leute besser finden. Ich habe mir sdssdr16.main angesehen und finde es gut so! Ich wüsste nicht, was dagegen spricht. Man könnte es auch wie in sdssdr16.main gemischt machen, also ra, dec, gaia_id, var, spt einzeln und die ganzen Magnituden und Flüsse in arrays. Wie es dir am besten passt. :) > ich glaube, du kannst mir viel Zeit sparen, wenn du mir kurz erzählst, was > wohin > soll. Wenn jetzt noch Infos fehlen, sag bitte Bescheid! ---------------------------------------[2025-07-04] > Ach, es ist ein Elend :-). Ich prokrasitiere den BGDS, und wenn ich > reingucke, merke ich, dass es vielleicht doch gut wäre, wenn wir > nochmal plaudern würden, Ehrlich gesagt ist es mir auch ein Elend. Ich versuche, mir vererbtes Durcheinander und Liegengebliebenes von über einem Jahrzehnt, aufzuarbeiten. Wenn ich es dir schwer mache, sag mir bitte Bescheid, damit ich das ändere. > weil da doch ziemlich große Klöpper > drin sind, die ich erstmal noch gar nicht verstehe: > > 3131439484 BEST > 25321236 BGDS_Gaia > 1420326848 RoBoTT_milkyway > 2680839688 V16 Du hattest mir noch letztes Jahr erlaubt, eine Sicherheitskopie von den restlichen RoBoTT-Daten (mit RoBoTT wurden noch andere Felder als die GDS-Felder beobachtet) und den Daten der anderen Teleskope zu machen (in Bochum sind diese teilweise nur noch einfach gespeichert, weil die Festplatten nacheinander kaputtgehen), bis ich dazu komme, es GAVO-Service-fertig zu machen. Diese Daten gehören nicht zum BGDS: robott/RoBoTT_milkyway robott/V16 robott/BEST robott/IRIS > Und dann bin ich auch gleich wieder verwirrt, weil es z.B. in > RoBoTT_0.75px_2319+0015 sowohl B als auch B_j gibt > Sind das wirklich andere Filter? Soll > ich die die _j und ohne _j auseinanderhalten oder zusammenstecken? Diese Datei müsste aus robott/RoBoTT_milkyway sein. Ich bin noch dabei, die restlichen RoBoTT-Bilder zu vereinheitlichen und fehlende zu reduzieren. In robott/RoBoTT_milkyway habe ich nur aus meiner Sicht fertige Bilder hochgeladen. Dass es bei den alten Bildern noch welche mit B gibt, war mir wohl durch die Lappen gegangen, danke für den Hinweis! Wenn ich fertig bin, würde ich mich für robott/RoBoTT_milkyway über einen Bilderservice, der ganz genauso wie der für das BGDS ist, freuen. Die Datei q.rd würde sich für robott/RoBoTT_milkyway kaum vom BGDS unterscheiden. Aber robott/RoBoTT_milkyway ist leider nur noch mein Freizeitprojekt und ich werde wohl nicht allzu bald damit fertig. Aber jetzt bitte noch keinen Bilderservice, ich melde mich dann, wenn ich robott/RoBoTT_milkyway fertig habe. > Vielleicht können wir ja > probieren, dass ich dich anrufe, wenn ich gerade BGDS-Zeit habe und > wir ggf. auf telco wechseln? Wenn das nächste Woche nicht klappt, > können wir ja vielleicht immer noch eine Terminvereinbarung > probieren? Dann machen wir es so, wie du es vorschlägst. Bin im Moment im Homeoffice, hier meine Telefonnummer: 02331 405695. Ich hoffe, dass ich dich nicht verpasse, bin leider nicht die ganze Zeit da. Danke auf jeden Fall, dass du dir die Zeit nimmst!