In der tiefen Nacht möchte ich einen aktuellen Gedanken teilen. Eigentlich ist es nicht neu, sondern ein altbekanntes Thema: „Die Menschen, die Infra machen, müssen sich dem Geschäft nähern, sonst ist alles nur ein Luftschloss.“ Ich habe schon oft erwähnt, dass unser Unternehmen ein führender Akteur im AIGC-Bereich ist, der sich auf die 2D-Welt konzentriert. Ein Problem, dem wir kürzlich gegenüberstanden, wurde durch Elasticsearch verursacht. Die von unseren Nutzern öffentlich veröffentlichten Kunstwerke und generierten Aufgaben sind durchsuchbar. In letzter Zeit gab es häufig Probleme mit Elasticsearch, bei denen einige Datenknoten überlastet waren und es zu Kettenreaktionen bei den Suchanfragen kam. Wie können wir dieses Problem also schnell lösen? Bevor wir weiter diskutieren, müssen wir darüber nachdenken, was die Essenz der Suchoperation in diesem Szenario ist. Meiner Meinung nach ist es das Asset Management. Im AIGC-Szenario ist der Prompt zweifellos das zentrale Asset des Nutzers, während die entsprechenden Aufgaben und Kunstwerke in gewissem Sinne als Vorschau (oder Eigenschaften) des Assets betrachtet werden können. Mit dieser Schlussfolgerung können wir klar erkennen, dass zumindest in der aktuellen Form die Kernattribute des Geschäfts nicht zugunsten technischer Ergebnisse aufgegeben werden dürfen. Gleichzeitig haben wir eine Beobachtung gemacht: Die Sichtbarkeit der von unseren Nutzern veröffentlichten Kunstwerke unterscheidet sich von der der Aufgaben. Kunstwerke sind öffentlich durchsuchbar und tragen auch die Verantwortung für SEO, während Aufgaben tatsächlich nur für die Nutzer sichtbar sind. Das heißt, die Zugriffsfrequenz und der Ressourcenbedarf der beiden Datensätze sind unterschiedlich. Anders ausgedrückt, wir haben einen Bedarf an Multi-Tenancy für den ES-Index. Leider hat der derzeitige ES-Design jedoch keine Multi-Tenancy-Fähigkeiten. Langfristig wird die Optimierung von Abfragen sicherlich eine Option sein, aber angesichts des derzeit rasant wachsenden Geschäfts wird die Aufteilung des Index in verschiedene Cluster und die Zuweisung unterschiedlicher Rechenleistung/Speicherplatz basierend auf den verschiedenen Eigenschaften des Indexes zur schnellen Fehlersuche unsere erste Wahl sein. Diese Arbeit ist derzeit im Gange, die Ergebnisse sind unbekannt, aber der gesamte Denkprozess ist etwas, das ich in den letzten Jahren selten in Betracht gezogen habe. Oft ist die optimale technische Lösung nicht unbedingt die optimale Geschäftslösung. Zu guter Letzt noch eine Werbung. Unser Unternehmen sucht Mitarbeiter, ML Engineer, ML Data/Full Stack/Backend/Marketing und andere Positionen sind offen. Wenn du Lust hast, an interessanten Projekten zu arbeiten, schreib mir eine DM, ich helfe dir, direkt zu deinem Chef zu gelangen.