Późną nocą dzielę się ostatnimi przemyśleniami. Właściwie to nie jest nic nowego, to wciąż stary temat: „Osoby zajmujące się infrastrukturą muszą być blisko biznesu, w przeciwnym razie wszystko to tylko zamki na piasku”. Wielokrotnie wspominałem, że nasza firma jest czołowym graczem w AIGC, koncentrującym się na rynku dwuwymiarowym. Ostatnio stajemy przed problemem związanym z Elasticsearch. Nasze publicznie publikowane dzieła sztuki i zadania generacyjne są dostępne do wyszukiwania. Ostatnio Elasticsearch często napotyka problemy, gdy niektóre węzły danych są przeciążone, co prowadzi do problemów z wyszukiwaniem. Jak szybko rozwiązać ten problem? Zanim przejdziemy do dalszej dyskusji, musimy zastanowić się, jaka jest istota operacji wyszukiwania w tym kontekście. Moim zdaniem to zarządzanie aktywami. W kontekście AIGC, Prompt jest niewątpliwie kluczowym aktywem użytkownika, a odpowiadające mu zadania i dzieła sztuki w pewnym sensie są podglądem (lub atrybutem) aktywów. Mając tę tezę, możemy jasno stwierdzić, że przynajmniej w obecnej formie, kluczowe atrybuty biznesowe nie mogą ustępować na rzecz wyników technicznych. Jednocześnie zauważyliśmy, że widoczność publicznie publikowanych dzieł sztuki przez naszych użytkowników różni się od zadań; dzieła sztuki są publicznie dostępne do wyszukiwania i ponoszą odpowiedzialność SEO, podczas gdy zadania są widoczne tylko dla użytkowników. Innymi słowy, częstotliwość dostępu do danych obu tych elementów oraz zapotrzebowanie na zasoby są różne. Mówiąc inaczej, mamy potrzebę wielo-tenantowego dostępu do indeksu ES. Niestety, zgodnie z obecnym projektem ES, nie ma on zdolności do wielo-tenantowości. Chociaż w dłuższej perspektywie optymalizacja zapytań będzie nieuniknioną opcją, w obliczu szybko rozwijającego się biznesu, podział indeksu na różne klastry i przypisanie różnej mocy obliczeniowej/dysku w zależności od atrybutów indeksu, szybkie testowanie i błędy staną się naszym priorytetem. Obecnie ta praca jest w toku, efekty są nieznane, ale cały proces myślenia i rozgrywki jest czymś, nad czym rzadko się zastanawiałem w ostatnich latach. Wiele razy optymalne rozwiązanie techniczne niekoniecznie jest optymalnym rozwiązaniem biznesowym. Na koniec, jeszcze jedno ogłoszenie. Nasza firma rekrutuje, poszukujemy ML Engineer, ML Data/Full Stack/Backend/Marketing i innych stanowisk. Jeśli chcesz robić coś interesującego, zapraszam do kontaktu, pomogę Ci dotrzeć do Twojego szefa.