Говоря о недавних мыслях в поздний вечер На самом деле это не ново, это старая тема: "Люди, занимающиеся инфраструктурой, должны быть ближе к бизнесу, иначе все это - воздушные замки". Я много раз упоминал, что наша компания является ведущим игроком в AIGC, специализирующимся на аниме. Недавно мы столкнулись с проблемой, связанной с Elasticsearch. Наши пользователи могут открыто публиковать свои произведения искусства и генерировать задачи, которые можно искать. Недавно Elasticsearch часто сталкивался с ситуацией, когда некоторые узлы данных были переполнены, и это вызывало проблемы с поиском. Как же нам быстро решить эту проблему? Прежде чем продолжить обсуждение, нам нужно подумать, в чем суть операции поиска в этом контексте? На мой взгляд, это управление активами. В контексте AIGC, Prompt безусловно является основным активом пользователя, а соответствующие задачи и произведения искусства в определенном смысле можно считать предварительным просмотром (или атрибутами) активов. Имея такую гипотезу, мы можем четко понять, что, по крайней мере в текущем виде, основные бизнес-атрибуты не могут идти на уступки ради технических результатов. В то же время у нас есть наблюдение: видимость произведений искусства, которые наши пользователи публикуют, отличается от задач. Произведения искусства можно открыто искать, и они несут ответственность за SEO, в то время как задачи видны только пользователям. Иными словами, частота доступа к данным и потребности в ресурсах для обоих различны. Другими словами, у нас есть потребность в многопользовательском доступе к индексам ES. Но, к сожалению, согласно текущему дизайну ES, он не обладает многопользовательскими возможностями. Хотя в долгосрочной перспективе оптимизация запросов будет неизбежным вариантом, в условиях стремительно развивающегося бизнеса, разделение индексов на разные кластеры и предоставление различной вычислительной мощности/дискового пространства в зависимости от свойств индекса станет нашим приоритетом для быстрого тестирования. В настоящее время эта работа продолжается, результаты неизвестны, но весь процесс размышлений и игры в умы на самом деле был тем, о чем я редко задумывался в последние несколько лет. Часто оптимальное техническое решение не является оптимальным бизнес-решением. В конце концов, еще одно объявление. Наша компания ищет сотрудников: ML Engineer, ML Data/Full Stack/Backend/Marketing и другие вакансии открыты. Если вы хотите заняться чем-то интересным, пишите в личные сообщения, помогу вам связаться с вашим боссом.