WebInterpret: Skuteczna automatyzacja e-commerce – spadek liczby awarii o 99,97%

Wprowadzenie

Webinterpret dostosowuje produkty e-commerce klientów do rynków międzynarodowych, tłumacząc opisy i przeliczając rozmiary na lokalne standardy. Platforma obsługuje Amazon, eBay i Rakuten.

W 2014 roku system nie wytrzymywał już stale rosnącego ruchu. Błędy sypały się lawinowo. Oferty sprzedawców utykały w kolejkach przetwarzania. Infrastruktura nie skalowała się, a stos technologiczny zaczynał odstawać od standardów.

Pragmatic Coders dołączyli jako partner technologiczny i przez trzy lata współpracy stali się integralną częścią zespołu R&D.

Technologie

• Python z Flask – backend
• MySQL i MongoDB – bazy danych
• RabbitMQ – kolejkowanie wiadomości
• Elasticsearch – wyszukiwanie
• Sentry – monitoring i śledzenie błędów
• Jenkins – CI/CD
• AWS – infrastruktura chmurowa

Wyzwania

Brak monitoringu błędów

Platforma generowała 1,5 miliona błędów dziennie. Brak obserwowalności systemu oznaczał, że zespół nie wiedział, co się psuje ani dlaczego. O problemach produkcyjnych dowiadywano się od użytkowników, nie z monitoringu.

Przetwarzanie ofert sprzedawców trwające tygodniami

Pobieranie i przetwarzanie ofert sprzedawców zajmowało tygodnie zamiast godzin. Sprzedawcy nie mogli wystarczająco szybko wystawiać produktów na rynkach międzynarodowych.

Wydajność bazy danych napędzająca koszty

Nadmierna liczba zapytań i źle dobrane indeksy tworzyły wąskie gardła. Architektura nie była przygotowana na rosnącą bazę użytkowników, więc koszty rosły szybciej niż przychody.

Przestarzałe technologie

System opierał się na Python 2.6 i MySQL 5.5 — przestarzałych technologiach u schyłku oficjalnego wsparcia. Publikacja poprawek bezpieczeństwa miała wkrótce ustać. Społeczność deweloperska przeniosła się już na nowsze wersje. System pilnie wymagał migracji. Ale migracja czegoś tak niestabilnego stanowiła poważne ryzyko.

Rozwiązania

Widoczność dzięki Sentry

Wdrożyliśmy Sentry, dając zespołowi wgląd w błędy na całej platformie. Dzięki temu mogliśmy identyfikować wzorce, priorytetyzować poprawki i mierzyć postęp.

Liczba dziennych błędów spadła z 1,5 miliona do około 500 — redukcja o 99,97%.

Przeprojektowanie kluczowych procesów

Przepisaliśmy podstawowe procesy systemowe z naciskiem na wydajność, z zachowaniem spójności danych.

Czas przetwarzania ofert sprzedawców skrócił się z tygodni do godzin.

Optymalizacja bazy danych

Zoptymalizowaliśmy zapytania, poprawiliśmy indeksy i przebudowaliśmy sposób komunikacji aplikacji z bazą danych.

Koszty infrastruktury spadły o 60%, a liczba użytkowników wzrosła ośmiokrotnie na odchudzonej infrastrukturze.

Migracja technologii

Zmigrowaliśmy system z Python 2.6 i MySQL 5.5 do aktualnych, stabilnych wersji. Aktualizacja poprawiła wydajność i bezpieczeństwo oraz obniżyła koszt utrzymania.

Rozwój platformy

Po ustabilizowaniu systemu rozwinęliśmy nowe funkcjonalności:

• narzędzie do międzynarodowej komunikacji kupujący–sprzedający,
• prototyp nowego narzędzia e-commerce dla kolejnej platformy sprzedażowej,
• rozwiązanie integrujące różne platformy e-commerce, umożliwiające małym sprzedawcom wejście na rynki zagraniczne,
• usprawnienia wewnętrznego systemu wiadomości, które zmniejszyły liczbę serwerów o 20%.

Podsumowanie

To, co zaczęło się jako ratowanie tonącego systemu, przerodziło się w trzyletnią współpracę. Z platformy generującej 1,5 miliona błędów dziennie zrobiliśmy stabilny, skalowalny system. Koszty infrastruktury spadły, a baza użytkowników wzrosła ośmiokrotnie. Zmodernizowaliśmy technologie, tworząc solidne fundamenty pod nowe produkty.