Үзіліссіз жаңарту және желі үзілгенде қайталау: Kaspi төлемін қабылдайтын сервис әлсіз тұстарын қалай жапты
Қазақстанда сайтқа, Telegram-ботқа және автоматтарға Kaspi төлемін қосатын бірнеше тәуелсіз сервис бар. Олардың жұмыс тәсілі бірдей: кәсіпкер Kaspi Pay бизнес-аккаунтына «Кассир» рөлі бар бөлек қызметкер қосады, ал сервис соның атынан счёт шығарып, төлемді бақылайды.

Ақша тікелей сатушының шотына түседі, сервис оны ұстамайды. Мұндай делдалдың басты міндеті — төлем түскенін сайтқа дер кезінде хабарлау. Хабар жоғалса, ақша шотта тұрады, бірақ сатып алушы тауарын ала алмайды.
Qut Pay — осындай сервистердің бірі. 15–16 қарашада оның әзірлеушілері бір топ өзгеріс шығарды. Оның қызығы жаңа функцияларда емес, инженерлік шешімдерде.
Себеп: үнсіз жоғалған хабарлар
Бәрі онлайн-курс сатушының өтінішінен басталды: сатып алушылар төлеген, бірақ курсқа сілтеме алмаған. Төлемдер Kaspi-ге түскен, Qut Pay-де «төленді» деп белгіленген. Себеп кілттердің байланысында болды: сатушы жаңа API кілт шығарып, ескісін өшірген, ал хабар жіберілетін адрес (webhook) ескі кілтке байланған күйі қалған. Жүйе жаңа кілттің счёттарын «бұл адреске жатпайды» деп санап, хабар жібермеген. Қате де, ескерту де шықпаған.
Төрт төлемнің хабары қайта жіберіліп, бәрі жетті. Енді кодта кілт өшірілгенде оған байланған webhook босатылады, ал адрес өшірілген кілтке байланса не соңғы төлемдерді алмай жатса, кабинет ескертеді. Осыдан кейін команда платформаға толық аудит жасады.
Аудит: бір күнде 32 тармақ
Аудит үш бағытта жүрді: тест пен нақты режимнің шекарасы, төлемді табу және жеткізу, кабинеттің шындықты көрсетуі. 32 мәселе табылып, әрқайсысы жабылды және автотестпен бекітілді. Солардың бірнешеуі:
Тест кілтімен нақты счёт жасауға болатын, кері жағдай да мүмкін еді. Енді кілт өз режиміне байланған, сервер 409 keymodemismatch қатесін қайтарады. Кабинеттегі шолу нақты түсім мен тест төлемдерін қосып көрсеткен, сондықтан бір сатушыда сома екі есе көп болып шыққан. Енді тек ағымдағы режим саналады. Сайт 4xx қатесін қайтарса, хабар қайта жіберілмейтін. Енді қайталанады, ал қатарынан бірнеше рет жетпесе, сатушыға Telegram арқылы хабар барады. Kaspi-мен байланыс үзілген сәтте түскен төлемді жүйе кассир қайта кірген кезде қайта тексереді. Бір ескерту: аудит ішкі. Оны команданың өзі жүргізген, нәтижесін сырттан сарапшы тексерген жоқ.
Тоқтаусыз жаңарту
Бұрын сервис әр жаңартылған сайын бірнеше секунд жауап бермей тұратын. Төлем беті үшін бұл байқалады: сол секундтарда сатып алушы қатені көреді.
Шешім классикалық. Серверде енді API-дың екі данасы жұмыс істейді: негізгі және қосалқы. Қосалқысы тек HTTP сұрауларына жауап береді. Фондық жұмыстар (Kaspi-ден төлем күйін сұрау, хабарламалар, Telegram-бот) тек негізгісінде жүреді, әйтпесе әр счёт екі рет тексеріліп, әр хабар екі рет жіберілер еді. Nginx трафикті негізгі данаға жібереді, ал ол қайта іске қосылып жатқанда қосалқыға ауысады. Жаңарту скрипті оларды кезекпен қайта қосып, әрқайсысынан /health жауабын күтеді.
Алғашқы тексеру бір нәзік тұсты көрсетті. Қайта қосылғаннан кейін nginx негізгі дананы тағы 2 секунд «құлаған» деп санайды (fail_timeout параметрі). Сол секундтарда қосалқысын да қайта қоссаң, nginx-те сұрау жіберетін жер қалмай, ол 502 қайтарады. Сынақ жаңартуында бұл екі рет болды. Қайта қосулардың арасына үзіліс қосылғаннан кейін әзірлеушілер қатарынан үш жаңарту жасап, сол уақыт бойы сайт пен кабинетке сұрау жіберіп отырды: 208 сұраудың бәрі 200 жауабын алды.
Бір шектеу бар: дерекқордағы өзгерістер тек қосатын болуы керек. Бірнеше секунд бойы ескі кодтағы қосалқы дана жаңартылған схемамен жұмыс істейді, сондықтан бір жаңартуда бағандарды өшіруге не атын өзгертуге болмайды.
Желі үзілгенде қайталау және ол неге әрдайым болмайды
16 қарашада таңертең сервердің сыртқы желісі шамамен үш минутқа үзіліп, сол аралықта үш счёт жасалмай қалды. Ең оңай жауап — сұрауды қайталау. Бірақ телефонға жіберілетін счёттың бір қиындығы бар: Kaspi счётты клиентке жауап бермей тұрып-ақ жібереді. Жауап келмесе, счёт сатып алушының қосымшасына жетіп үлгерген болуы мүмкін, ал қайталау оған екінші счётты жібереді.
Сондықтан қайталау (бір рет, 1,5 секундтан кейін) екі түрлі жұмыс істейді:
- QR счёт кез келген желі қатесінде қайталанады. Ешкім сканерлемеген артық QR өзі-ақ өшеді.
- Телефонға счёт байланыс мүлде ашылмаған жағдайда ғана қайталанады: DNS жауап бермесе, қосылудан бас тартылса не қосылу уақыты өтіп кетсе. Мұндай кезде Kaspi сұрауды көрмеген. Ал сұрау кетіп, жауап келмесе, қайталау болмайды: счёт расталмаған деп белгіленеді, сатушыға оны Kaspi Pay-де тексеру туралы хабар барады.
Бұл ұзақ үзілістен құтқармайды, бірақ әзірлеушілердің бағасы бойынша қысқа үзілістер енді сатушыға сатылымды жоғалтпауы керек.
Бұл нені шешпейді
Бұл шаралардың бәрі сервистің өз сенімділігіне қатысты. Бүкіл саланың басты тәуекелі сол күйінде қалады. «Кассир» рөлі арқылы жұмыс — Kaspi-дің ресми API-ы емес. Kaspi бөгде тараптардың Kaspi Pay-ге кіруін шектейді және мұндай қолжетімділікті тоқтата алады. Бұл тек Qut Pay-ге емес, осы тәсілмен жұмыс істейтін барлық сервиске қатысты. Сервистің өзі бұл тәуекел туралы сенім орталығында жазады және өзін Kaspi серіктесі деп атамайды.
Осындай сервисті таңдағанда екі нәрсені тексерген жөн: төлем хабары сайтқа шынымен жетіп жатыр ма (жеткізу журналы кабинетте көрінуі керек) және Kaspi-ге қолжетімділік үзілсе, төлем қабылдаудың қосалқы жолы бар ма.
Сервистің өзгерістер тарихы: api.qut.kz/changelog.
Материал Qut Pay әзірлеушілері берген деректер мен сервистің жарияланған жаңартулар тарихы негізінде дайындалды.