Dlaczego banki nie dają dostępu do wszystkich Twoich transakcji?

“Rzeczy są takie, jakie są, ponieważ takie się stały.”
- Gerald Weinberg

Banki działają w branży od bardzo długiego czasu. Jednak wiele z tego, co uważamy za oczywiste pod względem technologii (możliwości, pojemności i kosztów), to stosunkowo niedawne osiągnięcia.

Banki często tkwią na starszych platformach (na przykład mainframe), gdzie koszt nadmiarowej pamięci masowej online znacznie przekracza cenę towaru, którą konsumenci uważają za oczywistą. Podobnie, ulepszenia oprogramowania, które wymagają zmian w back-end mogą być bardziej skomplikowane.

Ponadto, o ile nie trzeba na tym zarobić ani złotówki (lub miliarda), banki mają tendencję do powolnego poruszania się w porównaniu z resztą świata biznesu. Przezwyciężenie zasady “ale my zawsze robiliśmy to w ten sposób” jest niewiarygodną przeszkodą w dużej, uznanej organizacji, jaką jest bank - i dlatego sprawy nie ulegają poprawie bez wielkiego wysiłku. Mówili mi o tym znajomi, którzy pracowali w działach technologicznych dużych banków.

Mniejszy bank z mniejszym historycznym długiem technicznym i narzutem organizacyjnym może być bardziej skłonny do rozwiązania takiego problemu, ale wątpię, aby największe banki traciły nad tym sen.

Wszystkie inne odpowiedzi tutaj są poprawne, ale dodam jeszcze jedną perspektywę. Jestem architektem biznesowym w jednym z największych banków detalicznych na świecie. Każdego dnia doświadczam frustracji związanej z próbą nakłonienia korporacyjnego IT na dużą skalę do zrobienia czegokolwiek, więc czuję, że twoje pytanie jest tylko jednym z aspektów szerszego pytania: “dlaczego banki są tak stare i zapuszczone?”.

Podczas gdy prawdą jest, że koszt internetowego, redundantnego, wydajnego, bezpiecznego przechowywania danych jest znacznie wyższy niż przewidujesz w pytaniu, nadal powinien być dobrze w zasięgu możliwości dużego przedsiębiorstwa. Prawdziwym kosztem jest koszt zmiany.

Nic w banku nie jest projektem typu green field. Wszystko jest przykręcane do istniejących systemów. Każda zmiana niesie ze sobą ryzyko, że istniejąca funkcjonalność zostanie naruszona, dlatego wokół nawet najbardziej trywialnych zmian powstają ogromne systemy testów regresyjnych (w dużej mierze wykonywanych ręcznie). Koszty rosną wykładniczo wraz z liczbą dotkniętych platform (często zupełnie różnych, mających dziesiątki lat, niekompatybilnych platform, które powstały w wyniku historycznych fuzji i przejęć). Zatwierdzane są tylko zmiany ustawowe, generujące przychody i krytyczne zmiany konserwacyjne.

Każda forma cięcia kosztów, która zwiększa ryzyko, jest szybko gaszona. Dzieje się tak dlatego, że gdy sprawy idą źle, informatycy są obwiniani przez swoich kolegów biznesowych. Dzieje się tak dlatego, że koledzy biznesowi są z kolei obwiniani przez regulatorów, media, klientów i opinię publiczną. Kto nie przeklina swojego banku, gdy bankomat jest niedostępny? Organizacja IT w banku rozwija rodzaj sklerozy zarządzania, awersji do ryzyka w skrajności. Banki nie mogą wysyłać wersji beta i łatać jej później.

To ultra-niskie podejście do innowacji jest bezpośrednim wynikiem działania sił rynkowych i regulacyjnych. Gdybyś był zadowolony z konta bankowego, które bawi się Twoimi pieniędzmi tak, jak Facebook bawi się Twoimi danymi, to bankowość byłaby znacznie tańsza, bardziej innowacyjna i bardziej ryzykowna.

Wniosek

Wracając do twojego konkretnego pytania, niektóre banki faktycznie oferują znacznie dłuższy katalog transakcji do pobrania (zazwyczaj jednak tylko kilka kluczowych pól każdej transakcji), a te, które tego nie robią, najprawdopodobniej nie uważają tego za generujący przychody punkt sprzedaży, a zatem nie mają apetytu na innowacje.

Powiedziałbym, że wiele z odpowiedzi tutaj nie jest całkiem poprawnych.

Głównym problemem jest to, że bankowość jest wysoce oligopolistyczną branżą - jest niewielu kluczowych graczy (na przykład w Wielkiej Brytanii jest tylko 5 głównych banków działających pod różnymi markami: pod spodem są to wszystko te same firmy), a wejście na rynek jest bardzo, bardzo trudne ze względu na ogromne obciążenia regulacyjne.

Ponieważ krajobraz jest tak wąski i możliwe jest dokładne śledzenie wszystkich konkurentów, nie ma motywacji do wydawania pieniędzy na nowe, błyszczące rzeczy, aby dotrzymać kroku konkurencji - branża jest czysto reaktywna. Jeśli nikt inny nie ma wspaniałego, pełnego funkcji portalu internetowego, nie ma potrzeby, aby jakikolwiek bank go tworzył. Jeśli wszyscy są reaktywni, a nikt nie jest proaktywny, to z logiki można wywnioskować, że usprawnienia następują w błyskawicznym tempie.

Weź też pod uwagę, że kiedy masz tę toksyczną “ledwie minimalną” formę konkurencji, pytanie dla tych ludzi szybko zamienia się w “co może nam ujść na sucho?”, co skutkuje takimi rzeczami jak portale online z taką ilością informacji, jaką tylko chcesz, dostarczoną na papierze za sowitą opłatą, oraz wygórowanymi, stałymi cenowo opłatami administracyjnymi. Co więcej, historia transakcji jest super cenną informacją. Istnieje jedna lub dwie wysoce dochodowe firmy, które gromadzą dane o transakcjach międzynarodowych i których jedynym zadaniem w życiu jest ograniczenie dostępu do tych informacji do najwyższych oferentów. Twoja historia transakcji jest aktywem w branży wartej wiele miliardów dolarów rocznie i jako taka nie jest zaskakujące, że banki nie chcą jej udostępniać za darmo.

Jednym z powodów, dla których to ograniczają, jest chęć ochrony Ciebie. Jeśli włamię się na twoje konto, dostanę całą twoją historię finansową.

Mogę zobaczyć kopię każdego czeku, jaki kiedykolwiek wypisałeś. Mogę zobaczyć numer konta u każdego lekarza, dostawcy mediów i karty kredytowej. Mogę również zobaczyć informacje o kontach na odwrocie tych czeków dla wszystkich Twoich krewnych, którym wysłałeś 10 dolarów na urodziny.

Mogę użyć informacji z tych kont, aby sprawdzić, gdzie kiedyś mieszkałeś, a to pozwala mi cię oszukać przy ubieganiu się o nowy kredyt. Jeśli zapytają mnie, czy kiedykolwiek mieszkałem na Main Street w Anytown USA. Mogę śmiało odpowiedzieć, że tak.

Jeśli pozwolę Ci pobrać dane tylko w określonym czasie, to na Tobie spoczywa odpowiedzialność za ochronę danych, które znajdują się przed tym oknem. Chronią je w plikach odizolowanych od internetu, a na końcu tylko w miejscach archiwalnych.

Część informacji nie istnieje w formie elektronicznej. Dane z lat 90-tych i wcześniejsze mogą nie istnieć w pożądanej przez Ciebie formie. W miarę upływu czasu rozszerzali okienka. Mogę zobaczyć/pobrać pdf mojego miesięcznego wyciągu z konta sprzed 7 lat. Oczywiście te dane nie mogą trafić bezpośrednio do quickena.

Niektóre miejsca pozwalają na pobranie pliku, który sięga dalej wstecz, ale pobierają za to opłatę i można to zrobić tylko przez wysłanie pliku. To uniemożliwia codzienne pobieranie całej historii. To razy 70 milionów klientów przytłoczyłoby ich serwery i inną infrastrukturę.

Jeśli chodzi o ilość danych:

• Mój plik quicken z danymi z ostatnich 10 lat ma około 60 MBytów i rośnie.
  
• Zakładasz również, że jedyne dane są w plikach tekstowych. Przechowują również elektroniczne kopie czeków.
  
• Zakładasz również, że dane, które widzisz na transakcji są jedynymi danymi, które istnieją w odniesieniu do transakcji. Mają one pola, które śledzą osoby, które obsługiwały transakcję, lokalizację transakcji (bankomat, kasjer, poczta, skanowanie…), informacje dotyczące tego, kiedy została ona przekazana do innego banku, kiedy środki zostały uwolnione…

Chociaż, jeśli policzyć tylko swoje dane, byłoby to mniej niż 10 MB, pomnóż to przez 1 milion klientów i widzisz, jak szybko dane rosną. Banki przechowują dane przez dłuższy czas, zgodnie z prawem danego kraju, zazwyczaj w przedziale od 7 do 10 lat.

Koszt przechowywania danych online jest dość wysoki, 5 do 10 razy wyższy niż w przypadku przechowywania offline. Istnieją również inne aspekty, czas odzyskiwania danych, im więcej danych tym więcej czasu. Stąd po pewnym czasie Banki przenoszą dane do Archiwum, które są tańsze w przechowywaniu, ale nie są dostępne dla zapytań online, dodatkowo przechowywanie nie jest zoptymalizowane pod kątem wyszukiwania. Stąd odzyskanie tych danych często zajmuje kilka dni, jeśli regulator żąda lub sąd lub inny prawdziwy wniosek o odzyskanie danych.

Aby dodać szczegóły techniczne do innych odpowiedzi, twoje (i niektórych komentatorów) szacunki dotyczące przechowywania tych danych są woefully (wiele rzędów wielkości) off.

Weźmy twoje 10MB danych transakcyjnych na użytkownika.

1. Szacujesz tylko rekordy tekstowe, takie jak w Quicken.

2. Szacowałeś używając konsumenckiej, taniej pamięci masowej (na którą Facebook może sobie pozwolić dla swoich danych, ponieważ nie przechowują danych transakcyjnych). Teraz podnieśmy to do dysków twardych serwerów klasy korporacyjnej. Twoje koszty pamięci masowej właśnie wzrosły 2x-5x.

3. Teraz, zazwyczaj masz RAID. Więc 2x więcej.

4. Większość dużych instytucji finansowych posiada wiele centrów danych. Zazwyczaj przechowujesz wszystkie kopie danych w tych centrach danych dla celów DR. Twój mnożnik dodał kolejne 2x-4x

5. Większość serwerów danych produkcyjnych posiada wiele kopii (serwer Write DB + jedna lub więcej kopii tylko do odczytu). Pomnóż przez 2x-4x

6. Z pewnymi rzadkimi wyjątkami, większość banków nie ma tylko jednego centralnego serwera bazy danych. Każda główna aplikacja / linia biznesowa ma swój własny DB, więc mnożysz to przez 2x-20x w zależności od banku, zwłaszcza jeśli osiągnął on swój rozmiar poprzez połączenie się z innymi bankami i ma dziesiątki odziedziczonych systemów odziedziczonych.

7. wielokrotne kopie zapasowe. Regulacyjne wymagania dotyczące tworzenia kopii zapasowych oznaczają, że nie tworzysz kopii zapasowych danych raz w roku. Robisz to codziennie, dopóki dane nie zostaną usunięte z DB.

Tak więc, na niskim końcu, twoje szacunki kosztów są 30 = 900 razy większe ( 3 rzędy wielkości ) tylko dla żywej bazy danych i 3500 razy mniejsze dla kosztów tworzenia kopii zapasowych.

W górnym zakresie, mogą one być 50 razy mniejsze ( 4-5 rzędów wielkości )

W tym zakresie, nie, nie jest to opłacalne dla banku, aby utrzymać transakcje dostępne w DB i online dłużej niż jest to absolutnie niezbędne.

Wiele dobrych punktów zostało podniesionych, a ja po prostu link do nich tutaj, dla łatwości.

Źródło: Pracuję w firmie zajmującej się przetwarzaniem transakcji kartami kredytowymi/debetowymi w zespołach Bazy Danych i Oprogramowania Przetwarzającego.

1. Bezpieczeństwo

Zobacz odpowiedź mhoran_psprep .

2. Tradycja

Patrz odpowiedź Chrisa .

3. Integralność systemu

Wierzcie lub nie, banki nie ujawniają swojej podstawowej (lub drugorzędnej) bazy danych użytkownikom końcowym. Nie ujawniają swojej najszybszej / najbardziej solidnej bazy danych użytkownikom końcowym. Przechowując tylko x dni danych w bazie danych skierowanej do klienta i ograniczając zakres pojedynczego zapytania, każde zapytanie uruchomione przeciwko niej jest znacznie mniej prawdopodobne, aby spowodować spowolnienie całego systemu.

Na pewno mają archiwa baz danych, które są przechowywane w trybie offline, i na pewno mają bazę danych skierowaną do pracowników, która pozwala pracownikom na zapytania o większe zakresy danych.

4. Brak wartości dodanej

Co bank mógłby zyskać, pozwalając na zapytanie o cały rok transakcji?

Heterogeniczne archiwa

Dużym problemem dla danych historycznych w bankowości jest to, że nie mieszczą się one/nie mogą się mieścić w jednym systemie.

Archiwa typowego banku będą zawierały kilkanaście różnych archiwów wykonanych przez różne firmy na różnych, niekompatybilnych systemach. Na przykład, zobacz http://www.motherjones.com/files/images/big-bank-theory-chart-large.jpg jako ilustrację fuzji i przejęć banków, a AFAIK nie obejmuje to wielu mniejszych transakcji. Dla każdego konta, jego 10-letnia historia może być w innym systemie.

Często przy integracji takich systemów idzie się na kompromis - jeśli bank A przejmuje bank B, który wcześniej przejął bank C, to jeśli przejęcie C miało miejsce kilka lat temu, to można pominąć integrację archiwów C w systemach online, trzymać je oddzielnie i korzystać z nich tylko wtedy, gdy są potrzebne (i minimalizować tę potrzebę wysokimi opłatami).

Skoro cennik i usługi mają być równe dla wszystkich, to bez względu na to, jak powstały wasze konta, jeśli 10% archiwów jest wystarczająco drogim problemem do zintegrowania, to ograniczenie dostępu do 100% archiwów starszych niż jakiś arbitralny próg ma sens finansowy.

Cóż, wiem dlaczego Rabobank w Holandii tak robi. Dzięki bankowości internetowej mogę cofnąć się o około półtora roku. Ale mogę sięgnąć dalej wstecz (do 7 lat) tylko po skontaktowaniu się z bankiem i zapłaceniu €5,- za transkrypcję (jedna transkrypcja mieści około miesiąca działalności).

Potrzebowałem rocznych transkryptów do moich podatków i musiałem zapłacić ponad 50€.

EDIT Wygląda na to, że ostatnio zmienili swoją politykę w taki sposób, że możesz poprosić o tyle transkryptów ile chcesz za maksymalną cenę 25,- €, więc tendencja do łatwiejszego dostępu jest widoczna.

Jeśli potrzebujesz dostępu do swoich danych poza dostępnością online, pobierasz transakcje i zarządzasz archiwum samodzielnie. Sześć miesięcy do osiemnastu miesięcy to zazwyczaj wystarczający czas dla większości ludzi, aby zarządzać własnymi zarchiwizowanymi danymi.

Duże banki są w stanie przechowywać i wyszukiwać wszystkie dane online. Niestety, starsze zapisy nie są często dostępne. Po co trzymać te zapisy online, skoro będą rzadko dostępne? Tworzenie kopii zapasowych danych będzie trwało dłużej. Zapytania w celu odzyskania danych będą trwać dłużej. Wszystko będzie trwało dłużej tylko po to, abyś mógł mieć rekordy, do których 99% klientów nigdy nie będzie miało dostępu.

Cóż, niektóre banki widzą światło. Alliant Credit Union w swoim najnowszym projekcie ma opcję pobierania wszystkich transakcji: