Przechowujesz dane dot. COVID-19 w Excelu?
Czy raport może nie pokazywać wszystkich danych?
Tutaj - https://uk.news.yahoo.com/missing-coronavirus-tests-glitch-large-excel-spreadsheet-file-095054235.html - można przeczytać wspaniałą historię o tym, jak w Wielkiej Brytanii pominięto prawie 16 000 przypadków zakażeń Covid-19, ponieważ w arkuszu kalkulacyjnym Excel zabrakło miejsca.
Jeśli nie chce Ci się googlować, przypomnę, że liczba wierszy w Excelu wynosi 65 000.
To nie są odosobnione przypadki! Ludzie nie mają pojęcia, z jaką ilością danych będą mieli do czynienia oni i ich klienci oraz jakie są możliwości narzędzi, z których korzystają!
A potem pojawia się taki artykuł: https://www.techrepublic.com/blog/microsoft-office/10-things-you-should-never-do-in-excel/
Więc co można zrobić?
1. Wykorzystuj bazy danych do przechowywania danych!
Może to zabrzmieć jak jakieś kompletne szaleństwo, ale zawsze i wszędzie, kiedy decydujesz się na stworzenie listy, bazy (zawsze używam tego określenia), systemu przechowywania danych – sięgaj po bazę danych. Oszacuj ilość danych. Twoi potomkowie będą Ci za to wdzięczni!
Nasz przykład – w naszym CRM (notabene, nasz CRM jest jednym z pierwszych online – nie znaliśmy nawet tego terminu) znajdują się setki tysięcy rejestracji, klientów, rekordów i rejestracji partnerów. To działa!
Nawet teraz, gdy w tym samym czasie korzystają z niego dziesiątki ludzi z całego świata, nie można nazwać go „wysoko obciążonym systemem”, ponieważ wiemy, jak rzeczywiście działają wysoko obciążone systemy i czym tak naprawdę jest big data.
2. Sprawdź, czy Twój system raportowania poradzi sobie z taką ilością danych.
Często zgłaszają się do nas ciekawi klienci, szczególnie w ostatnim czasie. Kontrahenci, którzy pół roku temu przekazali swoje projekty klientom, muszą zmienić system raportowania na nasz system w już wdrożonych i działających projektach.
Podeszli do projektu poważnie, rozważyli zestaw narzędzi i komponentów, porównali je według kilku kryteriów (być może nawet nie brali pod uwagę naszego systemu, albo brali, ale z jakiegoś powodu FastReport nie wszedł do finału), ale potem projekt został wypełniony prawdziwymi danymi, popracowali z nimi i... padli. (W najlepszym wypadku „wyświetla pierwsze 65 000 rekordów”, w najgorszym – „pochłania całą przydzieloną pamięć i nie pokazuje nic”).
Nie uważam, że współcześni programiści poświęcają zbyt mało uwagi kompetentnemu projektowaniu obciążenia systemu.
Co więcej, wszystkie inne elementy systemów radzą sobie z tym obciążeniem. I wtedy system pada właśnie na etapie próbkowania danych do generatora raportów!
I rzeczywiste dane – mogą to być miliony rekordów (to tylko próbka, nie cała baza, oczywiście!) – z których często trzeba wygenerować dokumenty, np. dla abonentów.
Dla mnie odkryciem było to, że są na tym rynku dość starzy i wybitni gracze, którzy nie radzą sobie z tym zadaniem. W najlepszym wypadku, generowanie raportów może trwać godzinami, albo po prostu się zawiesza i raport w ogóle nie powstaje.
Dziś, kiedy mnie pytają „jak to zrobiliście, że banki, fundusze emerytalne, ZUS, producenci wysoko obciążonych systemów korporacyjnych rozliczający się w czasie rzeczywistym korzystają z Waszego FastReport?” – Nie ma innej odpowiedzi jak „właściwie nie mieli innego wyjścia”.
Nie namawiam do korzystania tylko i wyłącznie z FastReport („kupujcie nasze słonie!”), ale zdecydowanie doradzam programistom, aby poddawali wszystkie komponenty swoich systemów najcięższym testom warunków skrajnych (tak jak my to robimy), aby nie zawieść klientów i nie ryzykować swojej reputacji.
Szczególnie dotyczy to systemów billingowych, CRM, ERP, które wiążą się z nieustanną pracą z klientami.
3. Zmierz walory informacyjne swojego raportu.
Tak, mamy przykłady tekstowe raportów (które zawierają miliony rekordów), gdzie oceniamy jakość i szybkość budowania dokumentów (raport ma kilkadziesiąt tysięcy stron, które następnie są konwertowane do PDF bez utraty jakości). Było to wyzwanie dla nas samych – nie byliśmy zadowoleni z szybkości generowania raportu i przyspieszyliśmy go trzykrotnie.
Tutaj znajduje się link do przykładu budowania raportu z BigData.
Cóż, to jest BigData.
Pionierską radość „jak sprawdza się to w innych generatorach raportów?” pozostawię wdzięcznym czytelnikom.
Nie jest źle, gdy generuje się np. rachunki za prąd dla mieszkańców dużych miast, ale jak bogaty w informacje jest sam raport?
Dlatego podkreślaj to, co najważniejsze, używaj wykresów tak, aby dane nie ginęły, a zamieniały się w informacje. Tak jak na przykład zrobił to jeden ze zwycięzców naszego konkursu na najlepszy raport - jak widać, big data na temat COVID-19 są zwinięte w rzetelny i bogaty w informacje dokument.
Produkty FastReport są zawsze gotowe do szybkiego generowania dokładnych raportów z Twoich danych o dowolnej wielkości.
Możesz też po prostu zapytać nas – całkiem dobrze znamy się na wszystkich popularnych formatach dokumentów i DBMS. Powiemy Ci, gdzie dokładnie może czekać na Ciebie „oszustwo wszelkiego formatu”.
