Conexão a um enorme banco de dados CSV

2017-04-30

Não faz muito tempo, foi adicionada ao FastReport .NET a capacidade de carregar dados de um arquivo csv.

Em outras palavras, um arquivo CSV pode agora ser usado como uma fonte de dados.Isso foi feito após algum tempo desde que um dos usuários enviou uma consulta interessante ao suporte. Ele alegou ter um arquivo CSV que não abre; em vez disso, aparece uma mensagem de erro. O usuário gentilmente forneceu esse arquivo para testes.À primeira vista, pensou-se que o arquivo era grande demais, essa seria a razão pela qual não pode ser aberto.

Mas, após um exame mais detalhado, foi revelado que o problema não está no tamanho do arquivo. Como se descobriu, o arquivo não corresponde inteiramente à especificação CSV. Nas linhas do arquivo, foram encontradas que não continham separadores. Aparentemente, elas são usadas como comentários, sem dados próprios.

Decidiu-se ignorar tais linhas ao carregar os dados. Como resultado, o arquivo foi carregado sem problemas.

Parece que o problema está resolvido e podemos nos acomodar, mas a ideia de um grande arquivo csv não me deu sossego. Após algumas buscas, foi encontrado um arquivo realmente enorme. O tamanho deste arquivo era de 441 MB, aparentemente não muito impressionante, mas, no entanto, consistia em 31 colunas e 2.458.525 linhas.

Testar esse download trouxe resultados duplos. Por um lado, o arquivo abre, o que sem dúvida é agradável. Mas era um fato muito triste que o download do arquivo levou quase meia hora.São conhecidas duas soluções para esse problema. No entanto, comprar um computador novo não é uma boa ideia. Portanto, tive que gastar algum tempo otimizando o código.

Como resultado, o download do arquivo foi realizado em dois minutos.

.NET FastReport CSV
30 de maio de 2025

Abrimos arquivos com a extensão FP3 usando o FastReport Viewer

O FastReport Viewer é a solução ideal para trabalhar com arquivos FP3, é permite abrir, visualizar, imprimir e exportar relatórios com facilidade.
22 de abril de 2025

Working with the TfrShellTreeView Component in FastReport VCL

In this article, we will look at the TfrShellTreeView component. It is designed to display file system elements and is partially analogous to the TDirectoryListBox, TDirectoryOutline, and TShellTreeView components.
21 de abril de 2025

How RFID Tags Work in FastReport VCL

In this article, we'll check out how RFID tags work with the new TfrxDeviceCommand object in FastReport VCL with release 2025.2.

© 1998-2025 Fast Reports Inc.