Conexão a um enorme banco de dados CSV

Não faz muito tempo, foi adicionada ao FastReport .NET a capacidade de carregar dados de um arquivo csv.

Em outras palavras, um arquivo CSV pode agora ser usado como uma fonte de dados.Isso foi feito após algum tempo desde que um dos usuários enviou uma consulta interessante ao suporte. Ele alegou ter um arquivo CSV que não abre; em vez disso, aparece uma mensagem de erro. O usuário gentilmente forneceu esse arquivo para testes.À primeira vista, pensou-se que o arquivo era grande demais, essa seria a razão pela qual não pode ser aberto.

Mas, após um exame mais detalhado, foi revelado que o problema não está no tamanho do arquivo. Como se descobriu, o arquivo não corresponde inteiramente à especificação CSV. Nas linhas do arquivo, foram encontradas que não continham separadores. Aparentemente, elas são usadas como comentários, sem dados próprios.

Decidiu-se ignorar tais linhas ao carregar os dados. Como resultado, o arquivo foi carregado sem problemas.

Parece que o problema está resolvido e podemos nos acomodar, mas a ideia de um grande arquivo csv não me deu sossego. Após algumas buscas, foi encontrado um arquivo realmente enorme. O tamanho deste arquivo era de 441 MB, aparentemente não muito impressionante, mas, no entanto, consistia em 31 colunas e 2.458.525 linhas.

Testar esse download trouxe resultados duplos. Por um lado, o arquivo abre, o que sem dúvida é agradável. Mas era um fato muito triste que o download do arquivo levou quase meia hora.São conhecidas duas soluções para esse problema. No entanto, comprar um computador novo não é uma boa ideia. Portanto, tive que gastar algum tempo otimizando o código.

Como resultado, o download do arquivo foi realizado em dois minutos.