...
Nesta tela, é realizado a configuração da varredura, seja na criação de uma nova ou na edição de uma já existente.
| Panel | ||||||||
|---|---|---|---|---|---|---|---|---|
| ||||||||
Para acessar siga o caminho: É possível acessar essa tela dentro das varreduras, através da funcionalidade de “Gerenciar” ao clicar no ícone de “+”, ou no ícone de edição. |
...
esse recurso, vá em ‘Varreduras > Gerenciar’ e clique no botão |
| Info |
|---|
Para mais informações sobre a funcionalidade “gerenciar”, você poderá acessar a seguinte documentação: Gerenciar |
índice:
| Table of Contents |
|---|
...
o menu ‘Gerenciar’, acesse: Gerenciar - Data Finder |
...
Índice:
| Table of Contents | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|
|
...
Essa tela, em ‘Varreduras’, é separa por duas colunas, a coluna “Configurar Varredura” e a “Configurar Mecanismo”.
| Note |
|---|
Todas as configurações feitas nessa varredura exclusivas desta varredura, mesmo que a credencial usada e o bando lido sejam os mesmos. |
...
‘Configurar Varredura' e 'Configurar Mecanismo’.
...
Configurar Varredura
Na coluna ‘Configurar Varredura’, contém os seguintes campos para configuração:
O primeiro campo é a “descrição”‘Descrição’, nele deverá ser colocado o nome o qual identificará é informado um nome ou alguma identificação para a varredura.
Logo abaixo há dois botões on/off
...
O primeiro “Limpar dados anteriores”, caso a Em ‘Limpar dados anteriores’, caso alguma varredura já tenha sido executada alguma vez antes ele removerá , ativando esta opção, todos os dados anteriormente coletados e classificados anteriormente, apenas da nesta varredura em questão, não afetará os dados de outras varreduras ou mecanismos.O segundo “Marcações de Varreduras anteriores”, se marcado irá limpar , serão excluídos.
Em ‘Marcações de Varreduras anteriores’, se ativado esta opção, irá excluir todos os Save Points e iniciar a varredura do zero‘zero’, porém, sem excluir nenhum dado.
| Info |
|---|
O Data Finder usa SavePoints para saber onde parou a varredura, assim caso ela seja cancelada ou utiliza Save Points para registrar o progresso da varredura. Dessa forma, se a varredura for cancelada por algum motivo pare, ao reiniciar a varredura a mesma ser reiniciada, ela continuará do ponto exato onde parou. |
Próxima configuração necessária é a precisão da varredura, essa precisão é referente Em ‘Escolha a precisão esperada na varredura’, ajuste conforme a necessidade, clicando e arrastando a barra, de acordo com a precisão configurada nos Modelos.
| Info |
|---|
para Para mais informações acesse a documentaçãosobre os ‘Modelos’, acesse:Modelos |
Para realizar esse configuração vá em “Escolha a precisão esperada na varredura” e poderá clicar e arrastar a barra de progresso para ajustar a precisão.
...
...
Logo abaixo, após selecionar a credencial em ‘Configurar Mecanismo’, é exibido uma lista com os tipos de dados, cadastrados na
...
ferramenta, para identificar os dados a serem coletados na varredura e, podendo selecionar se, na varredura, será coletado somente dados, metadados ou ambos.
| Info |
|---|
Esses são os modelos Modelos de dados padrões que já veem cadastrados na plataforma, eles podem ser editados, excluídos e adicionar adicionado novos. |
O próximo passo é configurar o início da varredura.
...
Para mais informações sobre os ‘Modelos’, acesse:Modelos - Data Finder |
...
No campo ‘Agendamento’, pode-se configurar para a varredura iniciar imediatamente ou agendar uma execução. Escolhendo ‘Executar Agora’, ao clicar em 'Salvar varredura' no final da página, a varredura iniciará imediatamente.
...
Se escolher “Agendar” poderá escolher a Data e Hora de início da varredura, também pode selecionar uma opção de repetição, por exemplo, se escolher “Semanalmente” essa varredura será iniciada todas as semanas. Quando a “Data de Fim” ela NÃO é referente ao fim da varredura, mas sim quando essa repetição deve ser encerrada.
A Janela de exclusão é uma opção interessante caso haja períodos do dia em que há uma rotina no banco de dados na qual ele não pode ser acessado, ou momentos onde há muitas requisições ao banco e iniciar uma varredura poderia pesar o banco.
...
...
Caso escolha ‘Agendar Execução’, estará disponível algumas opções para configuração de agendamento, como Data inicial, hora inicial, hora final (opcional) e recorrência.
Data de início: Selecione a data para início do agendamento da varredura.
Hora inicial: Selecione a hora em que iniciará a primeira (ou única) varredura do agendamento.
Hora final (opcional): Esta opção é opcional, mas caso seja configurado, a varredura será interrompida quando chegar neste horário informado.
Recorrência: É a configuração a ser realizada para que o agendamento se repita conforme a necessidade. Existe 4 opções, são elas:
Diária: Quando selecionado, a varredura será executada todos os dias no horário informado.
Semanal: Ao selecionar esta opção, também estará disponível um novo botão ao lado para selecionar quais os dias da semana que entrará no agendamento.
Mensalmente: Quando selecionada, a varredura será executada automaticamente a cada 30 dias.
Não repetir execução: A varredura será agendada para ser executada uma única vez.
Quando selecionada alguma das opções de recorrência com repetição, estará disponível logo abaixo o campo ‘Data Final’, onde pode ser configurado (ou não), uma data para ser finalizado o agendamento. Caso não seja informado uma data, o agendamento continuará a ser executado conforme a recorrência configurada até que seja cancelado manualmente.
...
Em ‘Janela de exclusão’, pode-se configurar uma janela com hora inicial e final, para que as varreduras não seja executadas nesse período, seja uma execução de forma imediata ou por agendamento. Quando estiver no período configurado nesta janela, a varredura irá aguardar o término desta janela para que seja iniciada. Caso uma varredura esteja em execução, quando iniciar esta janela, a mesma será pausada até o término da janela.
| Info |
|---|
A varredura marcará um SavePoint Save Point e continuará a colata coleta de dados no próximo incio de execução. |
Configurar Mecanismo:
O primeiro campo é “Credenciais”, quando clicar nele será apresentado todas as credenciais já cadastradas na plataforma.
...
Após selecionar uma delas, será apresentado os seguintes campos:
“Tabelas para incluir”: Caso preenchido este campo, a varredura irá efetur a leitura dos dados, apenas nas tabelas que foram colocadas no campo, poderá colocar quantas quiser, basta seperá-las por vírgura(,) sem espaço.
| Note |
|---|
Se o banco de dados for quando iniciar novamente. |
...
...
Configurar Mecanismo
Na coluna ‘Configurar Mecanismo’, contém os seguintes campos para configuração:
Credenciais: Para executar uma varredura, a mesma precisa ter as credenciais ao serviço cadastradas e configuradas, é neste campo que será selecionado a credencial a ser utilizada nesta varredura. Após selecionada a credencial, o restante dos campos estarão disponíveis.
| Note |
|---|
De acordo com a credencial selecionada, os campos a seguir podem variar, especialmente entre bases de dados estruturadas e não estruturadas. Em bases não estruturadas, é onde se tem mais variações, conforme o tipo do serviço (serviço de e-mails, serviços de armazenamento e compartilhamento em nuvem, File Server etc), cada um deles, contendo campos diferentes para configuração. |
Abaixo, segue um exemplo dos campos presentes ao ser selecionado uma credencial de base estruturada (banco de dados SQL):
Em ‘Pesquisa’, temos dois campos de preenchimento opcional, são eles:
Tabelas para incluir: Neste campo, informe apenas as tabelas que deseja incluir na varredura. As demais tabelas, não informadas, serão automaticamente ignoradas.
Tabelas para excluir: Aqui, devem ser especificadas as tabelas que serão ignoradas pela varredura. Dessa forma, a varredura irá processar todas as demais tabelas, exceto as que foram indicadas neste campo.
| Note |
|---|
Caso o banco de dados seja Camel Sensitive (que faz diferenciação de maiúsculas e minúsculas), deverá ter cuidado para digitar atente-se em informar o nome da tabela exatamente como está cadastrada no banco. |
...
configurada no banco de dados. |
| Info |
|---|
Se |
...
os campos ‘Tabelas para incluir’ e ‘Tabelas para excluir’ não forem preenchidos, a varredura irá realizar a leitura de |
...
TODAS as tabelas que |
...
encontrar e tiver permissão. |
“Quantidades Em ‘Quantidade de dados por conjunto”: O conjunto’, o Data Finder faz realiza a análise dos dados por conjuntosem blocos. Assim, quanto mais maior o conjunto de dados, mais rápido é a análise, poderem é necessário tomar cuidado, pois conjuntos maiores usará mais memória do servidor, não permitindo assim múltiplas varreduras.
...
rápida tende a ser a varredura. No entanto, é importante ter cautela ao ajustar esse valor, pois, quanto maior o volume de dados processado por conjunto, mais recursos do servidor, como a memória RAM, serão exigidos. Isso pode resultar em sobrecarga no servidor caso não seja configurado de forma adequada.
| Note |
|---|
Recomendamos que, o número de varreduras simultâneas seja ajustado de acordo com a configuração acima mencionada e com a capacidade do servidor, o recomendado é no máximo 2 varreduras ao mesmo tempo com a quantidade de dados por conjunto configurada em 3 mil. |
“Quantidade de Threads na varredura”: Seguindo a mesma lógica dos dados por conjunto, quanto mais Threads for configurada, mais rápido será a análise dos dados, porém com as mesmas ressalvas anteriormente citadas.
“Pular tabelas a cada 100 registros vazios”: Caso esse checkbox seja marcado, quando o Data Finder estiver fazendo uma varredura e nos primeiros 100 registros desta tabela ele não encontrou nenhum dado pessoal, ele irá marcar esta como concluída e passará para a próxima tabela.
...
. Com base nisso, sugerimos um máximo de 2 varreduras simultâneas, considerando uma configuração de 3 mil dados por conjunto para garantir um equilíbrio entre desempenho e uso de recursos. |
Em ‘Tempo em minutos de espera até o TimeOut’, é definido o período em minutos que a varredura aguardará antes de encerrar a conexão em caso de TimeOut. Configurar esse valor para diferente de 'zero', assegura que o aplicativo continue responsivo caso ocorra uma falha de rede ou na comunicação com o servidor. Se o valor for configurado como ‘zero’, isso indicará um tempo limite infinito, permitindo que a conexão permaneça indefinidamente aberta sem ser encerrada.
Em 'Quantidade de vezes que será feita a retentativa de conexão', é definido o número de tentativas adicionais que serão realizadas para restabelecer a conexão caso ela seja perdida por falha de rede ou qualquer outro motivo.
Em ‘Intervalo de tentativas de repetição’, é definido o intervalo de tempo para as tentativas de conexão com o banco de dados ou serviço, em caso de falha. O valor deve ser informado em segundos.
...
Em ‘Opções Avançadas’, quando ativada, estará disponível algumas novas opções para configurações adicionais para a varredura, são elas:
Amostragem da varredura: Quando ativada, deve ser configurado, conforme a necessidade, o percentual de leitura das linhas das tabelas (de 1% até 20%), em cada uma das opções (até 100 mil linhas, 1 milhão de linhas, 10 milhões de linhas ou mais).
Ativar Limite de Amostra: Quando ativada, será limitado a quantidade máxima de coleta.
Limite da Amostragem: É definido um número de limite de amostragem dos dados.
...
Por fim, clique em ‘Salvar varredura’, para finalizar a configuração e, caso tenha sido configurado ‘Executar Agora’, a mesma será executada imediatamente. Caso contrário, será executada conforme o agendamento configurado e, ficará disponível no menu ‘Agendadas’.
| Info |
|---|
Para mais informações sobre o menu ‘Agendadas’, acesse: Agendadas - Data Finder |