[Transcrição do webcast] TAR no mundo real: da promessa à praticidade

en flag
nl flag
fr flag
de flag
pt flag
ru flag
es flag

Nota do Editor: Em 13 de janeiro de 2021, a HayStackID compartilhou um webcast educacional projetado para informar e atualizar profissionais legais e de descoberta de dados sobre as tecnologias de análise mais avançadas do setor e para destacar fluxos de trabalho recomendados e casos de uso apropriados para alcançar aumentos quantificavelmente impactantes na eficiência e precisão da revisão de documentos durante o uso de Revisões Assistidas por Tecnologia. Embora a apresentação gravada completa esteja disponível para visualização sob demanda através do site HayStackID, abaixo é fornecida uma transcrição da apresentação, bem como uma versão em PDF dos slides que acompanham para sua análise e uso.

TAR no mundo real: da promessa à praticidade

Especialistas e comentadores de eDiscovery têm defendido a promessa de revisão assistida por tecnologia (TAR) desde a decisão da Juíza Andrew Peck Da Silva Moore, em fevereiro de 2012. Mas exatamente como o TAR está se saindo no mundo real da descoberta complexa? Mais importante ainda, como a última geração de ferramentas de análise estruturadas e conceituais estão sendo usadas para aumentar a eficiência e gerar resultados positivos, traduzindo a promessa da TAR em resultados práticos?

Nesta apresentação prática, os especialistas em análise e análise jurídica de eDiscovery compartilharão uma visão geral das tecnologias de análise mais avançadas do setor e destacarão os fluxos de trabalho recomendados e casos de uso apropriados para obter aumentos quantificavelmente impactantes na eficiência e precisão da revisão de documentos.

Destaques do webcast

+ Análise estruturada: enfiando a agulha de e-mail

+ Análise conceitual: de escolhas (TAR 1.0 v. 2.0) a clusters

+ Cérebros e Brawn: Considerando o espaço cerebral e a relatividade

+ Um bom ponto de parada: O porquê e quando das decisões de fluxo de trabalho com aprendizado ativo contínuo

Apresentando especialistas

+ Michael Sarlo, ENce, CBE, CCLO, RCA, CCPA - Michael é sócio e vice-presidente sênior de eDiscovery e Digital Forensics da HayStackID.

+ Adam Rubinger, JD. - Como vice-presidente da HayStackID, Adam traz mais de 20 anos de experiência e experiência aplicada em assessoria, consultoria e gerenciamento de projetos de descoberta eletrônica em larga escala.

+ Anya Korolyov, Esq. - Como Diretora de Gerenciamento de Projetos da HayStackID, Anya tem 12 anos de experiência em eDiscovery com ampla experiência com Second Requests como advogada e consultora.

+ Seth Curt Schechtman, Esq. - Como Diretor Executivo Sênior de Serviços de Revisão da HayStackID, Seth tem uma vasta experiência em revisão, incluindo ações coletivas, MDLs e Second Requests.

+ Young Yu - Como Diretor de Atendimento ao Cliente da HayStackID, Young é o principal consultor estratégico e operacional para clientes em assuntos de eDiscovery.

Transcrição da apresentação

Introdução

Olá, e espero que você esteja tendo uma ótima semana. Meu nome é Rob Robinson e, em nome de toda a equipe da HayStackID, gostaria de agradecer por participar da apresentação de hoje intitulada TAR no mundo real: da promessa à prática. O webcast de hoje faz parte da série mensal de apresentações educacionais da HayStackID realizadas na rede BrightTalk e projetadas para garantir que os ouvintes estejam proativamente preparados para alcançar seus objetivos forenses de computadores, eDiscovery e revisão legal durante investigações e litígios. Nossos apresentadores especializados para o webcast de hoje incluem cinco dos principais especialistas no assunto do setor e autoridades de revisão jurídica com vasta experiência no apoio a revisões assistidas por tecnologia.

A primeira introdução que eu gostaria de fazer é a de Michael Sarlo. Mike é o Diretor de Inovação e Presidente de Investigações Globais da HayStackID. Nessa função, Michael facilita todas as operações e inovação eDiscovery, forense digital e estratégia de litígio, tanto nos EUA quanto no exterior.

Em segundo lugar, gostaria de apresentar Adam Rubinger. Adam atua como Diretor de Experiência do Cliente com HayStackID. Ele traz mais de 20 anos de experiência e experiência aplicada em assessoria, consultoria e gerenciamento de projetos de eDiscovery em larga escala nessa função.

Em seguida, gostaria de dar as boas-vindas a Anya Korolyov, que é a Diretora de Gerenciamento de Projetos da HayStackID. Anya tem 12 anos de experiência em eDiscovery com ampla experiência em Second Requests como advogada e consultora.

Também gostaria de destacar Seth Schechtman como diretor-gerente sênior dos Serviços de Revisão da HayStackID. Seth tem uma vasta experiência em revisão, incluindo ações coletivas, MDLs e Second Requests.

Finalmente, eu gostaria de apresentá-lo hoje para Young Yu. Young é o diretor de serviços ao cliente da HayStackID. Em sua função, Young é o principal consultor estratégico e operacional para clientes em assuntos de eDiscovery.

O HayStackID registrará a apresentação de hoje para visualização futura, e uma cópia dos materiais de apresentação estará disponível para todos os participantes. Você pode acessar esses materiais diretamente abaixo da janela de visualização da apresentação na tela, selecionando a guia Anexos na posição à esquerda da barra de ferramentas abaixo da janela de visualização. Além disso, temos várias perguntas de pesquisa hoje. Essas perguntas aparecerão na guia Voto.

Neste momento, eu gostaria de entregar o microfone aos nossos apresentadores especialistas, liderados por Mike Sarlo, por seus comentários e considerações sobre Revisão Assistida por Tecnologia, e seu uso prático no mundo real. Mike?

Michael Sarlo

Muito obrigado, Rob, e obrigado, a todos, por se juntarem ao webcast deste mês. Estamos muito felizes por ter você. Temos alguns alto-falantes novos no circuito. Anya e Young, em particular, do ponto de vista operacional, passam muito tempo lidando com análises, tanto do ponto de vista da revisão do sistema de tecnologia, do ponto de vista de aprendizado ativo contínuo, análise estruturada para alguns de nossos assuntos mais complexos. Adam Rubinger também vem assessorando os clientes há anos sobre o uso efetivo dessas tecnologias, que todos conhecemos e amamos tanto, e eu mesmo, estou lidando com análises de dados há muitos anos também. Então, muitas vezes descobrimos que às vezes há desinformação ou desconexões sobre como diferentes recursos, ferramentas e fluxos de trabalho devem ser usados quando você começa a ouvir a palavra analítica ou a palavra de revisão do sistema de tecnologia e, como fornecedor, somos únicos da nossa posição de trabalhar com muitos clientes diferentes através de suas expectativas de fluxo de trabalho e, em seguida, no lado da entrega.

Então, vamos começar com uma discussão sobre análise estruturada, vamos passar para a análise conceitual e realmente dividir as diferenças entre TAR 1.0, TAR 2.0, vamos destacar algumas das diferenças entre Brainspace e relatividades, e semelhanças, e então vamos realmente dê um mergulho em dar uma olhada quando você realmente parar de um ponto de vista mais da CAL, usando essa tecnologia para encurtar uma revisão.

Então, fundamentalmente o eDiscovery foi transformado e está sendo transformado todos os dias, pela aplicação prática de análises e do meu ponto de vista, todas as economias de custos de lado, o objetivo real aqui é obter os fatos relevantes para as equipes de casos mais rápido e mais cedo em qualquer assunto, e eu sei que Adam tem bastante um pouco de feedback aqui também, apenas por sua experiência lidando com corporações muito grandes que estão aproveitando essas ferramentas.

Adam Rubinger

Obrigado, Mike, e como o eDiscovery amadureceu ao longo dos anos, os volumes chegaram ao ponto em que é quase impossível realmente fazer eDiscovery sem o uso de análises e revisão assistida por tecnologia. Estamos vendo o aumento e a adoção em um ritmo bastante rápido. Do ponto de vista do cliente, estamos vendo que está quase se tornando rote agora para os clientes usarem TAR, aprendizado ativo contínuo em particular, para ajudar tanto na economia de custos quanto na obtenção das informações mais cedo, como disse Mike. Do nosso ponto de vista, estamos vendo clientes que usam análises de maneiras que, embora sejam destinados a esse uso, eles estão usando-os de forma realmente pegar grandes quantidades de dados e torná-los mais acessíveis, disponibilizá-los mais cedo aos litigantes para construir seu caso em chefe, para que as equipes de revisão possam obter para as informações mais importantes mais rapidamente e, em última análise, a economia de custos é o objetivo final, que, da perspectiva do custo total de fazer revisões, e analisar documentos e peneirar dados, tendo essas ferramentas disponíveis, estamos vendo economias de custos muito, muito mensuráveis e extensas e ganhos de eficiência usando-o. Então, do nosso ponto de vista, o eDiscovery está sendo transformado pelo uso de análises, e está se tornando parte da declaração ou parte do fluxo de trabalho que está ocorrendo no dia-a-dia. Quase todos os nossos clientes estão usando análises de uma forma ou de outra em praticamente todos os casos.

Anya, por que não começamos a falar sobre análises estruturadas em seguida.

Anya Korolyov

Obrigado, Adam. Então, como Adam e Mike mencionaram, os dias de revisão linear, apenas revisão linear reta, estão praticamente há muito tempo. Todos os casos usam, no mínimo, a análise estruturada, e apenas para rever muito rapidamente alguns dos básicos, o ID do idioma, eu sei que parece um dado, mas mesmo aqueles casos em que o cliente vem até nós e diz que todos os guardiões são EUA, não há chance de termos qualquer outra língua estrangeira, ainda gostaria de executá-lo apenas para nos dar uma imagem mais completa, e saber que, uma vez que chegamos à parte de aprendizado de máquina, com o que estamos lidando, precisamos de um especialista no assunto que possa falar na língua estrangeira, precisamos fazer traduções, apenas muito rápido, tirar isso do caminho. Para a análise quase duplicada, é claro que a usamos para o propósito em que se destinava apenas a identificar quase duplicatas, para garantir que elas sejam codificadas da mesma maneira, todas as coisas boas, mas também o usamos para nos ajudar a treinar o modelo quando chegamos ao aprendizado de máquina. Às vezes, conseguimos casos e simplesmente não sabemos por onde começar. Tudo o que temos é um pleito, temos algumas exposições, por isso criamos documentos e os alimentamos em nossa população, e usamos a análise quase duplicada para nos ajudar a identificar documentos-chave mais cedo, e nos ajudar a obter uma imagem mais clara e talvez nos levar de identificar documentos semelhantes para também entrar no nome normalização e a ferramenta de comunicação no Brainspace, e com isso, uma vez que a executamos, obtemos uma imagem muito mais clara do que temos apenas usando os metadados na parte superior do e-mail, de/para. Temos toda a gama de quem está se comunicando com quem, sobre quais assuntos e combinar a análise quase duplicada e a normalização do nome realmente nos leva um passo mais perto do aprendizado de máquina e para nos levar a ter nossos documentos-chave que podemos usar para treinar o sistema e, claro, chegamos a - todos está familiarizado com o encadeamento de e-mail. Todo mundo, tenho certeza, pelo menos viu e o encadeamento de e-mail é quando temos um grupo de e-mails aparentemente não relacionados e executamos, e chegamos aos nossos e-mails inclusivos, e nossos e-mails inclusivos são qualquer e-mail com um conteúdo exclusivo, então qualquer anexo exclusivo ou o último e-mail na cadeia, e absolutamente, nós o usamos para o propósito como pretendido e temos casos em que temos acordos logo de cara que vamos apenas revisar os e-mails anexos, mas há muitas outras maneiras pelas quais aprendemos a usar o encadeamento de e-mail e incorporá-lo em nosso fluxo de trabalho com análises em toda a linha, e com isso, eu gostaria para entregá-lo ao Seth, e à nossa primeira pesquisa.

Seth Curt Schechtman

Obrigado, Anya, agradeço isso. Então, a primeira pergunta da pesquisa do dia, do ano passado, com que frequência você fez uso do encadeamento para organizar a revisão e ajudar no controle de qualidade? Agora, Rob abrirá a enquete para nós. À medida que os resultados chegam, falarei um pouco sobre, como Anya já mencionou, você pode ter acordos ESI em vigor que permitem a supressão de e-mails não inclusivos, então documente e-mails que fazem parte de outros e-mails, o que significa que menos estão incluídos. Portanto, se você excluí-los de uma avaliação, não excluirá o conteúdo neles da produção. Isso não quer dizer que você sempre vai conseguir isso. Pode ser o caso do governo, eles podem não permitir, eles só podem permitir isso em determinadas situações. Uma em particular que vimos em algumas segundas solicitações é que talvez você não precise registrar os não-inclusivos se todas as suas inclusões forem codificadas como privilegiadas, economizando algum tempo no sentido de registro de privilégios.

Vou dizer algumas ressalvas lá quando você pode não querer suprimir. Então, como eu mencionei, suprimir da produção, ou seja. Vimos argumentos de advogados, em particular, para casos talvez complicados, talvez durante depoimentos, onde você não quer mostrar ao depoente as respostas a certos e-mails, então tudo o que você quer mostrar é o menor incluído, e se você os suprimiu da revisão em produção, talvez você não consiga fazer isso. Além disso, você pode perder algum contexto no log de privilégios. Certamente há algumas maneiras de contornar isso que desenvolvemos, o HayStackID desenvolveu, mas se você não estiver cortando um documento e registrando-o como privilegiado, você pode perder informações de To, De, CC, mas se você puder acumular essas informações desses grupos de threads, menor incluído, que temos sistemas e processos, ferramentas para fazer isso, você não perde esse conteúdo.

Então, olhando para os resultados da pesquisa, parece que temos pluralidade na maioria das avaliações usando o encadeamento, cada revisão é de 30%, então, isso é tudo bom de ver e, em seguida, 12% não são usados regularmente. Usamos isso em todos os assuntos, mesmo que você não esteja suprimindo esses documentos da revisão, mas você quer que os documentos sejam classificados no mínimo quando eles vão para a equipe de revisão por esses grupos de discussão. Muitas de nossas análises, e falaremos sobre isso mais tarde, envolvem TAR ou CAL, ou cortar a revisão, o que significa que não estamos revisando todos os documentos, todos os documentos produtivíveis ou documentos potencialmente produtivíveis. Você estará colocando alguns documentos de lado que vão direto para a produção. Agora, existem certos e-mails em que você pode perder certos acessos de termos de pesquisa ou hits de termos de pesquisa não publicados, em particular para dados do Gmail, mas também vimos isso com a Microsoft, onde você perde informações de cabeçalho naqueles menores incluídos e, portanto, se você estiver apenas revisando documentos com privilégios, você certamente quer ter certeza de que você está trazendo tópicos completos se houver uma ocorrência de privilégio nesse e-mail apenas para que você não perca potencialmente... produza um documento privilegiado pensando que ele não tinha um privilégio herdado [inaudível].

A outra coisa para a qual o usamos, e desenvolvemos scripts e ferramentas, é para fins de controle de qualidade. Vimos reguladores e outros, o lado oposto, as redações de ataque são inconsistências em todos os grupos de threads. Obviamente, vimos que há anos em MD5s, cópias individuais de documentos que são diferentes, ou que são semelhantes, mas em termos de grupo de threads, estamos vendo isso cada vez mais. A parte difícil de detectar esses tradicionalmente é que você só tem um grupo de discussão e, como todos sabemos, as conversas podem se ramificar em várias direções diferentes, e um documento aparentemente não privilegiado pode se transformar em um documento parcialmente privilegiado, que foi encaminhado para um advogado. O que nossas ferramentas fazem é capaz de identificar onde essas discrepâncias estão ocorrendo em um tronco individual em um thread e descobrir onde você tem um documento não privilegiado ou parte não privilegiada do tronco que vai ser totalmente privilegiada, mas provavelmente que a retenção totalmente priv ou priv deveria ter sido codificada como priv redact, ou você teria um priv parcial ou um priv completo, priv reter ir para não-privilegiado dentro do tronco e provavelmente aqueles documentos privilegiados subjacentes foram liberados e considerados não privilegiados. Então, algumas ótimas ferramentas por aí. Eu certamente recomendo enfiar no mínimo cada caso por esses motivos, e uma coisa que eu não mencionei, dizemos para classificar, acelera a revisão, garante que os mesmos advogados estão revisando as mesmas conversas repetidas vezes, e estão familiarizados com o contexto e não precisando reaprendê-lo ou ter uma nova pessoa aprendendo.

Visualização de threads, algumas ótimas ferramentas por aí também. Para esses alunos visuais, ele ajuda você a identificar onde essas consistências são vistas, mas, novamente, uma inconsistência em seu rosto pode não ser sem ser capaz de enfiar e diminuir para ver onde essa inconsistência está ocorrendo

Anya Korolyov

Obrigado, Seth, e novamente, não usaríamos todas essas análises estruturadas, as análises estritamente baseadas em tarefas sem conceitos, apenas o que está disponível para nós. Usamos todos eles para nos ajudar a chegar ao ponto em que começamos o aprendizado de máquina e também no final como o QC, todos eles combinados realmente são uma ótima ferramenta para QC. E com isso, vamos passar para o aprendizado de máquina, e eu gostaria de entregar isso ao Young para nos apresentar.

Jovem Yu

Obrigado, Anya. Quando se trata de aprendizado de máquina ou análise conceitual, há dois tipos. Há aprendizado supervisionado e não supervisionado. Você quer pensar neles como métodos objetivos e subjetivos que o sistema utiliza para categorizar pools semelhantes de documentos, o aprendizado não supervisionado cobrirá agrupamento e pesquisa de conceitos. Essas ferramentas fornecem informações sobre a composição conceitual da coleção de documentos sem nenhuma entrada de revisor humano. É uma maneira muito boa de dar uma olhada no nível superior das incógnitas em seu conjunto de dados ou confirmar quaisquer suposições que você possa ter tido no início do projeto, porque não requer nenhuma entrada humana.

Aprendizado supervisionado, que cobre seus modelos TAR, e requer entrada humana. As decisões que você está tomando para a capacidade de resposta, o sistema categorizará documentos e os pontuará. Dependendo do modelo escolhido, as pontuações serão definidas em pedra ou são constantemente atualizadas, mas as pontuações indicam uma proximidade de semelhança conceitual com as decisões que você tomou. Normalmente, as pontuações mais altas serão mais conceitualmente semelhantes a um documento responsivo, e as pontuações mais baixas estarão mais longe das decisões responsivas que você tomou lá.

Anya, você quer falar com clustering?

Anya Korolyov

Sim, obrigado, Young. Então, para rever alguns dos conceitos de aprendizado não supervisionados, então o agrupamento é uma ótima ferramenta, e sei que algumas pessoas não tiveram muita sorte com isso, mas acho que a maneira como era pretendido e o que seu uso no mundo real é diferente. Então, gostamos de agrupar tudo logo de cara, porque descobrimos que isso nos ajuda a conhecer nossos dados, e mesmo que seja tão básico de uma etapa quanto o que temos é um monte de compromissos do Outlook, e então precisamos lidar com eles, apenas para conhecer nem mesmo os conceitos, mas os dados e, claro, os conceitos também, para identificar conceitos semelhantes a se tivermos documentos-chave, se identificamos usando a análise estruturada onde estão os documentos-chave, o que eles são, e isso nos ajuda a saber onde eles estão na busca de conceitos e para casa em quem são os comunicadores, o que eles estão falando sobre. Isso realmente nos ajuda a visualizar tudo logo de cara. Também nos ajuda a usá-lo para reduzir os dados com os quais precisamos nos preocupar. Ao executar uma busca simples de conceito de spam por spam, este é um exemplo que temos aqui faz parte dos dados [fim de execução]. Então, se você apenas executar uma pesquisa de conceito simples por spam, você obtém 62.000 documentos claramente e, com os recursos do Brainspace, você obtém todos os conceitos semelhantes listados como parte do cluster, e você pode passar por eles e você pode rapidamente tomar uma decisão de cortar 62.000 documentos da sua análise e nunca precisa se preocupar com eles, nunca mais precisa olhar para eles novamente, e é uma ótima ferramenta para nos levar a uma população mais restrita de documentos.

Além disso, para voltar ao uso do Brainspace da pesquisa conceitual, que é um pouco diferente da pesquisa de conceito do Relativity, onde você acaba de obter documentos conceituais semelhantes. O Brainspace fornece conceitos semelhantes reais. Então, novamente, isso está voltando aos dados favoritos [final de execução] de todos. Procurando por um investidor minoritário muito rapidamente, você pode ver quais são os conceitos semelhantes nos documentos que voltam para o investidor minoritário, e qualquer pessoa que tenha feito qualquer investigação sabe que o amigo da linguagem de qualquer coisa geralmente é chamado para alguma coisa. Então, podemos selecionar esse, e podemos entrar nesses documentos e ver o que eles estão falando e chegar ao ponto em que identificamos as pessoas-chave, os principais conceitos que utilizam rapidamente o Brainspace.

E isso nos leva ao aprendizado supervisionado real, mas antes de chegarmos lá, queremos abordar muito rapidamente que nem todos os dados entram no aprendizado de máquina. Então, gostaríamos de falar sobre dados que não chegam e quais problemas e soluções temos para eles.

Jovem Yu

Certo, e quando você está analisando conjuntos de dados para TAR, seja TAR 1.0, TAR 2.0, suas diretrizes serão bastante semelhantes e são tipos de documentos típicos que são recomendados para serem excluídos do seu índice de análise. Isso incluirá documentos com muito pouco ou muito texto. Você tem arquivos CSV, seu calendário do Outlook, as respostas ou até mesmo os convites que não têm conteúdo do corpo da mensagem; áudio, vídeo ou arquivos baseados em imagem, arquivos CAD se enquadram nessa categoria lá. Código-fonte e planilhas, e quando você está explorando esses pools de documentos, há maneiras de incluí-los, há maneiras de examinar esses documentos. Se quisermos falar com planilhas aqui, normalmente, sua planilha normal será baseada em números. Vimos casos em que é muito pesado em texto, e podemos fazer uma análise para ver qual é a proporção de caracteres alfa em relação aos caracteres numéricos. Quero dizer, essas são todas as coisas que você pode fazer para incluir ou excluir vários bolsos de documentos. Com arquivos de áudio, se você os tiver transcodificados ou transcritos, esse texto pode entrar.

Há outro bucket aqui, que encontramos com muita frequência, e que seria um formato de mensagem curto. E, Mike, acho que você tem uma ótima solução aqui, e você quer falar com isso um pouco aqui.

Michael Sarlo

Feliz por fazê-lo, Young, e obrigado. Então, tipos de dados alternativos, o novo assunto favorito de todos. No eDiscovery, acho que estamos sendo bombardeados por novas fontes de dados que estão fora de seus paradigmas típicos no que diz respeito ao e-mail, e apenas documentos eletrônicos típicos de compartilhamentos de rede e computadores. Esses tipos de plataformas como o Slack e o Teams, e apenas aplicativos de bate-papo, e apenas outros tipos de dados que não necessariamente se prestam a conter uma borda agradável e empacotada em torno das ideias dentro dele, muito parecido com um documento do Word ou uma string de e-mail, tornaram-se muito mais como predominantes realmente desde o início da pandemia também, e agora que estamos cerca de um ano, quase todas as organizações grandes ou pequenas estão usando essas ferramentas para melhorar sua capacidade de suas equipes remotas trabalharem juntas. Bem, um dos grandes problemas aqui é um tipo curto de dados de formato de mensagem, como bate-papos e textos semelhantes, normalmente não escrevemos da mesma forma que fazemos para um e-mail. Eles são curtos, às vezes não usamos o substantivo, às vezes há emoticons. A questão fundamental aqui é simplesmente não ter o suficiente o que eu gosto de chamar de densidade conceitual em um único arquivo de texto para que os mecanismos de análise entendam e aprendam com um indivíduo, como string de texto.

Portanto, do ponto de vista da coleção e do ponto de vista da produção, normalmente recomendamos aos nossos clientes que usem o Slack ou o Teams para tentar agrupar canais e conteúdo de canais em uma base de 24 horas. No entanto, começamos a pensar — chegar a esses tipos de comunicações por meio de qualquer tipo de plataforma de análise, que normalmente pode não ser texto suficiente. Então, temos algumas ferramentas e códigos proprietários que projetamos para basicamente medir e testar a eficácia em torno de criar o que eu chamaria de pronto para análise em meus arquivos de teste, usando campos relacionais separados, onde podemos ter um arquivo de texto específico para carregar no Brainspace ou Relativity, NexLP, qualquer ferramenta que vai ler o texto que serve como um ponto de referência secundário para que esses mecanismos tenham um pouco mais de densidade conceitual, e então eles podem passar por um processo TAR, e obtemos bons resultados aqui. Quando vamos produzir, podemos começar a produzir em qualquer frequência que nossos clientes gostariam, na medida em que usamos esse campo relacional secundário para retroceder essas decisões.

Você tem que ter cuidado aqui. Obviamente, sempre que você introduzir complexidade no processo de revisão assistida por tecnologia, você precisa estar preparado para atestar a qualidade desse fluxo de trabalho real. Então, temos muito aqui para usar amostragem estatística em populações responsivas e não responsivas pós-TAR nesses tipos de dados, para então poder trabalhar com conselhos externos para estabelecer meu conforto de que o processo está funcionando da maneira que eles esperariam.

Da mesma forma, para bate-papos de celular, é muito parecido, e estamos sempre tentando garantir que esses arquivos estejam prontos para análise e os arquivos de texto estão ao longo das linhas de participantes específicos, e a mesma coisa para bate-papos como Bloomberg, ou qualquer outra coisa, será tratada da mesma maneira. Isso tem sido enorme em alguns assuntos para nós, onde tivemos populações [spot] totalizando dezenas de milhões de cadeias de comunicação 24 horas, multi-terabyte está se tornando mais comum em grandes empresas, sendo capaz de trabalhar com esses dados por meio de um fluxo de trabalho de revisão assistida por tecnologia em uma segunda solicitação, o que foi bastante sem precedentes. O DOJ realmente trabalhou conosco nesses fluxos de trabalho, e eles ficaram felizes com isso, o que eu entendo que é o primeiro. Então, estamos fazendo isso mais em litígios civis, estamos fazendo isso de forma mais geral, e temos apenas muita documentação pré-construída para que nossos clientes tenham, na verdade, um relatório de defensibilidade entregue a eles de forma fluida e repetível à medida que os conjuntos de dados se movem e se expandem ao longo da vida útil de um assunto, que é importante porque às vezes você começa com uma população, e você acaba adicionando mais, e isso é algo que tenho certeza de que Anya e Young realmente vão cavar quando começarmos a quebrar os fluxos de trabalho no TAR 1.0 e TAR 2.0.

Anya Korolyov

Obrigado, Mike. Eu acho que o formato de mensagens curtas é uma área muito emocionante agora, como você disse; o DOJ se envolvendo na tomada de decisões, o que é aceitável, o que não é, e usando TAR em mensagens curtas, é um momento muito emocionante para isso. Eu quero voltar apenas por um segundo ao agrupamento e dizer que usamos clustering, e isso nos ajudou bastante com as mensagens de curto prazo, por causa da forma como elas são estruturadas, e tantas para o Teams, para o Slack, tantas pessoas entrando na sala e saindo da sala, que muitas vezes os nomes de as pessoas se tornam conceitos. Então, é um ótimo... agrupamento, é realmente uma ótima ferramenta para nos ajudar a identificar isso.

E com isso, vamos passar para a outra parte empolgante desta apresentação, é o aprendizado supervisionado e nossa próxima pesquisa. No ano passado, para que porcentagem de assuntos exigiu revisão para a qual você usou TAR 1.0 ou TAR 2.0? Todo mundo tem sua própria preferência. Vou começar a rever o que é TAR 1.0 e TAR 2.0 para as pessoas que se juntaram a nós que não sabem, e alguns dos desafios que enfrentamos com ambos os fluxos de trabalho.

E com isso, nosso primeiro desafio é sempre definir a relevância e Young vai nos assumir sobre isso.

Jovem Yu

Assim, quando você inicia qualquer projeto TAR, seja o TAR 1.0 com aprendizado baseado em amostra ou TAR 2.0 com aprendizado ativo, você precisa definir relevância. Tem que ser uma decisão binária, o que significa que é uma escolha sim ou não. Você não quer ser excessivamente estreito porque perderá perifericamente ou parte... de documentos que são parcialmente responsivos lá, e então ele balança da mesma forma para o outro lado. Se você for excessivamente amplo em sua definição de capacidade de resposta, o sistema será excessivamente inclusivo e trará de volta quase tudo o que abordar as decisões que você está tomando. À medida que você está passando pelo processo, quando você define a capacidade de resposta, você realmente precisa pensar nas relações conceituais entre documentos, e é um desvio da revisão linear, onde você não está olhando para toda uma família de documentos. Cada documento deve ser considerado um registro autônomo, e essa decisão pela capacidade de resposta precisa ser tomada pelo valor nominal nos quatro cantos do respectivo documento que você está olhando. E como você está passando pelo processo também, essa definição de capacidade de resposta ou relevância, é enorme, porque é a medida do processo TAR. No TAR 1.0, a precisão será medida em relação à sua definição de capacidade de resposta. Todas as pontuações se correlacionam diretamente com essa definição de responsividade. Infelizmente, se você tiver uma mudança no escopo para essa definição de capacidade de resposta, digamos que você aprenda algo mais tarde ou tenha concluído seu projeto, e agora eles perguntam que é diferente de um regulador ou de posar, você precisa aprender a mudar ou transformar essa definição de capacidade de resposta. Às vezes, você pode simplesmente continuar de onde parou e ampliar o escopo, e haverá momentos em que você pode ter que começar todo o projeto de novo. Isso realmente depende de quão bem você define a relevância e a capacidade de resposta muito cedo.

Anya Korolyov

Concordo com você que essa é uma das decisões mais importantes, e mesmo depois de tomar a decisão com qual delas seguir, acho que ainda continua a meio que [inaudível] sobre onde você está em seu projeto.

Obrigado, todos por se juntarem à chamada, e parece que metade a usou. Ainda vou rever a definição e apenas o fluxo de trabalho geral. Então, temos aqui nosso fluxograma TAR 1.0, e novamente, quero tocar na base, novamente, que haverá documentos que Young discutiu que não farão parte de todo o fluxo de trabalho; os documentos de exclusão, os JPGs, potencialmente as planilhas, coisas assim. Então, uma vez que tenhamos o índice sem documentos de exclusão que ainda precisarão ser revisados, temos um especialista no assunto que precisará revisar o conjunto de controle e, uma vez que o conjunto de controle for revisado, chegaremos ao ponto em que a margem do nível de erro foi alcançada ou não, e isso é onde a definição de relevância realmente entra em vigor. Porque se você tiver dados de riqueza super baixa, o especialista no assunto passará muito tempo nesse ciclo, onde teremos que revisar documentos adicionais para que o conjunto de controle seja encerrado.

Então, isso é muito importante, e na verdade esta, eu acho, é a parte em que, mesmo aqui você pode dizer, você sabe o que, talvez o TAR 1.0 não tenha sido a melhor opção para mim. Preciso me mudar para o TAR 2.0. Mas depois de atingir essa margem de nível de erro e passar para rodadas de treinamento, normalmente vemos entre uma a cinco rodadas de treinamento, e elas geralmente variam entre 300 e 500 documentos. Novamente, tudo isso depende dos dados. Se começarmos com 10 milhões de documentos, as rodadas de treinamento serão um pouco diferentes. E você continua com as rodadas de treinamento até chegar à precisão e estabilidade desejadas, e o que isso significa é que depende de um caso a caso. Pode haver um advogado oposto que queira ver os relatórios e quer ver onde você está. Pode haver o Departamento de Justiça e eles querem saber onde você está, e talvez você nunca chegue ao ponto que todos recomendam. Relatividade, Brainspace, todos os especialistas recomendam chegar a 65, 70%. Talvez você nunca chegue lá. Você pode estar em 40% ou algo assim, mas você simplesmente não está se movendo, você terá continuamente potencialmente cerca de 40%, e é aí que você está, e então esse ponto é quando você toma a decisão de parar e seguir em frente, e codificar seus documentos como responsivos, não responsivos e passar para a revisão de privilégios. Então, você realmente tem que se certificar de que está analisando os dados, está analisando seus relatórios e está tomando decisões informadas com o TAR 1.0.

No que diz respeito às rodadas de treinamento, nós da HayStackID usamos Relativity e Brainspace, que em nossa opinião são alguns dos melhores produtos para o fluxo de trabalho TAR 1.0 e, com o Relativity, você tem algumas opções. Você tem sua estatística básica, que geralmente retira cerca de 300 documentos; você tem sua porcentagem, onde você diz ao sistema qual é a porcentagem dos documentos que você deseja usar para as rodadas de treinamento; e, claro, você tem sua amostra fixa. Você tem o estratificado, que provavelmente é um dos melhores, porque o que ele fará é identificar documentos. Ele identificará os documentos que estão principalmente relacionados em conceitos aos documentos que você já codificou como parte das rodadas de treinamento anteriores, e também garantirá que ele cobre a maior população de documentos. Assim, a cada rodada de treinamento, ele lhe dará os documentos que realizarão os conceitos para os maiores pools dos documentos que você ainda tem.

Em nossa opinião, o que o Brainspace fez foi dar um passo adiante. Tem três tipos diferentes de rodadas de treinamento para a Relatividade estratificada. Então, você tem sua influente, que será a que você mais usa, e é a mais semelhante muito estratificada. A mesma coisa: ele só vai escolher a maioria dos documentos mais próximos, e vai tentar cobrir o máximo possível da população que você deixou. E então você tem seu ativo rápido e seu ativo diversificado e, em nossa experiência, descobrimos que quanto maiores os conjuntos de dados obtêm, mais resultados obtemos com o ativo ativo rápido e diversificado. Usamos influentes várias vezes e não vimos absolutamente nenhum movimento, e depois trocamos e conseguimos grandes saltos. Então, novamente, são sempre os dados que falam com você, são sempre o que está à sua frente. Você tem que realmente ler esses relatórios e analisá-los, e não apenas dizer, OK, bem, essa é a abordagem recomendada e eu vou seguir com isso.

Há também o aleatório, que novamente é a amostra fixa e o aleatório, com o Brainspace, permite que você crie um caderno, e pode... com a criação de um caderno, você pode colocar nos documentos que você acha mais importantes no seu caso. Então, se você descobriu algo, você pode colocá-los lá, o mais não responsivo, mais responsivo, mas você tem que ter muito cuidado, porque especialmente quando você está lidando com uma entidade governamental, haverá uma certificação para o processo. Então, você precisa ter muito cuidado em como a certificação é formulada e qual você está usando.

Muito rapidamente apenas para rever entre Brainspace e Relativity, o que pode ajudá-lo a decidir qual deles você quer tentar. A reportagem no Brainspace é uma espécie de — eu não quero dizer a palavra “básico”, mas apenas fornece as informações de onde você está no processo. Então, ele lhe dará uma planilha do Excel que listará as rodadas de controle, os campos de treinamento e, a cada rodada que você executa, você apenas puxa o relatório para essa rodada. A reportagem da relatividade é um pouco mais extravagante. Isso é apenas duas das coisas que ele fornece, e você pode ficar um pouco melhor, especialmente se você é uma pessoa de apoio jurídico e tiver a equipe jurídica perguntando, onde estamos? Quantos mais documentos? Quantos não são categorizados? É um pouco mais fácil tirar essa informação logo de cara com o Relativity.

Mais uma vez, muito depende se você vai passar relatórios para o lado oposto ou para a entidade governamental, então você meio que tem que tomar essa decisão. Acho que ambas as ferramentas são ótimas. Em nossa experiência, usamos tanto para o TAR 1.0 com grandes conjuntos de dados, e achamos que temos resultados muito bons, mesmo quando passamos para a revisão privilegiada e fizemos um pouco de QC do que foi considerado não responsivo. Conseguimos resultados muito bons usando as duas ferramentas.

Jovem Yu

Anya, uma das perguntas que recebemos do público é, existem casos em que você recomendaria TAR 1.0 sobre TAR 2.0?

Posso pensar em um casal que eu gostaria de mencionar, e qualquer outra pessoa certamente pode entrar.

Anya Korolyov

Eu só queria cobrir o fluxo de trabalho TAR 2.0, e então definitivamente vamos passar por cima disso e dizer os prós e contras e quando recomendamos um ou outro um pouco mais tarde.

Então, muito rapidamente, o TAR 2.0 Continuous Active Learning. Novamente, você sempre terá seus documentos que são as exclusões. Você ainda terá que revisá-los, ter isso em mente. Mas em vez de ter um conjunto de controle, rodadas de treinamento, idealmente, você gostaria de ter um especialista no assunto ou alguém ou ter documentos-chave que o iniciarão. De preferência, 100-500 documentos, dependendo da sua população. E então você tem sua equipe de revisão que começa a ensinar o modelo, o que é responsivo, o que não é responsivo. Então, ele aprende continuamente com todas as decisões tomadas.

E então você chega ao ponto em que você vê uma clara ruptura entre responsivo e não responsivo, ou você chega ao ponto em que você não vê mais nenhum documento responsivo e diz: 'OK, eu acho que terminei e vou realizar meu teste de elusão de QC e ver se há algo responsivo e então você fecha fora do projeto, e você passou para a revisão privilegiada ou o projeto está concluído.

Então, novamente, em nossa experiência com CAL, a Relativity tem sido uma plataforma melhor, porque está tudo na Relatividade, mas também vimos resultados muito bons com o Brainspace, apenas um pouco mais de trabalho na parte do fornecedor e realmente não nos importamos. E usamos o TAR 2.0 no sentido muito tradicional no fluxo de trabalho que você vê à sua frente (o fluxo de trabalho recomendado), ou seja, revisão até chegar ao ponto em que você não vê mais nenhum documento responsivo.

E com isso, gostaria de passar para nossa próxima pergunta de pesquisa, que é nossa última pergunta de pesquisa, que é “Que porcentagem de assuntos que usaram o TAR 2.0 emprega um fluxo de trabalho onde o algoritmo de aprendizado é treinado, e a revisão é cortada antes de colocar os olhos em todos os documentos responsivos que são produzidos?”

Então, ou seja, para voltar ao meu slide - este é o seu tradicional... se houvesse alguma avaliação em que você usou uma solução alternativa, onde você começou a olhar para o que o sistema acha que não é responsivo, ou você apenas continuou com o fluxo de trabalho recomendado.

Seth Curt Schechtman

Eu acho que a chave lá, Anya, é quando você tem grandes volumes de dados e está executando isso através de CAL, você quer continuar revisando se o algoritmo foi treinado. A questão se torna você quer rever um milhão de documentos, mesmo que seja um baixo [inaudível], porque você tem um conjunto tão grande para começar. Por que continuar se os documentos não precisarem ser emitidos codificados ou revisados por [inaudível] ou por outros motivos. Por que não parar?

Anya Korolyov

Definitivamente, definitivamente. Há muitas considerações com o TAR 2.0 que você precisa manter no fundo da sua mente, e elas estão listadas aqui. E alguns deles são famílias e privilégios, que tipo de andam de mãos dadas. Estamos preocupados que o privilégio precise ser realizado em toda a família? Vamos fazer uma revisão privilegiada separada, ou apenas confiamos que o privilégio é baseado nos quatro cantos do documento? Isso é definitivamente uma consideração.

Outro que Seth acabou de trazer à tona é quantos documentos estamos começando. Em nossa experiência, e tudo o que eu leio lá, todos os whitepapers dizem com CAL, geralmente vai acabar revisando em algum lugar entre 15-20% da sua população, é claro, dependendo da riqueza, para voltar ao que Young disse sobre relevância. Mas e se você estiver começando com 10 milhões de documentos? 15-20% disso ainda é bastante grande. Você tem tempo para passar por todos esses documentos? Você tem os recursos para ter todos esses documentos revisados? Ou você olha para os dados em algum momento e diz, estes são meus fatos, é aqui que estou, tenho tantos documentos que o sistema já acha que são responsivos, tenho tanto dinheiro que meu cliente está disposto a pagar, e que decisão eu tomo neste momento? Continuo ou corto isso?

Esta parte de cortar ou começar a ir para o que o sistema acha que não são documentos responsivos é uma conversa que temos com nossos clientes com muita frequência, porque eles querem ser feitos. Eles querem fechá-lo. Eles estão prontos para ir. É uma espécie de luta para nós recomendar um ou outro, porque podemos apresentá-los com os fatos, mas eles têm que tomar essa decisão por si mesmos e onde estão no litígio.

Young, Seth, eu sei que vocês têm muita experiência aqui recomendando o corte e meio que decidir o que vamos fazer aqui.

Jovem Yu

Existem várias metodologias que você pode empregar aqui. Com qualquer modelo de aprendizado ativo, você verá uma queda precipitada ou, digamos em um caso ideal, certo. Mas o nome desta apresentação é TAR no Mundo Real, talvez você nunca veja essa queda precipitada. Você pode ter uma pontuação de escalada constante, sem lacunas no meio, sem interrupção clara do responsivo e não. Então, o que você faz?

Digamos que... vou jogar fora os números. Digamos que você tenha uma pontuação de 65 e estamos considerando que a fronteira responsiva, a recomendação de nós seria, 'ei, por que você não faz uma amostra de 55 a 64 e vê qual é a taxa de responsividade lá, faremos uma amostragem aleatória fora desse pool ou não precisa ser aleatório, você pode empregar qualquer tipo de metodologia, desde que seja documentada e repetível”. Você faz a amostragem, e se todos os números fizerem sentido e você pode dizer, OK, esse 65 é um bom número, nós amostramos em torno dele, passamos por cima disso e tudo faz sentido, não há razão para você não parar aos 65 anos.

Digamos, é o contrário, no entanto, e você tenha amostrado de 55-64 e sua taxa de capacidade de resposta é maior do que deveria ser, você terá que continuar e continuar revisando ou dizer: “OK, não podemos usar 65 como ponto de corte, o que acontece se caímos para 60?” Todas essas decisões precisam ser fatoradas e pesadas. Você precisa considerar qual é sua riqueza ou riqueza estimada a porcentagem de documentos responsivos em seu conjunto de dados. Estima-se... porque se soubéssemos o que era... tudo isso seria, você aperta o botão e está pronto.

Anya Korolyov

Estou olhando para os resultados da pesquisa e vejo que algumas pessoas o cortam antes de colocarem os olhos e tudo mais. Isso é ótimo saber. Obrigado, Young.

Este é apenas um tipo de visão geral TAR 1.0/TAR 2.0, e agora que você fez todo esse trabalho, no seu caso, ele terminou, o que você faz com os resultados e você os mantém para uso futuro. E isso nos leva a modelos portáteis.

Jovem Yu

Certo, então, dependendo do aplicativo que você está usando, você pode reutilizar todo o produto de trabalho que entrou nesse processo, mas isso é ressalva por algumas coisas aqui. Normalmente, o que gostaríamos de fazer ou o que recomendamos aqui é construir um modelo que, se você for construir um modelo reutilizável, o que você deseja fazer é construí-lo em torno de tópicos específicos. Se você tiver litigantes em série que estão sempre envolvidos no mesmo tipo de litígio. Se for um tipo específico de litígio, como emprego ou FCPA, antitruste ou criação de um modelo para identificar lixo eletrônico ou respostas automáticas, potencialmente privilegiadas. Tudo isso é muito, muito específico do que você quer construir. Mas se você construir um que funcione, poderá aplicá-lo repetidamente.

Agora, cada conjunto de dados é diferente, e todos esses fatores precisam ser pesados, mas se você tiver um cliente repetido e estiver íntimo com seus dados e o privilégio sempre será o mesmo, o lixo eletrônico sempre será o mesmo. Ou aqui estão os cinco tipos de litígios que este cliente enfrenta dia após dia, você deve ser capaz de construir um modelo em torno disso. E uma vez que você tenha esse modelo, é um ótimo lugar para começar. Você já fez o trabalho nos bastidores; você pode aplicar esse modelo a esse conjunto de dados e ele lhe dá um lugar para começar. Isso não significa que o processo será 100% concluído, mas lhe dá uma ótima visão, e também à medida que você aperfeiçoar esse modelo, porque você vai continuar trabalhando lá, você pode refinar esse modelo e realmente construir algo que lhe dará 60-70% do caminho lá desde o primeiro dia.

Seth Curt Schechtman

Ei, Adam, por que você não investe aqui e fala sobre como os clientes estão buscando essas coisas, perguntando sobre nossas habilidades aqui.

Adam Rubinger

Sim, e acho que os clientes certamente estão procurando maneiras de reutilizar o produto de trabalho dos bancos de dados hash MD5 para o uso de modelos portáteis quando você tem esses tipos de guardiões repetidos, problemas repetidos. Há uma grande oportunidade, eu acho, de gerar mais economias pela reutilização desses tipos de — esse tipo de informação, classificadores especificamente, e estamos começando a ver isso acontecer. Está meio que apenas começando. Acho que a tecnologia está evoluindo até o ponto em que está se tornando útil e capaz, então acredito que veremos muito mais uso de reutilização de dados e coisas assim.

Anya Korolyov

Obrigado, Adam e Young. E agora, isso nos leva à diferença entre TAR 1.0 e TAR 2.0 e quais normalmente recomendamos, o que eu acredito ser uma das perguntas que estamos sendo feitas.

E eu meio que cobri algumas das diferenças. Novamente, TAR 1.0, você tem um ou dois especialistas no assunto que estão codificando os documentos. O custo é mínimo lá em um ponto. Por outro lado, o especialista no assunto custa um pouco mais do que uma solução de revisão gerenciada.

Há aprendizado ativo contínuo. Você tem muitas pessoas que estão tomando decisões, e isso nem sempre é a melhor coisa. Quanto mais pessoas você tiver, mais interpretação do que é responsivo para este projeto. Mas, ao mesmo tempo, permite que você aprenda nova capacidade de resposta. Os documentos surgem durante a revisão, e isso pode mudar. Algo que não foi considerado responsivo, você encontra um e-mail e diz: “oh, é disso que eles estão falando, oh sim, isso é definitivamente responsivo”, e você atualiza o sistema, e isso permite que você aprenda.

Então, novamente, tudo depende do tipo de caso com que você está lidando e com que tipo de prazo você está lidando. Qual é o seu orçamento? Todas essas perguntas precisam ser feitas e sempre perguntamos aos nossos clientes porque isso vai impulsionar a decisão. Se você tiver uma Segunda Solicitação de proporções épicas e tiver três meses [inaudível], se você tiver até três meses para passar por milhões de documentos e você tiver que considerar a revisão não apenas para a capacidade de resposta, mas você tem que considerar o privilégio e você tem que considerar encontrar documentos-chave sobre o fusão, você meio que vai ir com o TAR 1.0, porque você só quer entrar lá, você quer codificar, você quer dizer, 'esta é a população que é responsiva, estou substancialmente cumprindo, sou claro, sou bom, eu não quero aprender continuamente, eu não quero saber, eu lavo minhas mãos fora de isso”.

Em outro caso, você tem um caso que não está com pressa e é um pouco menor no lado dos dados e você não tem idéia do que está procurando, você tem muito poucos documentos importantes para começar e quer saber o que os dados vão mostrar e você espera que a capacidade de resposta mude, e é uma matéria investigativa. Nesse caso, definitivamente recomendamos TAR 2.0.

Nós realmente não dizemos que um é melhor que o outro. Tivemos casos, e Seth e Young podem falar com isso, onde começamos com o TAR 1.0 porque era isso que o cliente preferia, e então chegamos ao ponto em que não estávamos fazendo absolutamente nenhum progresso com 1.0 porque a riqueza era tão baixa. E dissemos, neste momento, sentimos que você está gastando dinheiro sem motivo tendo um assunto revisando esses documentos, vamos passar isso para uma revisão, quando tudo estiver dito e feito, achamos que vamos realmente economizar dinheiro indo para o TAR 2.0 e meio que realmente fazendo um modelo híbrido lá entre os dois'.

Jovem Yu

Apenas para voltar para a pergunta aqui, casos em que recomendamos TAR 1.0 sobre TAR 2.0, cada caso é diferente, a linha do tempo, definitivamente, qualquer tipo de prazo pesa muito na decisão tomada, mas acho mais importante, será a riqueza desse conjunto de dados. Se você está dizendo que 40-50% desse conjunto de dados será responsivo, você realmente quer entrar em um modelo de aprendizado ativo e tentar descobrir onde cortar ou passar por essa porcentagem.

Se a riqueza for muito baixa, digamos que seja inferior a 10%, há uma chance de que, durante o seu conjunto de controle, você não encontre nenhum documento responsivo, então você precisa continuar puxando documentos extras para o seu conjunto de controle. Esse conjunto de controle pode continuar por muito tempo, até que você tenha o número adequado de documentos responsivos.

Esse tipo de vai para essa outra pergunta lá. “Qual é a diferença entre um conjunto de controle e uma rodada de treinamento?”

Um conjunto de controle será uma atração aleatória de documentos, e é a medida com a qual as rodadas de treinamento são comparadas. É uma atração aleatória de documentos. O número de documentos dependerá da sua confiança e da sua margem de erro. Está implícito em algumas aplicações que a riqueza o afeta. O Brainspace certamente leva isso em consideração. Existem outros aplicativos que não. Mas em termos de recomendação entre TAR 1.0 e TAR 2.0, ele está realmente conhecendo seus dados. A taxa de capacidade de resposta, a diversidade conceitual lá, sua linha do tempo, seu orçamento, tudo isso vai levar em consideração essa decisão.

Seth Curt Schechtman

E uma coisa, Young, que vou acrescentar da perspectiva da revisão, todos os documentos precisam de [verificações de problemas]? Se você estiver, então você tem que revisá-los todos de qualquer maneira que você olha para ele. Não vemos isso com frequência. Segundo Pedidos e os assuntos maiores que temos, eles vão direto pela porta sem olhos neles, algo [inaudível] por privilégio ou PII ou termos quentes, mas você tem que emitir tag, você tem que colocar os olhos em todos eles. Então, você está usando o TAR 1.0 ou tentando usar 2.0 para cortar a revisão antes de ver tudo potencialmente produtivel, isso não vai acontecer.

Anya Korolyov

Obrigado a ambos. E com isso, gostaria de entrar no que muitas pessoas estão interessadas, e uma das principais decisões que desempenha um papel é o custo. Quanto você economiza usando cada uma dessas ferramentas? Vou devolvê-lo para Mike e Adam para falar sobre isso.

Michael Sarlo

O custo da revisão. Por exemplo, temos um caso aqui em que tínhamos quase 2,9 milhões de documentos que estavam na população de revisão. Sendo capaz de olhar apenas 12.000 daqueles para treinar um modelo, para identificar a capacidade de resposta, as economias de custos estão em milhões no high-end, US $8 milhões em alguns casos para assuntos mais complexos.

Em quase todos os casos, você sempre terá uma economia de custos com TAR ou CAL, e essas apresentações estarão disponíveis para download, tudo será registrado se você estiver interessado em algumas boas métricas e estamos felizes em entrar nas granularidades de qualquer um desses estudos de caso.

Em particular, o Caso Número 1 aqui é um daqueles casos em que realmente conseguimos executar dados do Slack através do modelo TAR em um protocolo acordado com o Departamento de Justiça. Então, muitos desses documentos realmente contêm muitas, muitas e muitas mais comunicações menores, porque novamente, estávamos trabalhando com esses arquivos de texto prontos para análises secundárias que criamos por meio de nossos algoritmos personalizados aqui.

Eu sempre encorajo meus clientes a considerar usar TAR ou usar CAL e apenas voltar para realmente apenas, em geral... você pode usar essas ferramentas certamente para QC. Você pode usar essas ferramentas para encontrar mais documentos nos quais você está interessado. Você pode fazer feeds. Você pode lotes de documentos em diferentes níveis de um intervalo [como uma conferência]. Existem tantas maneiras diferentes de usar peças de revisão assistida por tecnologia para aprimorar qualquer revisão, tanto do ponto de vista de qualidade, QC, quanto para reduzir riscos, e para ajudá-lo a encontrar esses documentos do tipo Agulha no Haystackid.

E mesmo voltar para classificadores e coisas assim, ser capaz de retirá-los e movê-los de caso para caso em um nível de cliente individual é ótimo, mas agora também estamos sendo solicitados a usar esses tipos de ferramentas proativamente do ponto de vista de conformidade para organizações que estão tentando identificar riscos como ele está acontecendo. Estamos realmente usando o texto subjacente para ajudar em mais fluxos de trabalho de conformidade, analisando e-mails semanalmente ou ao vivo para os principais conceitos.

Eu encorajo todos a realmente pensar fora da caixa aqui também, porque há muito valor que você pode fornecer aos seus clientes quando você começa a pensar sobre as aplicações estendidas da revisão assistida pela tecnologia.

Anya Korolyov

Obrigado, Mike. E eu só quero jogá-lo de volta ao Adam para cobrir os custos da CAL também.

Adam Rubinger

E uma das diferenças interessantes entre essas duas tabelas é o treino teórico TAR 1.0 do banco de dados e, em seguida, uma espécie de stop review e o sistema prevê. Com CAL, como Anya e Young e Seth descreveram, você está colocando uma equipe de revisores sobre o assunto e eles estão começando a revisar, e como o sistema aprende, você passa de documentos muito responsivos para documentos muito não responsivos. E esses exemplos do mundo real aqui ilustram como começamos com um corpus de dados bastante grande, e há alguns outliers que são interessantes. À medida que os números são mais baixos, você pode ver que está demorando mais tempo para que o sistema se estabilize e encontre um ponto em que você possa cortar a revisão. E, como os números maiores ilustram, você pode ver algumas economias significativas usando essa estratégia, especialmente quando você realmente tem baixa riqueza, e ainda precisa fazer uma revisão de substâncias para construir seu Case in Chief e poder classificar documentos e examiná-los por toda parte — enquanto você está construindo sua produção conjuntos e coisas assim.

Em todos os casos, estamos vendo o TAR 1.0 e o TAR 2.0 economizarem quantias consideráveis de dinheiro que fazem valer a pena mesmo nos menores casos.

Anya Korolyov

Obrigado, Adam. Apenas com isso, e acho que este próximo slide também irá falar sobre isso responderá a algumas das perguntas. O que vem a seguir no Analytics?

Agora, que estamos aqui, o que está por vir a seguir? E acho que a primeira coisa

de um modelo híbrido vai para o que é TAR 3.0 e eu acho que o Brainspace está realmente fazendo grandes ondas lá, então Young, se você gostaria de assumir seu tópico favorito.

Jovem Yu

Portanto, o Brainspace na versão mais recente introduziu a implementação de um conjunto de controle, independentemente de ser aprendizado ativo ou TAR 1.0. O que isso realmente significa para o aprendizado ativo é que você pode obter muito facilmente... você pode medir facilmente a precisão do recall. Normalmente, é um pouco mais difícil, a matemática pode definitivamente ser elaborada, é um pouco manual, mas dá a mesma aparência como se você estivesse executando uma codificação preditiva ou um projeto TAR 1.0.

Para TAR 1.0, o que isso significa? Se você tiver uma mudança na capacidade de resposta ou se a capacidade de resposta mudar ao longo do tempo, poderá entrar em outro conjunto de controle para agir como uma segunda medida. Ele permite que a flexibilidade vá de TAR 1.0 para TAR 2.0, ou em qualquer tipo de cenário estranho, vá de TAR 2.0 para TAR 1.0, mas oferece mais visibilidade sobre as métricas.

Há algumas perguntas por aí que abordam isso. Anya, você se importa se eu passar por eles muito rapidamente?

Anya Korolyov

Claro, vá em frente.

Jovem Yu

OK, então o primeiro é “O recall aceito de cerca de 80% é defensável”.

80% é meio alto. Normalmente, recomendamos cerca de 75% de recall. É uma gangorra, quanto maior o recall, você tem um trade-off de precisão. 75% são normalmente aceitos. Indo mais alto do que isso com uma margem de erro mais alta, ou digamos, um nível de confiança mais alto e menor margem de erro, isso não é realmente propício para o TAR 1.0. Isso significa que você terá que revisar muito mais documentos.

Para os tamanhos de dados sugeridos, quantos documentos você precisa treinar, é proporcional. Quando você está olhando para esses números, a riqueza definitivamente entra em jogo. Na medida em que você tem um acordo com opositores ou reguladores, é proporcionalidade. Se você tiver 3 milhões de documentos, quantas decisões você precisa tomar para que pareça razoável dizer que treinamos o modelo. Em um cenário TAR 1.0, você está procurando acertar a estabilização. A estabilização é onde você não está mais vendo grandes mudanças na precisão e [profundidade] para recall. Então, o que está acontecendo lá é que as decisões que você tomou são consistentes, você não está vendo a precisão passar de 55-60% para 70%, você tem quase como uma média reta.

Na aprendizagem ativa, a indústria lê isso como em algum lugar entre 10 e 15% da sua população antes de você ter treinado o modelo suficientemente. A ressalva sempre será diversidade conceitual. Então, você só sabe o que sabe, quando você está julgando a capacidade de resposta em um conceito que você não encontrou antes, quantos desses conceitos existem. Então, o agrupamento e a pesquisa de conceito que recomendamos antecipadamente jogam muito nisso. Se você pode dizer que fez seu spread, você fez sua cobertura e sabemos 90-95% dos conceitos dentro da nossa população de dados, 10% pode funcionar. Novamente, cada conjunto de dados é diferente, e odeio dar uma resposta “depende”, mas há alguns fatores que você precisa tomar. É também a razão pela qual, enquanto você está passando pelo processo, ter um especialista no assunto que pode atestar o processo e documentar o processo e apresentar isso, isso é muito importante ter.

Anya, eu não queria sair do tópico aqui, vá em frente.

Anya Korolyov

Não, não, você está bem. Como já estamos nas perguntas, vou aceitar: “O quase duplicado é o mesmo que achar semelhante?”

Não é o mesmo. A duplicata quase é baseada apenas no texto do documento. A análise pegará o texto real do documento e comparará as palavras reais em todo o documento. Ele encontrará o documento que tem mais texto e, em seguida, classificará todos os outros documentos em uma porcentagem semelhante a esses. Encontrar semelhante é mais um conceito de “análise”, onde encontrará documentos conceitualmente semelhantes, não necessariamente documentos textualmente semelhantes.

Acho que Seth seria ótimo responder à pergunta relevante e responsiva.

Seth Curt Schechtman

Vou chegar a isso. Apenas uma pergunta que Young havia respondido, então acho que havia uma pergunta entre a revisão manual humana e a revisão assistida por computador.

Supondo que os humanos fossem [inaudíveis] para qualquer revisão, para todos os documentos e se você executou os termos de pesquisa ou não e eles acham 100%, então você vai dizer que os algoritmos vão encontrar 80%, talvez na melhor das hipóteses, 90% podem ser os melhores que você já viu. Qual é o custo de encontrar esses outros documentos? É a isso que se resume. Isso se resume à proporcionalidade. Você está gastando muito dinheiro derramando através de 95, 98, 99 documentos não responsivos para encontrar os outros responsivos? É a isso que realmente se resume. A resposta é que você tem que encontrar cada um, seja porque - eu vou dizer que é um caso de fazer ou quebrar, ou porque é, eu não sei, talvez uma investigação interna e um documento possam fazer a diferença, então talvez você queira rever cada um. Talvez você queira encontrar cada um. Depende de qual é o custo e se você pode obter o outro lado do governo para permitir que você concorde com essas coisas. TAR é bem aceito na jurisprudência. Você quer usá-lo para economizar dinheiro, mas em certos casos em que talvez você não queira usá-lo.

Voltando-se para a questão da relevância versus responsividade. Uma das minhas perguntas favoritas de todos os tempos em análise. Eu direi que depende. A relevância é mais ampla. A capacidade de resposta é estreita. Quando você recebe uma solicitação de produção, eles estão pedindo coisas que são responsivas. Isso não significa que eles deixaram de fora um monte de coisas que podem ser relacionadas ao caso, relevantes para o caso, relevantes para o assunto, mas simplesmente não pediram isso. Quando você está treinando algoritmo, se o fim for, estamos produzindo esse conjunto, quer cortemos uma revisão ou não, você quer ir com a capacidade de resposta, certo, porque é a isso que eles tinham direito. Você não quer dar ao outro lado todas essas outras coisas que podem estar relacionadas ao caso, mas podem não ser responsivas. Especificamente solicitado, você não quer ser muito amplo em suas produções, mas uma excelente pergunta e espero ter respondido.

Jovem Yu

Então, para a outra questão lá fora em termos de negociação com protocolos TAR ESI. Precisão e recall. Minha resposta será uma não resposta aqui. Eu não prometo nada. Lembre-se, 75% é uma tolerância aceitável. Para maior precisão, é uma pergunta mais difícil. Realmente, isso vai depender de quanta revisão você quer fazer. Além disso, a definição de responsividade vai jogar pesado lá. precisão aceitável. Geralmente, gostaria de ver maior que 65% de precisão, é o que procuro. Nem todos os casos são construídos da mesma forma. Nem todos os conjuntos de dados são construídos da mesma forma. Vimos tão baixos quanto 20 anos, adolescentes altos e ainda conseguimos obter aprovação nesse processo. Então, em termos de negociações, eu não cimentaria precisão em pedra.

TAR 3.0, podemos esperar até que Mike fale com alguns dos outros What's Next in Analytics.

Anya Korolyov

E só para voltar ao que é aceitável, o que não é. Certamente tivemos casos em que, como disse Young, sempre, na HayStackID, recomendamos 65, mas tivemos casos que nunca chegaram acima de 23, 24, mas chegamos à estabilização e nós... os advogados conseguiram pegar os dados, pegar os relatórios, voltar e dizer, 'olha, eu sei que começamos a querer 65, mas é aqui que estamos, vamos concordar em cortá-lo, vamos concordar em encerrar a revisão aqui e simplesmente ir para a produção”. Então, novamente, é sempre... você sempre quer olhar para os dados disponíveis para você e eu sei, como advogados, os dados são avassaladores e os relatórios e tudo isso, mas você ainda quer ter certeza de que você olha o que está à sua frente, considere tudo, incluindo custo e onde você precisa estar no final, o que faz o mais sentido para o cliente.

A menos que outra pessoa tenha mais informações, eu quero jogar de volta ao Mike para falar sobre as coisas interessantes que são análise de sentimento, emojis, dados financeiros, PII, PHI, todas essas coisas boas.

Michael Sarlo

Claro, muito obrigado, Anya, e vamos correr com pouco tempo, então vou fazer isso bem rápido. As principais dicas, e eu sempre digo isso às pessoas, a análise do ponto de vista do eDiscovery, e os mecanismos, as ferramentas e a tecnologia subjacente e a aplicação dela não são tão avançadas quanto outras indústrias que podem depender da análise de dados. Simplesmente não precisamos de muitos dos aplicativos ou de muitas das bibliotecas e ferramentas personalizadas necessárias, uma abordagem mais diferenciada específica para uma organização e seus dados ou um problema que você está tentando resolver. Passamos um pouco de tempo trabalhando com esse tipo de ferramentas analíticas fora do mercado, seja ela de código aberto como bancos de dados gráficos, como o Neo4j, que pode permitir que você faça coisas realmente interessantes.

Onde estamos vendo as coisas também e realmente onde você está obtendo recursos de análise muito melhores do ponto de vista da amostragem e apenas poder fazer mais com seus dados é apenas mais acesso ao hardware. Colocando as coisas na nuvem, é muito barato fazer cálculos de big data lake do ponto de vista computacional e, finalmente, do ponto de vista de custo. Às vezes penso em quanto tempo o material levaria três, quatro, cinco anos atrás, à medida que você entra em recursos mais avançados para analisar seus dados. Estamos usando bancos de dados gráficos para analisar conjuntos de dados financeiros muito maiores, como registros de chamadas. Estamos unindo a atividade do usuário em uma ampla gama de sistemas a documentos reais que estão sendo criados em uma linha do tempo, apenas mais serviços investigativos.

E realmente, para todos aqui também, lidando com toda a PHI, PII, GDPR, privacidade de dados e sendo capaz de identificar isso como... nós realmente estamos fazendo um pouco de trabalho com nossos próprios mecanismos internos e, em seguida, também contando com APIs do Google e da Microsoft e da Amazon que todos fazem partes diferentes das PII quebra-cabeça de detecção, então isso é algo que estamos oferecendo aos clientes hoje também. Realmente, em nossa descoberta pós-violação, como a cibernética, como a prática de revisão, mas todos os nossos assuntos multinacionais em que estamos lidando com dados que podem estar na APAC ou na Europa, e com questões do GDPR, ser capaz de identificar PII logo no início é tão importante. Pesquisas de palavras-chave só funcionam tão bem, então eu encorajaria todos a fazer alguma exploração aqui. Há muitas ferramentas de código aberto e recursos realmente ótimos na internet nesses domínios.

Adam Rubinger

Obrigado, Mike. Sei que estamos acabando a tempo aqui, mas eu queria abordar a pergunta TAR 3.0. TAR 3.0, não quero dizer que é um retrocesso para o TAR 1.0, mas tem uma abordagem semelhante. Há camadas adicionais aqui, então, tradicionalmente, o que você verá no agrupamento é que você obterá uma camada central ou um aglomerado e, em seguida, ele sai para os braços externos. Então, com o TAR 3.0, pense mais nisso como um diagrama de Venn, onde um documento pode viver em vários diagramas de Venn apenas sentados um sobre o outro. Você pode ter um documento que realmente reside em 40.000 clusters.

O que ele está fazendo é tomar núcleos de cluster, enviando-os para você. Quando você toma uma decisão pela capacidade de resposta, ele está perfurando uma camada para baixo e, em seguida, pedindo que você codifique a camada subjacente subsequente. É muito difícil de visualizar. Há um blog muito bom sobre isso. Se você acabou de digitar “TAR 3.0", você poderá fazer alguma leitura leve. Alternativamente, você pode definitivamente entrar em contato conosco e podemos lhe dar uma consulta lá.

Michael Sarlo

Sim, e eu tocaria para dizer que é muito um fluxo de trabalho. Você pode simular os efeitos do TAR 3.0 através do uso tátil de diferentes capacidades de rodadas de treinamento no Brainspace. Além disso, juntamente com a amostragem estratégica antecipadamente, fazendo algumas análises de termos de pesquisa e, em seguida, carregando alguns desses resultados no modelo quase como um pré-trem e feeds, mas depois usá-los para obter documentos que você sabe que são quentes ou relevantes no início do processo TAR 2.0. Então, podemos começar os modelos dessa maneira, e muitas vezes você está recebendo os mesmos efeitos aqui. Eu acho que o TAR 3.0 é realmente muito, é esse fluxo de trabalho híbrido, dependendo de quem você fala. Há outras plataformas por aí que começaram a tentar marcar isso de forma mais algorítmica. É um processo totalmente diferente, mas eu diria que todas as principais plataformas de análise oferecem alguns recursos neste domínio.

Tudo bem, bem, muito obrigado a todos. Vou dar o pontapé inicial para Rob Robinson para fechar isso. Nós realmente agradecemos a todos vocês se juntarem hoje. Sinta-se à vontade para entrar em contato com qualquer dúvida. Ficaremos felizes em respondê-los. Estamos sempre disponíveis. Basta gravar um e-mail ou entrar em nosso site.

Fechamento

Muito obrigado, Mike. E obrigado a toda a equipe pelas excelentes informações e insights hoje. Também queremos aproveitar o tempo para agradecer a todos e a cada um de vocês que participaram do webcast de hoje. Nós realmente sabemos o quão valioso é o seu tempo e agradecemos que você compartilhá-lo conosco hoje.

Por fim, quero destacar o fato de que esperamos que você tenha a chance de participar do nosso webcast mensal agendado para 17 de fevereiro às 12h Leste, e será sobre o tema violação de dados, descoberta e revisão. Nesta próxima apresentação, teremos especialistas em segurança cibernética, especialistas em privacidade e especialistas em descoberta jurídica que compartilharão como as organizações podem se preparar para responder a um incidente relacionado ao ciber-relacionado, e esperamos que você possa participar.

Obrigado novamente por comparecer hoje. Seja seguro e saudável. E isso conclui o webcast de hoje.

CLIQUE AQUI PARA BAIXAR OS SLIDES DA APRESENTAÇÃO

Webcast - TAR no mundo real - 011321 - Atualizar

CLIQUE AQUI PARA VER A APRESENTAÇÃO SOB DEMANDA