[Webcast Transcript] TAR in de echte wereld: van belofte naar praktisch

en flag
nl flag
fr flag
de flag
pt flag
ru flag
es flag

Opmerking van de redacteur: Op 13 januari 2021 deelde HayStackID een educatieve webcast die is ontworpen om juridische en gegevensdetectieprofessionals te informeren en te updaten over de meest geavanceerde analysetechnologieën in de branche en om aanbevolen workflows en geschikte gebruiksvoorbeelden te benadrukken om kwantificeerbaar impactvolle verhogingen te bereiken in documentbeoordeling efficiëntie en nauwkeurigheid tijdens het gebruik van Technology-Assisted Reviews. Hoewel de volledig opgenomen presentatie beschikbaar is om op aanvraag te bekijken via de HayStackID-website, vindt u hieronder een transcript van de presentatie en een PDF-versie van de bijbehorende dia's voor uw beoordeling en gebruik.

TAR in de echte wereld: van belofte naar praktisch

eDiscovery-experts en commentatoren hebben de belofte van technologie-assisted review (TAR) aangevoerd sinds de beslissing van Rechter Andrew Peck van Da Silva Moore in februari 2012. Maar hoe gaat het met TAR precies in de echte wereld van complexe ontdekkingen? Wat nog belangrijker is, hoe wordt de nieuwste generatie gestructureerde en conceptuele analysetools gebruikt om de efficiëntie te verhogen en positieve resultaten te bereiken, waardoor de belofte van TAR wordt vertaald naar praktische resultaten?

In deze praktische presentatie zullen eDiscovery analytics- en juridische beoordelingsexperts een overzicht delen van de meest geavanceerde analysetechnologieën in de branche en de aanbevolen workflows en geschikte gebruiksvoorbeelden benadrukken om kwantificeerbaar impactvolle verhogingen in de efficiëntie en nauwkeurigheid van documentbeoordeling te realiseren.

Highlights van webcast

+ Gestructureerde analyses: de e-mailnaald insnijden

+ Conceptuele analyse: van keuzes (TAR 1.0 v. 2.0) tot clusters

+ Hersenen en brein: Rekening houdend met hersenruimte en relativiteit

+ Een goed stoppunt: het waarom en wanneer van Workflowbeslissingen met continu actief leren

Experts presenteren

+ Michael Sarlo, EnCE, CBE, CCLO, RCA, CCPA - Michael is een partner en Senior EVP van eDiscovery en Digital Forensisch onderzoek voor HaystackID.

+ Adam Rubinger, JD. - Als EVP met HaystackID heeft Adam meer dan 20 jaar ervaring en toegepaste expertise in het adviseren, adviseren en beheren van grootschalige eDiscovery-projecten.

+ Anya Korolyov, Esq. - Als directeur projectmanagement bij HaystackID heeft Anya 12 jaar ervaring in eDiscovery met uitgebreide expertise met Second Requests als advocaat en consultant.

+ Seth Curt Schechtman, Esq. - Als Senior Managing Director of Review Services voor HaystackID heeft Seth uitgebreide beoordelingservaring, waaronder class actions, MDL's en Second Requests.

+ Young Yu - Als Director of Client Service bij HaystackID is Young de belangrijkste strategische en operationele adviseur voor klanten op het gebied van eDiscovery.

Presentatie transcript

Inleiding

Hallo, en ik hoop dat je een geweldige week hebt. Mijn naam is Rob Robinson en namens het hele team van HaystackID wil ik je bedanken voor het bijwonen van de presentatie van vandaag getiteld TAR in the Real World: From Promise to Practicality. De webcast van vandaag maakt deel uit van de maandelijkse reeks educatieve presentaties van HaystackID, uitgevoerd op het BrightTalk-netwerk en ontworpen om ervoor te zorgen dat luisteraars proactief voorbereid zijn op het behalen van hun forensisch onderzoek, eDiscovery en juridische beoordelingsdoelstellingen tijdens onderzoeken en rechtszaken. Onze deskundige presentatoren voor de huidige webcast omvatten vijf van de belangrijkste vakdeskundigen in de branche en juridische beoordelingsinstanties met uitgebreide ervaring in het ondersteunen van door technologie ondersteunde beoordelingen.

De eerste introductie die ik graag wil maken is die van Michael Sarlo. Mike is de Chief Innovation Officer en President of Global Investigations voor HaystackID. In deze rol faciliteert Michael alle activiteiten en innovatiegerelateerde eDiscovery, digitale forensische en geschillenstrategie, zowel in de VS als in het buitenland.

Ten tweede wil ik Adam Rubinger voorstellen. Adam fungeert als Chief Client Experience Officer bij HaystackID. Hij brengt meer dan 20 jaar ervaring en toegepaste expertise in het adviseren, adviseren en beheren van grootschalige eDiscovery-projecten in deze rol.

Vervolgens wil ik Anya Korolyov verwelkomen, de Director of Project Management bij HaystackID. Anya heeft 12 jaar ervaring in eDiscovery met uitgebreide expertise in Second Requests als advocaat en consultant.

Ik wil ook Seth Schechtman benadrukken als senior managing director van Review Services voor HaystackID. Seth heeft uitgebreide beoordelingservaring, waaronder klassenacties, MDL's en Second Requests.

Tot slot wil ik je vandaag voorstellen aan Young Yu. Young is de directeur van Client Services met HaystackID. In zijn rol is Young de belangrijkste strategische en operationele adviseur van klanten op het gebied van eDiscovery.

HaystackID zal de presentatie van vandaag opnemen voor toekomstig bekijken, en er is een kopie van presentatiemateriaal beschikbaar voor alle deelnemers. U kunt deze materialen direct onder het presentatieweergavevenster op uw scherm openen door het tabblad Bijlagen te selecteren op de linkse positie van de werkbalk onder het weergavevenster. Daarnaast hebben we vandaag verschillende enquêtvragen. Deze vragen worden weergegeven onder het tabblad Stemmen.

Op dit moment wil ik de microfoon overdragen aan onze deskundige presentatoren, onder leiding van Mike Sarlo, voor hun opmerkingen en overwegingen over Technology-Assisted Review en het praktische gebruik ervan in de echte wereld. Mike?

Michael Sarlo

Heel erg bedankt, Rob, en bedankt iedereen, dat je meedoet aan de webcast van deze maand. We zijn heel blij dat je er bent. We hebben nieuwe luidsprekers op het circuit. Met name Anya en Young besteden vanuit operationeel oogpunt veel tijd aan het omgaan met analyses, zowel vanuit het oogpunt van een technologisch systeem als vanuit een continu actief leerpunt, gestructureerde analyses voor enkele van onze meest complexe zaken. Ook Adam Rubinger adviseert klanten al jaren over het effectieve gebruik van deze technologieën, waar we allemaal zoveel van hebben leren kennen en liefhebben, en ik heb zelf ook al vele jaren te maken met data-analyse. We zien dus vaak dat er soms verkeerde informatie of verbrekingen zijn over hoe verschillende functies en tools en workflows moeten worden gebruikt wanneer u het analysewoord of het beoordelingswoord van het technologiesysteem begint te horen, en als leverancier zijn we uniek vanuit onze positie om met veel verschillende klanten te werken via hun workflowverwachtingen, en vervolgens aan de kant van de levering.

We beginnen dus met een discussie over gestructureerde analyses, we gaan verder met conceptuele analyses en de verschillen tussen TAR 1.0, TAR 2.0 echt opsplitsen, we gaan enkele van de verschillen tussen Brainspace en relativiteiten en overeenkomsten benadrukken, en dan gaan we Neem echt een duik om een kijkje te nemen wanneer je echt vanuit een meer van CAL-standpunt stopt, waarbij je die technologie gebruikt om een recensie kort te maken.

Dus, fundamenteel is eDiscovery getransformeerd en wordt elke dag getransformeerd, door de praktische toepassing van analytics en vanuit mijn standpunt, alle kostenbesparingen terzijde, het echte doel is om de relevante feiten sneller en eerder aan de case-teams te krijgen, in welke kwestie dan ook, en ik weet dat Adam het best heeft. Ook hier een beetje feedback, alleen uit zijn ervaring met zeer grote bedrijven die deze tools gebruiken.

Adam Rubinger

Bedankt, Mike, en nu eDiscovery in de loop der jaren volwassen is geworden, zijn de volumes op het punt gekomen dat het bijna onmogelijk is om eDiscovery echt te doen zonder het gebruik van analyses en door technologie ondersteunde review. We zien de opkomst en adoptie in een vrij snel tempo. Vanuit het oogpunt van de klant zien we dat het nu bijna rote wordt voor klanten om TAR te gebruiken, vooral continu actief leren, om te helpen bij kostenbesparingen en sneller bij de informatie te komen, zoals Mike zei. Vanuit ons perspectief zien we klanten die analytics gebruiken op manieren waarop ze bedoeld zijn voor dat gebruik, ze ze gebruiken op manieren om enorme hoeveelheden data te gebruiken en deze toegankelijker te maken, het sneller beschikbaar te maken aan de geschillenorganisaties om hun hoofdzaak op te bouwen, zodat de beoordelingsteams kunnen krijgen naar de belangrijkste informatie het snelst, en uiteindelijk, kostenbesparingen is het uiteindelijke doel, dat vanuit het perspectief van de totale kosten van het uitvoeren van beoordelingen, en het bekijken van documenten en het doorbladeren van gegevens, het beschikbaar hebben van deze tools, we zeer, zeer meetbare en uitgebreide kostenbesparingen zien en efficiëntiewinst met behulp van het. Dus vanuit ons perspectief wordt eDiscovery getransformeerd door het gebruik van analytics en wordt het onderdeel van de verklaring of onderdeel van de workflow die dagelijks plaatsvindt. Bijna al onze klanten gebruiken op de een of andere manier analytics in vrijwel elk geval.

Anya, waarom gaan we nu niet praten over gestructureerde analyses.

Anya Korolyov

Dank je wel, Adam. Dus, zoals Adam en Mike al zeiden, zijn de dagen van lineaire herziening, gewoon rechtlijnige herziening, vrijwel lang voorbij. Alle gevallen gebruiken op zijn minst de gestructureerde analyses, en gewoon om heel snel over te gaan, enkele van de basis, de taal-ID, ik weet dat het een gegeven lijkt, maar zelfs die gevallen waarin de klant naar ons toe komt en zegt dat alle bewaarders VS zijn, er is geen kans dat we een andere vreemde taal hebben, we nog steeds Ik wil het graag doen om ons een voller beeld te geven, en om te weten dat als we eenmaal bij het machine learning gedeelte komen, waar we mee te maken hebben, we een vakdeskundige nodig hebben die in de vreemde taal kan spreken, moeten we vertalingen doen, gewoon heel snel, dat uit de weg halen. Voor de bijna dubbele analyse gebruiken we het natuurlijk voor het doel dat het bedoeld was om bijna duplicaten te identificeren, om ervoor te zorgen dat ze op dezelfde manier worden gecodeerd, al het goede spul, maar we gebruiken het ook om ons te helpen het model te trainen als we bij machine learning komen. Soms krijgen we zaken en weten we gewoon niet waar we moeten beginnen. Het enige wat we hebben is een pleidooi, we hebben enkele exposities, dus we maken documenten en voeren ze in onze populatie, en we gebruiken de bijna dubbele analyse om ons te helpen de belangrijkste documenten eerder te identificeren en ons te helpen een duidelijker beeld te krijgen en ons misschien van het identificeren van vergelijkbare documenten tot ook in naam gaan. normalisatie en de communicatietool in Brainspace, en daarmee, als we het eenmaal uitvoeren, krijgen we een veel duidelijker beeld dan we hebben met alleen de metadata bovenaan de e-mail te gebruiken, van/naar. We krijgen het volledige bereik van wie met wie communiceert, over welke onderwerpen, en het combineren van de bijna dubbele analyse en naamnormalisatie brengt ons echt een stap dichter bij de machine learning en om ons te laten beschikken over onze belangrijke documenten die we kunnen gebruiken om het systeem te trainen, en natuurlijk komen we bij — iedereen is bekend met e-mailthreading. Iedereen, ik weet zeker, heeft het op zijn minst gezien en e-mailthreading is wanneer we een groep ogenschijnlijk niet-gerelateerde e-mails hebben en we voeren het uit, en we komen bij onze inclusieve e-mails, en onze inclusieve e-mails zijn elke e-mail met een unieke inhoud, dus elke unieke bijlage of de laatste e-mail in de keten, en absoluut, we gebruiken het voor het doel zoals bedoeld en we hebben gevallen waarin we meteen afspraken hebben dat we alleen de bijgevoegde e-mails gaan bekijken, maar er zijn veel andere manieren waarop we hebben geleerd om e-mailthreading te gebruiken en deze in onze workflow op te nemen met analyses over de hele linie, en daarmee zou ik graag om het aan Seth over te dragen, en aan onze eerste peiling.

Seth Curt Schechtman

Bedankt, Anya, dat waardeer ik. Dus, de eerste enquêtevraag van de dag, van het afgelopen jaar, hoe vaak heb je gebruik gemaakt van draadsnijden om de review te organiseren en te helpen bij kwaliteitscontrole? Rob opent nu de peiling voor ons. Naarmate de resultaten binnenkomen, zal ik het een beetje hebben over, zoals Anya al zei, je hebt mogelijk ESI-overeenkomsten die het mogelijk maken om niet-inclusieve te onderdrukken, dus documenteer e-mails die deel uitmaken van andere e-mails, wat betekent dat er minder worden opgenomen. Dus als je ze uitsluit van een recensie, sluit je de inhoud ervan niet uit van de productie. Dat wil niet zeggen dat je dat altijd zult krijgen. Het kan het geval zijn met de overheid, ze staan het misschien niet toe, ze mogen het alleen in bepaalde situaties toestaan. Een in het bijzonder dat we bij sommige tweede verzoeken hebben gezien, is dat je de niet-inclusives misschien niet hoeft te loggen als al hun inclusives zijn gecodeerd als bevoorrecht, wat tijd bespaart op de zin van het loggen van privilege.

Ik zeg daar een paar waarschuwingen als je misschien niet wilt onderdrukken. Dus, zoals ik al zei, onderdruk de productie, dat wil zeggen. We hebben argumenten van advocaten gezien, in het bijzonder voor misschien ingewikkelde gevallen, misschien tijdens deposities, waarbij je de afgevaardigde de antwoorden op bepaalde e-mails niet wilt laten zien, dus alles wat je wilt laten zien is de mindere inbegrepen, en als je ze hebt onderdrukt van beoordeling in de productie, kun je misschien niet doen dat. U kunt ook enige context verliezen in het privilegelogboek. Er zijn zeker manieren om het te omzeilen die we hebben ontwikkeld, HayStackID heeft ontwikkeld, maar als je een document niet snijdt en het als bevoorrecht logt, verlies je misschien To, From, CC-informatie, maar als je die informatie uit die discussiegroepen kunt oprollen, minder inbegrepen, die we hebben systemen en processen, tools om dat te doen, verlies je die inhoud niet.

Dus, kijkend naar de resultaten van de enquête, lijkt het erop dat we meerdere recensies hebben met behulp van threading, elke recensie is 30%, dus dat is allemaal goed om te zien, en dan 12% niet regelmatig gebruikt. We gebruiken het voor elke kwestie, zelfs als je die documenten niet onderdrukt, maar je wilt dat de documenten minimaal gesorteerd worden wanneer ze door die discussiegroepen naar het beoordelingsteam gaan. Veel van onze recensies, en we zullen er later over praten, hebben betrekking op TAR of CAL, of het afsnijden van de beoordeling, wat betekent dat we niet elk document, elk produceerbaar document of mogelijk produceerbaar document bekijken. Je zet enkele documenten opzij die direct naar de productie gaan. Nu zijn er bepaalde e-mails waarin u bepaalde zoektermhits of niet-gepubliceerde zoektermhits kunt verliezen, met name voor Gmail-gegevens, maar we hebben het ook met Microsoft gezien, waar u kopinformatie verliest over die minder inbegrepen, en dus als u alleen documenten met privileges bekijkt, bent u zeker wil je er zeker van zijn dat je volledige discussies invoert als er een privilegehit is op die e-mail, gewoon zodat je niet potentieel verliest... maak een bevoorrecht document dat denkt dat het geen geërfd bevoorrecht [onhoorbaar] had.

Het andere waar we het voor gebruiken, en scripts en tools ontwikkelen, is voor QC-doeleinden. We hebben toezichthouders gezien en anderen, de tegenovergestelde kant, aanvalsredacties zijn inconsistenties tussen draadgroepen. Vanzelfsprekend hebben we gezien dat we al jaren op MD5's individuele kopieën van documenten verschillen, of die vergelijkbaar zijn, maar in termen van draadgroep zien we dat steeds meer. Het moeilijke deel van het spotten van deze traditioneel was dat je slechts een draadgroep hebt en, zoals we allemaal weten, kunnen gesprekken in verschillende richtingen worden afgesplitst, en een schijnbaar niet bevoorrecht document kan veranderen in een gedeeltelijk bevoorrecht document, dat is doorgestuurd naar een advocaat. Wat onze tools doen, is in staat om vast te stellen waar die discrepanties zich voordoen op een individuele steel over een thread en erachter te komen waar je een niet-bevoorrecht document of geen bevoorrecht deel van de stam hebt dat volledig bevoorrecht heeft, maar hoogstwaarschijnlijk had volledig priv of priv achterhouden moeten zijn gecodeerd als priv redact, of je zou een gedeeltelijke priv of een volledige priv hebben, priv achterhouden om naar niet-bevoorrechte binnen de stam te gaan en hoogstwaarschijnlijk zijn die onderliggende bevoorrechte documenten vrijgegeven en beschouwd als niet bevoorrecht. Dus, een paar geweldige hulpmiddelen die er zijn. Ik raad zeker aan om die redenen ten minste elke zaak in te nemen, en één ding dat ik niet heb genoemd, zeggen we voor sortering, het versnelt de beoordeling, zorgt ervoor dat dezelfde advocaten steeds opnieuw dezelfde gesprekken herzien, en zijn vertrouwd met de context en dat ze niet hoeven te doen leer het opnieuw of laat een nieuwe persoon het leren.

Discussievisualisatie, enkele geweldige tools die er zijn. Voor die visuele cursisten helpt het je vast te stellen waar die consistenties worden gezien, maar nogmaals, een inconsistentie op zijn gezicht kan niet zijn zonder dat je in staat bent om naar beneden te komen en naar beneden te komen om te zien waar die inconsistentie zich voordoet.

Anya Korolyov

Bedankt, Seth, en nogmaals, we zouden niet al deze gestructureerde analyses gebruiken, de analyses die strikt gebaseerd zijn op taken zonder concepten, precies wat voor ons beschikbaar is. We gebruiken ze allemaal om ons te helpen op het punt te komen waar we beginnen met machine learning en ook aan het einde als QC, allemaal samen vormen ze echt een geweldig hulpmiddel voor QC. En daarmee gaan we naar de machine learning, en ik wil dit graag aan Young overhandigen om ons voor te stellen.

Jonge Yu

Bedankt, Anya. Als het gaat om machine learning, of conceptuele analyses, zijn er twee soorten. Er is onder toezicht en zonder toezicht leren. Je wilt deze beschouwen als objectieve en subjectieve methoden die het systeem gebruikt om vergelijkbare groepen documenten te categoriseren, zonder toezicht leren zal betrekking hebben op clustering en conceptzoeken. Deze tools geven inzicht in de conceptuele samenstelling van de documentenverzameling zonder enige input van menselijke recensenten. Het is een zeer goede manier om de onbekenden in je dataset op het hoogste niveau te bekijken, of om eventuele veronderstellingen te bevestigen die je misschien aan het begin van het project hebt gedaan, omdat er geen menselijke input voor nodig is.

Leren onder toezicht, dat betrekking heeft op je TAR-modellen, en dat vereist menselijke input. De beslissingen die je neemt om te reageren, het systeem categoriseert documenten en scoort ze. Afhankelijk van het model dat je kiest, worden de scores in steen gezet of worden ze voortdurend bijgewerkt, maar de scores geven een nabijheid aan van conceptuele gelijkenis met de beslissingen die je hebt genomen. Normaal gesproken zullen hogere scores conceptueel meer vergelijkbaar zijn met een responsief document, en de lagere scores zullen verder verwijderd zijn van de responsieve beslissingen die je daar hebt genomen.

Anya, wil je met clustering praten?

Anya Korolyov

Ja, dank je wel, Young. Dus, om enkele van de onbewaakte leerconcepten door te nemen, dus clusteren is een geweldig hulpmiddel, en ik weet dat sommige mensen er niet veel geluk mee hebben gehad, maar ik denk dat de manier waarop het bedoeld was en wat het echte gebruik ervan verschilt. Dus we houden ervan om alles meteen te clusteren, omdat we hebben ontdekt dat het ons helpt om onze gegevens te leren kennen, en zelfs als het net zo fundamenteel is als wat we hebben is een hele reeks Outlook-afspraken, en dan moeten we ermee omgaan, alleen om niet eens de concepten te leren kennen, maar de gegevens zelf, en natuurlijk ook de concepten, om vergelijkbare concepten te identificeren als als we belangrijke documenten hebben, als we hebben geïdentificeerd met behulp van de gestructureerde analyses waar de belangrijkste documenten zijn, wat ze zijn, en het helpt ons om te weten waar ze zijn in het concept zoeken en om te kijken wie de communicatoren zijn, wat ze zijn Ik heb het over. Het helpt ons echt om alles meteen te visualiseren. Het helpt ons ook om het te gebruiken om de gegevens waar we ons zorgen over moeten maken te verminderen. Door een eenvoudige spamconceptzoektocht naar spam uit te voeren, is dit een voorbeeld dat we hier hebben, deel uitmaken van de [end run] data. Dus als je gewoon een eenvoudige conceptzoektocht naar spam uitvoert, krijg je heel duidelijk 62.000 documenten, en dan krijg je met Brainspace-mogelijkheden alle vergelijkbare concepten die deel uitmaken van het cluster, en je kunt ze doornemen en je kunt heel snel een beslissing nemen om 62.000 documenten uit je recensie te verwijderen en je hoeft je er nooit meer zorgen over te maken, nooit meer naar ze te kijken, en het is een geweldig hulpmiddel om ons bij een beperktere populatie documenten te krijgen.

Ook om terug te gaan naar het BrainSpace gebruik van conceptzoeken, wat een beetje anders is dan het concept van Relativity zoeken waar je net vergelijkbare conceptdocumenten krijgt. Brainspace biedt daadwerkelijk vergelijkbare concepten. Dus, nogmaals, dit gaat terug naar ieders favoriete [end run] data. Als je snel naar een minderheidsinvesteerder zoekt, kun je zien wat de vergelijkbare concepten zijn in de documenten die terugkomen voor minderheidsinvestor, en iedereen die enig onderzoek heeft gedaan, kent de taalvriend van alles, wordt meestal ergens om gevraagd. Dus, we kunnen die selecteren, en we kunnen in die documenten gaan kijken waar ze het over hebben en op het punt komen dat we de belangrijkste mensen hebben geïdentificeerd, de belangrijkste concepten die Brainspace zeer snel gebruiken.

En dat brengt ons bij echt begeleid leren, maar voordat we er zijn, willen we heel snel dekken dat niet alle data in machine learning gaat. We willen dus graag praten over gegevens die er niet in komen en welke problemen en oplossingen we daarvoor hebben.

Jonge Yu

Juist, en wanneer u datasets analyseert voor TAR, of het nu TAR 1.0, TAR 2.0 is, zullen uw richtlijnen redelijk vergelijkbaar zijn, en het zijn typische documenttypen die worden aanbevolen om te worden uitgesloten van uw analytics-index. Daarbij horen documenten met te weinig of te veel tekst. U hebt CSV-bestanden, uw Outlook-agenda, de antwoorden of zelfs de uitnodigingen die geen inhoud van de berichttekst bevatten; audio-, video- of beeldbestanden, CAD-bestanden vallen daar in die categorie. Broncode en spreadsheets, en als je deze groepen documenten verkent, zijn er manieren om ze op te nemen. Er zijn manieren om deze documenten te onderzoeken. Als we hier met spreadsheets willen spreken, is je normale spreadsheet doorgaans gebaseerd op getallen. We hebben gevallen gezien waarin het erg tekstzwaar is, en we kunnen een analyse uitvoeren om te zien wat de verhouding tussen alfakarakters ten opzichte van numerieke tekens staat. Ik bedoel, dit zijn allemaal dingen die je kunt doen om verschillende zakken documenten op te nemen of uit te sluiten. Met audiobestanden, als je ze hebt getranscodeerd of getranscribeerd, kan die tekst daadwerkelijk naar binnen gaan.

Er is hier nog een emmer, die we heel vaak tegenkomen, en dat zou een kort berichtformaat zijn. En, Mike, ik denk dat je hier een geweldige oplossing hebt, en wil je daar een beetje mee praten.

Michael Sarlo

Blij dat te doen, Young, en bedankt. Dus, alternatieve gegevenstypen, ieders nieuwe favoriete onderwerp. In eDiscovery denk ik dat we worden gebombardeerd door nieuwe databronnen die buiten je typische paradigma's vallen wat betreft e-mail, en gewoon typische e-documenten van netwerkshares en computers. Dit soort platforms zoals Slack en Teams, en gewoon chatapplicaties, en alleen andere soorten gegevens die zich niet per se lenen om een mooie, verpakte rand rond de ideeën erin te bevatten, net als een Word-document of een e-mailreeks, zijn zo veel meer op de overheersende manier geworden. sinds het begin van de pandemie, en nu we er ongeveer een jaar in zitten, gebruikt bijna elke grote of kleine organisatie deze tools om hun vermogen te vergroten voor hun externe teams om samen te werken. Nou, een van de grote problemen hier is korte gegevens van het berichtformaat, zoals chats en soortgelijke teksten, we schrijven meestal niet op dezelfde manier als voor een e-mail. Ze zijn kort, soms gebruiken we het zelfstandig naamwoord niet, soms zijn er emoticons. Het fundamentele probleem hier is gewoon niet genoeg te hebben wat ik graag een conceptuele dichtheid noem in één enkel tekstbestand zodat analyse-engines kunnen begrijpen en leren van een individu, zoals een tekstreeks.

Dus, vanuit het oogpunt van de collectie en vanuit productieoogpunt, raden we onze klanten meestal altijd aan om Slack of Teams te gebruiken om te proberen kanalen en content te bundelen op 24 uur per dag. We beginnen echter na te denken over het bereiken van dit soort communicatie via elk type analyseplatform, dat meestal niet genoeg tekst is. We hebben dus een aantal eigen tools en code die we hebben ontworpen om in principe de effectiviteit te meten en te testen bij het maken van wat ik analytics-ready zou noemen op mijn testbestanden, met behulp van afzonderlijke relationele velden, waar we mogelijk een tekstbestand hebben dat specifiek is voor het laden in Brainspace of Relativity, NXLP, elke tool die tekst gaat lezen die dient als secundair referentiepunt voor deze motoren om een beetje meer conceptuele dichtheid te hebben, en dan kunnen deze een TAR-proces doorlopen, en we krijgen hier behoorlijk goede resultaten. Als we gaan produceren, kunnen we dan daadwerkelijk beginnen te produceren op elke frequentie die onze klanten willen, in zoverre we dat secundaire relationele veld gebruiken om die beslissingen te achterhalen.

Je moet hier voorzichtig zijn. Uiteraard moet je, wanneer je complexiteit introduceert in het door technologie ondersteunde beoordelingsproces, bereid zijn om te getuigen van de kwaliteit van die werkelijke workflow. We hebben hier dus veel om statistische steekproeven te gebruiken op responsieve en niet-responsieve populaties na TAR op dit soort gegevenstypen, om vervolgens met externe counsel te kunnen werken om mijn troost vast te stellen dat het proces werkt zoals ze zouden verwachten.

Ook voor chats met mobiele telefoons lijkt het erg op elkaar, en we proberen er altijd voor te zorgen dat die klaar zijn voor analyse en tekstbestanden in de lijn van specifieke deelnemers zijn, en hetzelfde voor chats als Bloomberg, of iets anders, zal op dezelfde manier worden afgehandeld. Dit is in sommige zaken voor ons enorm geweest, waar we [spot] populaties hebben gehad die in totaal tientallen miljoenen 24-uurs communicatiestreeksen bevatten, multi-terabyte komt steeds vaker voor in grote ondernemingen, omdat ze met deze gegevens kunnen werken via een door technologie ondersteunde beoordelingsworkflow in een tweede verzoek, wat redelijk was ongekend. De DOJ heeft met ons samengewerkt aan deze workflows, en ze zijn er blij mee, wat ik begrijp dat het een primeur is. We doen dit meer in civiele rechtszaken, we doen het meer in het algemeen, en we hebben slechts een groot deel van de documentatie die voor onze klanten klaar is om een verdedigingsrapport vloeiend aan hen te laten afleveren, en op een herhaalbare basis naarmate datasets zich verplaatsen en uitbreiden door de levensduur van een zaak, namelijk belangrijk omdat je soms met één populatie begint, en je uiteindelijk meer toevoegt, en dat is iets waar ik zeker van ben dat Anya en Young echt gaan ingraven als we beginnen met het afbreken van de workflows in TAR 1.0 en TAR 2.0.

Anya Korolyov

Dank je wel, Mike. Ik denk dat het formaat voor korte berichten op dit moment een heel opwindend gebied is, zoals je zei; de DOJ die betrokken wordt bij het nemen van beslissingen, wat acceptabel is, wat niet is, en het gebruik van TAR in korte berichten, het is een zeer spannende tijd daarvoor. Ik wil even teruggaan naar clustering en zeggen dat we clustering hebben gebruikt, en dat heeft ons nogal wat geholpen met de kortetermijnberichten, vanwege de manier waarop ze gestructureerd zijn, en zoveel voor Teams, voor Slack, zoveel mensen die de kamer betreden en de kamer verlaten, dat vaak de namen van de mensen worden concepten. Dus, het is een geweldige... clustering, het is echt een geweldig hulpmiddel om ons te helpen dat te identificeren.

En daarmee gaan we naar het andere opwindende deel van deze presentatie, is begeleid leren en onze volgende peiling. Voor welk percentage zaken is het afgelopen jaar een herziening vereist waarvoor je TAR 1.0 of TAR 2.0 hebt gebruikt? Iedereen heeft zijn eigen voorkeur. Ik ga gewoon beginnen met het bekijken van wat TAR 1.0 is en TAR 2.0 voor mensen die ons hebben aangesloten die het niet weten, en enkele van de uitdagingen waarmee we met beide workflows worden geconfronteerd.

En daarmee is onze allereerste uitdaging altijd het definiëren van relevantie en Young gaat ons dat overnemen.

Jonge Yu

Dus als je een TAR-project begint, of het nu TAR 1.0 is met op monsters gebaseerd leren of TAR 2.0 met actief leren, moet je relevantie definiëren. Het moet een binaire beslissing zijn, wat betekent dat het een ja of geen keuze is. Je wilt niet te smal zijn omdat je perifeer of een deel van documenten mist die daar gedeeltelijk reageren, en dan zwaait het op dezelfde manier. Als je te breed bent in je definitie van reactievermogen, zal het systeem gewoon over-inclusief zijn en bijna alles terugbrengen dat raakt aan de beslissingen die je neemt. Terwijl je het proces doorloopt, moet je, wanneer je reactievermogen definieert, echt denken aan de conceptuele relaties tussen documenten, en het is een afwijking van lineaire review, waarbij je niet naar een hele documentenfamilie kijkt. Elk document moet als een standalone record worden beschouwd, en die beslissing voor reactievermogen moet worden genomen op de vier hoeken van het betreffende document waar u naar kijkt. En terwijl je ook door het proces gaat, die definitie van reactievermogen of relevantie, is het enorm, omdat het de maat is voor het TAR-proces. In TAR 1.0 wordt de precisie gemeten aan de hand van uw definitie van reactievermogen. De scores correleren allemaal rechtstreeks met die definitie van reactievermogen. Helaas, als je een verschuiving hebt in de reikwijdte voor die definitie van reactievermogen, laten we zeggen dat je later iets leert, of je hebt je project voltooid, en nu vragen ze dat het anders is dan een regulator of van poseren, dan moet je leren hoe je die definitie van reactievermogen kunt veranderen of veranderen. Soms kun je gewoon oppikken van waar je was gebleven en de reikwijdte verbreden, en er zullen momenten zijn dat je misschien dat hele project opnieuw moet beginnen. Het hangt er gewoon van af hoe goed je al vroeg relevantie en reactievermogen definieert.

Anya Korolyov

Ik ben het met je eens dat dat een van de belangrijkste beslissingen is, en zelfs als je eenmaal de beslissing hebt genomen waar je mee moet gaan, denk ik dat dat nog steeds een beetje [onhoorbaar] blijft over waar je in je project bent.

Bedankt, iedereen om mee te doen aan de oproep, en het lijkt erop dat de helft het heeft gebruikt. Ik ga nog steeds de definitie en alleen de algemene workflow doornemen. Dus we hebben hier onze TAR 1.0 stroomdiagram, en nogmaals, ik wil de basis aanraken, nogmaals, dat er documenten zullen zijn die Young heeft besproken die geen deel zullen uitmaken van de hele workflow; de uitsluitingsdocumenten, de JPG's, mogelijk de spreadsheets, dergelijke dingen. Dus, zodra we de index hebben zonder uitsluiting documenten die mogelijk nog moeten worden beoordeeld, hebben we een expert op het gebied van onderwerpen die de controleset moet herzien en zodra de controleset is beoordeeld, komen we op het punt waar de foutmarge is bereikt of niet, en dat is waar het definiëren van relevantie echt op zijn plaats komt. Want als je gegevens over een superlage rijkdom hebt, zal de vakkenexpert veel tijd doorbrengen in deze lus, waar we extra documenten moeten bekijken om de controleset te sluiten.

Dit is dus heel belangrijk, en eigenlijk is dit, denk ik, het deel waar, zelfs hier zou je kunnen zeggen, weet je wat, misschien was TAR 1.0 niet de beste optie voor mij. Ik moet naar TAR 2.0 gaan. Maar als je eenmaal die foutmarge hebt bereikt en je overstapt naar trainingsrondes, zien we normaal gesproken ergens tussen één tot vijf trainingsrondes, die meestal tussen 300 en 500 documenten liggen. Nogmaals, dit hangt allemaal af van de gegevens. Als we beginnen met 10 miljoen documenten, zullen de trainingsrondes een beetje anders zijn. En je blijft doorgaan met de trainingsrondes totdat je de gewenste precisie en stabiliteit bereikt, en wat dat betekent is dat het per geval afhangt. Er kan een tegenstander zijn die de rapporten wil zien en wil zien waar je bent. Er is misschien het ministerie van Justitie en ze willen weten waar je bent, en je komt misschien nooit op het punt dat iedereen aanbeveelt. Relativiteit, Brainspace, alle experts raden aan om 65, 70% te bereiken. Je komt er misschien nooit. Je hebt misschien 40% of iets dergelijks, maar je beweegt gewoon niet, je hebt continu potentieel ongeveer 40%, en dat is waar je bent, en dan is dat punt wanneer je de beslissing neemt om te stoppen en door te gaan, en je documenten codeert als responsief, niet responsief, en verder gaat met de privilegereview. Dus je moet er echt voor zorgen dat je naar de gegevens kijkt, je rapporten bekijkt en dat je weloverwogen beslissingen neemt met TAR 1.0.

Wat trainingsrondes betreft, gebruiken we bij HayStackID Relativity en Brainspace, wat naar onze mening enkele van de beste producten zijn die er zijn voor de TAR 1.0 workflow, en met Relativity heb je enkele opties. Je hebt je basisstatistiek, die meestal ongeveer 300 documenten optelt; je hebt je percentage, waar je het systeem vertelt wat het percentage is van de documenten dat je wilt gebruiken voor de trainingsrondes; en natuurlijk heb je je vaste steekproef. Je hebt de gelaagde, die waarschijnlijk een van de beste is, want wat het zal doen is dat het documenten identificeert. Het zal de documenten identificeren die meestal gerelateerd zijn aan concepten met de documenten die je al hebt gecodeerd als onderdeel van de vorige trainingsrondes, en ze zullen er ook voor zorgen dat het de grootste populatie documenten bestrijkt. Dus, bij elke trainingsronde, geeft het je de documenten die de concepten uitvoeren naar de grootste poelen van de documenten die je nog hebt achtergelaten.

Wat Brainspace naar onze mening heeft gedaan, is dat het nog een stap verder is gegaan. Het heeft drie verschillende soorten trainingsrondes voor de Relativiteitsgestratificeerde. Dus je hebt je invloedrijke wat je het meest gebruikt, en de meest vergelijkbare is te gestratificeerd. Hetzelfde; het gaat gewoon de meeste documenten kiezen die het dichtst bij zijn, en het zal proberen zoveel mogelijk te dekken van de bevolking die je nog hebt. En dan heb je snel actief en je divers actief, en in onze ervaring hebben we ontdekt dat hoe grotere datasets worden, hoe meer resultaten we krijgen met snel actief en divers actief. We hebben verschillende keren invloedrijk gebruikt en absoluut geen beweging gezien, en daarna overgeschakeld en enorme sprongen gekregen. Dus, nogmaals, het zijn altijd de data die je aanspreekt, het is altijd wat er voor je ligt. Je moet deze rapporten echt lezen en analyseren, en niet alleen zeggen: OK, nou, dit is de aanbevolen aanpak en ik ga ermee akkoord.

Er is ook het willekeurige, dat is weer het vaste monster en het willekeurige, met Brainspace kun je een notitieboekje maken, en het kan... met het maken van een notitieboek kun je de documenten invoegen waarvan je denkt dat ze het belangrijkst zijn in jouw geval. Dus als je iets ontdekt hebt, kun je ze erin plaatsen, de meest responsieve, meest responsieve, maar je moet heel voorzichtig zijn, want vooral als je te maken hebt met een overheidsentiteit, zal er een certificering zijn voor het proces. Dus je moet heel voorzichtig zijn met hoe de certificering wordt geformuleerd en welke je gebruikt.

Echt snel om gewoon weer door te gaan tussen Brainspace en Relativity, wat je zou kunnen helpen om te beslissen welke je wilt proberen. De rapportage in Brainspace is een soort van — ik wil het woord 'basic' niet zeggen, maar het geeft je alleen de informatie over waar je in het proces bent. Het geeft je dus een Excel-spreadsheet met een overzicht van de besturingsrondes, de trainingsplekken en bij elke ronde die je loopt, trek je gewoon het rapport voor die ronde uit. De rapportage van de relativiteit is een beetje mooier. Dit zijn slechts twee van de dingen die het biedt, en je kunt een beetje beter worden, vooral als je een juridisch ondersteunend persoon bent en je hebt het juridische team dat je vraagt, waar zijn we? Hoeveel documenten nog? Hoeveel zijn er niet gecategoriseerd? Het is een beetje makkelijker om die informatie meteen te krijgen met Relativity.

Nogmaals, er hangt veel van af of je rapporten gaat doorgeven aan de andere kant of aan de overheid, dus je moet die beslissing nemen. Ik vind beide gereedschappen geweldig. In onze ervaring hebben we beide gebruikt voor TAR 1.0 met grote datasets, en we denken dat we behoorlijk goede resultaten hebben behaald, zelfs toen we overgingen tot de bevoorrechte beoordeling en een beetje QC deden van wat werd beschouwd als niet responsief. We hebben zeer goede resultaten behaald met beide tools.

Jonge Yu

Anya, een van de vragen die we hebben ontvangen van het publiek is, zijn er gevallen waarin je TAR 1.0 zou aanbevelen over TAR 2.0?

Ik kan een stel bedenken dat ik zou willen noemen, en iedereen kan zeker meeslepen.

Anya Korolyov

Ik wilde alleen maar de TAR 2.0-workflow dekken, en dan gaan we daar zeker over ingaan en zeggen de voor- en nadelen en wanneer we het een of de ander iets later aanbevelen.

Dus heel snel, TAR 2.0 Continuous Active Learning. Nogmaals, je hebt altijd je documenten die de uitsluitingen zijn. Je zult ze nog steeds moeten beoordelen, houd daar rekening mee. Maar in plaats van een controleset te hebben, trainingsrondes, idealiter, zou je graag een vakkundige of iemand willen hebben of belangrijke documenten hebben die het starten. Bij voorkeur 100-500 documenten, afhankelijk van je populatie. En dan heb je je beoordelingsteam dat het model begint te leren, wat responsief is, wat niet reageert. Het leert dus continu van elke beslissing die wordt genomen.

En dan kom je op het punt dat je ofwel een duidelijke onderbreking ziet tussen responsief en niet responsief, of je komt op het punt dat je geen responsieve documenten meer ziet en je zegt: 'OK, ik denk dat ik klaar ben en ik ga mijn QC-ontsnellingstest uitvoeren en kijken of er iets responsief is en dan sluit je uit het project, en je bent naar de bevoorrechte beoordeling gegaan of het project is klaar.

Dus, nogmaals, in onze ervaring met CAL is Relativity een beter platform geweest, omdat het allemaal in Relativiteit zit, maar we hebben ook heel goede resultaten gezien met Brainspace, net iets meer werk aan de leverancierskant en we vinden het echt niet erg. En we hebben TAR 2.0 in de zeer traditionele zin gebruikt in de workflow die je voor je ziet (de aanbevolen workflow), wat betekent dat je herziening tot je op het punt komt dat je helemaal geen responsieve documenten meer ziet.

En daarmee wil ik verder gaan met onze volgende enquêtvraag, die onze laatste enquêtevraag is: „Welk percentage zaken dat TAR 2.0 heeft gebruikt, maakt gebruik van een workflow waarbij het leeralgoritme wordt getraind, en de beoordeling wordt afgesneden voordat alle responsieve documenten die worden geproduceerd in de gaten wordt gehouden?”

Dus, wat betekent — om gewoon terug te gaan naar mijn dia — dit is je traditionele... als er beoordelingen waren waar je een alternatieve oplossing gebruikte, waarbij je begon te kijken naar wat het systeem denkt dat het niet reageert, of je bleef doorgaan met de aanbevolen workflow.

Seth Curt Schechtman

Ik denk dat de sleutel daar, Anya, is wanneer je grote hoeveelheden gegevens hebt en je het door CAL draait, wil je blijven kijken of het algoritme is getraind. De vraag wordt of je een miljoen documenten wilt bekijken, ook al is het een laag [onhoorbaar], omdat je om te beginnen zo'n grote set hebt. Waarom doorgaan als de documenten niet hoeven te worden gecodeerd of beoordeeld om [onhoorbaar] of om andere redenen. Waarom niet stoppen?

Anya Korolyov

Absoluut zeker. Er zijn veel overwegingen met TAR 2.0 die je in je achterhoofd moet houden, en deze worden hier vermeld. Sommigen van hen zijn families en privileges, die een beetje hand in hand gaan. Zijn we bezorgd dat privilege in het hele gezin moet worden uitgeoefend? Gaan we een aparte bevoorrechte beoordeling doen, of vertrouwen we er gewoon op dat het privilege gebaseerd is op de vier hoeken van het document? Dat is zeker een overweging.

Een andere die Seth net naar voren bracht, is met hoeveel documenten we beginnen. In onze ervaring, en alles wat ik daar lees, zeggen alle whitepapers met CAL, dat het meestal ergens tussen de 15-20% van je bevolking zal reviewen, natuurlijk afhankelijk van de rijkdom, om terug te gaan naar wat Young zei over relevantie. Maar wat als je begint met 10 miljoen documenten? 15-20% daarvan is nog steeds vrij groot. Heb je de tijd om al die documenten door te nemen? Heb je de middelen om al die documenten te laten beoordelen? Of kijk je op een gegeven moment naar de gegevens en zeg dat dit mijn feiten zijn, dit is waar ik ben, ik heb zoveel documenten waarvan het systeem denkt dat ze reageren, ik heb zoveel geld dat mijn cliënt bereid is te betalen, en welke beslissing neem ik op dit moment? Ga ik door of snijd ik het af?

Dit deel van het afsnijden of beginnen te gaan naar wat volgens het systeem geen responsieve documenten is, is een gesprek dat we vaak met onze klanten voeren, omdat ze willen worden gedaan. Ze willen het sluiten. Ze zijn klaar om te gaan. Het is een soort strijd voor ons om de een of de ander aan te bevelen, omdat we ze de feiten kunnen presenteren, maar ze moeten die beslissing zelf nemen en waar ze zich bevinden in de rechtszaak.

Young, Seth, ik weet dat jullie hier veel ervaring hebben met het aanbevelen van de afsnijding en het bepalen van wat we hier gaan doen.

Jonge Yu

Er zijn verschillende methodieken die je hier kunt gebruiken. Bij elk actief leermodel zie je een stortende daling of, laten we zeggen, in een ideaal geval, toch. Maar de naam van deze presentatie is TAR in de echte wereld, misschien zie je die neerstortende daling nooit. Je hebt misschien een gestaag klimscore, geen hiaten in het midden, geen duidelijke onderbreking van responsief en niet. Wat doe je dan?

Laten we zeggen... ik gooi gewoon cijfers weg. Laten we zeggen, je hebt een score van 65 en we overwegen dat borderline responsive, de aanbeveling van ons zou zijn: 'hey, waarom probeer je niet van 55 tot 64 en kijk wat de snelheid van reactievermogen er is, we zullen een willekeurige steekproef doen uit die pool of het hoeft niet willekeurig te zijn, je kunt elke een soort methodologie, zolang het maar gedocumenteerd en herhaalbaar is'. Je doet de steekproef, en als de cijfers allemaal zinvol zijn en je kunt zeggen: OK, deze 65 is een goed getal, we hebben eromheen geproefd, we hebben dit overgenomen en het is allemaal logisch, er is geen reden waarom je niet kon stoppen bij 65.

Laten we zeggen, het is andersom, en je hebt gesampled van 55-64 en je reactiesnelheid is hoger dan het zou moeten zijn. Je moet gewoon doorgaan en ofwel doorgaan met beoordelen of zeggen: 'OK, we kunnen 65 niet gebruiken als afsluiter, wat gebeurt er als we naar 60 dalen? ' Die beslissingen moeten allemaal in rekening worden gebracht en gewogen. U moet overwegen wat uw geschatte rijkdom of rijkdom het percentage responsieve documenten in uw dataset is. Het wordt geschat... want als we wisten wat het was... dit zou allemaal zijn, druk je op de knop en je bent klaar.

Anya Korolyov

Ik kijk naar de resultaten van de enquête en ik zie dat heel wat mensen het afsnijden voordat ze hun ogen leggen en alles. Geweldig om te weten. Dank je wel, Young.

Dit is gewoon een soort TAR 1.0/TAR 2.0 overzicht, en nu je al dit werk hebt gedaan, is het in jouw geval klaar, wat doe je met de resultaten en bewaar je ze voor toekomstig gebruik. En dat brengt ons bij Portable Models.

Jonge Yu

Juist, dus afhankelijk van de toepassing die u gebruikt, kunt u misschien al dat werkproduct dat in dit proces is ingaan hergebruiken. maar dat wordt hier door een paar dingen achtergehouden. Wat we willen doen of wat we hier aanbevelen, is het bouwen van een model dat als je een herbruikbaar model gaat bouwen, je het wilt bouwen rond specifieke onderwerpen. Als je seriële rechtszaken hebt die altijd betrokken zijn bij hetzelfde type rechtszaken. Als het om een specifiek type rechtszaak gaat, zoals werkgelegenheid of FCPA, antitrust, of het creëren van een model om ongewenste of automatische antwoorden te identificeren, is mogelijk bevoorrecht. Deze zijn allemaal heel erg specifiek voor wat je wilt bouwen. Maar als je er een bouwt die werkt, kun je die keer op keer toepassen.

Elke dataset is anders, en al deze factoren moeten worden afgewogen, maar als je een terugkerende klant hebt en je intiem bent met hun data en privilege, zal altijd hetzelfde zijn, dan zal rommel altijd hetzelfde zijn. Of hier zijn de vijf soorten geschillen waarmee deze ene klant dag en dag uit wordt geconfronteerd, je zou in staat moeten zijn om daar een model omheen te bouwen. En als je dat model eenmaal hebt, is het een geweldige plek om te beginnen. Je hebt het werk al achter de schermen gedaan; je kunt dat model toepassen op die dataset en het geeft je een plek om te beginnen. Het betekent niet dat het proces 100% voltooid zal zijn, maar het geeft je veel inzicht, en ook als je dat model verfijnen, omdat je daar blijft werken, kun je dat model verfijnen en echt iets bouwen dat je vanaf dag één 60-70% van de weg daar oplevert.

Seth Curt Schechtman

Hé, Adam, waarom breek je hier niet in en praat over hoe klanten dit soort dingen bereiken en vragen naar onze vaardigheden hier.

Adam Rubinger

Ja, en ik denk dat klanten zeker op zoek zijn naar manieren om werkproduct van MD5 hashdatabases te hergebruiken tot het gebruik van draagbare modellen als je dit soort herhaalde bewaarders hebt, herhalende problemen. Er is een geweldige kans, denk ik, om nog meer besparingen te realiseren door het hergebruik van dit soort informatie, specifiek classificeerders, en we beginnen te zien dat dat gebeurt. Het begint nog maar net. Ik denk dat de technologie zich ontwikkelt tot het punt waarop het nuttig en bekwaam wordt, dus ik geloof dat we veel meer gebruik zullen zien van hergebruik van data en dergelijke.

Anya Korolyov

Bedankt, Adam en Young. Dit brengt ons nu bij het verschil tussen TAR 1.0 en TAR 2.0 en welke zouden we normaal aanbevelen, wat volgens mij een van de vragen is die ons gesteld worden.

En ik heb wat van de verschillen besproken. Nogmaals, TAR 1.0, je hebt een of twee vakdeskundigen die de documenten coderen. De kosten zijn daar minimaal op het ene punt. Aan de andere kant kost de vakkenexpert iets meer dan een beheerde beoordelingsoplossing.

Er is continu actief leren. Je hebt veel mensen die beslissingen nemen, en dat is niet altijd het beste. Hoe meer mensen je hebt, hoe meer interpretatie van wat reageert op dit project is. Maar tegelijkertijd kun je hiermee nieuwe reactievermogen leren. Documenten komen tevoorschijn tijdens de review, en dat kan veranderen. Iets dat niet als responsief werd beschouwd, je vindt een e-mail en je zegt: 'Oh, daar hebben ze het over, oh ja, dat is zeker responsie', en je werkt het systeem bij en het laat je leren.

Dus, nogmaals, het hangt allemaal af van wat voor soort zaak je te maken hebt en met welke deadline je te maken hebt. Wat is je budget? Al deze vragen moeten worden gesteld en we stellen ze altijd aan onze klanten, omdat dat de beslissing zal drijven. Als je een tweede verzoek van epische proporties hebt en je hebt drie maanden [onhoorbaar], als je zelfs drie maanden hebt om miljoenen documenten door te nemen en je moet overwegen om niet alleen te reactievermogen te beoordelen, maar je moet ook rekening houden met privilege en je moet overwegen om belangrijke documenten te vinden over de fusie, je gaat een beetje mee met de TAR 1.0, omdat je er gewoon in wilt komen, je wilt het coderen, je wilt zeggen: „dit is de bevolking die reageert, ik ben wezenlijk aan het voldoen, ik ben duidelijk, ik ben goed, ik wil niet continu leren, ik wil het niet weten, ik was mijn handen eraf dit'.

In een ander geval heb je een zaak die geen haast heeft en wat lager is aan de datakant en je hebt geen idee waar je naar op zoek bent, je hebt heel weinig belangrijke documenten om mee te beginnen en je wilt weten wat de gegevens zullen laten zien en je verwacht dat de reactiekracht zal veranderen, en het is een onderzoekende materie. In dat geval zullen we TAR 2.0 zeker aanbevelen.

We zeggen niet echt dat de ene beter is dan de andere. We hebben gevallen gehad, en Seth en Young kunnen daar mee praten, waar we begonnen met TAR 1.0 omdat dat is wat de klant de voorkeur gaf, en toen kwamen we op het punt dat we absoluut geen vooruitgang maakten met 1.0 omdat de rijkdom zo laag was. We zeiden dat we op dit moment het gevoel hebben dat je gewoon geld uitgeeft zonder reden door een onderwerp deze documenten te laten herzien, laten we dit in een recensie zetten, als alles is gezegd en gedaan, denken we dat we je daadwerkelijk geld zullen besparen door naar TAR 2.0 te gaan en daar eigenlijk een hybride model tussen de twee te maken '.

Jonge Yu

Om terug te gaan naar de vraag hier, gevallen waarin we TAR 1.0 over TAR 2.0 zouden aanbevelen, is elk geval anders, de tijdlijn, absoluut, alle soorten deadlines wegen zwaar in de beslissing die is genomen, maar ik denk nog belangrijker, het zal de rijkdom van die dataset zijn. Als je zegt dat 40-50% van die dataset responsief zal zijn, wil je echt een actief leermodel ingaan en proberen uit te zoeken waar je dat percentage kunt afsnijden of doorstaan.

Als de rijkdom erg laag is, laten we zeggen dat het minder dan 10% is, is de kans groot dat je tijdens je controleset geen responsieve documenten vindt, dus moet je extra documenten in je controleset blijven trekken. Die besturingsset kan heel lang doorgaan, totdat je het juiste aantal responsieve documenten hebt.

Dat gaat naar die andere vraag daar. „Wat is het verschil tussen een controleset en een trainingsronde?”

Een controleset wordt een willekeurige verzameling documenten, en het is de maat waarmee de trainingsrondes worden vergeleken. Het is een willekeurige verzameling documenten. Het aantal documenten hangt af van je vertrouwen en je foutmarge. In sommige toepassingen wordt het geïmpliceerd dat rijkdom het beïnvloedt. Brainspace houdt er zeker rekening mee. Er zijn andere applicaties die dat niet doen. Maar in termen van de aanbeveling tussen TAR 1.0 en TAR 2.0 leert het echt je gegevens kennen. De snelheid van reactievermogen, de conceptuele diversiteit daar, je tijdlijn, je budget, dat alles zal meedoen aan die beslissing.

Seth Curt Schechtman

En één ding, Young, dat ik vanuit het perspectief van de beoordeling zal toevoegen, hebben alle documenten [issue checks] nodig? Als dat zo is, dan moet je ze allemaal bekijken, hoe dan ook, als je er naar kijkt. We zien het niet vaak. Tweede Verzoeken en de grotere zaken die we hebben, ze gaan gewoon de deur uit zonder ze te zien, iets [onhoorbaar] voor privilege of PII of hot terms, maar je moet tag uitgeven, je moet ze allemaal in de gaten houden. Dus je gebruikt TAR 1.0 of probeert 2.0 te gebruiken om de recensie af te sluiten voordat je alles hebt bekeken dat potentieel produceerbaar is, het gaat niet gebeuren.

Anya Korolyov

Allebei bedankt. En daarmee wil ik graag ingaan op wat veel mensen interesseren, en een van de belangrijkste beslissingen die een rol speelt, is de kostprijs. Hoeveel bespaart u met elk van deze tools? Ik ga het teruggeven aan Mike en Adam om daar over te praten.

Michael Sarlo

De kosten van herziening. We hebben hier bijvoorbeeld een geval waarin we bijna 2,9 miljoen documenten hadden die in de herzieningspopulatie zaten. Omdat we slechts 12.000 mensen kunnen bekijken om een model te trainen, om reactievermogen te identificeren, liggen de kostenbesparingen in de miljoenen aan de high end, in sommige gevallen $8 miljoen voor complexere zaken.

In bijna alle gevallen zal u altijd een realiseren kostenbesparingen met TAR of CAL, en deze presentaties zullen beschikbaar zijn voor download, alles wordt opgenomen als u geïnteresseerd bent in een aantal goede statistieken en we zijn blij om in de granulariteit van een van deze casestudy's te komen.

In het bijzonder is Case Number 1 hier een van die gevallen waarin we Slack-gegevens via het TAR-model daadwerkelijk konden uitvoeren in een overeengekomen protocol met het ministerie van Justitie. Veel van deze documenten bevatten veel, veel, veel meer kleinere communicatie, want nogmaals, we werkten met die samengevoegde secundaire, analytische tekstbestanden die we maken via onze aangepaste algoritmen hier.

Ik moedig mijn klanten altijd aan om TAR te gebruiken of CAL te gebruiken en gewoon terug te gaan naar echt, in het algemeen... je kunt deze tools zeker gebruiken voor QC. Je kunt deze tools gebruiken om meer documenten te vinden waarin je geïnteresseerd bent. Je kunt feeds doen. Je kunt documenten batchen op verschillende niveaus van een [conferentie-achtige] interval. Er zijn zoveel verschillende manieren om stukken Technology-Assisted Review te gebruiken om elke beoordeling te verbeteren, zowel vanuit het oogpunt van kwaliteit als QC, als om risico's te verminderen, en om u te helpen die documenten van het type „Needle-in-the-Haystackid-type” te vinden.

En zelfs teruggaan naar classifiers en dergelijke, het is geweldig om die uit te schakelen en ze van case naar case te verplaatsen op individueel klantniveau, maar we worden nu ook gevraagd om dit soort tools proactief te gebruiken vanuit het oogpunt van compliance voor organisaties die het risico proberen te identificeren. gebeurt. We gebruiken de onderliggende tekst echt om te helpen bij meer compliance workflows, het wekelijks analyseren van e-mail of live voor belangrijke concepten.

Ik moedig iedereen aan om hier ook echt buiten de doos te denken, want er is veel waarde die je aan je klanten kunt bieden als je begint na te denken over de uitgebreide toepassingen van Technology-Assisted Review.

Anya Korolyov

Bedankt, Mike. En ik wil het gewoon teruggooien naar Adam om ook de CAL-kosten te dekken.

Adam Rubinger

En een van de interessante verschillen tussen deze twee tabellen is de TAR 1.0 theoretische train-the-database en dan een soort stop review en het systeem voorspelt. Met CAL, zoals Anya en Young en Seth hebben uiteengezet, zet je een team van reviewers op de zaak en beginnen ze te beoordelen, en naarmate het systeem leert, ga je van zeer responsieve documenten naar zeer niet-responsieve documenten. Deze voorbeelden uit de echte wereld illustreren hoe we beginnen met een aantal vrij grote hoeveelheden data, en er zijn een paar uitschieters die interessant zijn. Naarmate de cijfers lager zijn, kun je zien dat het langer duurt om het systeem te stabiliseren en een punt te vinden waarop je de beoordeling kunt afbreken. En zoals de grotere aantallen laten zien, kun je aanzienlijke besparingen zien door deze strategie te gebruiken, vooral als je echt weinig rijkdom hebt, en je moet nog steeds substantieonderzoek doen om je Case in Chief op te bouwen en documenten te kunnen classificeren en overal naar te kijken — terwijl je je productie bouwt. sets en dat soort dingen.

In alle gevallen zien we dat zowel TAR 1.0 als TAR 2.0 aanzienlijke hoeveelheden geld besparen waardoor het in de kleinste gevallen absoluut de moeite waard is.

Anya Korolyov

Dank je wel, Adam. Gewoon daarmee, en ik denk dat deze volgende dia ook in ons gesprek een aantal vragen zal beantwoorden. Wat is de volgende stap in Analytics?

Nu, dat we hier zijn, wat komt er nu aan de hand? En ik denk dat het eerste is

van een hybride model gaat naar wat TAR 3.0 is en ik denk dat Brainspace daar echt geweldige golven maakt, dus Young, als je je favoriete onderwerp wilt overnemen.

Jonge Yu

Brainspace in de nieuwste release heeft dus de implementatie van een controleset geïntroduceerd, ongeacht of het actief leren is of TAR 1.0. Wat dat echt betekent voor actief leren, is dat je heel gemakkelijk kunt krijgen... je kunt gemakkelijk terugroepprecisie meten. Meestal is het iets moeilijker, de wiskunde kan zeker worden uitgewerkt, het is een kleine handleiding, maar het geeft je hetzelfde uiterlijk als een voorspellende codering of een TAR 1.0 project.

Wat betekent dat voor TAR 1.0? Als u een verschuiving in de reactiesnelheid hebt of als de reactiesnelheid in de loop van de tijd verandert, kunt u een andere controleset inschakelen om als tweede maatregel te fungeren. Het maakt flexibiliteit mogelijk om van TAR 1.0 naar TAR 2.0 te gaan, of in elk soort vreemd scenario van TAR 2.0 naar TAR 1.0 te gaan, maar het geeft je wel meer inzicht in de statistieken.

Er zijn een paar vragen die hierover te maken hebben. Anya, vind je het erg als ik ze heel snel doorga?

Anya Korolyov

Natuurlijk, ga je gang.

Jonge Yu

OK, dus de eerste is „Geaccepteerde terugroeping van ongeveer 80% is verdedigbaar”.

80% is nogal hoog. Meestal raden we ongeveer 75% aan om terug te roepen. Het is een wip, hoe hoger de terugroephouding, je hebt een ruil van precisie. 75% wordt doorgaans geaccepteerd. Hoger gaan dan dat met een hogere foutmarge, of laten we zeggen, een hoger betrouwbaarheidsniveau en een lagere foutmarge, dat is niet echt bevorderlijk voor TAR 1.0. Dat betekent dat je nog veel meer documenten moet bekijken.

Voor de voorgestelde gegevensgroottes, hoeveel documenten u moet trainen, is het evenredig. Als je naar deze cijfers kijkt, komt rijkdom zeker in het spel. Voor zover je een overeenkomst hebt met tegenstanders of toezichthouders, is het evenredigheid. Als je 3 miljoen documenten hebt, hoeveel beslissingen moet je nemen om te zeggen dat we het model hebben getraind. In een TAR 1.0 scenario wil je stabilisatie bereiken. Stabilisatie is waar je geen enorme veranderingen meer ziet in precisie en [diepte] om terug te roepen. Dus wat daar gebeurt, is dat de beslissingen die je hebt genomen consistent zijn, je ziet niet dat precisie gaat van 55-60% naar 70%, je hebt bijna een recht gemiddelde.

In actief leren leest de branche dat ergens tussen de 10 en 15% van je bevolking voordat je het model voldoende hebt getraind. Het voorbehoud daar zal altijd conceptuele diversiteit zijn. Dus, je weet alleen wat je weet. Als je de reactievermogen beoordeelt op een concept dat je nog niet eerder bent tegengekomen, hoeveel van die concepten er bestaan. Dus de clustering en het conceptzoekwerk dat we vooraf aanbevelen, speelt hier veel mee. Als je kunt zeggen dat je je spread hebt gedaan, je hebt je dekking gedaan en we kennen 90-95% van de concepten binnen onze datapopulatie, 10% kan het werken. Nogmaals, elke dataset is anders en ik haat het om een antwoord te geven op „het hangt af”, maar er zijn een paar factoren die je moet nemen. Het is ook de reden waarom, terwijl je het proces doorloopt, een vakdeskundige heeft die het proces kan bevestigen en het proces kan documenteren en presenteren, dat heel belangrijk is om te hebben.

Anya, ik wilde hier niet buiten het onderwerp gaan, ga je gang.

Anya Korolyov

Nee, nee, je bent prima. Omdat we al vragen hebben, neem ik gewoon: „Is het bijna duplicaat hetzelfde als vind ik vergelijkbaar?”

Dat is niet hetzelfde. Het bijna duplicaat is alleen gebaseerd op de tekst van het document. De analyse zal de eigenlijke tekst van het document bevatten en de werkelijke woorden in het document vergelijken. Het zal het document vinden dat de meeste tekst bevat en vervolgens alle andere documenten rangschikt op een percentage dat vergelijkbaar is met die. Zoek vergelijkbaar is meer een „analytics” concept, waarbij het conceptueel vergelijkbare documenten zal vinden, niet noodzakelijkerwijs tekstueel vergelijkbare documenten.

Ik denk dat Seth geweldig zou zijn om de relevante en responsieve vraag te beantwoorden.

Seth Curt Schechtman

Daar kom ik wel aan toe. Eén vraag die Young had beantwoord, dus ik denk dat er een vraag was tussen menselijke handmatige beoordeling en computerondersteunde review.

Ervan uitgaande dat mensen [onhoorbaar] waren voor elke beoordeling, voor elk document en of je zoektermen hebt uitgevoerd of niet en ze vinden 100%, dan zul je zeggen dat de algoritmen 80% zullen vinden, misschien in het beste geval, 90% is misschien de beste die je ooit hebt gezien. Wat kost het om die andere documenten te vinden? Daar komt het op neer. Het komt neer op proportionaliteit. Spendeert u noedels en noedels geld door 95, 98, 99 niet-responsieve documenten om die andere responsieve documenten te vinden? Daar komt het echt op neer. Het antwoord is dat je iedereen moet vinden, of het nu komt omdat — ik zal zeggen dat het een make-or-break-case is, of omdat het, ik weet het niet, misschien is een intern onderzoek en één document een verschil kunnen maken, dan wil je misschien elke keer bekijken. Misschien wil je alles vinden. Het hangt ervan af wat de kosten zijn en of je de andere kant van de overheid kunt krijgen om je hiermee akkoord te gaan. TAR is goed geaccepteerd in de jurisprudentie. Je wilt het gebruiken om geld te besparen, maar in bepaalde gevallen waarin je het misschien niet wilt gebruiken.

Wat betreft de kwestie van relevantie versus reactievermogen. Eén van mijn favoriete vragen aller tijden. Ik zeg dat het ervan afhangt. Relevantie is breder. Het reactievermogen is smal. Wanneer je een aanvraag voor productie krijgt, vragen ze om dingen die responsief zijn. Dat betekent niet dat ze een hele hoop dingen hebben weggelaten die mogelijk betrekking hebben op de zaak, relevant voor de zaak, relevant voor de zaak, maar ze hebben er gewoon niet om gevraagd. Als je een algoritme traint, als het einde gaat zijn, produceren we deze set, of we nu een recensie hebben afgesneden of niet, je wilt reageren, juist, want dat is waar ze recht op hadden. Je wilt de andere kant niet al die andere dingen geven die mogelijk met de zaak te maken hebben, maar misschien niet reageren. Specifiek gevraagd wil je niet overbreed zijn in je producties, maar een uitstekende vraag en ik hoop dat ik het heb beantwoord.

Jonge Yu

Dus, naar de andere vraag die er is in termen van onderhandelingen met TAR ESI-protocollen. Precisie en terugroepen. Mijn antwoord zal hier een niet-antwoord zijn. Ik zou niets beloven. Recall, 75% is een acceptabele tolerantie. Voor precisie is het een moeilijkere vraag. Echt, het zal afhangen van hoeveel recensie je wilt doen. Ook zal de definitie van reactievermogen daar zwaar spelen. acceptabele precisie. Over het algemeen zou ik graag meer dan 65% precisie willen zien, daar ben ik naar op zoek. Niet alle hoesjes zijn hetzelfde gebouwd. Niet alle datasets zijn hetzelfde gebouwd. We hebben zo laag als 20 jaar, hoge tieners gezien, en we kunnen nog steeds goedkeuring krijgen voor dat proces. Dus, in termen van onderhandelingen, zou ik de precisie in steen niet verstevigen.

TAR 3.0, we kunnen wachten tot Mike een van de andere What's Next in Analytics spreekt.

Anya Korolyov

En gewoon om terug te gaan naar wat acceptabel is, wat niet. We hebben zeker gevallen gehad waarbij, zoals Young zei, we altijd, bij HaystackID, 65 aanbevelen, maar we hebben gevallen gehad die nooit boven de 23, 24 kwamen, maar we bereikten stabilisatie en we hebben... de advocaten konden de gegevens opnemen, de rapporten opnemen, teruggaan en zeggen: 'kijk, ik weet dat we een beetje begonnen met het zoeken naar 65, maar Dit is waar we zijn, laten we het eens zijn om het af te sluiten, laten we akkoord gaan om de recensie hier te beëindigen en gewoon verder te gaan met de productie”. Dus, nogmaals, het is altijd... je wilt altijd kijken naar de gegevens die voor je beschikbaar zijn en ik weet, als advocaten, gegevens overweldigend zijn en de rapporten en dat alles, maar je wilt er nog steeds voor zorgen dat je kijkt wat er voor je ligt, alles in overweging neemt, inclusief kosten en waar je aan het einde moet zijn, wat maakt de het meest zinvol voor de klant.

Tenzij iemand anders meer input heeft, wil ik het teruggooien naar Mike om te praten over de spannende dingen die sentimentanalyse zijn, de emoji's, financiële gegevens, PII, PHI, al dat goede spul.

Michael Sarlo

Natuurlijk, heel erg bedankt, Anya, en we zullen kort op tijd zijn, dus ik zal het vrij snel maken. De belangrijkste afhaalpunten, en ik vertel dit altijd aan mensen, analyses vanuit een eDiscovery-standpunt, en de motoren en de tools en de onderliggende technologie en de toepassing ervan zijn niet zo geavanceerd als andere industrieën die mogelijk afhankelijk zijn van data-analyse. We hebben gewoon niet veel van de applicaties nodig of veel van de aangepaste bibliotheken en tools die nodig zijn, een meer genuanceerde aanpak die specifiek is voor een organisatie en hun gegevens of een probleem dat u probeert op te lossen. We hebben veel tijd besteed aan het werken met dit soort analysetools van het off-market-type, of het nu open source is zoals grafiekdatabases, zoals Neo4J, waarmee je heel interessante dingen kunt doen.

Waar we ook dingen zien en echt waar je veel betere analysemogelijkheden krijgt vanuit een samplingstandpunt en gewoon meer met je gegevens kunt doen, is gewoon meer toegang tot hardware. Het is erg goedkoop om berekeningen van big data lake te maken vanuit een berekenend oogpunt, en uiteindelijk vanuit kostenoogpunt. Soms denk ik aan hoelang het al drie, vier, vijf jaar geleden zou hebben geduurd als je meer geavanceerde functies kreeg om je gegevens te analyseren. We gebruiken grafiekdatabases om veel grotere financiële datasets te analyseren, zoals oproeplogboeken. We koppelen gebruikersactiviteiten in een breed scala aan systemen samen aan daadwerkelijke documenten die in een tijdlijn worden gemaakt, alleen maar meer onderzoeksdiensten.

En echt, voor iedereen hier, die te maken heeft met alle PHI, PII, AVG, gegevensprivacy en in staat zijn om dat te identificeren als... we doen eigenlijk behoorlijk wat werk met onze eigen eigen motoren en dan ook vertrouwen op API's van Google en van Microsoft en Amazon die allemaal verschillende onderdelen van de PII doen detectipuzzelen, dus dat is iets wat we vandaag ook aan klanten aanbieden. Echt, in onze ontdekking na inbreuken, zoals cyber, zoals het beoordelen van praktijken, maar al onze multinationale zaken waar we te maken hebben met gegevens die zich in APAC of in Europa bevinden, en met AVG-problemen, is het zo belangrijk om PII vroeg te identificeren. Zoekopdrachten op zoekwoorden werken alleen zo goed, dus ik zou iedereen aanmoedigen om hier wat te verkennen. Er zijn veel open-source tools en gewoon geweldige bronnen op het internet in deze domeinen.

Adam Rubinger

Bedankt, Mike. Ik weet dat we hier op tijd op zijn, maar ik wilde de TAR 3.0 vraag wel beantwoorden. TAR 3.0, ik wil niet zeggen dat het een terugslag is naar TAR 1.0, maar het kost een vergelijkbare aanpak. Er is hier extra gelaagdheid, dus traditioneel zie je in clustering dat je een centrale laag of cluster krijgt en dan in de buitenste armen gaat. Dus, met TAR 3.0, beschouw het meer als een Venn-diagram waar een document kan leven in meerdere Venn-diagrammen die net boven elkaar zitten. Je kunt een document hebben dat eigenlijk in 40.000 clusters leeft.

Wat het doet is het nemen van clusterkernen en ze naar je sturen. Wanneer je een beslissing neemt voor reactievermogen, wordt een laag naar beneden geboord en wordt je gevraagd om de volgende onderliggende laag te coderen. Het is heel moeilijk te visualiseren. Er is hier een heel goede blog over. Als je gewoon „TAR 3.0" intypt, kun je wat licht lezen. Als alternatief kunt u zeker contact met ons opnemen en daar kunnen we u een consult geven.

Michael Sarlo

Ja, en ik zou willen zeggen dat het een hele workflow is. U kunt de effecten van TAR 3.0 simuleren door het tactiele gebruik van verschillende trainingsrondes in Brainspace. Ook in combinatie met strategische bemonstering vooraf, het uitvoeren van een analyse van zoektermen en vervolgens een aantal van die resultaten voorloaden in het model bijna als een pre-train en feeds, maar die vervolgens gebruiken om documenten te krijgen waarvan je weet dat ze al vroeg in het TAR 2.0-proces heet of relevant zijn. Zo kunnen we de modellen zo opstarten, en je krijgt hier vaak heel veel dezelfde effecten. Ik denk dat TAR 3.0 echt heel erg is, het is die hybride workflow afhankelijk van met wie je praat. Er zijn andere platforms die zijn begonnen om dit algoritmisch te laten merken. Het is een heel ander proces, maar ik zou zeggen dat alle grote analyseplatforms een aantal mogelijkheden bieden in dit domein.

Oké, nou, heel erg bedankt. Ik ga het naar Rob Robinson starten om dit te sluiten. We waarderen het heel erg dat jullie vandaag meedoen. Neem gerust contact op met al uw vragen. We beantwoorden ze graag. We zijn altijd beschikbaar. Neem gewoon een e-mail of klik op onze website.

Sluiten

Heel erg bedankt, Mike. En bedankt aan het hele team voor de uitstekende informatie en inzicht vandaag. We willen ook de tijd nemen om iedereen die de webcast van vandaag heeft bijgewoond te bedanken. We weten echt hoe waardevol je tijd is en we waarderen het dat je het vandaag met ons deelt.

Tot slot wil ik graag benadrukken dat we hopen dat u de kans hebt om onze maandelijkse webcast bij te wonen die gepland is voor 17 februari om 12.00 uur in het oosten, en het gaat over datalek, ontdekking en beoordeling. In deze aanstaande presentatie hebben we experts op het gebied van cyberbeveiliging, privacy-experts en experts op het gebied van juridische ontdekking die zullen delen hoe organisaties zich kunnen voorbereiden op een cybergerelateerd incident, en we hopen dat u kunt deelnemen.

Nogmaals bedankt voor het bijwonen van vandaag. Wees veilig en gezond. En dit sluit de webcast van vandaag af.

KLIK HIER OM DE PRESENTATIEDIA'S TE DOWNLOADEN

Webcast - TAR in de echte wereld - 011321 - Update

KLIK HIER VOOR DE PRESENTATIE OP AANVRAAG