Procedimientos recomendados para la indexación de contenido

Transcripción

1 Prcedimients recmendads para la indexación de cntenid Recmendad para sitis cn más de dcuments El bjetiv de este dcument es frecer asesramient para la mejra del rendimient de la indexación de búsquedas de DcuShare Estas instruccines deben incluirse en la planificación de cualquier servidr nuev actualizad. Nta: Cnsulte la guía Cmmand Line Utilities Guide de DcuShare para btener más infrmación sbre la ejecución de ls cmands utilizads en este dcument. Actualización desde versines anterires a 6.5 Nta: Realice este prcedimient después de actualizar a la versión y antes de ejecutar dsindex index_all. Tenga en cuenta las necesidades y el us del siti y después ejecute cualquiera de ls siguientes cmands tras actualizar a la versión DSHOME\bin\cuntFileNumber Ejecute este cmand para recpilar infrmación sbre el númer de dcuments y el tamañ de ls archivs del siti. Este cmand identifica ls archivs grandes cuy cntenid tardará más en indexarse. DSHOME\bin\fixupMimeTypes Ejecute este cmand para lcalizar archivs que puedan haberse identificad incrrectamente cn un tip MIME de archiv de text. Este cmand infrma sbre ls bjets del dcument y de reprducción dnde ls tips MIME asignads pr el identificadr de archivs n cncuerdan cn la extensión del archiv de tip MIME. Las versines anterires de DcuShare tenían la cnfiguración de tip MIME asignada de frma prefijada pr el algritm de cntenid de archiv (identificadr del tip de archiv) en vez de pr el algritm de extensión de archiv. El cmand fixupmimetypes identifica ls dcuments cm archivs *.dat (que cntienen muchas filas de cadenas numéricas, cmas y trs caracteres especiales) que se pdrían haber identificad cm archivs.txt en una versión anterir de DcuShare. DSHOME\bin\fixupMimeTypes -f Ejecute este cmand para reslver el tip MIME del dcument asignad incrrectamente de manera que cincida cn la extensión de archiv. Ls dcuments se indexarán en función de las extensines del archiv de tip MIME en la tabla Tips MIME. Tds ls servidres de DcuShare Nta: Realice este prcedimient antes de ejecutar dsindex index_all. La indexación de dcuments que cntienen muchs númers, cm las hjas de cálcul, cnsume recurss de CPU, memria y espaci de disc del sistema. Tds ls númers y términs sin raíz n encntrads en un diccinari estándar generan una sbrecarga de la indexación. Para ayudar a indexar la sbrecarga casinada pr ests tips de dcuments y de términs sin raíz, siga la recmendación indicada más abaj en relación cn la tabla Tips MIME, idltl UnstemmedTermTree y ls parámetrs

2 AutnmyIDOLServer IndexNumbers. Para mejrar la velcidad de indexación de cntenid, utilice la cnfiguración maxfilesize para restringir el tamañ de ls archivs de dcuments. Tenga en cuenta ls usuaris del siti, sus necesidades y ls patrnes de búsqueda y, a cntinuación, siga alguna tdas las recmendacines siguientes: Espaci de disc y asignación de memria Determine el tamañ del servidr y de ls recurss de indexación. Averigüe la cantidad de dats que se van a indexar. Recpile infrmación sbre el ttal de dcuments pryectads, el tamañ pryectad del almacén de cntenid DSHOME\dcuments y el tamañ de indexación estimad. Cnsulte el artícul "Estimating disk space" (Cálcul del espaci de disc) en DcuShare Knwledge Base. Cnfigure IDOL de manera que se ajuste a ls recurss dispnibles. Cnfigure IDOL de manera que se ajuste a ls recurss de RAM dispnibles en el servidr de DcuShare. Aumente el rendimient aprvechand la RAM adicinal al ejecutar IDOL en un servidr de Windws de 64 bits. Ejecute el cmand idlsetup que crrespnda para cnfigurar la RAM dispnible. Nta: Se recmienda dispner cm mínim de 6 GB de RAM al ejecutar DcuShare en un servidr Windws de 64 bits. Para 4 a 8 GB de RAM, ejecute DSHOME\bin\idlsetup.bat..\cnfig\idl_default.cnfig Para 8 a 16 GB de RAM, ejecute DSHOME\bin\idlsetup.bat..\cnfig\idl_medium.cnfig Para 16 a 32 GB de RAM, ejecute DSHOME\bin\idlsetup.bat..\cnfig\idl_large.cnfig Para más de 32 GB de RAM, ejecute DSHOME\bin\idlsetup.bat..\cnfig\idl_unlimited.cnfig Mantenimient de la base de dats de DcuShare. Verifique la existencia de índices de base de dats Ejecute resetindexes (dispnible a través del servici de asistencia de DcuShare) para recnstruir el cnjunt prefijad de índices de base de dats de DcuShare si es precis. Optimice la base de dats Utilice UPDATE STATISTICS (SQL Server), GATHER STATISTICS (Oracle) VACUUM (PstgreSQL) para ptimizar la base de dats. Prgrame la ptimización de la base de dats de manera que se ejecute a diari. Indexación del cntenid de dcuments Determine si el siti requiere la indexación del cntenid de text de ls dcuments. Si se desactiva la indexación de cntenid, se aumentará cnsiderablemente el rendimient de la indexación y la utilización de recurss. Ls metadats de ls dcuments siempre se indexan. La desactivación de la indexación de cntenid n afecta a la indexación de ls metadats. Se puede desactivar la indexación de cntenid si se realizan búsquedas en las prpiedades de ls metadats; pr ejempl, Títul, Asunt, Palabras clave, Autr, Descripción, etc.

3 Vaya a Menú Administración l Servicis y cmpnentes l Índice para desactivar/activar la indexación de cntenid glbalmente para el siti. La indexación de cntenid está activada de manera prefijada. Se puede desactivar la indexación de cntenid para las clases de bjets persnalizads que se clnarn de la clase Dcument. Cnfiguración de tips MIME Vaya al menú Administración l Prpiedades de bjet l Objet persnalizad. En el menú Objets persnalizads, seleccine un bjet persnalizad y haga clic en Editar. En la página de prpiedades del bjet persnalizad, en el camp Indexación de cntenid, seleccine N. N se indexará el cntenid de esta clase de bjet persnalizad, per ls metadats sí se indexarán. Edite la tabla Tips MIME en Menú Administración l Administración del siti l Tips MIME para cntrlar la indexación pr tip MIME. Cnfigure Métd de asignación de tips MIME cm Algritm de extensión de archiv. N utilice el algritm de cntenid de archiv a n ser que ls nmbres de archiv de ls dcuments cargads n incluyan una extensión de tip de archiv cm.dc,.pdf,.txt, etc. Excluya ls tips de archiv de indexación que n requieran búsqueda de text cmpleta, pr ejempl, hjas de cálcul, archivs binaris e imágenes. Haga clic en Editar junt a Tip MIME y excluya de la indexación el tip de dcument crrespndiente. Cnfiguración del servidr IDOL Cnfigure las pcines de indexación para ajustar el rendimient de la indexación cn ls tips de dcuments que se indexarán pr cntenid y que cumplan cn ls requisits de la rganización y de ls usuaris. Para ell, siga ests pass cn el fin de ejecutar el cmand idltl crrespndiente editar manualmente la cnfiguración del servidr IDOL que se encuentra en DSHOME\IDOLServer\IDOL\AutnmyIDOLServer.cfg. Reducción del us de memria para términs sin raíz En la sección [Servidr] del archiv AutnmyIDOLServer.cfg, el parámetr UnstemmedTermTree realiza búsquedas cn cmdines antes de utilizar la raíz. El valr true realiza búsquedas cn cmdines antes de utilizar la raíz. Cn true, el us de memria de cntent.exe es mayr prque el servidr indexa grandes cantidades de archivs que cntienen muchs númers; pr ejempl, archivs de Excel. El valr false n almacena ls términs sin raíz internamente para la crrección rtgráfica búsquedas cn cmdines/parciales de raíces. Cn false, el us de memria cntent.exe es menr. Est reduce la psibilidad de que se prduzca un errr de falta de memria durante la indexación. Para mdificar el valr de UnstemmedTermTree, ejecute: idltl.bat s setcnfig idl Server.UnstemmedTermTree <valr> El valr prefijad es true. Cn la búsqueda cn cmdines, ls mejres resultads se btienen al mantener el valr cm true. Cnfiguración del númer máxim de bytes de text de archiv que debe indexarse pr dcument Nta: El parámetr NdeTableMaxFieldLength crrespnde al númer máxim de bytes de almacenamient en un disc pr cada camp de un dcument. Un camp es l mism que una prpiedad de dcument, pr ejempl el títul, per también puede tratarse del cntenid (

4 DRECONTENT) que es el cntenid de text de un dcument. DcuShare indexa hasta 400 KB de cntenid de text extraíd de un dcument. Es psible almacenar dcuments de más de 400 KB, per slamente pueden cntener una cantidad de text reducida. Para mdificar el máxim de bytes de cntenid de text de archiv que se puede indexar, ejecute: idltl.bat s setcnfig idl Server.NdeTableMaxFieldLength <valr> El valr prefijad es Nta: Si se aumenta el valr, aumenta el tiemp de indexación. Cnfiguración del númer máxim de términs de indexación pr dcument Nta: El parámetr MaxIndexTermsPerDcument crrespnde al númer máxim de términs distints que pueden indexarse en un dcument. Establezca el valr máxim para ayudar a que se reduzcan ls incnvenientes que prducen ls dcuments muy largs en el tamañ del índice. Cuand se alcance el valr máxim especificad, n pdrán indexarse nuevs términs en ese dcument, aunque sí se indexarán términs anterires que se repitan en el rest del dcument. Para mdificar el númer máxim de términs de indexación pr dcument, ejecute: idltl.bat s setcnfig idl Server.MaxIndexTermsPerDcument <valr> El valr prefijad es Nta: Si se aumenta el valr, aumenta el tiemp de indexación. Activación desactivación de la indexación de númers En el archiv AutnmyIDOLServer.cfg, edite manualmente el parámetr IndexNumbers que se define en cada sección de idima. Pr ejempl, para inglés: [english] IndexNumbers=1 Valres de parámetrs válids 0=Ls númers n se indexan. 1=Se indexan tds ls númers, cn independencia de si aparecen sls cm parte de una palabra. En cada idima, el valr prefijad es 1 2=Se indexan ls númers slamente cuand frman parte de una palabra, pr ejempl, Y2K. Exclusión de la indexación de archivs muy grandes Para n indexar el cntenid de text de ls archivs más grandes que el tamañ desead, ejecute el cmand setindexcnfig cntentindexmaxfilesize <tamañ máxim del archiv en bytes>. Este cmand agrega el parámetr cntentindexmaxfilesize al archiv de cnfiguración del servidr de indexación (IndexServerCnfig.xml). Indexación de númers dividids Si el siti incluye dcuments que cntienen muchs términs alfanumérics, pr ejempl, Y2K, se puede reducir el númer de términs de indexación en IDOL cnfigurand SplitNumbers=true. Est ayuda a reducir el us de memria y de espaci de disc y aumenta el rendimient de la búsqueda/indexación.

5 Para cnfigurar SplitNumbers cm true, ejecute el cmand idltl.bat -s setcnfig idl Server.SplitNumber true. Nta: el valr prefijad de SplitNumbers es false. Si se cnfigura este valr cm true, se desactiva la búsqueda cn cmdines en ls númers. Active desactive la indexación de ls dats adjunts de Nta: puede reducir el tamañ de IDOL desactivand la indexación de ls dats adjunts de e- mail. Est resulta útil cuand hay varis mensajes de cn dcuments adjunts de tamañ grande. Utilice IDOLTl para mdificar ImprtAttachments cn el valr false. El valr prefijad es true, que indica que ls dats adjunts de se indexan para la búsqueda. Para desactivar la indexación de ls dats adjunts de , ejecute el cmand >idltl -s setcnfig filesystemfetch Imprt.ImprtAttachments false. Active desactive la indexación de ls archivs incrustrads Nta: puede reducir el tamañ de IDOL desactivand la indexación de ls archivs incrustrads. Est resulta útil cuand hay varis dcuments de tamañ grande, pr ejempl, archivs de PwerPint Excel, cn cntenid archivs incrustrads. Para desactivar la indexación de ls archivs incrustrads, ejecute el cmand >idltl -s setcnfig filesystemfetch Imprt.ImprtEmbedded false. Indexación del siti: últim pas imprtante (es pcinal si ya indexó el siti cn la versión 6.5.3). Ejecute dsindex index_all Después de realizar las mdificacines en la sección de cnfiguración del servidr IDOL de más arriba, ejecute dsindex index_all para que ls cambis surtan efect. Cuand se ejecute dsindex index_all mientras el servidr se esté utilizand para prducción, el cmand hará una pausa autmáticamente para favrecer la indexación de cntenid relacinad cn las actividades de ls usuaris. La indexación se reanudará cuand se reduzca la carga del usuari. Pausa y reinici de dsindex index_all Nvedades en DcuShare 6.6.1; haga una pausa en dsindex index_all mediante el cmand dsindex stp y después reanúdel cn dsindex cntinue index_all. Nta: Inicialmente se ejecuta el cmand dsindex index_all y las indexacines futuras se cntrlan mediante las ds pcines siguientes: Indexación pr nmbre de clase Trabajs de indexación pr ltes pr tamañ de archiv. Indexación pr nmbre de clase Se puede ejecutar dsindex pr tip de clase, en especial si hay muchs dcuments almacenads cm bjets de dcuments persnalizads/clnads. dsindex -classname<nmbre de clase>index Al indexar pr nmbre de clase, cm reemplaz de index_all, indexe cada clase de bjet en el mism rden en que ls ejecuta dsindex index_all; Usuaris, Grups, Cleccines, Dcuments y bjets clnads persnalizads.

6 Trabajs de indexación pr ltes pr tamañ de archiv Se pueden utilizar las pcines dsindex fsizemin<númer> y fsizemax<númer> para indexar pr ltes archivs de cntenid grande durante períds de escasa actividad de ls usuaris. Nta: La cnfiguración de cntentindexmaxfilesize <tamañ máxim del archiv en bytes> sustituye al valr de dsindex -fsizemax. Ntas acerca de las actualizacines de DcuShare y DcuShare y se han cnfigurad cn DREREFERENCE activad. DcuShare está cnfigurad cn DREREFERENCE desactivad. Este cambi reduce el us de la memria y el tiemp de inici de cntent.exe. Para aprvechar este cambi, un siti actualizad desde debe ejecutar el cmand regeneratematchindex. Est permitirá regenerar ls índices y deberá hacerse a una hra adecuada para evitar que ls usuaris se vean afectads. Realice una cpia de seguridad de ls dats de índice de IDOL en el directri DSHOME\IDOLServer\IDOL\cntent antes de ejecutar este cmand. Omita este pas si dsindex index_all se ha ejecutad antes de actualizar a Prcedimients recmendads adicinales N utilice FORCE, KILL End Task Tras emitir el cmand para detener DcuShare, n utilice Frce, Kill End Task para cerrar el prces de cntent.exe. Si l hace, se dañarán ls índices de búsqueda y será necesari vlver a indexar el siti para restaurar el índice. Tenga en cuenta que cntent.exe n se puede cerrar cn el cmand stp_dcument si cntent.exe está cupad indexand. Si est sucede, la única pción es esperar a que cntent.exe termine y se cierre sl. Cuand se reinicie DcuShare, el sistema cmprbará el estad de cntent.exe. Si cntent.exe está cupad, DcuShare n se reiniciará hasta que cntent.exe haya terminad de indexar y se cierre. Prgramación de una cpia de seguridad autmática de ls dats de índice de IDOL Cm parte de un plan glbal de cpia de seguridad/recuperación del servidr de DcuShare, incluya cmands de cpia de seguridad de idltl para cpiar ls índices de búsqueda de IDOL. Para prgramar cpias de seguridad autmáticas de ls dats de índice a intervals regulares: Agregue a AutnmyIDOLServer.cfg una sección [Schedule], si n está presente, y cnfigure ls siguientes parámetrs: [Schedule] Backup=true BackupCmpressin=true (crea archivs de cpia de seguridad cmprimids) BackupTime=00:00 (medianche; utilice ntación de 24 hras) BackupInterval=0 (tiemp transcurrid en hras entre cpias de seguridad; 0=tds ls días) BackupMaintainStructure=true NumberOfBackups=2 (la cpia de seguridad realiza un cicl pr cada una de ellas) BackupDir0=E:\DataIndex_Backup0 (ubicación del directri backup0) BackupDir1=E:\DataIndex_Backup1 Nta: El númer de cpias de seguridad debe crrespnder al númer de directris BackupDirN que se ha especificad. Asegúrese de que haya suficiente espaci en disc para ls archivs de cpia de seguridad. Después de restaurar el índice a partir de una cpia de seguridad, ejecute el cmand reindexchangessince para actualizar el índice. Cnsulte Cmmand Line Utilities Guide para btener más infrmación.

7 Desfragmentación/cmpactación de ls dats de índice La cmpactación de ls dats de índice es similar a la desfragmentación y permite ahrrar espaci y mejrar el rendimient. Cmpacte ls dats de índice inmediatamente ejecutand un cmand DRECOMPACT desde un explradr lcal: Cmpacte mediante idltl: >idltl s drecmpact Cmpacte mediante dsindex: >dsindex max clean Para prgramar la cmpactación a intervals regulares: Agregue a AutnmyIDOLServer.cfg la sección [Schedule], si n está presente, y cnfigure ls siguientes parámetrs: [Schedule] Cmpact=true CmpactTime=23:00 CmpactInterval=24 (tiemp transcurrid en hras entre cmpactacines; 0=tds ls días) PreCmpactinBackup=true (valr prefijad; si desea que se realice una cpia de seguridad antes de la cmpactación) PreCmpactinBackupPath=./internalbackup (valr prefijad; puede cnfigurarl cn tr directri si hay prblemas de espaci en la partición actual) Cnfiguración de antivirus Cnfigure el sftware de antivirus de manera que se examinen slamente ls archivs escrits en el directri DSHOME\dcuments. Excluya este directri de la detección de virus en la lectura. Excluya tds ls demás directris DSHOME de la detección de virus, incluids ls directris de índice IDOL en DSHOME\IDOLServer\IDOL\cntent. Criteri de referencia de la indexación La tabla siguiente muestra el rendimient de la indexación basad en un entrn virtualizad de Windws Server 2008, cn un depósit de uns bjets y utilizand la cnfiguración prefijada de IDOL. Nta: En un entrn VMware, agregue más cicls de CPU para mejrar el rendimient de la indexación. Cnfiguración del servidr Tamañ del depósit Tiemp de indexación (dsindex index_all) Windws Server 2008 Enterprise Númer de prcesadres = 2 Memria física = 8 GB Memria virtual = 16 GB Númer de bjets que n sn dcuments = Númer de dcuments = hras