德国免费采集学术资源进口制服丝袜 在线

                   ――比勒费尔德学术搜索引擎（BASE）议论

赵金海

（聊城大学藏书楼  山东聊城 252059）

摘  要  从表面与实践分析的角度，分析比勒费尔德大学藏书楼通过对相关软件市集和搜索时候探员，接收FAST DATA SEARCH时候，研制出头向因特网免费学术资源的BASE。并对BASE产生的配景、时候终了、资料开端、检索方法、实用时候、数据结构，以及发展路程、学术地位、发展远景等进行分析。该索引精通保藏德国发蒙时期东谈主文科学系列中枢期刊类“数字藏书”和囊括“数学”限制高质地的电子资源，终显著因特网免费采集学术信息资源提真金不怕火的“一体化就业”。

要道词  BASE  学术资源进口  学术文献搜索  学术搜索引擎

0  序

伴跟着数字藏书楼的发展训练与就业延迟，好多藏书楼，尤其高校藏书楼的传统就业并没因此拒绝，而是发展为集传统纸质文献和当代数字文献于一体的复合式信息就业中心。数字藏书楼与专题数据库集成了本馆保藏和资料探望的数字文献数据库。由于受检索进口传权，文本口头多变，浏览器用更换，检索界面和著录口头不表率等因素的制约，令好多数字藏书楼使用者灭亡而视，还常被有些用户误以为藏书楼仅提供缓助就业而受鄙弃。东谈主们为解脱传统就业和数字藏书楼就业的敛迹，寻找新的学术信息资源，面向因特网免费通达检索资源的这么一种就业便应时而生，并受到宽广科研职责者的有趣。这种就业提供数字文献信息就业的窗口，是一种想象有专题数据和文献资源的学派，或是利用学术搜索引擎提供专题数字文献资源的检索进口。德国比勒费尔德大学藏书楼研制的比勒费尔德学术搜索引擎 (Bielefeld Academic Search Engine，以下简称为BASE，-search.net/)在此配景下应时而生。该学术搜索引擎旨在挖掘因特网上免费的学术文献资源和开下学术资源，终显著采集免费学术文献资源的“一站式检索”，免费向用户提供。

1  BASE

1.1 BASE产生的历史配景

跟着WWW发展与普及，“信息检索”已发展成为全球性、竞争性和生意性市集的一个紧要行业，并在生意因特网搜索引擎、信息检索进口、多国出书商联机信息综合等限制败泄漏系列苍劲竞争选手。Google、yahoo！或微软能否在改日成为天下学问的进口？在新时事下，如不思在传统信息就业中被旯旮化，藏书楼例必要练习全球学术信息、因特网成长现象，笃定应答措施，持续在新时事下求糊口［1］。

现实上，列国推出功能不同、搜索范畴互异的学术搜索引擎，如谷歌学术搜索()和Scholar Search（），Elsevier的科学索引（），百度搜索引擎的国粹搜索 ()，德国免费学术信息检索进口Vascoda（），巨匠个东谈主主页搜索引擎HomePageSearch(-trier.de/)，在线期刊搜索引擎OJOSE(Online Journal Search Engine，)，在线数据库检索系统cnpLINKer（），学术因特网资源保藏INFOMIN ()，采集学术信息搜索引擎Ixquick()， 以及提供科学和当然科学信息的sciseek( sciseek.com/Sampl)等学术搜索器用。在繁密的搜索器用中，东谈主们公认Google是信息检索器用的首选，操作方便易行，搜索服从摆列合理可靠。但为什么Google不提供更好的学术信息就业呢？原因之一便是生意主义的标引并不十足按不同数据类型和结构的要求标引，检索服从摆列也都受生意利益影响，尤其竞价名次。至于检索内容方面，Google与其他生意搜索引擎都把焦点集中在看得见采集资源上，忽略了现有的百分之九十以上看不见采集专题数据库资源。

当今，各式“文献内容提供商”都旨在把联机藏书楼藏书和其他学术内容展现给“索引编制者”。利用新的搜索就业，饱读吹学术文献供给商（尤其藏书楼）把现有“看不见”的文献编制为成员馆索引。千般型藏书楼文献就业正处在由传统纸质文献向当代数字文献就业的历史的转型期。但在数字文献就业中，除利用平方搜索引擎和专题数据库外，面临极为丰富的因特网信息资源，尤其深网、看不见网等文献资源，好多搜索引擎都显过劲不从心。是以，免费提供数字学术文献就发展成为现时东谈主们最热心的，最进击的，亦然最受东谈主们迎接的就业。BASE便是应时而生从事这种就业的一个搜索引擎。

1.2 BASE简介

BASE隶属德国比勒费尔德大学藏书楼面向因特网学术文献资源挖掘的开发模样，选择Norwegian公司相近搜索与传输时候，把密切相关数据库主题内容与搜索引擎径直搜索的相关科学资源组合在一王人，成为因特网学术资源深远挖掘的多学科搜索引擎，它提供天下范畴内多学科资源的一体化搜索，可浏览不同类型的数字馆藏。最近数据统计：除印本书就业、因特网资源就业和Gutenberg DE目次工程等文献就业，已持取了1206种学术资源，近2亿篇文献，包括免费提真金不怕火通达检索资料和寰球机构储存资源（包括学校自建数据库和莱斯特检索档案库即Leicester Research Archive资源），除一丝数据仅就业于校内读者，其余全部免费）。自2005年1月至2009年3月时期，BASE标引数据种数和文献篇数推崇表，抽象反应了BASE的发展情况（参见图1）［2］。图1  2005.1至2009.3 BASE标引数据和文献推崇表

1.3 软件评价和时候终了

2002年头BASE模样实施前，Bielefeld大学藏书楼针对软件家具市集和学术搜索引擎现象进行探员，又与Google照管后发现，像Convera之类的因特网搜索引擎仅可手脚内联网更适用；俄罗斯通达资源搜索引擎MnoGo虽有诸多优点，但在海量数据贬责方面存有一定问题；挪威的Fast软件公司领有Fast搜索引擎Alltheweb，早在2002年就成为除Google除外的先导者。该索引时候训练，装配方便易行，致使在实验中从未出现问题，于是他们就把该时候手脚BASE的搜索时候，并把该检索手脚一个索引器用的表率。强调必须遵守互动操作治安（OAI，XML），看法开发智能用户界面原型，主要收录千般型的文献（全文文本和元数据）及看得见和看不见采集资源等学术资源。

2003年夏启动该工程时，比勒费尔德大学藏书楼研发中枢东谈主员由从事基于FAST数据搜索软件和原本软件研发小组成员组成。他们以“数学范本”（Math Demonstrator）手脚本质性初始。2004年春，议论职责跟着“数字藏书范本”（Digital Collections Demonstrator）的实施而从容深远。2004年6月，两“范本软件”公开刊行，并为比勒费尔德大学藏书楼、北莱茵韦斯特伐利亚学术藏书楼开展散布文献就业（VDS）打下安详基础［3］。

1.4 资料开端

当今，越来越多从事通达检索信息资源数据库就业公司都遵守“OAI-PMH”（通达档案倡议-元数据收割机条约=Open Archives InitiativeProtocol for Metadata Harvesting），致使全球通达检索文献资源就业成为各机构竞相研发的行业，如全球通达检索期刊文献资源电子进口Open J-Gate (-gate.com/Search/QuickSearch.aspx)，免费学术期刊和全文本Directory of Open AccessJournals（），天下通达检索仓库中语文本资料实验就业OpenDOAR（），英国通达检索仓库全文本资料实验就业SHERPA Search( )和调节数字资源目次OAIster ()等。比勒菲尔德大学藏书楼则属于繁密通达检索资源就业的机构之一。在1998至2000年间从“数字藏书楼NRW”获取的好多得胜训戒，想象出一个纠正了现有学术搜索环境、集成整个相关资源、基于因特网信息、具有实用元数据搜索功能用户界面的藏书楼进口。

BASE检索的文献资源主要从WWW上免费得回，如数学、生物学、化学、生圆寂学、地质学和物理学等期刊论文和电子出书物；PubMed、Zentralblatt MATH、馆藏和寰球机构档案；治安网站和出书商提供的文献目次。2006年6月，BASE注册为OAI就业供应商，成为“数字存储基础设施欧洲搜索版”（DRIVER=DigitalRepository Infrastructure Vision for European Research）欧联体工程成员。BASE遵守OAI-PMH，利用“收割机”采集文献资源，使用FAST软件标引元数据。不仅可查元数据、不含或含有元数据的全文文本，也可查竞争敌手的相关信息。常选择不同的搜索治安和公布现有文献服从的方法差异贬责元数据，把相关数据摈弃于著者与类目后或辅导目次中［4］。

1.5 检索方法

BASE具有德语和英语用户界面，援救欧洲诸国22种话语制服丝袜 在线，提供基本检索（BasicSearch）、高档检索(AdvancedSearch)、组合检索框(CombiningSearch Terms )、彭胀检索框(ExpandingSearch Terms)和精粹检索（Refineyour Search）。提供近似Google的基本检索界面松懈，针对不同检索词的高档检索界面。在基本检索功能的检索字段中，除了可输入一般的检索词外，还可查找本单词的其他词形，如复数、整个格等，选中该选项将自动检索其他字形的检索词。使用Eurovoc①检索，可援救欧洲诸国22种话语的文献检索。

高档检索可规则在某一学科类目中预设全部、著者、落款和主题词等模样，也援救其他词形和其他欧洲话语，可把查找文献范畴规则辞天下、欧洲或德国内。检索时候规则在某一文献发表年或某一时区内，也可规则检索某一文本口头类型的文献［5］。搜索时可规则在免费（易检索的）信息资源内，即不仅包括授权用户，来吧也可包括寥落资源。搜索服从不错通过著者、理学硕士品级（MSC-classes）、文献类型和话语规则检索，也可通过纠正专用于单检款目近似搜索规则。搜索服从一般选择治安的元数据著录口头炫夸。全文文本可径直用浏览器和插件开发目次浏览，把柄不同用途来定制界面。

除利用搜索框搜索文献资源外，BASE还可利用本身的浏览器用浏览文献，并把所标引文献资源按杜威十进分类法（DDC，Dewey Decimal Classification）分类，可分到3级类目，如一级类目4（话语），可分为04（法语）、044 （法语散文）（见图2）。迄今已为10多万篇文献分拨DDC类号。在浏览界面，当移动鼠标指向某一类目时，就可炫夸下级类目。点击炫夸的一个类目就会启动BASE检索该类类目、下级或部分类主义文献。要是你检索某一级类目，也会自动检索下级类目文献，如你检索某类目，点击就可自动检索该类下的文献。在BASE实验室，通常展示测试的内容。图2  BASE浏览界面

2  BASE时候、结构和特色

2.1 BASE时候

FAST搜索引擎时候模块结构透明、轮清亮楚，含有一个零丁的后端就业器和前端就业器系统原件。前端就业器崇拜贬责信息搜索、检索服从和提交的任务。后端就业器贬责数据预贬责和数据调整、数据接收、同化、网虫爬行、文献贬责和文献标引。用户界面具有近似Google搜索框的基本搜索表格、高档搜索接收项。如提真金不怕火检索、规则检索、馆藏选项和检索选项等增补功能。两种检索都允许免费文献规则检索。在提交元数据时，搜索服从充分揭示与搜索引擎治安不同的搜索服从页，如使用元数据检索作家、分类，以及文献口头和藏书等。整个检索服从在合乎区域组成下拉菜单。在主索引中选择检索近似文献、在搜索服从提真金不怕火或扼杀近似文献，以及检索史的接收完善现行用户界面功能。

2.2 集成数据资源

相关搜索进口的元数据职责面向斟酌信息传送到主义系统（Z39.50或基于http)、基于系统增补数据库扣问和传送服从调整里面口头等方面开展。为了生动诓骗BASE，有必要对其结构进行分析议论。如BASE可选择几种方法装载数据到索引器；为捕捉数据，FAST想象有采集爬虫、数据库澌灭器和文献传输器等专用界面。在不需澌灭数据的地方，就不装配数据库澌灭器。

在贬责HTML中未编码的文献和滚动各式口头为FAST界定的XML口头中，比勒费尔德藏书楼使用了FAST器用文献传输器（File Traverser）。在数据保藏和存储中，十分强调使用OAI数据收割时候，遵命都柏林核口头要求贬责数据字段和话语编码。全文本URL标目偶而置于资源字段，剧本皆选择Perl和XSLT编写。在预贬责阶段，需完成的任务包括话语编码识别、日历排序、XML调整、创建独一标记符、过滤和纠错、创建因素价值和全文文本斟酌等。

但是，在里面和地方过滤问题贬责方面，要对可变的、将贬责的数据武艺规则。文献传输器崇拜话语识别、携带类型识别、簸弄者（Teaser）生成和字段排序。此外，还要进行口头识别、解压、文本类型设定（全文文本，元数据或两种口头的羼杂体式），Postscript或PDF口头调整，以及武艺贬责经过话语的笃定；数据捕捉贬责包括FAST模块、附加模块、研制器用、数据装载爬虫、文献传输器、DB澌灭器、OAI收割机、DB出口、预贬责Perl、XSLT通行谈、索引标引机、检索、导航搜索API和PHP剧本等。在FAST系统中，对索引结构的规则包括基本都柏林核第15字段，以及ISBN/ISSN、DOI、年（正常口头）、资源类型（元数据，全文文本等）和资源5个附加规则字段［3］。

2.3 BASE的结构

BASE系统诚然建在基于客户/就业器结构之上，却配有多节点系统上的前端和后端就业器。当客户不再需要采集浏览器时，前端就业器是一台运行PHP高治安采集就业器；后端就业器亦然一台领有高速磁盘阵列的高性能多贬责系统，基于“SUSE Linux 9.1”运行“Fast Search 4.0.2”。前端就业器崇拜用户操作界面，通过http和照管API贬责检索服从和提交独一检索服从目次。前端就业器与后端就业器之间的通信不仅用于专用于现实用户发问和服从查询，何况还用于采集爬行、数据保藏、文献传递，或把数据快速调整成里面XML口头及文献贬责和标引。

迄今，BASE已适合元数据搜索环境，针对不同文献口头的SGML界面数据包提供有http和OAI界面，终显著正确探望数据库和快速贬诬捏检条件。BASE遵守都柏林核第15字段元数据集字段著录口头，实施5个附加标引字段：针对ISBN和ISSN的dcisb，面向DOI或同样文献过滤的dcdoi，把年手脚一个整数贬责的dcyear，贬责元数据、全文文本等数据类型的dctype，及贬责版权资源称呼的dcrights。

2.4 BASE的特色

通过多年英勇，BASE日渐发展训练，与生意搜索引擎比拟具有如下特色：

1)    可智能接收资源；

2)    独一终了高质地科学要乞降达到学科相关性寥落要求的文献就业；

3)    在搜索过程中，数据资源目次详备透明；

4)    不错搜索附加有元数据（把柄资源）的全文文本；

5)    能揭示常被生意搜索引擎忽略或大批的搜索妙技中检索不到的“深层网”资源；

6)    搜索服从可炫夸精粹的书目数据（如资源含有）；

7)    提供几种搜索服从目次排序方法；

8)    “精粹搜索服从”选项（作家，资源，文献类型，话语等）。

3  BASE发展路程、发展远景及学术地位

3.1 发展路程

自1967年比勒费尔德大学藏书楼修复以来，德国CD-ROM版OPAC于1988年和第一个采集版CD-ROM同期刊行；1993年，文献传递就业JASON与外洋学科期刊论文数据库JADE共同起步；1997年建成一体化藏书楼信息系统IBIS；1999年创建北莱茵-维斯特伐利亚（NorthRhine-Westphalia）数字藏书楼； 2000年集成于藏书楼就业，修复基于费解逻辑的“智能搜索助手”。为了进一步升迁就业质地，比勒费尔德大学藏书楼对当代搜索引擎时候进行一系列探索和议论，在电子信息就业方面走在同业们的前哨。

把柄Fast Search & Transfer公司的互助条约，比勒费尔德大学藏书楼研发的两个软件，即德国发蒙时期东谈主文科学的中枢期刊、自建回溯性数字化文献库、Gottinger科学学会（GottingerAkademiederWissenschaften）的系列“数字藏书楼”和“数学”数据库。当今，比勒费尔德藏书楼已发展成以数学为主，兼收多学科文献中心，并出书有通达检索学术期刊――“文献数学”（Documents Mathematica）。

但是，通过德国慕尼黑与Guenthner陶冶信息话语贬责中心（Prof. Guenthner'sCentrum fur Informations und  Sprachverarbeitung）的互助，Fast公司增设相近搜索手脚自动抽取元数据和交叉话语信息检索类话语器用。“BASE:数学”库涵盖的大多数资源是BASE大概发现的网页信息资源和无谓再向数学读者多加先容的紧要信息资源。为了保证“BASE:数学”库朝着数学议论者温文的标的发展，BASE不仅进一步研发软件器用，何况还要加多征集的内容、内容，致使更多内容。

3.2 学术地位

近几年Bielefeld大学藏书楼通过对搜索引擎时候的探索，为德国、英国和好意思国等国的藏书楼在免费揭示学术信息方面配置了榜样。把德国比勒费尔德大学、德国哥廷根州国度时候藏书楼(TIB， Hanover)、Bielefeld大学藏书楼、牛津大学藏书楼就业部、密歇根州和Cornell大学藏书楼、斯普林格出书商和德国《数学文摘》数据库(Zentralblatt für Mathematik，-math.org/zmath/en/)等机构的数据装入标引库，包括比勒费尔德大学藏书楼及整个进入数学学科议论东谈主员预贬责和标引的数据，如数字藏书、预印本书就业、电子期刊、机构数据库、联机藏书楼目次和数据库等数据。对整个成员来说，把各自的数据展示给数据采集器用（如采集爬虫、ftp、元数据收割机）是必不成少的职责，即整个成员都必须参与提交、规则网上库藏文献。事实阐发，这便是为生意成员、寰球藏书楼及机构提供就业的职责基础，尤其生意成员以为这种就业一丝儿也莫得影响现有的授权条约，还加多了保藏内容的检索点。当文献提供商使用提供就业时，针对生意因特网索引编制的新学术搜索索引和目次便是一个新的、发放的、高质地的散布馆藏搜索和导航平台。此外，在使用妙技中，把每个成员藏书的特色和性质，及“利用XYZ机构所供”资源的方法也先容得一干二净［6］。

3.3 BASE发展远景

BASE是比勒费尔德大学藏书楼继构建数字藏书楼之后制定的一个策略性决策，主要主义包括：①利用整合更多OAI资源和地方资源的方法拓展BASE；②提供新版块的HTTP和SOAP界面；③选择FAST评价和使用话语学器用的方法；④提供联邦式搜索；⑤具备学科分类浏览功能（BASE Lab实验版）［7］。迄今BASE已发展成一个适用于Fast Data Search的检索器用。改日在引申标引内容、收纳多类型文献和数据方面将作念得更好，检索质地作念得更高。此外，像智能用户界面、一体化引文分析、话语器发愤能增强、个东谈主化检索服从摆列，个性化文献信息推送，以及借助适当字辞书、相近搜索和交叉话语信息检索等功能也将得到较大改善，并将朝着更高档的标的发展。

4  结语

要而论之，BASE已发展成为一个免费提供因特网学术文献资源搜索引擎。它侧重数学文献资源，兼收多学科学术资源，并可利用DDC对所标引学科文献进行三级分类，为从学科的角度进行浏览文献提供方便，也为编制搜索器用提供了模仿，以都柏林核治安著录口头提供文献目次和标目。造成了我方的标引文献的体系，建有我方的免费学术信息资源数据库。在给同业配置典范的同期，极快地发展了我方。当今，我国仅限于看得见采集学术信息资源的提供，仅仅百度搜索计议下一步发展旨在研发深网和看不见网学术文献资源的搜索引擎，面临通达性因特网免费学术资源就业，已落伍于天下先进国度。在此，对BASE进行深远议论，有助于咱们议论因特网免费学术资源的布局、征集与整合，提供全场合的搜索和就业。也有助于利用其功能检索所需学术信息和全文文本文献。

注视

①一个笼罩了欧洲共同体字段的多语种词汇表，提供了欧洲机构偏执用户文献系统标引文献的方法。欧洲机构、国度议会和各Eurovoc用户互助编制了Eurovoc4.3，含有22种欧定约的官方话语（保加利亚语、西班牙语、捷克语、丹麦语、德语、爱沙尼亚语、希腊语、英语、法语、意大利语、拉丁语、立陶宛语、马耳他语、匈牙利语、荷兰语、波兰语、葡萄牙语、罗马利亚语、斯洛伐克语、斯洛文尼亚语、芬兰语和瑞士语）。当今他们正在使用。

参考文献

1 Lossau，Norbert. Search Engine Technology and Digital Libraries: Libraries Need toDiscover the Academic Internet. D-Lib Magazine， 2004 V.10 No.6.［2009-04-20］.#1#1］

2 -bielefeld.de/en/about_sources_date_dn.php?menu=2

3 Summann，Friedrich and Lossau， Norbert. Search EngineTechnology and Digital Libraries: Moving from Theory to Practice. D-Lib Magazine， 2004 (10).［2009-04-06］.

4 Pieper， Dirk and Summann，Friedrich. BielefeldAcademic Search Engine (BASE): an end-user oriented institutional repositorysearch service. Journal Article (Print/Paginated) EN，2006(1).［2009-04-02］. archive/00009160/

5 BASE HELP.［2009-0402］. -bielefeld.de/en/help_search.php?menu=3

6 Pieper， Dirk and Summann，Friedrich. Die Entwicklung des ZugangssystemsderDigitalenBibliothek NRW. Nachrichten fur Dokumentation， 1999 (50): 397-405

7 -bielefeld.de/en/about_develop.php?menu=2

赵金海  男，1956年生。山东聊城东谈主制服丝袜 在线，聊城大学藏书楼副议论馆员。出书专著2部，发表论文40余篇。