bigpo.ru
добавить свой файл
  1 ... 16 17 18 19 20 ... 22 23

4.4.Выводы


  1. Осуществлена демонстрация основных этапов (планирование и настройка) подготовки программного комплекса SimCOSAR к проведению эксперимента. Приведённая информация может служить в качестве наглядной иллюстрации того, как от плана эксперимента перейти к настроенному на него программному комплексу.

  2. Представлены сведения, которые характеризуют использованные вычислительные мощности и затраченное время на реализацию эксперимента. Эта информация позволяет оценивать ресурсы, которые могут потребоваться для проведения экспериментов по другим планам.

  3. Результаты моделирования были проанализированы, что позволило получить новые знания об относительной эффективности нескольких вариантов системы мониторинга в широком диапазоне рабочих нагрузок. Новые знания позволяют уверенно рекомендовать внедрение сенсорных систем мониторинга для наблюдения за ИР с высокой посещаемостью и любой интенсивностью изменений. Для наблюдения за ресурсами, у которых интенсивность изменений превышает интенсивность посещений, рекомендуется использование систем мониторинга основанных на модифицированных роботах.

  4. Фактически была решена важная задача проводимого исследования, а именно, было показано, что с помощью программного комплекса можно получать данные, которые необходимы при сравнении различных вариантов системы мониторинга.

Заключение

При выполнении диссертационной работы получены следующие основные результаты.

  1. Предложена новая классификация стратегий мониторинга информационных полей Internet. В качестве классифицирующего признака выбрана информация о месторасположении модуля системы мониторинга, который отвечает за обнаружение изменений в информационных ресурсах.

  2. Использование введенной классификации позволило предложить новый (не упоминавшийся в публикациях ранее) алгоритм мониторинга, который основан на «сенсорах» (программных модулях), которые «слушают» трафик Web-сервера.

  3. Выявлены (в ходе анализа публикаций) критерии эффективности, которые пригодны для сравнения любых вариантов системы мониторинга: «свежесть» накопленной системой мониторинга информации и объём данных, которые передаются с Web-серверов на головной сервер мониторинга.

  4. Предложена математическая модель процесса мониторинга.

  5. Разработаны имитационные модели двух вариантов системы мониторинга. Во-первых, системы, которая использует одного обычного робота для циклического скачивания всех информационных ресурсов информационного поля. Во-вторых, системы, которая использует сенсоры для обнаружения изменений состояния информационных ресурсов и которая после поступления от сенсора «сигнала тревоги» немедленно скачивает изменившийся информационный ресурс.

  6. На базе языка программирования Python, БД MySQL, библиотеки классов дискретно-событийного моделирования SimPy и имитационных моделей разработан программный комплекс SimCOSAR для компьютерного моделирования работы вариантов системы мониторинга, которые используют роботов, «модифицированных роботов» (при циклическом обходе сначала посылается HEAD-запрос и только при обнаружении изменений информационный ресурс скачивается), сенсоры.

  7. В ходе компьютерного экспериментирования с комплексом SimCOSAR получены числовые данные, после анализа которых:

    1. признано, что они адекватно отражают характеристики протекающих процессов (так как очевидно, что смоделированные ситуации можно воссоздать в практических условиях);

    2. получены новые знания (например, составлен рейтинг вариантов) об относительной эффективности семи вариантов системы мониторинга в широком (54 ситуации) диапазоне рабочих нагрузок – сенсорную систему мониторинга рекомендуется внедрять для наблюдения за ИР, которые имеют интенсивность посещений большую, чем интенсивность изменений, а для наблюдения за ресурсами, у которых интенсивность изменений превышает интенсивность посещений, рекомендуется использование систем мониторинга основанных на модифицированных роботах;

    3. признано, что комплекс применим для получения числовых данных, которые необходимы при сравнении различных вариантов системы мониторинга.

  8. Полученные в эксперименте данные помогли принять решение о начале реализации сенсорной системы для мониторинга информационного поля Омского государственного университета.

Разработанные классификация, имитационные модели, программный комплекс могут быть использованы в задачах анализа производительности систем мониторинга при проектировании (для исследования новых вариантов комплекс можно легко модифицировать под условия новой задачи), эксплуатации (для этого в соответствующие таблицы базы данных комплекса необходимо внести данные о реальном информационном поле – характеристики страниц, журналы их изменений и запросов), научном исследовании, в процессе обучения.

Планируется дальнейшее развитие представляемой работы по следующим основным направлениям:

  • развитие средств сбора, накопления и обработки экспериментальных данных, например, в течение одного опыта необходим сбор данных о состоянии переменных не только в «периодическом» режиме, но и в режиме сохранения истории изменения значений;

  • развитие средств дистанционного управления ходом эксперимента;

  • исследование такого варианта сенсорной системы мониторинга, в котором при поступлении от сенсора «сигнала тревоги» изменившийся информационный ресурс ставится в очередь на скачивание.

Литература


  1. Айвазян С. А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных: Справ. изд. М.: Финансы и статистика, 1983. – 471 c.

  2. Браславский П.И. Методы повышения эффективности поиска научной информации (на материале Internet): Дис. канд. техн. наук: 05.13.16 / УГТУ. - Екатеринбург, 2000. – 161с.

  3. Бусленко В.Н. Автоматизация имитационного моделирования сложных систем. -М.: Наука, 1977. - 204с.

  4. Губанов В.А., Захаров В.В., Коваленко А.Н. Введение в системный анализ: Учебное пособие. - Л.: Издательство Ленинградского университета, 1988. - 232 с.

  5. Земсков И.А. Технологические аспекты повышения эффективности поиска информации в сети Интернет / Материалы VI рабочего совещания по электронным публикациям "El-Pub2001". Новосибирск, 2001. [Электронный ре-сурс]. Режим доступа: http://www-sbras.nsc.ru/ws/list_doc.dhtml?ru+28+27+S.

  6. Земсков И.А. О концепции индексации информационных ресурсов сети Интернет//Математические структуры и моделирование. Омск, 2001. Вып.8. С.126-131.

  7. Земсков И.А. Сбор информации о доступных ресурсах Интернет // Математические структуры и моделирование. Омск, 2002. Вып.9. С.168-178.

  8. Земсков И.А. Имитационное исследование концепций сбора информации для индексов поисковых систем // Математические структуры и моделирование. Омск, 2002. Вып.10. С.172-191.

  9. Земсков И.А. SIMCOSAR: Программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет // Математиче-ские структуры и моделирование. Омск, 2003. Вып.11. С.128-157.

  10. Земсков И.А. Мониторинг информационного состояния единой образова-тельной информационной среды / Труды X Всерос. научн.-метод. конф. Те-лематика’2003, 14-17 апреля 2003 г., Т.1. С.198-199.

  11. Земсков И.А. Об опыте создания комплекса имитационного моделирования концепций мониторинга информационного состояния Интернет / Образова-ние. Экология. Экономика. Информатика. Тезисы докладов VIII Междуна-родной конференции "Нелинейный мир". Астрахань, 2003. С.125.

  12. Земсков И.А. Имитационное моделирование концепций мониторинга ин-формационного состояния Интернет / Тезисы докладов XLI Международной научной студенческой конференции "Студент и научно-технический про-гресс". Новосибирск, 2003.

  13. Земсков И.А. Опыт разработки программного комплекса мониторинга ин-формационного состояния Веб-сервера // Материалы Всероссийской науч-ной молодежной конференции «Под знаком «Сигма». Омск, 2003. С.20.

  14. Земсков И.А. О результатах имитационного моделирования нескольких стратегий мониторинга информационного поля Интернет / Тезисы докладов IV Всероссийской конференции молодых ученых по математическому мо-делированию и информационным технологиям. Красноярск, 2003. C.26.

  15. Земсков И.А. Некоторые аспекты мониторинга информационных ресурсов Интернет / Тезисы докладов VI Всероссийской научной конференции моло-дых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения». Таганрог, 2003.

  16. Земсков И.А. Использование «сенсоров» для мониторинга состояния ин-формационного поля Интернет // Вестник Омского университета. 2003. Вып.3. С.143-144.

  17. Zemskov I. Using sensors in the web crawling process (Использование сенсоров в роцессе мониторинга Web). [Electronic resource]. Mode of access: http://arXiv.org/abs/cs/0312033.

  18. Иванова В.М. Случайные числа и их применение. – М.: Финансы и статистика, 1984. – 111с.

  19. Имитационное моделирование производственных систем/ Под общ. ред. чл.-кор. АН СССР Вавилова А.А. – М.: Машиностроение; Берлин: Техника, 1983. – 416с.

  20. Клейнен Дж. Статистические методы в имитационном моделировании. – Вып. 1. – М.: Статистика, 1978. – 221с.

  21. Марков А.А.Моделирование информационно-вычислительных процессов. Издательство МГТУ им. Н.Э. Баумана, 1999.

  22. Мартин Дж. Системный анализ передачи данных. – М:Мир, 1975.Т1.– 252с.

  23. Мартин Дж. Системный анализ передачи данных. – М:Мир, 1975.Т2.– 427с.

  24. Мартин Ф. Моделирование на вычислительных машинах. – М.: Советское радио, 1972. – 228с.

  25. Моделирование систем информатики. Тезисы докладов 2-й всесоюзной конференции. Новосибирск. 25-27 сентября 1990г.

  26. Некрестьянов И.С., Пантелеева Н. Системы текстового поиска для Веб. [Электронный ресурс]. Режим доступа: http://meta.math.spbu.ru/~nadejda/pa- pers/web-ir/web-ir.html.

  27. Некрестьянов И.С. Тематико-ориентированные методы информационного поиска: Дис. канд. физ.-мат. наук: 05.13.11 / СПбГУ. – СПб., 2000. [Электронный ресурс]. Режим доступа: http://meta.math.spbu.ru/~igor/thesis/-thesis.html.

  28. Основы теории вычислительных систем/ Майоров С.А., Новиков Г.И., Алиев Т.И. и др.; Под редакцией Майорова С.А. – М.: Высшая школа, 1978. – 408с.

  29. Основы моделирования сложных систем: Учебное пособие для студентов вузов / Под общ. ред. д-ра техн. Наук И.В, Кузьмина – Киев: Вища школа. Головное издательство. 1981. – 360с.

  30. Пранявичюс Г. Модели и методы исследования вычислительных систем. – Вильнюс: Мокслас, 1982. – 228с.

  31. Родионов А.С. Разработка систем дискретного имитационного моделирования информационных сетей: Автореф. дис. док. техн. наук. Новосибирск, 2002.

  32. Советов Б.Я., Яковлев С.А. Построение сетей интегрального обслуживания. – Л.: Машиностроение. Ленинградское отделение, 1990. – 332с.

  33. Советов Б.Я., Яковлев С.А. Моделирование систем: Учебник для вузов по спец. АСУ. – М.: Высш. шк., 1985. – 271с.

  34. Советов Б.Я., Яковлев С.А. Моделирование систем: Курсовое проектирование: Учебное пособие для вузов по спец. АСУ.– М.: Высш. шк., 1988. – 135с.

  35. Храмцов П. Информационно-поисковые системы Internet // Открытые системы, 1996, №3(17), С.46-49.

  36. Храмцов П. Моделирование и анализ работы информационно-поисковых систем Internet // Открытые системы, №6(20), С. 46-56.

  37. Цвиркун А.Д., Акинфиев В.К., Филиппов В.А. Имитационное моделирование в задачах синтеза структуры сложных систем (оптимизационно-имитационный подход). – М.: Наука, 1985. – 171с.

  38. Шеннон Р. Имитационное моделирование систем - искусство и наука. - М.: Мир, 1978. – 240с.

  39. Шрайбер Т. Дж. Моделирование на GPSS.-М.:Машиностроение,1980.– 592с.

  40. Ямпольский В.З., Комагоров В.П., Солдатов В.Н. Моделирование сетей передачи и обработки информации. – Новосибирск: Наука, 1986. – 135с.

  41. Arasu A., Cho J., Garcia-Molina H., Paepcke A., Raghavan S. Searching the Web. [Electronic resource]. Mode of access: http://rose.cs.ucla.edu/~cho/papers/cho-toit01.pdf.

  42. Baeza-Yates R., Castillo C. Balancing Volume, Quality and Freshness in Web Crawling. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/baeza-yates02balancing.html.

  43. Bowman M.C., Danzig P.B., Hardy D.R., Manber U., Schwartz M.F. The Harvest Information Discovery and Access System. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/bowman95harvest.html.

  44. Brandman O., Cho J., Garcia-Molina H., Shivakumar N. Crawler-Friendly Web Servers. [Electronic resource]. Mode of access: http://rose.cs.ucla.edu/~cho/-papers/cho-server.pdf.

  45. Brewington B.E., Cybenko G. Keeping up with the changing Web. [Electronic resource]. Mode of access: http://www.ece.eng.wayne.edu/~czxu/ece7995/reading/-keep-up-change.pdf.

  46. Brewington B.E. Observation of changing information sources. Phd thesis, Dartmouth College, June 2000. [Electronic resource]. Mode of access: http://citesee-r.nj.nec.com/brewington00observation.html.

  47. Brin S., Page L. The Anatomy of a Search Engine. [Electronic resource]. Mode of access: http://www7.scu.edu.au/programme/fullpapers/1921/com1921.htm.

  48. Broder A.Z., Najork M., Wiener J.L. Efficient URL Caching for World Wide Web Crawling. [Electronic resource]. Mode of access: http://www2003.org/cdro-m/papers/refereed/p096/p96-broder.html.

  49. Buyukkokten O., Garcia-Molina H., Paepcke A. Focused Web Searching with PDAs. [Electronic resource]. Mode of access: http://www-db.stanford.edu/~or-kut/papers/pb2.pdf.

  50. Castillo C. Cooperation schemes between a Web server and a Web search engine. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/588517.html.

  51. Castillo C., Baeza-Yates R. A New Model for Web Crawling. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/castillo01new.html.

  52. Cho J., Garcia-Molina H. Estimating Frequency of Change. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/cho00estimating.html.

  53. Cho J., Garcia-Molina H., Page L. Efficient Crawling Through URL Ordering. [Electronic resource]. Mode of access: http://rose.cs.ucla.edu/~cho/papers/cho-order.pdf.

  54. Cho J., Garcia-Molina H. The Evolution of the Web and Implications for an Incremental Crawler. [Electronic resource]. Mode of access: http://citeseer.nj.nec.c-om/cho00evolution.html.

  55. Cho J., Shivakumar N., Garcia-Molina H. Finding replicated web collections. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/cho99findin-g.html.

  56. Cho J. Crawling the Web: Discovery and maintenance of large-scale web data. PhD thesis, Department of Computer Science, Stanford University, 2001. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/cho01crawling.html.

  57. Chakrabartiy S., Punera K., Subramanyam M. Accelerated Focused Crawling through Online Relevance Feedback. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/chakrabarti02accelerated.html.

  58. Coffman E.G. Jr., Liu Z., Weber R.R. Optimal Robot Scheduling for Web Search Engines. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/coffm-an97optimal.html.

  59. Cooper C., Frieze A. Crawling on web graphs. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/cooper02crawling.html.

  60. Diligenti M., Coetzee F.M., Lawrence S., Giles C.L., Gori M. Focused Crawling Using Context Graphs. [Electronic resource]. Mode of access: http://www.nec-i.nec.com/homepages/coetzee/focusCrawler.pdf.

  61. Douglis F., Feldmann A., Krishnamurthy B. Rate of Change and other Metrics: a Live Study of the World Wide Web. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/douglis97rate.html.

  62. Eichmann D. Ethical Web Agents. [Electronic resource]. Mode of access: http://mingo.info-science.uiowa.edu/eichmann/www-f94/ethics/ethics.ps.

  63. Ester M., Groß M., Kriegel H. Focused Web Crawling: A Generic Framework for Specifying the User Interest and for Adaptive Crawling Strategies. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/456508.html.

  64. Fiedler J., Hammer J. Mobile Web crawling. [Electronic resource]. Mode of access: http://www.cise.ufl.edu/tech-reports/tech-reports/tr98-abstracts.shtml.

  65. Fox A., Brewer E.A. Harvest, Yield, and Scalable Tolerant Systems. [Electronic resource]. Mode of access: http://www.cs.ucsb.edu/~tve/cs290i-sp01/papers/fox-99harvest.pdf.

  66. Géry M. Considering HyperDocuments and Context for Indexing the Web. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/567417.html.

  67. Glover E.J. Using extra-topical user preferences to improve web-based metasearch: PhD thesis, University of Michigan, 2001. [Electronic resource]. Mode of access: http://www.webir.org/resources/phd/Glover_2001.pdf.

  68. Green J.W. HYPERDOG - Up To Date Web Monitoring Through Metacomputers. [Electronic resource]. Mode of access: http://www.cnds.jhu.edu/pub/paper-s/hyperdog.pdf.

  69. Gupta V., Campbell R. Competitive algorithms for asynchronous update propagation in mobile computing and for search engine freshness. [Electronic resource]. Mode of access: http://www-sal.cs.uiuc.edu/~vsgupta/REPORTS/competitive-al-gos.ps.gz.

  70. Gupta V., Campbell R. Internet search engine freshness by web server help. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/gupta00inter-net.html.

  71. Hammer J., Fiedler J. Using Mobile Crawlers to Search the Web Efficiently. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/hammer00usi-ng.html.

  72. Hinze A., Faensen D. A Unified Model of Internet Scale Alerting Services. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/hinze99unified.html.

  73. Koch T., Ardo A., Brumer B., Lundbr S. The building and maintenance of robot based internet search services - A review of current indexing and data collection methods. [Electronic resource]. Mode of access: http://www.ub.lu.se/desire/rada-r/reports/D3.11v0.3/tot.html.

  74. Kumar R., Raghavan P., Rajagopalan S., Sivakumar D., Tomkins A.S., Upfal E. The Web as a graph. [Electronic resource]. Mode of access: http://citeseer.nj.ne-c.com/290635.html.

  75. Lam S. The Overview of Web Search Engines. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/lam01overview.html.

  76. Lam W., Garcia-Molina H. Multicasting a Web Repository. [Electronic resource]. Mode of access: http://dbpubs.stanford.edu/pub/2001-55.

  77. Leung S.A., Perl S.E., Stata R., Wiener J.L. Towards Web-scale Web Archaeology. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/leung01-towards.html.

  78. Lim L., Wang M., Padmanabhan S., Vitter J.S., Agarwal R. Characterizing Web Document Change. [Electronic resource]. Mode of access: http://citeseer.nj.ne-c.com/lim01characterizing.html.

  79. McLearn G. L. Autonomous Cooperating Web Crawlers / Master's thesis. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/mclearn02autonomo-us.html.

  80. Melnik S., Raghavan S., Yang B., Garcia-Molina H. Building a Distributed Full-Text Index for the Web. [Electronic resource]. Mode of access: http://www-db.s-tanford.edu/~rsram/pubs/www10/www10paper.pdf.

  81. Menczer F., Pant G., Srinivasan P., Ruiz M.E. Evaluating Topic-Driven Web Crawlers. [Electronic resource]. Mode of access: http://dollar.biz.uiowa.ed-u/~fil/Papers/sigir-01.pdf.

  82. Najork M., Heydon A. High-Performance Web Crawling. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/najork01highperformance.html.

  83. Najork M., Wiener J.L. Breadth-First Search Crawling Yields High-Quality Pages. [Electronic resource]. Mode of access: http://www10.org/cdrom/paper-s/pdf/p208.pdf.

  84. Pant G., Bradshaw S., Menczer F. Search Engine-Crawler Symbiosis. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/pant03search.html.

  85. Pant G., Menczer F. Topical Crawling for Business Intelligence. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/568289.html.

  86. Pant G., Srinivasan P., Menczer F. Crawling the Web. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/579280.html.

  87. Raghavan S., Garcia-Molina H. Crawling the Hidden Web. [Electronic resource]. Mode of access: http://dbpubs.stanford.edu/pub/2000-36.

  88. Rennie J., McCallum A.K. Using Reinforcement Learning to Spider the Web Efficiently. [Electronic resource]. Mode of access: http://www.ai.mit.edu/~jrenn-ie/papers/icml99-text.pdf.

  89. Selberg, E.W. Towards comprehensive Web Search. PhD thesis, University of Washington, 1999. [Electronic resource]. Mode of access: http://citeseer.nj.ne-c.com/selberg99towards.html.

  90. Shivakumar N., Garcia-Molina H. Finding near-replicas of documents on the web. [Electronic resource]. Mode of access: http://www-db.stanford.edu/pub/pa-pers/web-webdb98.ps.

  91. Shkapenyuk V., Suel T. Design and Implementation of a High-Performance Distributed Web Crawler. [Electronic resource]. Mode of access: http://cis.poly.ed-u/tr/tr-cis-2001-03.pdf.

  92. Silveira R., Filho S. The Mobile Agents Paradigm. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/437842.html.

  93. Srinivasan P., Mitchell J., Bodenreider O., Pant G., Menczer F. Web Crawling Agents for Retrieving Biomedical Information. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/srinivasan02web.html.

  94. Srinivasan P., Pant G., Menczer F. Target Seeking Crawlers and their Topical Performance. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/sri-nivasan02target.html.

  95. Talim J., Liu Z., Nain P., Coffman E.G. Jr. Optimizing the Number of Robots for Web Search Engines. [Electronic resource]. Mode of access: http://citeseer.n-j.nec.com/talim01optimizing.html.

  96. Wims B., Xu C. TRAVELER: A Mobile Agent Based Infrastructure for Wide Area Parallel Computing. [Electronic resource]. Mode of access: http://www.pdc-l.eng.wayne.edu/~czxu/paper/asa-traveler.ps.

  97. Yang Y., Rana O.F., Georgousopoulos C. Mobile Agents and the SARA Digital Library. [Electronic resource]. Mode of access: http://citeseer.nj.nec.com/yang00-mobile.html.

Приложение 1.



<< предыдущая страница   следующая страница >>