`
ldd600
  • 浏览: 103577 次
  • 性别: Icon_minigender_1
  • 来自: 上海
博客专栏
47bb354f-8b5f-3ea6-a206-c7ead38c741c
Hyperic插件开发不完...
浏览量:11255
社区版块
存档分类
最新评论
文章列表
一、        架构图 那里搜网络爬虫框架主要针对电子商务网站进行数据爬取,分析,存储,索引。   爬虫:爬虫负责爬取,解析,处理电子商务网站的网页的内容 数据库:存储商品信息 索引:商品的全文搜索索引 Task队列:需要爬取的网页列表 Visited表
  (1)    配置plugin descriptor Service可以引用server的配置。Server相当于service的parent。 <?xml version="1.0"?> <plugin package="org.hyperic.hq.plugin.monitor">     <classpath>     <include name="pdk/lib/mx4j"/>   </classpath>
1.      hyperic SQL 插件 SQL plugin功能就是定义一个查询,将DB中的值不停的查出来,收集显示,报警。 <plugin>   <service name="testSql">       <!-- config defined by the sqlquery-plugin -->     <config include="sql"/>
1.      hyperic JMX插件 作为java为服务端语言的web项目,JMX MBean是监控管理很好的选择。Hyperic可以很容易地mbean集成进来。Hyperic可以自动发现定义好的Mbean服务类型的服务。   JMX监控插件开发步骤 (1)     设计好自己所要监控的业务逻辑,开发Mbean
1.      Hyperic插件 Hyperic是插件式的。 从层次模块划分:配置(product plugin),服务发现(detector),数据收集也称为monitor(collector, measurement),事件跟踪(track),报警,处理(control),UI(HQU)。 从功能模块划分:JMX, Script,SQL Query,SNMP等插件,往往一个功能模块包含多个层次。
  1.      hyperic简介 Hyperic HQ是一个基于java的监控软件,由一个中心监控服务器和一个或多个远程代理组成,远程代理用来向服务器报告节点信息。         Hyperic的特点 1.      分布式架构 2.     
上个星期用redis,protobuf实现了一个轻量级的mq。过程中尝试用了spring-data-redis,目前是1.0.0.2.M2-SNAPSHOT版本,貌似之前已经release了一个版本。   优点 1.目前redis java客户端有多个:如jredis,jedis。用adapter的方式屏蔽了底层实现。让 ...
  用utf-8编码的网站解决gbk编码请求和应答的乱码问题   一.目前现状 server.xml <Connector URIEncoding="utf-8" connectionTimeout="200000" port="7080" protocol="HTTP/1.1" redirectPort="8443" useBodyEncodingForURI="true"/>     character filter do ...
   1.       背景 mongoDB版本1.8.1   collection stats > db.user.gift.stats() {         "ns" : "statgame.user.gift",         "count" : 650,         "size" : 162804,         "avgObjSize" : 250.46769230769232,         "st ...
背景   用户填完提交表单,后台验证数据。验证通过,前端JS在页面加载时自动post并打开一个新的页面,新的页面时第三方支付平台的页面。验证出错,在当前页面显示错误提示。   #if(canPost)   <script> $("#payForm").submit() </script> #end   问题 每次post时都会被浏览器block,生成了很多无用的支付订单。经研究尝试发现是因为没有点击任何页面组件,页面加载时自动提交打开新窗口的问题,改为AJAX验证,验证通过,返回后打开新页面,同样也被block。   解决 ...
  统计服务对业务数据进行迁移,分析。   外部迁移: 业务数据存储于Mysql中,Mysql存储的数据会进行垂直,水平切分,业务数据会存在于多个mysql表中,数据分散使得分析程序写起来头大。并且mysql的单表存储量有限,扩展起来也不容易,要定期做数据迁移。于是我们将mysql中的数据定时地迁移到mongoDB中,并清理mysql中的数据。   外部迁移的程序是通用的:全量迁移,增量迁移(insert,update)。迁移时是并发迁移的,可以根据业务ID或者时间分片。比如一个表中主要的操作是insert,这时他时间段内(上次迁移的结束时间到这次迁移的时间)ID基本是连续增长的,所 ...
大家又没有看到。涌啊。
  第 1 页:   MongoDB Coming 第 2 页:大纲 大纲 简介 Why Mongo Mongo 特性 Mongo 用法 Mongo 架构 MysqlMongo Mongo java Java DSL ¬
nginx:在nginx作了反向代理将pay.xxx.com映射到了hostname:80/pay   location ^~ / { proxy_pass http://hostname:80/pay/; }     tomcat: 在tomcat中获取requestURL打出来的是http://pay.xxx.com/pay/a/b.html, 多了一个pay,tomcat里面应该是自己拼装了requestURI。这样的requestURL重定向后,再经过nginx访问就会是http://pay.xxx.com/pay/pay/a/b. ...
1.延迟删除 一条数据会被很多数据引用。当被引用的数据删除时,引用的数据也需要删除。这时候可以用延迟删除的方法。 例子: 用户发表的帖子,可以被转发到很多地方。所有转发过的贴都是对原帖的引用,用户接着把他的原帖删除,所有被转发过的帖子也需要进行清理。我们采用的是延迟删除的方法,用户操作时,先直接删除原帖,被转发的贴,在点击时,会到原帖加载内容,这时发现原帖已经不存在,此时这条被点击的转发贴也会被删除。 当用户访问引用的数据时,发现被引用的数据不存在,此时删除引用的数据。 2.线下删除 一条数据关联到很多数据。但这条数据是所有其他数据的入口。 例子: 一个扣扣群里,会有很多内容,相册,图片等等 ...
Global site tag (gtag.js) - Google Analytics