登陆注册
78496200000239

第239章 幻大数据压缩研究

任何一个随机大数据,都有两种可能,一种是可以用极少数的算式就能得出,比如1024的1024次方;另一种是可以用极少数的算式就能近似得出,也就是用一个算式,能够得出重合率达到百分之八十的数值,只需要一些不重合区域的表达式就可以还原。

按照进制,分为十进制大数据,十六进制大数据,二进制大数据。

数据的进制可以转换,而当数据足够大时,进制的转换会导致运算资源占用,也就需要有对应的进制的数据压缩方法。

二进制无理数专用处理器:生成二进制的圆周率,生成二进制的黄金分割率,生成任意正整数的以自身为开方数的数值,阶除——也就是1除以2除以3除以4除以5一直到特定中止位置的取小数部分。

随机重合排列关系专用处理器:在二进制中,随机找出一个无理数(数据卡尺)和一个有理数数据(需要被转化为最短表达式的原始数据)的数据重合部分,把这些重合表达为最短表达式,当然,一个原始数据不可能只采用一个数据卡尺。

发展下去,大数据就需要有专用的数据卡尺服务器,也就是小的数据卡尺服务器,可以常备1000多个数据卡尺,而大的数据卡尺服务器,可以常备千万亿级别的数据卡尺。

数据卡尺越多,越容易生成最短表达式。

数据卡尺的用法:

一元数据卡尺:把原始数据和数据卡尺进行比对,找出其中重合部分,把重合部分记录为数据卡尺引用段落表达式。

二元数据卡尺:把原始数据和两个数据卡尺进行比对,找出其中重合部分,把重合部分记录为数据卡尺引用段落表达式,当不重合出现时,就对数据卡尺进行偏移运算,准备从两个数据卡尺的偏移不进位加法或不进位减法中生成能和原始数据重合的段落,从而只需要记录偏移运算(两个数据卡尺的偏移数据,开始引用段落起点和结束引用段落终点)和所采用的是不进位加法还是不进位减法。

三元数据卡尺:把原始数据同长度等分为足够短的有限位段落,从而让重合率提高,可以把自身作为数据卡尺,也就是先生成1GB的还原数据,然后以这1GB的数据作为数据卡尺,以此类推。

快速压缩方式:常用于紧急数据转移。

把大数据同长度等分,然后求出其平均数,设立一个个的分组,比如第一个分组,小于4096而大于512的数,出现过多少次……,然后对一个个数据分组进行校验码记录,这种方式优点是不需要动用数据卡尺,也就不需要连接数据卡尺服务器,保密性相对较好,本身可以采用单机方式运作,可用于极限情况下的数据转移,缺点是后期还原难度相对引用数据卡尺要高,后期数据还原需要占用足够多的穷举运算资源。

一般情况下,都是采用快速压缩方式,作为备份的数据纠错或数据验算区域,作为一种保险方式,避免压缩文件被部分篡改或传输错误导致的数据不可用。

同类推荐
  • 皇炎

    皇炎

    一个为了爱而沦落的人,看他如何重新获得新生...
  • 我的穿越之旅巅峰人生

    我的穿越之旅巅峰人生

    创作小说之时,幻想本源暴动,触动了幻想本源,因此从中得到幻想本源,就此蒋默成开始穿越之旅,在武侠世界中慢慢成长走向巅峰人生。
  • 叶尖上的童话

    叶尖上的童话

    这是一个脑洞大开,激情无限的幻想类故事,集穿越、灵异、科幻、玄幻于一身,很多都是做梦的时候梦到的场景。也不知道有没有人看,有看到觉得还过得去眼的宝贝,求收藏,求推荐!!么么哒!
  • 诸天万道修炼空间

    诸天万道修炼空间

    一个游戏设计师在打瞌睡时,与自己设计的游戏穿越回二十年前,自己还是一个美团送外卖员时。在空白的游戏空间中,创造了诸天万道修炼城,人界,地仙界,仙界,灵界,冥界,魔界,妖界,神界,……邀请诸天万界各人物主角生灵等,一齐逆天玩转诸天万界。
  • 兵工厂穿越之异界

    兵工厂穿越之异界

    一个小宅男级别的人物,有幸成为一座正在试验中的全智能化的兵工厂的库管,本想过着隐姓埋名的生活,但在偶然的情况下,带着整个兵工厂一起穿越到异世,并且在异界重生,从此以后他走上了复仇与争权夺利的道路。
热门推荐
  • 醉爱修仙

    醉爱修仙

    年少轻狂楚浩天,七年苦修结因缘。翠峰山上降朱雀,火崖谷中饮兽血。孤身仗剑闯荒野,醉生梦死斩情冤。把酒当歌仰天笑,浪迹天涯谁人怜?至古修道难成仙,红尘俗事总绊牵。敢问天尊何所乐?无欲无爱枉人间!为何修道?有人为斩妖除魔,扬名立万!有人为长生不死,渡化众生!我只爱修道修仙中那段儿女情长的江湖情!如果失去此生执爱,扬名立万又如何,长生不死又怎样!还不是注定要痛苦终生!(无名出品,必须精品,保证百万,每日五更,放心收藏,跪求推荐!)
  • 三界重生

    三界重生

    中华大地流传,盘古开天辟地,女娲造人补天,洪荒魔兽横行。可是,神从何来?魔从何来?天地存在之前,是一个怎样的世界?身为战神之后的柳如风,本只想着怎么去守护自己的一切,却逐渐翻开了史前的历史……
  • 天行

    天行

    号称“北辰骑神”的天才玩家以自创的“牧马冲锋流”战术击败了国服第一弓手北冥雪,被誉为天纵战榜第一骑士的他,却受到小人排挤,最终离开了效力已久的银狐俱乐部。是沉沦,还是再次崛起?恰逢其时,月恒集团第四款游戏“天行”正式上线,虚拟世界再起风云!
  • 天行

    天行

    号称“北辰骑神”的天才玩家以自创的“牧马冲锋流”战术击败了国服第一弓手北冥雪,被誉为天纵战榜第一骑士的他,却受到小人排挤,最终离开了效力已久的银狐俱乐部。是沉沦,还是再次崛起?恰逢其时,月恒集团第四款游戏“天行”正式上线,虚拟世界再起风云!
  • 不懂爱情的爱情

    不懂爱情的爱情

    已经两年就是忘不了他,总想去找他,一直认为时间长了会渐渐忘记的,但是记忆就像电影一样一幕幕的播放着,终于有一天李月见到了那个让她梦回牵绕的他,但是他已经不是那个她一个小小职员可以消享的男人了,已经成为了行业里一代霸主···············
  • 小岛的主人

    小岛的主人

    超级系统,一次错误的选择,主角开启自己的‘种田’之路。继承小岛,辉煌之路等待主角开启,诸位看官请和‘衰老’一起努力筑造传奇。
  • 择林之深择海之深

    择林之深择海之深

    因为一次意外,最后一条异能鱼竺箖认了受众人唾弃的素清为主人,从此一路沉沦,被人折磨得都快忘了自己还有异能,终于有一天,主人带着她强大了起来,开始了装逼逆袭之路,成为了异能界的大人物,可有一天,突然冒出两个人,称是主人的弟弟,这俩货还联手折磨死了主人和自己,可没想到,一人一鱼竟然穿越了!于是乎,主人带着她在四海八荒开始了装逼,得了,没成想,出现了意外,主人走了!孤苦伶仃的竺箖休养生息一千年,准备重操旧业,可又出现了意外,突然有个隐藏的大boss说一见钟情自己怎么办?急,在线急!
  • 浅夏无忧

    浅夏无忧

    再过半个夏季,再看半个青春,从前大大咧咧的俊朗少年已在记忆里渐行渐远,模糊的背影看不出他的爱,她爱的雨季不再来,因为没了他,十字路口的他们,是再也不见,是阴差阳错,逆向而行,捧着滚烫的泪水,等来的竟是离别吗......
  • 网游之神临梦幻

    网游之神临梦幻

    方游,一个只想在梦幻中赚钱孝顺姐姐的孤儿,在命运的推波助澜下,走上了一条与众不同的道路,看他如何在梦幻世界中傲笑众神,俯瞰众生!梦幻,开创时代的虚拟游戏。梦幻一个真实的世界,神与神,神与人,人与人,一切都从这里开始。
  • 三生三世,许谁桃花

    三生三世,许谁桃花

    一千万年前,凤凰玄凤与金龙苍华出世,被定为天命之身,旨在除魔卫道。一次巧合,玄凤却与蛟龙赤颜在清池相遇,一见钟情……妖族作乱,妖王暗中使计,将赤颜体内魔魂唤醒,赤颜成魔,作乱天地。玄凤与苍华领十万正道之士除魔,却因玄凤不忍杀赤颜,十万正道之士惨死于天夙河岸,成为天地不容的十万冥魂......