亚洲精品亚洲人成在线观看麻豆,在线欧美视频一区,亚洲国产精品一区二区动图,色综合久久丁香婷婷

              當(dāng)前位置:首頁 > 百科知識 > 工控 > 正文

              Redis

              Redis是一個開源的使用ANSI C語言編寫、支持網(wǎng)絡(luò)、可基于內(nèi)存亦可持久化的日志型、Key-Value數(shù)據(jù)庫,并提供多種語言的API。從2010年3月15日起,Redis的開發(fā)工作由VMware主持。從2013年5月開始,Redis的開發(fā)由Pivotal贊助

              定義

                redis是一個key-value存儲系統(tǒng)。和Memcached類似,它支持存儲的value類型相對更多,包括string(字符串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash(哈希類型)。這些數(shù)據(jù)類型都支持push/pop、add/remove及取交集并集和差集及更豐富的操作,而且這些操作都是原子性的。在此基礎(chǔ)上,redis支持各種不同方式的排序。與memcached一樣,為了保證效率,數(shù)據(jù)都是緩存在內(nèi)存中。區(qū)別的是redis會周期性的把更新的數(shù)據(jù)寫入磁盤或者把修改操作寫入追加的記錄文件,并且在此基礎(chǔ)上實現(xiàn)了master-slave(主從)同步。

                Redis 是一個高性能的key-value數(shù)據(jù)庫。 redis的出現(xiàn),很大程度補(bǔ)償了memcached這類key/value存儲的不足,在部 分場合可以對關(guān)系數(shù)據(jù)庫起到很好的補(bǔ)充作用。它提供了Java,C/C++,C#,PHP,JavaScript,Perl,Object-C,Python,Ruby,Erlang等客戶端,使用很方便。[1]

                Redis支持主從同步。數(shù)據(jù)可以從主服務(wù)器向任意數(shù)量的從服務(wù)器上同步,從服務(wù)器可以是關(guān)聯(lián)其他從服務(wù)器的主服務(wù)器。這使得Redis可執(zhí)行單層樹復(fù)制。存盤可以有意無意的對數(shù)據(jù)進(jìn)行寫操作。由于完全實現(xiàn)了發(fā)布/訂閱機(jī)制,使得從數(shù)據(jù)庫在任何地方同步樹時,可訂閱一個頻道并接收主服務(wù)器完整的消息發(fā)布記錄。同步對讀取操作的可擴(kuò)展性和數(shù)據(jù)冗余很有幫助。

                redis的官網(wǎng)地址,非常好記,是redis.io。(特意查了一下,域名后綴io屬于國家域名,是british Indian Ocean territory,即英屬印度洋領(lǐng)地)

                目前,Vmware在資助著redis項目的開發(fā)和維護(hù)。

              作者

                redis[2] 的作者,叫Salvatore Sanfilippo,來自意大利的西西里島,現(xiàn)在居住在卡塔尼亞。目前供職于Pivotal公司。他使用的網(wǎng)名是antirez。

              性能

                下面是官方的bench-mark數(shù)據(jù):[1]

                測試完成了50個并發(fā)執(zhí)行100000個請求。

                設(shè)置和獲取的值是一個256字節(jié)字符串。

                Linux box是運行Linux 2.6,這是X3320 Xeon 2.5 ghz。

                文本執(zhí)行使用loopback接口(127.0.0.1)。

                結(jié)果:讀的速度是110000次/s,寫的速度是81000次/s 。

              支持語言

                許多語言都包含Redis支持,包括:[1]

                ActionScript

                C

                C++

                C#

                Clojure

                Common Lisp

                Dart

                Erlang

                Go

                Haskell

                Haxe

                Io

                Java

                Node.js

                Lua

                Objective-C

                Perl

                PHP

                Pure Data

                Python

                R

                Ruby

                Scala

                Smalltalk

                Tcl

                數(shù)據(jù)模型編輯

                Redis的外圍由一個鍵、值映射的字典構(gòu)成。與其他非關(guān)系型數(shù)據(jù)庫主要不同在于:Redis中值的類型[1] 不僅限于字符串,還支持如下抽象數(shù)據(jù)類型:

                字符串列表

                無序不重復(fù)的字符串集合

                有序不重復(fù)的字符串集合

                鍵、值都為字符串的哈希表[1]

                值的類型決定了值本身支持的操作。Redis支持不同無序、有序的列表,無序、有序的集合間的交集、并集等高級服務(wù)器端原子操作。

              數(shù)據(jù)結(jié)構(gòu)

                redis提供五種數(shù)據(jù)類型:string,hash,list,set及zset(sorted set)。

                string(字符串)

                string是最簡單的類型,你可以理解成與Memcached一模一樣的類型,一個key對應(yīng)一個value,其上支持的操作與Memcached的操作類似。但它的功能更豐富。

                redis采用結(jié)構(gòu)sdshdr和sds封裝了字符串,字符串相關(guān)的操作實現(xiàn)在源文件sds.h/sds.c中。

                數(shù)據(jù)結(jié)構(gòu)定義如下:

                typedefchar*sds;

                structsdshdr{

                longlen;

                longfree;

                charbuf[];

                };

                list(雙向鏈表)

                list是一個鏈表結(jié)構(gòu),主要功能是push、pop、獲取一個范圍的所有值等等。操作中key理解為鏈表的名字。

                對list的定義和實現(xiàn)在源文件adlist.h/adlist.c,相關(guān)的數(shù)據(jù)結(jié)構(gòu)定義如下:

                //list迭代器

                typedefstructlistIter{

                listNode*next;

                intdirection;

                }listIter;

                //list數(shù)據(jù)結(jié)構(gòu)

                typedefstructlist{

                listNode*head;

                listNode*tail;

                void*(*dup)(void*ptr);

                void(*free)(void*ptr);

                int(*match)(void*ptr,void*key);

                unsignedintlen;

                listIteriter;

                }list;

                dict(hash表)

                set是集合,和我們數(shù)學(xué)中的集合概念相似,對集合的操作有添加刪除元素,有對多個集合求交并差等操作。操作中key理解為集合的名字。

                在源文件dict.h/dict.c中實現(xiàn)了hashtable的操作,數(shù)據(jù)結(jié)構(gòu)的定義如下:

                //dict中的元素項

                typedefstructdictEntry{

                void*key;

                void*val;

                structdictEntry*next;

                }dictEntry;

                //dict相關(guān)配置函數(shù)

                typedefstructdictType{

                unsignedint(*hashFunction)(constvoid*key);

                void*(*keyDup)(void*privdata,constvoid*key);

                void*(*valDup)(void*privdata,constvoid*obj);

                int(*keyCompare)(void*privdata,constvoid*key1,constvoid*key2);

                void(*keyDestructor)(void*privdata,void*key);

                void(*valDestructor)(void*privdata,void*obj);

                }dictType;

                //dict定義

                typedefstructdict{

                dictEntry**table;

                dictType*type;

                unsignedlongsize;

                unsignedlongsizemask;

                unsignedlongused;

                void*privdata;

                }dict;

                //dict迭代器

                typedefstructdictIterator{

                dict*ht;

                intindex;

                dictEntry*entry,*nextEntry;

                }dictIterator;

                dict中table為dictEntry指針的數(shù)組,數(shù)組中每個成員為hash值相同元素的單向鏈表。set是在dict的基礎(chǔ)上實現(xiàn)的,指定了key的比較函數(shù)為dictEncObjKeyCompare,若key相等則不再插入。

                zset(排序set)

                zset是set的一個升級版本,他在set的基礎(chǔ)上增加了一個順序?qū)傩?,這一屬性在添加修改元素的時候可以指定,每次指定后,zset會自動重新按新的值調(diào)整順序??梢岳斫饬擞袃闪械膍ysql表,一列存value,一列存順序。操作中key理解為zset的名字。

                typedefstructzskiplistNode{

                structzskiplistNode**forward;

                structzskiplistNode*backward;

                doublescore;

                robj*obj;

                }zskiplistNode;

                typedefstructzskiplist{

                structzskiplistNode*header,*tail;

                unsignedlonglength;

                intlevel;

                }zskiplist;

                typedefstructzset{

                dict*dict;

                zskiplist*zsl;

                }zset;

                zset利用dict維護(hù)key -> value的映射關(guān)系,用zsl(zskiplist)保存value的有序關(guān)系。zsl實際是叉數(shù)

                不穩(wěn)定的多叉樹,每條鏈上的元素從根節(jié)點到葉子節(jié)點保持升序排序。

              常用命令

                就DB來說,Redis成績已經(jīng)很驚人了,且不說memcachedb和Tokyo Cabinet之流,就說原版的memcached,速度似乎也只能達(dá)到這個級別。Redis根本是使用內(nèi)存存儲,持久化的關(guān)鍵是這三條指令:SAVE BGSAVE LASTSAVE …

                當(dāng)接收到SAVE指令的時候,Redis就會dump數(shù)據(jù)到一個文件里面。

                值得一說的是它的獨家功能:存儲列表和集合,這是它與mc之流相比更有競爭力的地方。

                不介紹mc里面已經(jīng)有的東東,只列出特殊的:

                TYPE key — 用來獲取某key的類型

                KEYS pattern — 匹配所有符合模式的key,比如KEYS * 就列出所有的key了,當(dāng)然,復(fù)雜度O(n)

                RANDOMKEY - 返回隨機(jī)的一個key

                RENAME oldkeynewkey— key也可以改名

                列表操作,精華

                RPUSH key string — 將某個值加入到一個key列表末尾

                LPUSH key string — 將某個值加入到一個key列表頭部

                LLEN key — 列表長度

                LRANGE key start end — 返回列表中某個范圍的值,相當(dāng)于mysql里面的分頁查詢那樣

                LTRIM key start end — 只保留列表中某個范圍的值

                LINDEX key index — 獲取列表中特定索引號的值,要注意是O(n)復(fù)雜度

                LSET key index value — 設(shè)置列表中某個位置的值

                LPOP key

                RPOP key — 和上面的LPOP一樣,就是類似棧或隊列的那種取頭取尾指令,可以當(dāng)成消息隊列來使用了

                集合操作

                SADD key member — 增加元素

                SREM key member — 刪除元素

                SCARD key — 返回集合大小

                SISMEMBER key member — 判斷某個值是否在集合中

                SINTER key1 key2 ... keyN — 獲取多個集合的交集元素

                SMEMBERS key — 列出集合的所有元素

                還有Multiple DB的命令,可以更換db,數(shù)據(jù)可以隔離開,默認(rèn)是存放在DB 0。

              存儲

                redis使用了兩種文件格式:全量數(shù)據(jù)和增量請求。

                全量數(shù)據(jù)格式是把內(nèi)存中的數(shù)據(jù)寫入磁盤,便于下次讀取文件進(jìn)行加載;

                增量請求文件則是把內(nèi)存中的數(shù)據(jù)序列化為操作請求,用于讀取文件進(jìn)行replay得到數(shù)據(jù),序列化的操作包括SET、RPUSH、SADD、ZADD。

                redis的存儲分為內(nèi)存存儲、磁盤存儲和log文件三部分,配置文件中有三個參數(shù)對其進(jìn)行配置。

                save seconds updates,save配置,指出在多長時間內(nèi),有多少次更新操作,就將數(shù)據(jù)同步到數(shù)據(jù)文件。這個可以多個條件配合,比如默認(rèn)配置文件中的設(shè)置,就設(shè)置了三個條件。

                appendonly yes/no ,appendonly配置,指出是否在每次更新操作后進(jìn)行日志記錄,如果不開啟,可能會在斷電時導(dǎo)致一段時間內(nèi)的數(shù)據(jù)丟失。因為redis本身同步數(shù)據(jù)文件是按上面的save條件來同步的,所以有的數(shù)據(jù)會在一段時間內(nèi)只存在于內(nèi)存中。

                appendfsync no/always/everysec ,appendfsync配置,no表示等操作系統(tǒng)進(jìn)行數(shù)據(jù)緩存同步到磁盤,always表示每次更新操作后手動調(diào)用fsync()將數(shù)據(jù)寫到磁盤,everysec表示每秒同步一次。

              安裝

                獲取源碼、解壓、進(jìn)入源碼目錄

                使用wget工具等下載:

                wget (百度不讓用鏈接)

                tar xzf redis-1.2.6.tar.gz

                cd redis-1.2.6。

                編譯生成可執(zhí)行文件

                由于makefile文件已經(jīng)寫好,我們只需要直接在源碼目錄執(zhí)行make命令進(jìn)行編譯即可:

                make

                make-test

                sudo make install

                make命令執(zhí)行完成后,會在當(dāng)前目錄下生成本個可執(zhí)行文件,分別是redis-server、redis-cli、redis-benchmark、redis-stat,它們的作用如下:

                redis-server:Redis服務(wù)器的daemon啟動程序

                redis-cli:Redis命令行操作工具。當(dāng)然,你也可以用telnet根據(jù)其純文本協(xié)議來操作

                redis-benchmark:Redis性能測試工具,測試Redis在你的系統(tǒng)及你的配置下的讀寫性能

                redis-stat:Redis狀態(tài)檢測工具,可以檢測Redis當(dāng)前狀態(tài)參數(shù)及延遲狀況。

                建立Redis目錄(非必須)

                這個過程不是必須的,只是為了將Redis相關(guān)的資源統(tǒng)一管理而進(jìn)行的操作。

                執(zhí)行以下命令建立相關(guān)目錄并拷貝相關(guān)文件至目錄中:

                sudo -s

                mkdir -p /usr/local/redis/bin

                mkdir -p /usr/local/redis/etc

                mkdir -p /usr/local/redis/var

                cp redis-server redis-cli redis-benchmark redis-stat /usr/local/redis/bin/

                cp redis.conf /usr/local/redis/etc/

                配置參數(shù)

                在我們成功安裝Redis后,我們直接執(zhí)行redis-server即可運行Redis,此時它是按照默認(rèn)配置來運行的(默認(rèn)配置甚至不是后臺運行)。我們希望Redis按我們的要求運行,則我們需要修改配置文件,Redis的配置文件就是我們上面第二個cp操作的redis.conf文件,它被我們拷貝到了/usr/local/redis/etc/目錄下。修改它就可以配置我們的server了。如何修改?下面是redis.conf的主要配置參數(shù)的意義:

                daemonize:是否以后臺daemon方式運行

                pidfile:pid文件位置

                port:監(jiān)聽的端口號

                timeout:請求超時時間

                loglevel:log信息級別

                logfile:log文件位置

                databases:開啟數(shù)據(jù)庫的數(shù)量

                save * *:保存快照的頻率,第一個*表示多長時間,第二個*表示執(zhí)行多少次寫操作。在一定時間內(nèi)執(zhí)行一定數(shù)量的寫操作時,自動保存快照。可設(shè)置多個條件。

                rdbcompression:是否使用壓縮

                dbfilename:數(shù)據(jù)快照文件名(只是文件名,不包括目錄)

                dir:數(shù)據(jù)快照的保存目錄(這個是目錄)

                appendonly:是否開啟appendonlylog,開啟的話每次寫操作會記一條log,這會提高數(shù)據(jù)抗風(fēng)險能力,但影響效率。

                appendfsync:appendonlylog如何同步到磁盤(三個選項,分別是每次寫都強(qiáng)制調(diào)用fsync、每秒啟用一次fsync、不調(diào)用fsync等待系統(tǒng)自己同步)

                下面是一個略做修改后的配置文件內(nèi)容:

                daemonizeyes

                pidfile/usr/local/redis/var/redis.pid

                port6379

                timeout300

                logleveldebug

                logfile/usr/local/redis/var/redis.log

                databases16

                save9001

                save30010

                save6010000

                rdbcompressionyes

                dbfilenamedump.rdb

                dir/usr/local/redis/var/

                appendonlyno

                appendfsyncalways

                glueoutputbufyes

                shareobjectsno

                shareobjectspoolsize1024

                將上面內(nèi)容寫為redis.conf并保存到/usr/local/redis/etc/目錄下

                然后在命令行執(zhí)行:

                /usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf

                即可在后臺啟動redis服務(wù),這時你通過

                telnet127.0.0.16379

                即可連接到你的redis服務(wù)

                Redis常用內(nèi)存優(yōu)化手段與參數(shù)

                通過我們上面的一些實現(xiàn)上的分析可以看出redis實際上的內(nèi)存管理成本非常高,即占用了過多的內(nèi)存,作者對這點也非常清楚,所以提供了一系列的參數(shù)和手段來控制和節(jié)省內(nèi)存,我們分別來討論下。

                首先最重要的一點是不要開啟Redis的VM選項,即虛擬內(nèi)存功能,這個本來是作為Redis存儲超出物理內(nèi)存數(shù)據(jù)的一種數(shù)據(jù)在內(nèi)存與磁盤換入換出的一個持久化策略,但是其內(nèi)存管理成本也非常的高,并且我們后續(xù)會分析此種持久化策略并不成熟,所以要關(guān)閉VM功能,請檢查你的redis.conf文件中 vm-enabled 為 no。

                其次最好設(shè)置下redis.conf中的maxmemory選項,該選項是告訴Redis當(dāng)使用了多少物理內(nèi)存后就開始拒絕后續(xù)的寫入請求,該參數(shù)能很好的保護(hù)好你的Redis不會因為使用了過多的物理內(nèi)存而導(dǎo)致swap,最終嚴(yán)重影響性能甚至崩潰。

                另外Redis為不同數(shù)據(jù)類型分別提供了一組參數(shù)來控制內(nèi)存使用,我們在前面詳細(xì)分析過Redis Hash是value內(nèi)部為一個HashMap,如果該Map的成員數(shù)比較少,則會采用類似一維線性的緊湊格式來存儲該Map, 即省去了大量指針的內(nèi)存開銷,這個參數(shù)控制對應(yīng)在redis.conf配置文件中下面2項:

                hash-max-zipmap-entries 64

                hash-max-zipmap-value 512

                hash-max-zipmap-entries

                含義是當(dāng)value這個Map內(nèi)部不超過多少個成員時會采用線性緊湊格式存儲,默認(rèn)是64,即value內(nèi)部有64個以下的成員就是使用線性緊湊存儲,超過該值自動轉(zhuǎn)成真正的HashMap。

                hash-max-zipmap-value 含義是當(dāng) value這個Map內(nèi)部的每個成員值長度不超過多少字節(jié)就會采用線性緊湊存儲來節(jié)省空間。

                以上2個條件任意一個條件超過設(shè)置值都會轉(zhuǎn)換成真正的HashMap,也就不會再節(jié)省內(nèi)存了,那么這個值是不是設(shè)置的越大越好呢,答案當(dāng)然是否定的,HashMap的優(yōu)勢就是查找和操作的時間復(fù)雜度都是O(1)的,而放棄Hash采用一維存儲則是O(n)的時間復(fù)雜度,如果

                成員數(shù)量很少,則影響不大,否則會嚴(yán)重影響性能,所以要權(quán)衡好這個值的設(shè)置,總體上還是最根本的時間成本和空間成本上的權(quán)衡。

                同樣類似的參數(shù)

                list-max-ziplist-entries 512

                說明:list數(shù)據(jù)類型多少節(jié)點以下會采用去指針的緊湊存儲格式。

                list-max-ziplist-value 64

                說明:list數(shù)據(jù)類型節(jié)點值大小小于多少字節(jié)會采用緊湊存儲格式。

                set-max-intset-entries 512

                說明:set數(shù)據(jù)類型內(nèi)部數(shù)據(jù)如果全部是數(shù)值型,且包含多少節(jié)點以下會采用緊湊格式存儲。

                最后想說的是Redis內(nèi)部實現(xiàn)沒有對內(nèi)存分配方面做過多的優(yōu)化,在一定程度上會存在內(nèi)存碎片,不過大多數(shù)情況下這個不會成為Redis的性能瓶頸,不過如果在Redis內(nèi)部存儲的大部分?jǐn)?shù)據(jù)是數(shù)值型的話,Redis內(nèi)部采用了一個shared integer的方式來省去分配內(nèi)存的開銷,即在系統(tǒng)啟動時先分配一個從1~n 那么多個數(shù)值對象放在一個池子中,如果存儲的數(shù)據(jù)恰好是這個數(shù)值范圍內(nèi)的數(shù)據(jù),則直接從池子里取出該對象,并且通過引用計數(shù)的方式來共享,這樣在系統(tǒng)存儲了大量數(shù)值下,也能一定程度上節(jié)省內(nèi)存并且提高性能,這個參數(shù)值n的設(shè)置需要修改源代碼中的一行宏定義REDIS_SHARED_INTEGERS,該值默認(rèn)是10000,可以根據(jù)自己的需要進(jìn)行修改,修改后重新編譯就可以了。

                另外redis 的6種過期策略redis 中的默認(rèn)的過期策略是volatile-lru 。設(shè)置方式

                config set maxmemory-policy volatile-lru

                maxmemory-policy 六種方式

                volatile-lru:只對設(shè)置了過期時間的key進(jìn)行LRU(默認(rèn)值)

                allkeys-lru : 是從所有key里 刪除 不經(jīng)常使用的key

                volatile-random:隨機(jī)刪除即將過期key

                allkeys-random:隨機(jī)刪除

                volatile-ttl : 刪除即將過期的

                noeviction : 永不過期,返回錯誤

                maxmemory-samples 3 是說每次進(jìn)行淘汰的時候 會隨機(jī)抽取3個key 從里面淘汰最不經(jīng)常使用的(默認(rèn)選項)


              內(nèi)容來自百科網(wǎng)