Comments for Web Applications Scalability http://web-scalability.com IT Technologies, Web solutions Scalability and many other things Thu, 28 Jun 2012 14:09:38 -0400 http://wordpress.org/?v=2.8.4 hourly 1 Comment on MySQL-тюнинг. Настраиваем по-взрослому. by Aleksey http://web-scalability.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/comment-page-1/#comment-4859 Aleksey Thu, 28 Jun 2012 14:09:38 +0000 http://web-scalability.solartxit.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/#comment-4859 Не могу понять... где я ошибся... машина с общим объемом памяти 10Gb. [client] port = 3306 socket = /var/lib/mysqld/mysqld.sock default-character-set = utf8 [mysqld_safe] socket = /var/lib/mysqld/mysqld.sock nice = 0 [mysqld] server-id = 1 user = mysql pid-file = /var/run/mysqld/mysqld.pid socket = /var/lib/mysqld/mysqld.sock #port = 3306 basedir = /usr datadir = /var/lib/mysql tmpdir = /var/tmp-mysql #tmpdir = /tmp skip-external-locking query_cache_size = 512M query_cache_limit = 256M table_cache = 4096 thread_cache_size = 64 max_heap_table_size = 128M tmp_table_size = 128M innodb_data_home_dir = /var/lib/mysql innodb_data_file_path = ibdata1:10M:autoextend:max:10G innodb_buffer_pool_size = 5144M innodb_thread_concurrency = 12 innodb_additional_mem_pool_size = 40M innodb_log_file_size = 64M innodb_log_buffer_size = 4M read_buffer_size = 32M key_buffer_size = 3072M sort_buffer_size = 128M read_rnd_buffer_size = 2M join_buffer_size = 256M innodb_flush_log_at_trx_commit = 2 innodb_flush_method = O_DIRECT transaction-isolation = READ-COMMITTED default-storage-engine = innodb bind-address = 0.0.0.0 max_allowed_packet = 64M thread_stack = 128K myisam-recover = BACKUP binlog_cache_size = 64M log_bin = /var/log/mysql/mysql-bin binlog_format = MIXED binlog_do_db = mydb slave-compressed = 1 expire_logs_days = 10 max_binlog_size = 100M max_connections = 1000 default-character-set = utf8 character-set-server = utf8 collation-server = utf8_general_ci init-connect = "SET NAMES utf8" skip-character-set-client-handshake [mysqldump] quick quote-names max_allowed_packet = 32M default-character-set = utf8 [mysql] [isamchk] key_buffer = 3072M Не могу понять… где я ошибся… машина с общим объемом памяти 10Gb.

[client]
port = 3306
socket = /var/lib/mysqld/mysqld.sock
default-character-set = utf8
[mysqld_safe]
socket = /var/lib/mysqld/mysqld.sock
nice = 0

[mysqld]

server-id = 1
user = mysql
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/lib/mysqld/mysqld.sock
#port = 3306
basedir = /usr
datadir = /var/lib/mysql
tmpdir = /var/tmp-mysql
#tmpdir = /tmp
skip-external-locking
query_cache_size = 512M
query_cache_limit = 256M
table_cache = 4096
thread_cache_size = 64
max_heap_table_size = 128M
tmp_table_size = 128M

innodb_data_home_dir = /var/lib/mysql
innodb_data_file_path = ibdata1:10M:autoextend:max:10G

innodb_buffer_pool_size = 5144M

innodb_thread_concurrency = 12

innodb_additional_mem_pool_size = 40M
innodb_log_file_size = 64M
innodb_log_buffer_size = 4M
read_buffer_size = 32M
key_buffer_size = 3072M
sort_buffer_size = 128M
read_rnd_buffer_size = 2M
join_buffer_size = 256M

innodb_flush_log_at_trx_commit = 2
innodb_flush_method = O_DIRECT
transaction-isolation = READ-COMMITTED
default-storage-engine = innodb
bind-address = 0.0.0.0
max_allowed_packet = 64M
thread_stack = 128K
myisam-recover = BACKUP

binlog_cache_size = 64M
log_bin = /var/log/mysql/mysql-bin
binlog_format = MIXED
binlog_do_db = mydb

slave-compressed = 1

expire_logs_days = 10
max_binlog_size = 100M
max_connections = 1000
default-character-set = utf8
character-set-server = utf8
collation-server = utf8_general_ci
init-connect = “SET NAMES utf8″
skip-character-set-client-handshake

[mysqldump]
quick
quote-names
max_allowed_packet = 32M
default-character-set = utf8

[mysql]

[isamchk]
key_buffer = 3072M

]]> Comment on MySQL-тюнинг. Настраиваем по-взрослому. by GOJA http://web-scalability.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/comment-page-1/#comment-4858 GOJA Wed, 27 Jun 2012 19:09:27 +0000 http://web-scalability.solartxit.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/#comment-4858 Оно конечно человек старался, спасибо, но таки надо доки читать. thread_concurrency запрещена начиная с 5.6 версии, ну да бог с этим фактом. Важнее что этот параметр только для Solaris :-) This variable is specific to Solaris systems, for which mysqld invokes the thr_setconcurrency() with the variable value. This function enables applications to give the threads system a hint about the desired number of threads that should be run at the same time. Оно конечно человек старался, спасибо, но таки надо доки читать.
thread_concurrency запрещена начиная с 5.6 версии, ну да бог с этим фактом. Важнее что этот параметр только для Solaris :-)

This variable is specific to Solaris systems, for which mysqld invokes the thr_setconcurrency() with the variable value. This function enables applications to give the threads system a hint about the desired number of threads that should be run at the same time.

]]> Comment on Установка Eclipse на Linux by bagumka http://web-scalability.com/2008/06/02/%d1%83%d1%81%d1%82%d0%b0%d0%bd%d0%be%d0%b2%d0%ba%d0%b0-eclipse-%d0%bd%d0%b0-linux/comment-page-1/#comment-4852 bagumka Thu, 22 Mar 2012 04:47:27 +0000 http://web-scalability.solartxit.com/2008/06/02/%d1%83%d1%81%d1%82%d0%b0%d0%bd%d0%be%d0%b2%d0%ba%d0%b0-eclipse-%d0%bd%d0%b0-linux/#comment-4852 а я не смог осилить всех шагов, на моей убунту почему-то не оказалось /etc/bashrc ... поэтому я просто: 1. скачал и распаковал tar.gz eclipse indigo 2. скачал и распаковал jre-6u31-linux-i586.bin 3. скопировал содержимое распакованной папки jre1.6.0_31 в папку с распакованным eclipse в предварительно созданную дочернюю jre. путь намного короче, но работает вроде. а я не смог осилить всех шагов, на моей убунту почему-то не оказалось /etc/bashrc …
поэтому я просто:
1. скачал и распаковал tar.gz eclipse indigo
2. скачал и распаковал jre-6u31-linux-i586.bin
3. скопировал содержимое распакованной папки jre1.6.0_31 в папку с распакованным eclipse в предварительно созданную дочернюю jre.
путь намного короче, но работает вроде.

]]> Comment on MySQL-тюнинг. Настраиваем по-взрослому. by Eugene A. Kalosha http://web-scalability.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/comment-page-1/#comment-4840 Eugene A. Kalosha Tue, 18 Oct 2011 09:24:28 +0000 http://web-scalability.solartxit.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/#comment-4840 хм, вообще это формула эффективности Кэша. 100% эффективности (все запросы используют Кэш) может быть в случае отсутствия инсерт запросов и отсутствие не закешированных запросов. Это показатель эффективности работы, который рассчитывается исходя из состояния вашего сервера, и показывает какое количество из всех запросов работают с кэшом. хм, вообще это формула эффективности Кэша. 100% эффективности (все запросы используют Кэш) может быть в случае отсутствия инсерт запросов и отсутствие не закешированных запросов.
Это показатель эффективности работы, который рассчитывается исходя из состояния вашего сервера, и показывает какое количество из всех запросов работают с кэшом.

]]> Comment on MySQL-тюнинг. Настраиваем по-взрослому. by mcwees http://web-scalability.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/comment-page-1/#comment-4839 mcwees Tue, 18 Oct 2011 00:09:06 +0000 http://web-scalability.solartxit.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/#comment-4839 Вдумавшись, я прихожу к выводу, что из приведенных данных ratio не посчитаешь (или надо допускать, что занчение может быть больше 1) - стоит представить ситуацию, когда в кеше лежат 100 запросов, а хитов имеется 1000. Это говорит о том, что усредненно каждый из имеющихся запросов отдавался из кеша 10 раз. Разве это не ratio=10? Если в данном случае говорить об оптимальности, то мы имеем самый оптимальный кеш. В вашем случае, правда имеется ненулевой prunes, что говорит о недостаточности памяти, т.е. если бы памяти было больше, то в кеш поместилось бы больше запросов и хитов стало бы еще больше. Я так думаю. Вдумавшись, я прихожу к выводу, что из приведенных данных ratio не посчитаешь (или надо допускать, что занчение может быть больше 1) – стоит представить ситуацию, когда в кеше лежат 100 запросов, а хитов имеется 1000. Это говорит о том, что усредненно каждый из имеющихся запросов отдавался из кеша 10 раз. Разве это не ratio=10?

Если в данном случае говорить об оптимальности, то мы имеем самый оптимальный кеш. В вашем случае, правда имеется ненулевой prunes, что говорит о недостаточности памяти, т.е. если бы памяти было больше, то в кеш поместилось бы больше запросов и хитов стало бы еще больше.

Я так думаю.

]]> Comment on MySQL-тюнинг. Настраиваем по-взрослому. by mcwees http://web-scalability.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/comment-page-1/#comment-4838 mcwees Mon, 17 Oct 2011 21:27:50 +0000 http://web-scalability.solartxit.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/#comment-4838 Ну и отдельная тема - Qcache_not_cached - почему их надо учитывать, если считается, что они в принципе некешируемые? Ну и отдельная тема – Qcache_not_cached – почему их надо учитывать, если считается, что они в принципе некешируемые?

]]> Comment on MySQL-тюнинг. Настраиваем по-взрослому. by mcwees http://web-scalability.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/comment-page-1/#comment-4837 mcwees Mon, 17 Oct 2011 21:21:00 +0000 http://web-scalability.solartxit.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/#comment-4837 Заведомо меньше. Но вот сколько я не наблюдаю, картина у меня примерно следующая: Qcache_hits 274 Qcache_inserts 1231 Qcache_not_cached 711 Qcache_queries_in_cache 833 если считать по вашей формуле - 274/(274+1231+711) = .12365, т.е. 12%. Как вообще по этой формуле можно получить более 30%? Ведь Qcache_inserts всегда большt, чем Qcache_hits, т.е. выходит как минимум формула x/(x+2х) => 1/3. Т.е. если пользоваться вашей формулой, мы _в принципе_ не можем получить больше 33%. Замечу так же, что совершенно нереально получить ситуацию, чтобы hits были больше и равны queries_in_cache. Т.е. уже тут мы _никогда_ не получим 100%. Заведомо меньше. Но вот сколько я не наблюдаю, картина у меня примерно следующая:

Qcache_hits 274
Qcache_inserts 1231
Qcache_not_cached 711
Qcache_queries_in_cache 833

если считать по вашей формуле – 274/(274+1231+711) = .12365, т.е. 12%. Как вообще по этой формуле можно получить более 30%? Ведь Qcache_inserts всегда большt, чем Qcache_hits, т.е. выходит как минимум формула

x/(x+2х) => 1/3. Т.е. если пользоваться вашей формулой, мы _в принципе_ не можем получить больше 33%.

Замечу так же, что совершенно нереально получить ситуацию, чтобы hits были больше и равны queries_in_cache. Т.е. уже тут мы _никогда_ не получим 100%.

]]> Comment on MySQL-тюнинг. Настраиваем по-взрослому. by Eugene A. Kalosha http://web-scalability.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/comment-page-1/#comment-4836 Eugene A. Kalosha Fri, 07 Oct 2011 09:34:11 +0000 http://web-scalability.solartxit.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/#comment-4836 Думаю это ратио будет немного больше, чем qcache_hit_ratio = qcache_hits / (qcache_hits + qcache_inserts + qcache_not_cached) Так как Qcache_queries_in_cache будет заведомо меньше суммарного количества: qcache_hits + qcache_inserts + qcache_not_cached Думаю это ратио будет немного больше, чем qcache_hit_ratio = qcache_hits / (qcache_hits + qcache_inserts + qcache_not_cached)
Так как Qcache_queries_in_cache будет заведомо меньше суммарного количества: qcache_hits + qcache_inserts + qcache_not_cached

]]> Comment on MySQL-тюнинг. Настраиваем по-взрослому. by mcwees http://web-scalability.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/comment-page-1/#comment-4835 mcwees Thu, 06 Oct 2011 14:53:01 +0000 http://web-scalability.solartxit.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/#comment-4835 Вот я нашел: - Qcache_free_memory - объем свободной памяти, отведенной под кэш. - Qcache_hits - количество запросов, отработанных из кэша. - Qcache_inserts - количество вставок запросов в кэш. - Qcache_lowmem_prunes - количество высвобождений памяти из-за наполненности кэша. - Qcache_not_cached - количество запросов, не подлежащих кэшированию. - Qcache_queries_in_cache - количество запросов, находящихся в кэше в настоящее время. Если я правильно понял, то ratio будет выглядеть как Qcache_hits /Qcache_queries_in_cache Вот я нашел:
- Qcache_free_memory – объем свободной памяти, отведенной под кэш.
- Qcache_hits – количество запросов, отработанных из кэша.
- Qcache_inserts – количество вставок запросов в кэш.
- Qcache_lowmem_prunes – количество высвобождений памяти из-за наполненности кэша.
- Qcache_not_cached – количество запросов, не подлежащих кэшированию.
- Qcache_queries_in_cache – количество запросов, находящихся в кэше в настоящее время.

Если я правильно понял, то ratio будет выглядеть как
Qcache_hits /Qcache_queries_in_cache

]]> Comment on MySQL-тюнинг. Настраиваем по-взрослому. by mcwees http://web-scalability.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/comment-page-1/#comment-4834 mcwees Thu, 06 Oct 2011 14:05:47 +0000 http://web-scalability.solartxit.com/2008/05/30/mysql-%d1%82%d1%8e%d0%bd%d0%b8%d0%bd%d0%b3-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d0%bf%d0%be-%d0%b2%d0%b7%d1%80%d0%be%d1%81%d0%bb%d0%be%d0%bc%d1%83/#comment-4834 Очень пользительно, спасибо. Вот чего не осилил: qcache_hit_ratio = qcache_hits / (qcache_hits + qcache_inserts + qcache_not_cached) Можно пояснить детальнее? что есть qcache_inserts? Очень пользительно, спасибо.
Вот чего не осилил:

qcache_hit_ratio = qcache_hits / (qcache_hits + qcache_inserts + qcache_not_cached)

Можно пояснить детальнее? что есть qcache_inserts?

]]>