Форум 3DNews
Вернуться   Форум 3DNews > Железо > Носители информации

Ответ Создать новую тему
Опции темы Опции просмотра
Непрочитано 18.09.2012, 18:43   [включить плавающее окно]   #21
Smirnoff
Мужской Модератор
 
Аватар для Smirnoff
 
Регистрация: 30.12.2004
Адрес: Новосибирск
Цитата (pvn_) »
новые SSD интел основаны как раз на Sandforce
Отнюдь не все...


Добавлено через 1 час 3 минуты

Цитата (pvn_) »
Работает ли функция TRIM
Только сейчас вспомнил забавный аргумент: поскольку на томе кэширования нет никакой вообще файловой системы - никакая ОСь и не может выдавать команды TRIM (ибо это всё рассчитано именно на наличие ФС и очистку места, занятого стёртыми файлами - а нет ни файлов, ни файловой системы, это же просто кэш).
__________________
С уважением,
Олег Р. Смирнов
Smirnoff вне форума  
Конфигурация ПК
Ответить с цитированием
Непрочитано 18.09.2012, 21:18   [включить плавающее окно]   #22
Dimmka
Мужской Умудрённый
 
Аватар для Dimmka
 
Регистрация: 06.11.2003
Адрес: 78 RUS
Если верить Wiki:
Цитата
TRIM garbage collection is currently not supported for SRT caching devices, so the SSD's performance is solely maintained by its own firmware.
TRIM не поддерживается, всем рулит firmware. Соответственно, ИМХО, в прошивке должна быть учтена специфика использования SSD.

Последний раз редактировалось Dimmka; 18.09.2012 в 21:24.
Dimmka вне форума  
Конфигурация ПК
Ответить с цитированием
Непрочитано 19.09.2012, 09:55   [включить плавающее окно]   #23
pvn_
Мужской Начинающий
Автор темы
 
Регистрация: 26.03.2007
Цитата
Отнюдь не все...
Дело не в конкретных контроллерах, а принципах работы SSD, забив их под завязку производительность резко снижается из-за необходимости предварительного очищения места, куда будет производиться новая запись.


Цитата
Только сейчас вспомнил забавный аргумент: поскольку на томе кэширования нет никакой вообще файловой системы - никакая ОСь и не может выдавать команды TRIM (ибо это всё рассчитано именно на наличие ФС и очистку места, занятого стёртыми файлами - а нет ни файлов, ни файловой системы, это же просто кэш).
Цитата
TRIM не поддерживается, всем рулит firmware. Соответственно, ИМХО, в прошивке должна быть учтена специфика использования SSD.
От сюда и возник вопрос, потому что механизм до конца не понятен, что конкретно происходит при включении кэширования ISRT, если там нет файловой системы, как именно там хранятся данные, может SRT своими алгоритмами собирает мусор, или еще что то?
Хочется нормального описания, потому что это напрямую влияет на выбор SSD.
Другими словами вопрос остался, работает ли сбор мусора при SRT с помощью внешних команд (TRIM, либо если винда не может послать эту команду в данном случае, то может SRT имеет какой то свой алгоритм и свои команды, которые приводят к тому же результату)?
Или все таки надо выбирать SSD с хорошо работающими собственными алгоритмами сбора мусора?

Цитата
TRIM garbage collection is currently not supported for SRT caching devices, so the SSD's performance is solely maintained by its own firmware.
Исходя из того что пишет вики, хочется уже услышать мнение кого-то из редакторов сайта.
Чтоб знать точно, какой SSD все таки выбрать.

Последний раз редактировалось pvn_; 19.09.2012 в 15:01.
pvn_ вне форума  
Ответить с цитированием
Непрочитано 25.09.2012, 08:46   [включить плавающее окно]   #24
pvn_
Мужской Начинающий
Автор темы
 
Регистрация: 26.03.2007
Видимо редакция сайта не частый гость форума.

В любом случае выбор надо было делать, поэтому ввиду неясности полной картины SRT, был выбран SSD Plextor на контроллере Marvell, так как данные SSD, судя по тестам, восстанавливают свою производительность сами, практически так же эффективно, как после команды TRIM, так же важна производительность SSD по мере заполнения его информацией (особенно если при кэшировании он будет заполняться весь), тут тоже SSD на базе Marvell стабильно хороши, правда и стоят дороже, чем другие диски такого же объема на других контроллерах.

Последний раз редактировалось pvn_; 25.09.2012 в 10:21.
pvn_ вне форума  
Ответить с цитированием
Непрочитано 26.09.2012, 10:34   [включить плавающее окно]   #25
zevgenius
Мужской Новенький
 
Регистрация: 26.09.2012
Адрес: Москва
Цитата (pvn_) »
От сюда и возник вопрос, потому что механизм до конца не понятен, что конкретно происходит при включении кэширования ISRT, если там нет файловой системы, как именно там хранятся данные, может SRT своими алгоритмами собирает мусор, или еще что то?
Хочется нормального описания, потому что это напрямую влияет на выбор SSD.
Другими словами вопрос остался, работает ли сбор мусора при SRT с помощью внешних команд (TRIM, либо если винда не может послать эту команду в данном случае, то может SRT имеет какой то свой алгоритм и свои команды, которые приводят к тому же результату)?
Или все таки надо выбирать SSD с хорошо работающими собственными алгоритмами сбора мусора?
С Вики:
Цитата
SSD хранят данные в ячейках флеш-памяти, сгруппированными в «страницы» (обычно по 4 Кбайт каждая), которые, в свою очередь, сгруппированы в блоки (обычно 128 страниц или 512 Кбайт суммарно) Ячейки NAND-флеш-памяти могут быть непосредственно записаны лишь в том случае, когда они чисты. В случае, когда они хранят данные, содержимое ячеек должно быть очищено, прежде чем в них будут записаны новые данные. В SSD накопителях операция записи может быть проделана только для страниц, однако из-за аппаратных ограничений команда удаления всегда выполняется на весь блок. В результате, запись на SSD-носитель выполняется очень быстро до тех пор, пока существуют чистые страницы, но значительно замедляется, если необходимо очищать предварительно записанные страницы. Так как очистка ячеек в странице необходима перед тем, как в них можно будет записывать снова, но только целый блок может быть очищен, процесс перезаписи инициирует цикл чтение-очистка-модификация-запись: содержимое целого блока должно быть сохранено в кеше перед тем, как оно может быть удалено с накопителя, перезаписываемые данные модифицируются в кеше и только после этого целый блок (с обновленной страницей) записывается на накопитель.
В RAID режиме блоки по 128К, а значит переписываются целыми страницами и нет никакого замедления (лучше конечно знать, какой минимальный размер блока может переписать конкретный SSD и отталкиваться от этого).
zevgenius вне форума  
Конфигурация ПК
Ответить с цитированием
Непрочитано 26.09.2012, 13:53   [включить плавающее окно]   #26
Smirnoff
Мужской Модератор
 
Аватар для Smirnoff
 
Регистрация: 30.12.2004
Адрес: Новосибирск
Цитата (zevgenius) »
В RAID режиме блоки по 128К, а значит переписываются целыми страницами
А внимательно прочитать свою же цитату?
Цитата (zevgenius) »
обычно 128 страниц или 512 Кбайт суммарно
Теперь расскажи, каким образом "блок 128К" покрывает "целую страницу" в 512К?!.
__________________
С уважением,
Олег Р. Смирнов
Smirnoff вне форума  
Конфигурация ПК
Ответить с цитированием
Непрочитано 26.09.2012, 14:26   [включить плавающее окно]   #27
pvn_
Мужской Начинающий
Автор темы
 
Регистрация: 26.03.2007
Цитата
В RAID режиме блоки по 128К, а значит переписываются целыми страницами и нет никакого замедления (лучше конечно знать, какой минимальный размер блока может переписать конкретный SSD и отталкиваться от этого).
Это что за вывод? Во-первых как так сравнялись страницы и килобайты? Во-вторых размер блока в страйпе зависит от типа носителя и контроллера, магнитный HDD быстрее пишет относительно большие блоки, поэтому 128К для них самое то, для SSD действительно размер блока можно уменьшить, но опять же это не значит уменьшение до минимальных 4К, а скорее до наиболее удобного размера для каждого конкретного контроллера SSD (для sandforce напрмер этот размер вроде был 32К исходя из тестов на одном из сайтов), при этом на скорости это сказывается незначительно. В-третьих
Цитата
а значит переписываются целыми страницами
Ключевое слово переписываются, это не магнитный HDD, где не важно запись или перезапись
Сам же цитату вставил
Цитата
В результате, запись на SSD-носитель выполняется очень быстро до тех пор, пока существуют чистые страницы, но значительно замедляется, если необходимо очищать предварительно записанные страницы. Так как очистка ячеек в странице необходима перед тем, как в них можно будет записывать снова, но только целый блок может быть очищен, процесс перезаписи инициирует цикл чтение-очистка-модификация-запись: содержимое целого блока должно быть сохранено в кеше перед тем, как оно может быть удалено с накопителя, перезаписываемые данные модифицируются в кеше и только после этого целый блок (с обновленной страницей) записывается на накопитель.
Соответсвенно на полностью забитом SSD без очищения блоков с устаревшой информацией (сбор мусора), скорость записи значительно снизится, потому что как укзано в цитате, это уже не просто запись, а чтение-очистка-модификация-запись.

Последний раз редактировалось pvn_; 26.09.2012 в 15:56.
pvn_ вне форума  
Ответить с цитированием
Непрочитано 26.09.2012, 15:20   [включить плавающее окно]   #28
Smirnoff
Мужской Модератор
 
Аватар для Smirnoff
 
Регистрация: 30.12.2004
Адрес: Новосибирск
Цитата (pvn_) »
на полностью забитом SSD
Всегда есть возможность отдать под кэширование не весь объём SSD - у транслятора останется возможность для "манёвра"...
__________________
С уважением,
Олег Р. Смирнов
Smirnoff вне форума  
Конфигурация ПК
Ответить с цитированием
Непрочитано 26.09.2012, 15:23   [включить плавающее окно]   #29
pvn_
Мужской Начинающий
Автор темы
 
Регистрация: 26.03.2007
Цитата
Всегда есть возможность отдать под кэширование не весь объём SSD - у транслятора останется возможность для "манёвра"...
Так то оно так, вот и интересно, технология кэширования SRT сама будет оставлять место и/или помечать устаревшию инфу как не нужную, либо все таки при включении ускорения отдавать под кэш не все...

Последний раз редактировалось pvn_; 26.09.2012 в 15:57.
pvn_ вне форума  
Ответить с цитированием
Непрочитано 09.10.2012, 08:46   [включить плавающее окно]   #30
pvn_
Мужской Начинающий
Автор темы
 
Регистрация: 26.03.2007
Кстати в дополнение темы приведу результат PCMark7 (поставил бесплатную не ломаную версию, без ввода ключа, т.е. происходит прогон набора тестов по умолчанию), считается что данный тест имитирует типичную работу пользователя (при этом тесты проходят по 3 раза, что в случае с кэшированием как раз то что надо).
При прочих равных условиях, с RAID0 массивом из 2-ух HDD результат был ~ 3800 попугаев. При установке выше описаного SSD и включении ускорения с помощью intel SRT PCMark7 показал ~5300 попугаев (конфигурация системы в данном случае не важна, так как ничего не менялось, прирост обсуловлен только добавлением SSD и включением кэширования iSRT). Думаю что в случае изначального использования не RAID0 а простого HDD, разница была бы еще более заметна.

Так что пока полет нормальный, я доволен. Ждем ссылок на подробный рассказ об intel SRT.

Последний раз редактировалось pvn_; 09.10.2012 в 12:17.
pvn_ вне форума  
Ответить с цитированием
Непрочитано 08.04.2013, 15:55   [включить плавающее окно]   #31
pvn_
Мужской Начинающий
Автор темы
 
Регистрация: 26.03.2007
Вот какая ссылка недавно попалась на другом форуме.
http://communities.intel.co.jp/thread/37103

Собственно интересна след. фраза:

I have confirmation that TRIM is not necessary for drives used as a cache device.

Т.е. TRIM не является необходимым для дисков, используемых в качестве кэша устройства.

Вот еще бы узнать почему? =)
Цитата (Smirnoff) »
Только сейчас вспомнил забавный аргумент: поскольку на томе кэширования нет никакой вообще файловой системы - никакая ОСь и не может выдавать команды TRIM (ибо это всё рассчитано именно на наличие ФС и очистку места, занятого стёртыми файлами - а нет ни файлов, ни файловой системы, это же просто кэш).

Где бы найти подробную инфу про iSRT.

Последний раз редактировалось pvn_; 09.04.2013 в 08:10.
pvn_ вне форума  
Ответить с цитированием
Непрочитано 17.11.2013, 20:56   [включить плавающее окно]   #32
Dimachos
Мужской Новенький
 
Регистрация: 17.11.2013
Автор темы, поделитесь, пожалуйста, своим опытом использования кеширующего ssd - как разбивали диск , как изменялась производительност со временем
Dimachos вне форума  
Ответить с цитированием
Непрочитано 18.11.2013, 09:56   [включить плавающее окно]   #33
pvn_
Мужской Начинающий
Автор темы
 
Регистрация: 26.03.2007
Цитата (Dimachos) »
Автор темы, поделитесь, пожалуйста, своим опытом использования кеширующего ssd - как разбивали диск , как изменялась производительност со временем
Ну если вы читали буквально несколько комментариев выше, то существенно ничего не изменилось.
1. Диск не разбивал, ибо брал максимально допустимый объем - 60ГБ, специально для кэширования массива RAID0 из HDD, на котором в разных разделах и винда, и игры, и проги, и проекты, и т.д. (Наверно надо отметить, что кэшировать, например, диски с мультимедия нет смысла, так как можно получить отрицательный эффект, из-за оперирования большими файлами в режимах последовательной записи и чтения.)
2. Куплен был SSD Plextor M5S, который, судя по тестам на других ресурсах, полностью восстанавливает свою производительность сам (это к неясности вопроса про сбор мусора), возможно поэтому, либо за счет специфики работы iSRT, никаких падений производительности, после использования кэширования больше года, не зафиксировано (ну по крайней мере не заметно на глаз).

Так же наверно нужно сказать, что актуальность кэширования, в общем случае, на текущий момент постепенно снижается в силу снижения стоимости SSD объемом 120 и более гигов.

Последний раз редактировалось pvn_; 18.11.2013 в 15:28.
pvn_ вне форума  
Ответить с цитированием
Непрочитано 19.11.2013, 19:38   [включить плавающее окно]   #34
Dimachos
Мужской Новенький
 
Регистрация: 17.11.2013
Спасибо за оперативный ответ.
С темой знаком не понаслышке , пришел сюда после прочтения статьи о тестировании чипсетного Z87 RAID-а http://fcenter.ru/online/hardarticles/hdd/36217
В настоящее время задумался о переводе RAID0 из 4 HDD на простейшем Adaptec1430SA общим объемом 1Tb на чипсетный RAID Z87 c добавлением кеширующего SSD.
Сразу скажу , что и винты и контроллер достались в наследство, поэтому "купить вместо этого барахла за соизмеримые деньги емкий ссд " не предлагать. ССД куплен, на нем система. И все это вместе регулярно бекапиться на зеленый WD.
Вопросы. В 11 сообщении темы Олег говорил , что по кеширование можно отдать не весь объем SSD. Возможно ли под кеширование отдать часть ssd , разбив его на два тома, так ,чтобы на одном стояла операционка (Win7 64bit)?
На массиве установлен десяток игр типа Макса Пейна, Метро и проч, будет ли от ссд кеширования профит при этом характере использования?
Какой оптимальный размер блока для RAID0 о четырех дисках применительно к интеловому Z87? Последний вопрос не в тему, можно игнорировать
Dimachos вне форума  
Ответить с цитированием
Непрочитано 19.11.2013, 20:16   [включить плавающее окно]   #35
Smirnoff
Мужской Модератор
 
Аватар для Smirnoff
 
Регистрация: 30.12.2004
Адрес: Новосибирск
Цитата (Dimachos) »
Возможно ли под кеширование отдать часть ssd , разбив его на два тома, так ,чтобы на одном стояла операционка (Win7 64bit)?
"Отдать только часть" - легко; "поставить на оставшееся место винду"? Меня лично "терзают смутные сомнения"...

Я бы порекомендовал продолжать использовать отдельный SSD "под систему"; а если так уж хочется ускорения - ну докупи ещё SSD "под кэширование".

Цитата (pvn_) »
интересно, технология кэширования SRT сама будет оставлять место и/или помечать устаревшию инфу как не нужную
Не то я невнятно объяснял, не то ты недопонял... В кэше не бывает "ненужной"/"устаревшей" информации; как только алгоритм кэширования определяет, что какой-то блок стал неактуальным - на его место сразу записывается более актуальный блок. Так что облегчить жизнь алгоритму GC можно только самостоятельно - зарезервировав часть объёма SSD под over-provisioning.

Цитата (Dimachos) »
На массиве установлен десяток игр типа Макса Пейна, Метро и проч, будет ли от ссд кеширования профит
Всё-таки достаточно сомнительно... Максимальный объём кэша на SSD при использовании Smart Response - 60 гигабайт; вообще говоря, Intel обещала, что алгоритм кэширования "обладает зачатками интеллекта" и не станет пытаться кэшировать большие файлы; но как уж там этот алгоритм разбирается с размерами и типами файлов? А игрушонки-то у тебя не мелкие такие, да...

Добавлено через 7 минут

Цитата (Dimachos) »
после прочтения статьи о тестировании чипсетного Z87 RAID-а http://fcenter.ru/online/hardarticles/hdd/36217
Тестирование забавное, результаты по TRIM - более, чем предсказуемые, высказывание
Цитата
RAID 10 ещё более отказоустойчив, поскольку это массив с одновременным чередованием и дублированием информации. Для его создания нужно четыре или большее количество приводов, но зато целостность данных сохраняется при выходе из строя до половины входящих в него дисков.
откровенно безграмотное: при определении возможного количества вышедших из строя членов массива не бывает "вариантов": либо массив обязательно сохраняет работоспособность, либо - нет ("как повезёт" - это не технический термин ).
Вот когда в массиве RAID6 выходят из строя два диска - он остаётся работоспособным без оговорок, а когда в RAID10 два диска вылетят - это 50/50 (причём, в жизни всегда получаются те 50%, которые против тебя ).
__________________
С уважением,
Олег Р. Смирнов

Последний раз редактировалось Smirnoff; 20.11.2013 в 06:48.
Smirnoff вне форума  
Конфигурация ПК
Ответить с цитированием
Непрочитано 20.11.2013, 00:44   [включить плавающее окно]   #36
Dimachos
Мужской Новенький
 
Регистрация: 17.11.2013
Цитата
"Отдать только часть" - легко; "поставить на оставшееся место винду"? Меня лично "терзают смутные сомнения"...
Подразумевалось наоборот, ось установлена , а на оставшемся месте раздел под кеширование. Но меня еще больше терзают, особенно после прочтения твоей заметки на интелах, про то как диск целиком не виден системой после играний с кешированием

Цитата
результаты по TRIM - более, чем предсказуемые
Для сандфорсов 2281 - согласен. А вот для марвеллов, - не факт. Любопытно было бы поглядеть на рейд0 из плекстеров в плане TRIM

Цитата
RAID 10 ещё более отказоустойчив
в контексте статьи сравнение с RAID 5 , а не RAID6 , так что высказывание может быть спорное , но уж никак не откровенно безграмотное. Залезая глубоко в дебри вопроса, можно выяснить что отказоустойчивость связана с надежностью , а та есть вероятность отказа в ед. времени, то есть те самые 50/50, которых нет в случае RAID5. Материал, на мой взгляд заслуживает оценки , большей чем "забавный"
Dimachos вне форума  
Ответить с цитированием
Непрочитано 20.11.2013, 06:44   [включить плавающее окно]   #37
Smirnoff
Мужской Модератор
 
Аватар для Smirnoff
 
Регистрация: 30.12.2004
Адрес: Новосибирск
Цитата (Dimachos) »
Подразумевалось наоборот, ось установлена , а на оставшемся месте раздел под кеширование.
А это, я тебе сразу скажу, невозможно: для того, чтобы задействовать SSD в Smart Response, на SSD в обязательном порядке не должно быть никаких вообще разделов.
Раздел там можно будет создать лишь после того, как Smart Response на нём "забьёт" место для себя...

Цитата (Dimachos) »
после прочтения твоей заметки на интелах, про то как диск целиком не виден системой после играний с кешированием
Так я же прямо там и написал, что надо сделать, чтобы снова "стал виден"...

Цитата (Dimachos) »
Для сандфорсов 2281 - согласен. А вот для марвеллов, - не факт.
"Изюминка" статьи должна была быть именно в проверке TRIM в RAID-массивах (не в разнице между разными контроллерами в SSD - про них и так всё и всем известно), но там нечего проверять: поддержка внятно заявлена только в RAID0, и только Intel - так оно и оказалось в итоге...

Цитата (Dimachos) »
в контексте статьи сравнение с RAID 5 , а не RAID6 , так что высказывание может быть спорное
Именно по этой причине я и сказал, что безграмотное: ни RAID5, ни RAID10 ничего не гарантируют при выходе из строя двух дисков; ещё раз напомню - "повезло" к техническим терминам не относится.
Я согласен, что RAID10 по-интереснее RAID5 - но не за счёт мифической "бОльшей надёжности", а за счёт очень простой математики (так что даже HBA её всегда легко отрабатывают), и за счёт быстродействия (RAID5 притормаживает даже на мощных дискретных контроллерах, а уж на HBA тормозит вообще безбожно).
__________________
С уважением,
Олег Р. Смирнов

Последний раз редактировалось Smirnoff; 20.11.2013 в 06:46.
Smirnoff вне форума  
Конфигурация ПК
Ответить с цитированием
Непрочитано 20.11.2013, 09:08   [включить плавающее окно]   #38
pvn_
Мужской Начинающий
Автор темы
 
Регистрация: 26.03.2007
Цитата (Smirnoff) »
Не то я невнятно объяснял, не то ты недопонял... В кэше не бывает "ненужной"/"устаревшей" информации; как только алгоритм кэширования определяет, что какой-то блок стал неактуальным - на его место сразу записывается более актуальный блок. Так что облегчить жизнь алгоритму GC можно только самостоятельно - зарезервировав часть объёма SSD под over-provisioning.
Ну, если читать выше, до конца мы этот вопрос так и не разъяснили. И все вот почему. Есть режим кэширования - максимальный, в котором запись сначала производится на ССД, потом на ХДД. Данный факт проверен лично, тестами CDM. В режиме максимальный по сравнению с расширеным, запись небольшими случайными блоками с очередью увеличивается в 100-и раз, т.е. происходит запись сначала именно на ССД. В таком режиме, если бы инфа только перезаписывалась, то это было бы видно, со временем, по просевшей скорости записи, по причинам не раз упоминавшимся выше. При этом беда как раз в том, что стирается то инфа блоками, а пишется страницами, от сюда и необходимость цикла - чтение, очистка, модификация, запись.
Поэтому в моем случае, мне видиться несколько моментов, отсутсвия просадки производительности, а вот какой из них верный, или есть еще какой то... в этом и вопрос.
1. Возможно как раз из-за выбора ССД Плекстор, который сам справляется.
2. iSRT сама всегда оставляет свободное место на ССД (так как я специально его не оставлял).
3. Trim в том или ином виде.
4. Так как интел говорит, что Trim не нужен, есть вероятность, что существует своя логика организации кэш пространства, вопрос какая?
(Может быть интел разработала такой алгоритм, что например, определяя принадлежность информации к какому то часто запускаемому приложению, пишет инфу в кэш так, чтоб в блоках получались страницы, информация в которых, только об этом приложении, добавляя при необходимости некую служебную инфу, чтоб блок всегда был полностью записан. Тогда теоретически, можно стирать именно блоками без анализа их содержимого, руководствуясь актуальностью использования приложения, а это уже заметно быстрее. Но особенность работы ССД с флэш памятью, как раз в том, что пишется инфа страницами, причем в разные блоки, для равномерного износа, а удаляется блоками, т.е. надо как то "договрится" с контроллером ну либо крайне не экономично ипользовать пространнство, что тоже может быть.)

Последний раз редактировалось pvn_; 20.11.2013 в 11:16.
pvn_ вне форума  
Ответить с цитированием
Ответ Создать новую тему

Метки
isr, rst, ssd, trim

Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 04:18. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.4
Copyright ©2000 - 2019, Jelsoft Enterprises Ltd. Перевод: zCarot
Copyright © 2000-2017 3DNews. All Rights Reserved.
Администрация 3DNews требует соблюдения на форуме правил и законов РФ
Серверы размещены в Hostkey