FunBlog

Django: value too long for type character varying(50)

2011-12-13T14:09:00.001+04:00

Попал на непонятно откуда вылезающую ошибку "value too long for type character varying(50)". Оказалось - в Meta у модели слишком длинное название было (verbose_plural). В следствии чего django не мог создать права для app.

Munin-node-win32. Баг с внешними плагинами.

2011-11-02T12:52:00.003+04:00

История такова: очень не хотелось писать плагин для Win-сервера, однако пришлось. Хитрый плагин считывает лог веб-сервера и в результате я получаю графики времени генерации страниц сайта. Я отслеживал некоторые тяжелые страницы.

Однако всё испортил баг в munin-node-win32!

А именно - сервером мунина не считывался конфиг плагина из-за перевода строки windows-way.

Ужас. Пришлось поставить Visual C++, взять с github'а исходники, исправить их, скомпилировать... И вот он - http://github.com/funvit/munin-node-win32

Исполняемый файл - в каталоге Release. Всё работает, проверил в win 2003 server.

CentOS. MySQL - ошибка при запуске (481)

2011-06-22T14:47:00.000+04:00

В очередной раз поднимая очередной сервер, попал на ошибку запуска mysql. Ругался, что файл переводов ошибок содержит только 480 строк, а нужно - 481.

Как оказалось, установилась версия 5.0.92 из репозитория CentALT.

Так вот, если отключить репозиторий (я просто файл репозитория убрал) - то ставится 5.0.77, которая нормально запускается!

CentOS 5. Установка nginx

2011-06-21T16:03:00.001+04:00

Сперва подключить репозиторий

rpm -ihv http://download.fedora.redhat.com/pub/epel/5/i386/epel-release-5-4.noarch.rpm

потом установить

yum install nginx

Gitolite - добавление пользователя

2011-06-08T17:01:00.001+04:00

Добавить пользователя или другое рабочее место (например - лаптоп) - легко:

1. Сгенерировать rsa ключ
2. скопировать его на сервер в папку tmp
3. переключиться на пользователя, на котором успановлен gitolite (у меня - git)
sudo su - gitolite
4. добавить ключь gl-setup /tmp/user.pub

все!

Linux. Добавление и включение скрипта в init.d

2011-05-17T15:37:00.000+04:00

Проверка скрипта:

chkconfig --list имя_скрипта

Добавление:

chkconfig --add имя_скрипта

Включить:

chkconfig имя_скрипта on

Django + MongoDB

2011-05-06T22:18:00.002+04:00

Рабочая связка

* django-nonrel
* django-mongodb-engine
* djangotoolbox (setup.py mongo-engine поставит сам)
* permission-backend-nonrel (вернет группы и права в систему доступа)

Работает админка. У моделей можно использовать OneToOneField и ManyToManyField.

Обязательно в settings.py добавить:
* djangotoolbox
* permission_backend_nonrel

Модели пишутся стандартно.

Минус - у моделей всегда id=ObjectId. Не смотрел, возможно ли это изменить.

Локализация

Русская локализация работает только если локаль в settings = ru.

Не забывать:
* создать каталог locale в корне проекта
* django-admin.py makemessages -l ru (создает файл для переводов)
* django-admin.py compilemessages

Начальная установка проекта

django-admin.py startproject mySite
правка settings.py
django-admin.py syncdb
зайти через консоль монго в django_site и выбрать id сайта ( db.django_site.findOne() ) - он нужен в settings (пример: "4dc3b2ef8ddf87288d00001d").

MongoDB обновление множества записей

2011-03-24T15:25:00.000+03:00

Обнаружил неприятную особенность. При частом использовании:

update(
    query={Field:{$in:[x],$nin:[y]}},
    update={$addToSet:{Field:z}},
    multi=true
}

монго плодит кучу под-процессов (и соединений) и сильно лочит коллекцию. Что приводит к 90% локу и зависанию скрипта.

Скрипт - в цикле обновляет поля.

Помогает использование вместо мулти-обновления - обновления каждой записи по одной (под-цикл в скрипте).

Gitolite - удобно!

2011-03-24T12:03:00.001+03:00

Очень советую использовать на сервере с git-репозиториями gitolite. Инструкция. Обязательно ставить под пользователем git.

Gitosis у меня не заработал - при push выдавал неизлечимую ошибку.

Clodo.ru - не оправдывает моих надежд

2011-02-10T12:42:00.001+03:00

Вчера (9.02.2011) была последняя капля. LA достиг 10 и машина умерла. В панели весело отображалось 2ТБ из 15 ГБ диска. Это интересно как???

Кроме того, когда я поднял минимум памяти с 512 до 1,5 ГБ и перезапустил сервер - ничего не изменилось. Как было 512 так и осталось (т.е. выше никак не росло).

Сегодня опять мой скрипт довел сервер до la 8.

Срочно уползаю на selectel.ru! Там la нормально держится на 3-4 и память честно выделяется...

Clodo.ru - обязательно ставьте fail2ban.

2011-02-09T13:58:00.004+03:00

Сегодня слегка озадачился - а не атакуют ли мой сервер (который вообще то никак не фигурирует в интернете)?

sudo cat /var/log/secure* | grep 'Failed password' | grep sshd | awk '{print $1,$2}' | sort | uniq -c

232 Feb 1
800 Feb 2
 15 Feb 4
 15 Feb 7
238 Feb 8

Ого!!! Срочно ставлю fail2ban!

Шаги такие:
1. поставить пакет (yum install fail2ban)
2. настроить конфиг (ssh jail, проверьте правильность имени файла лога!)
3. прописать емаил для рута (sudo vi /etc/aliases)
4. включить fail2ban (/etc/init.d/fail2ban start)
5. добавить его в init.d (chkconfig fail2ban on)

P.S.: проверьте - установлен ли sendmail (/usr/sbin/sendmail)!

YML и СЕОшные развлечения

2011-02-03T15:24:00.000+03:00

По работе столкнулся с интересной ситуацией - многие интернет магазины используют трюк с подменой символов в названии товаров. Т.е. есть слово "cумка". Они заменяют букву "с" на английскую "c".

Зачем? Да вот какой-то гений понял, что это даст больше уникального контента для поискового робота. Ладно. Всё по-умному - заменяют только в названии товара, а в описании обязательно дублируют слово в правильном виде.

Кому интересно - вбейте в поисковики (советую гугл) "сумка" (и замените первую букву). Результат вас поразит.

Но всё бы хорошо, но эти горе-сеошники совсем не понимают, что они портят контент сайта. Почему? Да потому что, когда интернет-магазин вдруг решит работать с Яндекс-Маркетом... Да, да! Название товара то - уникальное... И кривое.

Хотя возможно яндекс это знает и заменяет обратно. Но вот мне дают xml-файл. Я его обрабатываю и вижу битые слова. И мне приходится как то это решать!

П.С.: Намного проще было бы сео-умникам пнуть своих программистов, что бы те написали ма-а-аленький скрипт...

MongoDB. Реализация транзакции между двумя коллекциями.

2011-01-17T17:18:00.002+03:00

Привычной SQL-транзакции в mongodb нет. Однако есть атомарные команды для изменения документа (одного!). Что позволяет реализовать двойную бух-запись.

Пример: есть коллекция организаций и журнал сумм на списание с организаций.

Получается такая реализация:

Вместо выполнения всей sql-транзакции - в коллекцию журнала добавляется запись о списании суммы с организации. Всё. Остальное - делает робот-скрипт (в этом примере - он работает строго в один поток!)

Что делает робот:
1. Находит не обработанную запись в коллекции журнала
2. В коллекции организаций у соответствующей организации за одну команду изменяется баланс и лог-поле (типа LogId + TimeStamp) Важно!: предварительно нужно проверить - не совпадает ли идентификатор журнальной записи с LogId. Если совпало - то значит скрипт запущен после сбоя, и уменьшать баланс не надо!
3. В коллекции журнала записи добавляется флаг "Обработана"=true

На 2 и 3 шаге нужно проверять getLastError(safe-mode) - если произошла ошибка - можно повторить шаг (только не бесконечно, а, например, 10 раз. если все плохо - то нужно как-то оповестить админа или программиста).

Это - очень упрощенный вариант. Только для понятия логики.

MongoDB + Munin = графики

2011-01-14T13:28:00.001+03:00

На сайте mongodb оказалась не работающая (для меня) инструкция. Покопав гугл нашел решение:

Плагины нужно скопировать в /usr/share/munin/plugins
и сделать симлинки по пути /etc/munin/plugins
потом проверить конфиг ноды:

munin-node-configure
...
mongo_btree                | yes  |
mongo_conn                 | yes  |
mongo_lock                 | yes  |
mongo_mem                  | yes  |
mongo_ops                  | yes  |
...

перезапустить ноду:

sudo /etc/init.d/munin-node restart

Вот теперь на веб-странице графиков появилась группа mongodb.

P.S.: https://github.com/erh/mongo-munin/

CentOS: почтовые алиасы. Установка е-майла для root.

2010-12-17T16:47:00.000+03:00

sudo vi /etc/aliases # задать алиас root: <мой e-mail>
sudo newaliases
echo "hello from `hostname`" | mail -s "test" root

Django | Стандартные цвета оповещений

2010-12-17T14:52:00.001+03:00

Часто в каких-то своих проектах приходится писать свою систему оповещений (notifications) на сайте. И лучше использовать стандартное оформление, например из Django:

.information {
background: #dedfff;
color: #406299;
border-color:#5b7299;
}
.error {
background: #ffe1da;
border-color: #f34f4f;
color: #be0b0b;
}
.success {
background: #e2f9e3;
border-color: #9c9;
color: #080;
}
.warning {
background:#fff8bf;
border-color: #ffd324;
color:#eb830c;
}

clodo.ru | Виртуальный сервер. Порты.

2010-12-14T11:50:00.000+03:00

q: CentOS. Как открыть порт?
a:

iptables -I INPUT -p tcp --dport 81 -j ACCEPT

Amazon. Виртуальные машины. Про дисковое пространство.

2010-10-23T00:38:00.002+04:00

Оказалось, что в описании машин устаревшая информация о размерах дисков. Я долго ломал голову и пробовал уменьшать образы (к слову - это были тестовые образы по 20 - 40 гиг, и использовал я micro-instance, т.к. это самый дешевый вариант для тестов)... Но после уменьшения - машина либо не стартовала, либо не отвечала по ssh (что скорее всего означало то, что опять таки не запустилась).

Вобщем я рискнул и создал High Memory Extra Large, в инфо о котором написано о 420 Гиг диске. Выбрал образ Amazon 64bit. Ну и к моей радости после добавления я увидел, что к машине подключен образ всего то 10 Гиг! Ура!

Смысл в том, что мне не нужно было указанных 420 Гиг, а нужно было всего то 100-200. И очень не хотелось платить за излишек. Так что теперь и не придется.

Однако стоит упомянуть и про увеличение размера диска. Так вот - увеличение работает! Шаги :

Сделать snapshot с нужного образа
Сделать новый образ из snapshot`а, при этом будет возможность изменить размер
Заменить исходный образ или подключить новый к машине
Подмонтировать новый диск в lunix`e (странно, но при использовании образа амазоновского линукса, диски монтируются как xvda вместо sda)
Воспользоватся resize2fs утилитой

Все! После - нужно перезапустить машину. Да, кстати, увеличивать можно даже тот образ, с которого загрузилась машина.

MongoDB. Составные индексы.

2010-10-13T16:26:00.001+04:00

Только что, играясь с запросами, обнаружил, что mongo использует составной (из нескольких полей) индекс для поиска по одному полю (это одно поле есть в составном)!

Т.е. нет нужды как в SQL делать по несколько индексов (по разному составленных)!

UPDATE:
Пример:
Есть индекс A,B,C. Так вот, в запросах по A или A,B - будет работать индекс! А вот для B или B,C - нет.

1gb.ru + SSH = UTF-8? Решение

2010-10-12T11:42:00.003+04:00

Что бы при работе через SSH правильно работала кодировка UTF-8 - нужно в ~/.bashrc добавить:

export LANG=ru_RU.utf8

VIM. Меню для смены кодировки

2010-10-12T11:34:00.000+04:00

В vim можно создавать свои меню и если добавить в .vimrc следующие строки:

set wildmenu

set wcm=<Tab>

menu Encoding.koi8-r :e ++enc=koi8-r ++ff=unix<CR>

menu Encoding.windows-1251 :e ++enc=cp1251 ++ff=dos<CR>

menu Encoding.cp866 :e ++enc=cp866 ++ff=dos<CR>

menu Encoding.utf-8 :e ++enc=utf8 <CR>

menu Encoding.koi8-u :e ++enc=koi8-u ++ff=unix<CR>

map <F8> :emenu Encoding.<TAB>

То по нажатию F8 можно будет выбрать из меню, в какой кодировке редактировать текущий файл. По-моему, очень удобная фича.

Оригинал

Ubuntu-server | Cherokee web-server & RRDTool

2010-09-29T15:30:00.001+04:00

В последних версиях (>1) замечательно интегрированы графики. Только вот при установке через apt-get почему то не устанавливается libplugin_rrd.so. Решение простое

sudo apt-get install libcherokee-mod-rrd

CouchDB | Если вдруг падает и не запускается...

2010-08-26T12:33:00.000+04:00

... замечал на версии до 1.0.0, что при большом размере лог-файла - не запускается. Решение - затирать лог.

CenoOS 5 + CouchDB 1.0.1. Как скомпилировать.

2010-08-26T12:31:00.000+04:00

Удалось скомпилировать CouchDB 1.0.1 на CentOS 5.

Основная сложность была в том, что бы найти js библиотеку SpiderMonkey. А она - тут.

Компилировать так:

make BUILD_OPT=1 -f Makefile.ref && cp *.{h,tbl} /usr/include/ && cd Linux_All_OPT.OBJ && cp *.h /usr/include/ && mkdir -p /usr/{bin,lib}/ && cp js /usr/bin/ && cp libjs.so /usr/lib/

CouchDB компилируется как обычно

./configure
make
make install

Ура! Удалось на Centos 5 запустить cherokee + uwsgi

2010-08-10T18:13:00.000+04:00

Наконец то получилось запустить это связку под Centos 5 (2.6.27.41-170.2.117.fc10.i686.PAE).

Версии:

Cherokee: 1.0.8
uwsgi: uWSGI 0.9.6-dev (скомпилировано под Python 2.6)

Все скомпилировано из свежих репозиториев. Ранее у меня не получалось настроить чероки - визард не находил uwsgi. Сейчас в новой версии - все супер!

FaceBook. fb:comments и страницы с русскими УРЛами.

2010-08-10T11:59:00.000+04:00

Столкнулся с добавлением на сайт комментариев через API Facebook`а. В результате - пришлось прикрутить их javascript-API код.

Но получилась большая проблема - на страницах с русским УРЛом комментирование не работало. После нажатия на кнопку "Отправить" вылезало сообщение "Temporary error". Случайно обнаружил, что на страницах с английским УРЛом все работает. Стал копать описание. И смотреть, что отрисовывает API. И заметил, что в скрытом инпуте "xid" - мой русский урл! Ага! Почитав документацию понял, что это - уникальный ID страницы.

Так что решение простое - в fb:comments добавить xid="[тут_английский_id]". На моем примере - id получился article_134.

Ubuntu 10.04 Восстановление оконного менеджера и иконок на рабочем столе

2010-08-03T11:48:00.001+04:00

Вчера "прошел квест" - восстанавливал оконный менеджер и иконки на десктопе. Так как в результате удаления какого-то софта, что то важное отвалилось. И я остался без десктопа - не было ни иконок, ни меню по правой кнопке. И у окон пропало оформление - рамка и кнопки с заголовком.

Как оказалось, оконный менеджер в последних версиях - это compiz. А декстоп - это наутилус, просто загруженный в стартапе.

Решение - добавить в "запускаемые программы" compiz и nautilus. Я думаю, что при первой инсталяции они прописаны где-то еще на запуск. Но и такой способ - вполне оправдан.

dot.Net c# - Подрезка и изменение размера изображения.

2010-07-09T17:17:00.002+04:00

System.Drawing.Image image = System.Drawing.Image.FromFile(src);  
int srcWidth=image.Width;
int srcHeight=image.Height; 
int thumbHeight=(srcHeight/srcWidth)*thumbWidth;
Bitmap bmp = new Bitmap(thumbWidth, thumbHeight);  

System.Drawing.Graphics gr = System.Drawing.Graphics.FromImage(bmp); 
gr.SmoothingMode = System.Drawing.Drawing2D.SmoothingMode.HighQuality  ; 
gr.CompositingQuality = System.Drawing.Drawing2D.CompositingQuality.HighQuality; 
gr.InterpolationMode = System.Drawing.Drawing2D.InterpolationMode.High; 

System.Drawing.Rectangle rectDestination = new System.Drawing.Rectangle(0, 0, thumbWidth, thumbHeight);
gr.DrawImage(image, rectDestination, 0, 0, srcWidth, srcHeight, GraphicsUnit.Pixel);  

bmp.Save(dest); 
  
bmp.Dispose();
image.Dispose();

Шаринг ссылки в соцсети

2010-06-17T19:45:00.000+04:00

Памятка на описание API:
http://wiki.developers.facebook.com/index.php/Facebook_Share
http://vkontakte.ru/pages.php?act=share
http://help.tweetmeme.com/2009/04/06/tweetmeme-button/

MSSQL Managment studio - ошибка 0xc0010014 при добавлении нового плана

2010-04-23T11:09:00.000+04:00

Понадобилось мне добавить новую задачу на MSSQL сервер. Решил воспользоваться графическим редактором студии. Элемент бросается перетаскиванием, но при попытке его редактировать - вылезает ошибка 0xc0010014.

Нашел лечение:

%windir%\syswow64\regsvr32 "%ProgramFiles(x86)%\Microsoft SQL Server\90\dts\binn\dts.dll"

IIS6+ nginx на одной машине

2010-04-14T13:23:00.000+04:00

В связи с хайлоадом (перегрузкой) сервера с IIS6, решил посмотреть, что будет, если закрыть iis nginx`ом. И статичные файлы отдавать тоже nginx`ом. Однако что то не срослось - и iis не сбавил темпов загрузки процессора. Nginx вообще его не кушал.

nginx под win32 как сервис

2010-04-02T12:19:00.000+04:00

Nginx - штука гордая. Особенно под windows. Запускать нужно через start, чтоб отдельный процесс запустился. Озадачился запускать nginx как сервис. Проще всего через утилитку cygrunsrv.exe.

Тут тоже свои шаманства:

cygrunsrv.exe --install nginx -p c:\nginx\nginx.exe --neverexits -a "-p c:\nginx"

Ключ --neverexits нужен, т.к. nginx "форкается" (порождает отдельный процесс).
Ключ -a нужен что бы передать путь, где находится сам nginx. Иначе не найдет куда писать логи.

А вот прикрутить ротацию логов пока не получилось, ругается, что не может найти какой-то файл (смутно думаю, что пид-файл)

reload_logs.bat:

cd c:\nginx\logs\
ren access.log access-%DATE%.log
ren error.log error-%DATE%.log
cd ..
nginx -s reopen

XSL - ужас!

2010-03-11T19:35:00.001+03:00

XSL - шаблоны. Вроде удобно, понятно. Циклы, проверки, подгрузка шаблонов. Но... как сделать обычный HTML-комментарий? Шаблонизатор съедает его!

Оказалось нужно

<!-- я коммент -->

мутировать в ужас:

<xsl:text disable-output-escaping="yes">&#60;!-- я коммент --&#62;</xsl:text>

Омг! И скрипты... тоже... нужно мутировать...

Python 2.6 в CentOS5

2010-03-03T13:58:00.001+03:00

Подсмотрено тут.

wget http://python.org/ftp/python/2.6.4/Python-2.6.4.tar.bz2

tar -xjf Python-2.6.4.tar.bz2

cd Python-2.6.4

yum install -y gcc make zlib-devel bzip2-devel openssl-devel readline-devel sqlite-devel gdbm-devel ncurses-devel

./configure --prefix=/opt/python26 --with-zlib=/usr/include

make

make install

ln -s /opt/python26/bin/python2.6 /usr/bin/python2.6

python2.6 -V

Теперь 2.6 версия вызывается через python2.6

Установка easy_install:

wget http://pypi.python.org/packages/2.6/s/setuptools/setuptools-0.6c11-py2.6.egg#md5=bfa92100bd772d5a213eedd356d64086

sh setuptools-0.6c11-py2.6.egg

ln -s /opt/python26/bin/easy_install-2.6 /usr/bin/easy_install-2.6

easy_install-2.6 --help

Соответственно вызывать через easy_install-2.6

Настройка работы с MSSQL с линукса (CentOS 5)

2010-03-03T12:23:00.001+03:00

Столкнулся с написанием скриптов для работы на линукс-сервере с MsSQL-базой на питоне. Основная проблема - сообщение типа


pyodbc.ProgrammingError: ('42000', '[42000] [FreeTDS][SQL Server]Unicode data in a Unicode-only collation or ntext data cannot be sent to clients using DB-Library (such as ISQL) or ODBC version 3.7 or earlier. (4004) (SQLExecDirectW)')

Как же так? Просто нужно настроить использование правильной версии драйвера.

Итак. Первое - запись о драйвере в /etc/odbcinst.ini

[FreeTDS]
Description=TDS driver
Driver=/usr/lib/libtdsodbc.so
Setup=/usr/lib/libtdsS.so
FileUsage=1

Второе - добавить запись о сервере в /etc/freetds.conf

[myServer]
    host=192.168.0.2
    port=1433
    tds version=8.0

Особенно прошу учесть "табы" перед параметрами! У меня без них запись не срабатывала!

Третье - добавить DSN-запись в /etc/odbc.ini

[myDNS]
Description=my dsn
Driver=FreeTDS
Database=my_db
Servername=myServer

Теперь код для работы с бд выглядит так:

import pyodbc
conn = pyodbc.connect("dsn=myDSN;UID=%s;PWD=%s;" % ('sa','pass'))
cursor=conn.cursor()
cursor.execute("select 'test' as x;")
row=cursor.fetchone()
if row:
    print row

Успехов!

CouchDB | Тонкости map-функции

2010-02-18T16:47:00.001+03:00

Никогда не пишите в map-функции

emit(doc._id, doc);

т.к. при вызове view на жестком диске создается индекс-файл, который будет содержать значения doc._id и doc!

UPDADE: doc - т.е. будут все поля документа.

Возвращайте только новые, просчитанные данные. Ибо есть ключик include_docs=true, при наличии которого БД отдаст кроме того, что в emit ещё и сами документы!

CouchDB | Простенький скрипт для keep-alive

2010-02-03T14:41:00.000+03:00

CouchDB запускается как фоновый процесс. Но он не умеет подниматься в случае ошибки.
Вот пример простого скрипта, который через curl проверяет - активен ли процесс и если нет - перезапускает его:

#!/bin/bash

echo "Checking, is CouchDB is alive..."
#замените адрес на свой!
ANSWER=$(curl http://192.168.0.5:5984 -s)

if test $ANSWER
then
    echo "CouchDB is alive!"
else
    echo "Trying to restart..."

    /etc/init.d/couchdb restart
fi

Скрипт можно усложнить - например, после рестарта проверить - запустился ли. Если нет - отсылать письмо админу :-)

Python + Psycopg2 + Win32 | Ошибка при большом кол-ве подключений к БД

2010-01-26T13:22:00.003+03:00

Написав простецкий скрипт на питоне для копирования данных таблицы с MSSQL в PostgreSQL (+ конвертация некоторых полей) напоролся на ошибку - "psycopg.OperationalError, could not connect to server: Address already in use". Запускал скрипт я на Win32, Python2.6, Psycopg2 2.0.13. Долго ковырял гугль. Нашлась тема. И хотя она оказалась решенной ещё в 2006 году - я эту ошибку всё равно получал. Да, библиотека у меня судя по её номеру - намного "новее"...

Помучав мозг и посмотрев на код работы с psql, я увидел, что для вставки каждой строки данных я каждый раз открываю и закрываю соединение... Вот оно! А что, если открыть соединение 1 раз и кидать инсерты? Да, так и быстрее и не получаю ошибку! (вот в фоне уже 80К строк обработано, только нужно учесть, что я соединился с pgBouncer).

Ну или можно вставить time.sleep(3*60) после каждых 2К строк...

Genius NetScroll 220 Laser | Мышь. Понижение чувствительности.

2010-01-21T11:53:00.001+03:00

OMG! Все мучался - мышь ЛЕТАЕТ! Оказалось есть переключение dpi (влияет на чувствительность). Знаете как? ХАХА! Нажатием лк+пк+колеса!

УРА!

MSSQL | Подлость. Никогда не доверяйте!

2010-01-21T10:36:00.000+03:00

Был обычный день. Настал момент в базе данных у одной таблицы сменить тип с text на ntext. А таблица на 500к строк. И важная - жуть! Ок, Sql managment studio создала скрипт. Интересно, но скрипт создавал временную таблицу, копировал в неё оригинальную, потом дропал оригинальную и переименовывал временную в название оригинала. Вроде - все нормально, все обернуто транзакциями.

Да вот только обернуто то не все вместе, а каждая команда по отдельности! Ну в результате - сначала мешали внешние ключи. А потом просто - оригинальная таблица дропнулась и временной не видно!? ВСЁ!

Прощайте данные!

Да, есть бекап. Ночной. Общий на 50Гиг. Шутки в сторону. Микрософт не научил студию восстанавливать таблицы по одной. Финиш. А точнее - пипец!

Но я умный. У меня есть машина-дублер. Правда она - на постгресе!

В общем поимел я секса с sqlcmd и конвертированием ~300Мегового бекапа в стиле INSERT INTO TABLE. Хорошо что была линукс-машина и хвала vim! Особенно его комманде глобальной замены %s/что_искать/на_что_менять/gn.

Для интереса - sqlcmd работает по стандарту. Т.е. каждая команда должна завершаться ~~пинком~~ командой GO. Но кроме того из-за огромного размера - каждый инсерт пришлось обернуть в транзакцию.

Типа:

begin tran;
insert into ...;
commit tran;
go

Ну и конечно же вызов sqlcmd с флагом кодировки -f 65001 (это utf-8).

Всё. Живем.

SQLAlchemy + MSSQL + Stored Procedure | Решение проблемы получения данных из хранимых процедур

2009-12-17T11:41:00.000+03:00

Нашел решение. Нужно в скрипте хранимки вставить

set nocount on;

Тогда данные получаются нормально.

Werkzeug + SQLAlchemy + Jinja2 + Memcached = Маст трай

2009-12-04T16:53:00.001+03:00

Да, да, да! Дошли таки руки! Django отложен в темный ящик, так как мне нужна бОльшая гибкость. Да и админка не нужна совсем в том проекте, который делаю (секрет :-).

Хорошо, что перед встречей с werkzeug я поковырялся с GAE Python (сделал нечто вроде блога). Это помогло мне сделать этакий фреймворк для обработки запросов.
К примеру сделал свой базовый класс Controller. Это объект с response и request классами внутри.

Куски класса:

class Controller():
    def __init__(self, request):
    def get(self): #вызывается при get-запросе
    def post(self): #вызывается при post-запросе
    def render_template(self, template, **context): #так вызывается шаблонизатор
    def preprocess(self): # дергается в конце инициализации. сюда можно навесить декоратор для проверки прав доступа

Кроме того, Controller при каждой инициализации создает в себе объект self.current_user - думаю понятно что это :-)

Еще очень обрадовал шаблонизатор:
- он кэширует шаблоны! (т.е. хранит их в своем пре-компилед виде).
- макросы (можно загружать из файла)

Отдельно помучался с апачем + wsgi. Но как обычно - документация спасает.

П.С.: просто надоел зависающий IIS6

Cherokee + uWSGI + Django How-To

2009-11-08T19:36:00.006+03:00

Навеяно:
http://habrahabr.ru/blogs/python/67475/
http://m.habrahabr.ru/post/70531/
---

Решил тут я попробывать веб-сервер cherokee для django-сайта. Обычно используется flup-прослойка, а я хотел задействовать uwsgi.

Что я сделал (опишу успешные шаги):
1. создал новый django-проект
2. создал новый app "dummy" с простым выводом:

def index(request):
    return HttpResponse('hello from django!')

3. установил cherokee последнюю версию из svn (на сайте чероки описано как это сделать), т.к. в текущей 0.99.19 нет визарда для настройки uWSGI...
4. сайты у меня находятся в каталоге /var/www-cherokee (владелец www-data)
5. в каталог django1 я скопировал свой проект.
6. в /var/www-cherokee нужно поместить uwsgi.xml - это конфигурационный файл для запуска джанго-сайта. содержание моего:

<uwsgi>
    <pythonpath>/var/www-cherokee/</pythonpath>
    <pythonpath>/var/www-cherokee/django1</pythonpath>
    <app mountpoint="/">
        <script>/django1/django_wsgi</script>
    </app>
</uwsgi>

обратите внимание на пути в pythonpath - без них работать не будет.
7. в /var/www-cherokee/django1 помещаем скрипт для вызова джанго (django_wsgi):

#some code for run on cherokee web server

import os
import django.core.handlers.wsgi
os.environ['DJANGO_SETTINGS_MODULE'] = 'settings'
application = django.core.handlers.wsgi.WSGIHandler()

8. в настройках cherokee (в которые легко попасть через sudo cherokee-admin -u и потом в браузере http://localhost:9090) нужно в разделе "Virtual Server: default" вызвать "wizards"->platforms ->uWSGI ->run wizard.
так же в параметре "Interpreter" проверьте путь до конфига uwsgi.xml (у меня строка выглядит так: /usr/bin/uwsgi -s /tmp/cherokee-source11.sock -C -x /var/www-cherokee/uwsgi.xml )

В принципе - все. Перезапустил сервер и в браузере увидел "hello..."

П.С.: о сломанных копьях в процессе конфигурации я умолчу. если что - я настраивал по этому посту.
П.П.С: если что то не работает (я сначала получал только "uwsgi error" в браузере) - попробуйте запустить в окне терминала строчку из настройки интерпретатора (/usr/bin/uwsgi -s /tmp/cherokee-source11.sock -C -x /var/www-cherokee/uwsgi.xml) и не закрывая его обновить страницу в браузере. потом в терминале можно увидеть ошибки (я так нашел неправильно указанный путь)... ВНИМАНИЕ! после запуска интерпретатора в ручную нужно удалять файл /tmp/cherokee-source11.sock (в моем случае)!

---
тесты:
1. flup
2. uWSGI

= 1 =============
Document Length: 18 bytes

Concurrency Level: 10
Time taken for tests: 102.068 seconds
Complete requests: 10000
Failed requests: 0
Write errors: 0
Total transferred: 1660166 bytes
HTML transferred: 180018 bytes
Requests per second: 97.97 [#/sec] (mean)
Time per request: 102.068 [ms] (mean)
Time per request: 10.207 [ms] (mean, across all concurrent requests)
Transfer rate: 15.88 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 1 1.8 0 39
Processing: 3 101 241.3 39 3777
Waiting: 0 98 236.6 38 3777
Total: 3 102 241.3 40 3778

Percentage of the requests served within a certain time (ms)
50% 40
66% 56
75% 69
80% 79
90% 171
95% 292
98% 1125
99% 1226
100% 3778 (longest request)

= 2 =============
Document Length: 18 bytes

Concurrency Level: 10
Time taken for tests: 20.044 seconds
Complete requests: 10000
Failed requests: 0
Write errors: 0
Total transferred: 1660000 bytes
HTML transferred: 180000 bytes
Requests per second: 498.90 [#/sec] (mean)
Time per request: 20.044 [ms] (mean)
Time per request: 2.004 [ms] (mean, across all concurrent requests)
Transfer rate: 80.88 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 0 0.4 0 4
Processing: 3 19 5.4 19 46
Waiting: 3 19 5.3 19 46
Total: 5 20 5.3 19 47

Percentage of the requests served within a certain time (ms)
50% 19
66% 20
75% 22
80% 23
90% 27
95% 30
98% 34
99% 38
100% 47 (longest request)

= результат ======================
flup/uWSGI
Requests per second: 1 к 5
Transfer rate: 1 к 5

В основном 1 к 5!

GAE | Свой домен

2009-11-06T15:10:00.005+03:00

На текущий момент можно сделать только:

www.ваш_домен.все

Раньше можно было добавить в ДНС-записи А-запись с адресами гугла, но теперь так не сработает. Решение только одно - нужно где-то разместить сайт для домена 2ого уровня и сделать на нем редирект на www.домен. Я пока не искал как проще и за сколько такое сделать - у меня есть где повесить сайт-редирект. Еще вариант - можно купить домен у самого гугла (я не проверял). Или воспользоваться Web-forwarding (у ру-центра он есть).

Я столкнулся с обычной настройкой "своего домена" на app в GAE. Ру-центр. Самое важное - нужно зарегистрироваться в службах Google, так как это единственная возможность привязать свой домен к GAE приложению (я по глупости пытался как "частное лицо" найти решение).
Далее - нужна услуга ДНС-мастер secondary.

Далее всё по гуглу. В службах Google нужно выполнить "подтверждение владением домена". И добавить в ДНС записи:

google_ваша_строка_даст_гугл СNAME google.com.
www CNAME ghs.google.com.

И учтите, что домен должен быть делегирован. Я по малоопытности прождал 2 дня. Потом погуляв по личному кабинету настройки доменов увидел, что нужный мне домен не делегирован...

DJANGO | Шаблоны | Свой фильтр в условиях GAE

2009-10-28T16:44:00.001+03:00

О`кей. Расскажу как сделать свой фильтр для Django 0.96 (для работы в Google App Engine). Конечно на питоне!

1. в корне проекта создаем файл 'django_template_custom_filters.py':

# coding: utf-8

from google.appengine.ext import webapp

register = webapp.template.create_template_register()

def fctitle(text):
    """
    First char title
    """
    result=''
    if text and len(text)>0:
        result=text[0]
        result=result.title()+text.__getslice__(1,len(text))
        return result
    else:
        return ''
    
    
register.filter(fctitle)

2. В нужном контроллере (скрипт, который дергается по урл'у):

webapp.template.register_template_library('django_template_custom_filters')

3. Теперь в шаблоне можно:

<h1>{{article.title|fctitle}}</h1>

Just-In-Time debugging. Error. Лечение

2009-10-15T16:54:00.000+04:00

Нарвался на "секс" - при запуске различных программ вылезало предупреждение, что не установлен дебаггер Just-In-Time. Глупый микрософт предлагал исправить это через настройку в Visual Studio. Но! у меня express edition! OMG! Он этого не умеет!

Оказалось все просто. Обычно с рождения используется Dr.Watson. Так вот его просто нужно "вернуть"!

drwtsn32 -i

PostgreSQL. Обычные ошибки при новой установке

2009-10-09T15:11:00.001+04:00

Сегодня начал поднимать сервер на линуксе. Постгрес стоит. Свежий. Но с другой машины - не пускает.

1. Свежая установка постгреса не имеет пароля для пользователя postgres. Правится так:

su postgres
psql
alter user postgres with password ‘mypasswd’;

2. Внешние коннекты могут быть настроены не правильно. pgAdmin может подсказать:

#pg_hba.conf
host    all    all    192.168.0.0/24    md5

GAE. Bulkload. Загрузка дампа. Дата-время.

2009-09-30T19:08:00.000+04:00

Если ваш дамп содержит поле дата-время вида 2000-05-30 23:15:34.943 то закачать можно только с конвертацией, например:

('When',lambda x: datetime.datetime.strptime(x.split('.')[0], '%Y-%m-%d %H:%M:%S')),

Причем миллисекунды - отсекаются. Т.к. питон 2.5 их не знает...

Dr. House s06e02 Epic fail [eng]

2009-09-29T12:05:00.002+04:00

House.S06E02.Epic.Fail.REAL.HDTV.XviD-FQM

GAE. Bulkload. Итог.

2009-09-28T15:32:00.002+04:00

Жаль, но моё решение (на первый взгляд) - не использовать GAE.
Почему?:
* самое неприятное - ограничение на CPU.
причем его нельзя как-то запланировать и просчитать
* ограничение на селекты
в принципе - оно может и правильное, но как быть, если я хочу показывать, что у меня есть, например, 5000 объявлений в базе? про шардинг я читал - все это - изврат
* нет join`ов - не удобно работать (фильтровать) связанные объекты.
можно плодить дополнительные объекты - но ведь это костыли!!!
* огромное неприятное - нет возможности наблюдать на сервером.
например - когда упадет... когда держишь несколько машин - можно повесить вачдог, чтоб письмо на почту слал... или оптимизация кода...
* ждать индексации - издевательство
вот залил я дамп, хочу тест сделать - селект с фильтром по полю - фиг вам! нельзя, пока не построится индекс!!!

Ваши мысли - приветствуются

GAE. Bulkload. Загрузка дампа. Русский язык.

2009-09-28T11:43:00.000+04:00

Столкнулся с загрузкой дампа, в котором есть строки с русским языком. Загрузчик ругался...
Решение (пример, русский текст в свойстве Name. просто добавляем лямбда-функцию для конвертации)

class Organization_Shop(db.Model):
 Id=db.StringProperty()
 Name=db.StringProperty()
 Deleted=db.BooleanProperty()
 
class Organization_Shop_Loader(Loader):
 def __init__(self):
  Loader.__init__(
   self, 
   'Organization_Shop',
   [('Id',str),
   ('Name',lambda x: unicode(x, 'utf-8')),
   ('Deleted',bool)]
  )

GAE. Bulkload. Загрузка дампа.

2009-09-24T11:55:00.000+04:00

Изучаю Google App Engine. Тестирую. Столкнулся с необходимостью загрузить дамп таблицы. Много времени потратил, пытаясь сделать все по инструкции. Оказалось - она несколько устаревшая что-ли...

Публикую мой рабочий пример:
Конфиг app.yaml:

application: fun-test
version: 2
runtime: python
api_version: 1

handlers:
- url: /remote_api
  script: $PYTHON_LIB/google/appengine/ext/remote_api/handler.py
  login: admin

- url: /.*
  script: main.py

Класс для загрузки .csv - uploader.py (обратите внимание - класс bulkloader не подключен, в коде фигурирует просто Loader):

# coding=UTF-8
import datetime
from google.appengine.ext import db

class Test(db.Model):
 Name=db.StringProperty()
 LastName=db.StringProperty()
 
class TestLoader(Loader):
 def __init__(self):
  Loader.__init__(
   self, 
   'Test',
   [('Name',str),
   ('LastName',str)]
  )   
 
loaders = [TestLoader]

Дамп d.csv:

Jonny, Lee
Carl,Donny
Nick,Cookie

Вызов процесса аплоада дампа: (обратите внимание на то, что вызывается bulkloader.py - в текущей версии appcfg.py у меня не умеет делать аплоад! Вызов для удобства разбиваю на строки...)

C:\Program Files\Google>c:\Python25\python.exe 
google_appengine/bulkloader.py
--filename=testapp/d.csv
--kind=Test
--url=http://localhost:8080/remote_api
--config_file=testapp/uploader.py
--app_id=fun-test

Вот. Только так у меня сейчас и работает. Успехов!

House, dr. s06e01

2009-09-22T11:01:00.001+04:00

а-ха-ха-ха! супер. в моих липких лапках Хаус 6.1+2
в заставке - композиция радиохеад! (оччень хорошая)

Видео

NUnit и Visual Studio 2008 Express

2009-09-07T14:34:00.000+04:00

Ссылка на англоязычный блог - как установить...

MSSQL: вставка большого кол-ва строк в таблицу с триггером

2009-08-12T14:56:00.000+04:00

Наткнулся на большие задержки локов на важных таблицах. Оказалось если на таблице висит триггер на вставку, и вставить много-много строк (в моём случае было около 50 000) - очень долго выполняется вставка (около 30 сек). Лечится временным выключением триггера (если это позволительно логикой триггера):

disable [trigger_name] on [table_name];

Включение - enable.

Windows. Удаленный вход. Терминальная лицензия - обход

2009-07-03T10:31:00.001+04:00

Админы люди ленивые. Кончился "льготный" период пользования терминальным сервисом - не пускает. Но если очень нужно - то можно:


mstsc /v:192.168.0.1 /console

Для тех, у кого есть вопросы касательно plProxy\pbBouncer

2009-05-29T14:49:00.000+04:00

... изниняйте!, я еще не перешел к внедрению в своих проектах, т.к. занят программой-репликатором MSSQL-2-PostgreSQL... и по этому ничего путного не знаю (кроме моих переводов)...

MSSQL: Поиск по текстам хранимых процедур

2009-04-24T10:21:00.000+04:00

При написании программы-репликатора mssql-to-postgresql, столкнулся с необходимостью найти все хранимые процедуры, где используется какая-либо таблица.
Решение:


SELECT ROUTINE_NAME, ROUTINE_DEFINITION 
FROM INFORMATION_SCHEMA.ROUTINES 
WHERE ROUTINE_DEFINITION LIKE '%искомый текст%' 
AND ROUTINE_TYPE='PROCEDURE'

WINDOWS: Синхронизация времени

2009-04-17T11:12:00.000+04:00

Для синхронизации времени между серверами в сети я обычно делаю timesync.bat в корне диска C


NET TIME \\имя_мастер_сервера /SET /YES

и делаю задание в шедулере (Scheduled Tasks) на запуск этого bat`ника каждое утро...

MSSQL: Бекап на другую машину по сети

2009-04-17T10:26:00.000+04:00

Зачем?

Нехватка места на локальном сервере

FailOver (если накроется сервер - бекап останется)

Как?
1. Установить сетевое устройство для бекапа можно только запросом


USE master;
GO
EXEC sp_addumpdevice ’disk’, ’networkdevice’,
’\\<servername>\<sharename>\<path>\<filename>.bak’

Памятка: нужно указывать полный путь до файла!

2. Проще создать хранимую процедуру для вызова бекап-процесса


BACKUP DATABASE [ваша_бд] TO  
[networkdevice] WITH NOFORMAT, INIT,  
NAME = N'имя_файла_не_важно', SKIP, REWIND, NOUNLOAD,  STATS = 10;

Памятка: имя файла реально не важно. т.к. сервер считает устройство чем-то типа 'Tape'.

3. На сервере-хранителе бекапа нужно на шару поставить разрешения на запись для пользователя сервер-с-бд\имя_юзера (например sql)

4. На сервере-бд создать такого же юзера.

5. ОЧЕНЬ ВАЖНО - нужно, что бы MSSQL-сервер (служба) запускалась под созданным выше юзером. Т.к. иначе не будет доступа к 'шаре' (расшаренному каталогу на другом сервере).

6. Сделать службу (Job). В адвансед-свойствах шага поставить запуск под юзером (см. выше).

pgBouncer - Установка

2009-04-15T17:38:00.001+04:00

Лучше всего взять новую версию и откомпилировать её. http://pgfoundry.org/projects/pgbouncer. Так же заметил присутствие в репозиториях Убунты.

make и make install прошли успешно.

Но для самосборной версии нужно:
- сделать конфиг
- создать скрипт запуска в /etc/init.d/

Конфиг: (/etc/pgBouncer/pgbouncer.ini)

;; database name = connect string
[databases]
test = host=127.0.0.1 port=5432 dbname=test
;;ОБЯЗАТЕЛЬНО db postgres
postgres= host=127.0.0.1 port=5432 dbname=postgres


; foodb over unix socket
foodb =

; redirect bardb to bazdb on localhost
;bardb = host=127.0.0.1 dbname=bazdb

; acceess to dest database will go with single user
;forcedb = host=127.0.0.1 port=300 user=baz password=foo client_encoding=UNICODE datestyle=ISO connect_query='SELECT 1'

nondefaultdb = pool_size=50 reserve_pool=10

; fallback connect string
;* = host=testserver

;; Configuation section
[pgbouncer]

;;;
;;; Administrative settings
;;;

logfile = /var/log/pgBouncer/pgbouncer.log
pidfile = /var/run/postgresql/pgbouncer.pid

;;;
;;; Where to wait for clients
;;;

; ip address or * which means all ip-s
listen_addr = *
listen_port = 6432
unix_socket_dir = /var/run/postgresql

;;;
;;; Authentication settings
;;;

; any, trust, plain, crypt, md5
auth_type = plain
#auth_file = 8.0/main/global/pg_auth
auth_file = /etc/pgBouncer/userlist.txt

;;;
;;; Users allowed into database 'pgbouncer'
;;;

; comma-separated list of users, who are allowed to change settings
; user1, user2
admin_users = postgres

; comma-separated list of users who are just allowed to use SHOW command
stats_users = stats, root

;;;
;;; Pooler personality questions
;;;

; When server connection is released back to pool:
;   session      - after client disconnects
;   transaction  - after transaction finishes
;   statement    - after statement finishes
pool_mode = session

;
; Query for cleaning connection immidiately after releasing from client.
;
; Query for 8.3+:
;   DISCARD ALL;
;
; Older versions:
;   RESET ALL; SET SESSION AUTHORIZATION DEFAULT
;
server_reset_query = 

;
; Comma-separated list of parameters to ignore when given
; in startup packet.  Newer JDBC versions require the
; extra_float_digits here.
;
;ignore_startup_parameters = extra_float_digits

;
; When taking idle server into use, this query is ran first.
;   SELECT 1
;
server_check_query = select 1

; If server was used more recently that this many seconds ago,
; skip the check query.  Value 0 may or may not run in immidiately.
server_check_delay = 10

;;;
;;; Connection limits
;;;

; total number of clients that can connect
max_client_conn = 100
default_pool_size = 20

; how many additional connection to allow in case of trouble
reserve_pool_size = 5

; if a clients needs to wait more than this many seconds, use reserve pool
;reserve_pool_timeout = 3

log_connections = 1
log_disconnections = 1

; log error messages pooler sends to clients
log_pooler_errors = 1


; If off, then server connections are reused in LIFO manner
;server_round_robin = 0

;;;
;;; Timeouts
;;;

;; Close server connection if its been connected longer.
;server_lifetime = 1200

;; Close server connection if its not been used in this time.
;; Allows to clean unneccessary connections from pool after peak.
;server_idle_timeout = 60

;; Cancel connection attepmt if server does not answer takes longer.
;server_connect_timeout = 15

;; If server login failed (server_connect_timeout or auth failure)
;; then wait this many second.
;server_login_retry = 15

;; Dangerous.  Server connection is closed if query does not return
;; in this time.  Should be used to survive network problems,
;; _not_ as statement_timeout. (default: 0)
;query_timeout = 0

;; Dangerous.  Client connection is closed if no activity in this time.
;; Should be used to survive network problems. (default: 0)
;client_idle_timeout = 0

;; Disconnect clients who have not managed to log in after connecting
;; in this many seconds.
;client_login_timeout = 60

;; Clean automatically created database entries (via "*") if they
;; stay unused in this many seconds.
; autodb_idle_timeout = 3600

;;;
;;; Low-level tuning options
;;;

;; buffer for streaming packets
;pkt_buf = 2048

;; networking options, for info: man 7 tcp

;; linux: notify program about new connection only if there
;; is also data received.  (Seconds to wait.)
;; On Linux the default is 45, on other OS'es 0.
;tcp_defer_accept = 0

;; In-kernel buffer size (linux default: 4096)
;tcp_socket_buffer = 0

;; whether tcp keepalive should be turned on (0/1)
;tcp_keepalive = 0

;; following options are linux-specific.
;; they also require tcp_keepalive=1

;; count of keepaliva packets
;tcp_keepcnt = 0

;; how long the connection can be idle,
;; before sending keepalive packets
;tcp_keepidle = 0

;; The time between individual keepalive probes.
;tcp_keepintvl = 0

Скрипт:
(Исходник в папке /etc исходников. Я менял пути в начале скрипта...)

#!/bin/bash
#
# pgbouncer Start the PgBouncer PostgreSQL pooler.
#
# The variables below are NOT to be changed.  They are there to make the
# script more readable.

NAME=pgbouncer
DAEMON=/usr/local/bin/$NAME
PIDFILE=/var/run/postgresql/$NAME.pid
CONF=/etc/pgBouncer/$NAME.ini
OPTS="-d $CONF -u postgres"
# note: SSD is required only at startup of the daemon.
SSD=`which start-stop-daemon`
ENV="env -i LANG=C PATH=/bin:/usr/bin:/usr/local/bin"

trap "" 1

# Check if configuration exists
test -f $CONF || exit 0

case "$1" in
start)
echo -n "Starting server: $NAME"
$ENV $SSD --start --pidfile $PIDFILE --exec $DAEMON -- $OPTS > /dev/null
;;

stop)
echo -n "Stopping server: $NAME"
start-stop-daemon --stop --pidfile $PIDFILE 
;;

reload | force-reload)
echo -n "Reloading $NAME configuration"
start-stop-daemon --stop --pidfile $PIDFILE --signal HUP
;;

restart)
$0 stop
$0 start
;;

*)
echo "Usage: /etc/init.d/$NAME {start|stop|reload|restart}"
exit 1
;;
esac

if [ $? -eq 0 ]; then
echo .
exit 0
else
echo " failed"
exit 1
fi

Для автозапуска сделать файл pgbouncer gj пути /etc/default/ с содержимым:

START=1

Теперь подключатся нужно к порту 6432 (Он, кстати, стал стандартом...).
Вобщем у меня всё заработало.

Для просмотра диагностики pgBouncer`a

sudo psql -p 6432 pgbouncer -U postgres

Список команд - тут.

Для затравки:
show help;
show pools;
show clients;

PlProxy - установка на убунту 8

2009-04-15T13:00:00.000+04:00

Пришло время попробовать PlProxy.
Для начала - нужно его установить:

Нужно скачать последнюю версию с http://pgfoundry.org/projects/plproxy и распаковать её (я распаковал в /tmp/plproxy).

Далее в описании процесса инсталляции сказано сделать

make

...но мне ругалось на ошибки.
Как оказалось нужно еще установить кое-что:


sudo apt-get install libpq-dev
sudo apt-get install postgresql-server-dev-8.3 
sudo apt-get install flex
sudo apt-get install bison

После этого нормально проходит


make
make install

Но на make installcheck мне ругнулось, что типа постгрес не отвечает на стандартном порту. Ну ладно. Я сделал далее как следует:


psql -f /usr/share/contrib/plproxy.sql test

Конечно же БД test уже существовала. Ругнулось на отсутствие пользователя root. Поскольку это тестирование - я выстренько сделал суперпользователя root в БД.

Далее я создал еще одну БД ro1.
В БД ro1 создал таблицу Test_1


CREATE TABLE test_1
(
  "Id" serial NOT NULL,
  "Name" character varying(400) NOT NULL,
  CONSTRAINT pk_id PRIMARY KEY ("Id")
)
WITH (OIDS=FALSE);
ALTER TABLE test_1 OWNER TO postgres;

Вставил несколько строк (руками).

Потом проверил работу plproxy-языка.

Это в БД test:


create or replace function test_plproxy(i_text text)
returns setof text as $$

 connect 'dbname=ro1';
 select "Name" from Test_1 where "Id"=1;
 --select $1;

$$ language plproxy;

Теперь с БД test выполняю


select test_plproxy('zzz');

И получаю ответ (не буду его приводить) - значит все работает!

Ubuntu - Tahoma.ttf

2009-04-07T23:24:00.001+04:00

Поскольку я занимаюсь и версткой - мне крайне необходим шрифт тахома в Убунте.
Оказалось он есть в wine. Так что я установил wine

sudo api-get install wine

Потом копируем 2 шрифта из

/usr/share/wine/fonts/ (tahoma*)

~/.fonts

(вроде можно и в /usr/share/fonts/truetype/ttf-liberation) и выполняем

fc-cache -fv

После перезапуска FireFox нормально отображал этот шрифт.

Lenovo s10 | Вот я и купил себе лаптоп!

2009-04-07T17:34:00.000+04:00

В реальности выглядит намного лучше, чем на фотках! Покупал на озоне, весь черный.

1 Гб памяти

160 Гб на диске

расширенная батарея!

Установил убунту 9. всё заработало кроме микрофона встроенного. Но тут есть решение. (Нужно зарегистрироваться и скачать alsa-upgrade. Запустить с ключем -di - скрипт скачает нужные файлы и откомпилирует их, и установит.)
Потом обязательно перезапуск. В настройках аудио появится вкладка "Запись" - там переключить захват на микрофон.

После этого в скайпе всё ок!!!

[Перевод] PostgreSQL кластер: партишинг с plproxy (часть 2)

2009-03-29T03:01:00.000+04:00

оригинал в блоге Kristo Kaiv

В предыдущем посте я описал как установить plproxy и сделать базовый вариант горизонтального кластера.
Теперь взглянем на другое типичное применение в жизни: создание кластера только-чтение для вашей БД.

Разделение нагрузки на чтение.

Самое простое использование в жизни для plproxy - использование для перенаправления запросов только-чтение на реплики "только-чтение" основной БД. Реплицированые БД могут быть заполнены данными с помощью Londiste из пакета SkyTools. Описание установки может быть найдено тут. Или можно использовать Slony, который является более тяжелым решением и из моего опыта так же более труден в установке и поддержке, хотя и лучше документирован.

Типичный кластер "только-чтение" изображен на схеме

БД со знаком "p" имеют пул соединений. Мы используем PgBouncer но pgpool тоже хорошее решение.

Пулы нужны для оптимизации кол-ва соединений с базами, плюс планы выполнения запросов кэшируются на основе выбранного соединения. Конечно все будет работать и без пулов. Пунктирные линии на схеме - реплики.

В этой установке plproxy-функции определяют базу, к которой нужно перенаправить запрос. Запросы на чтение-запись идут к мастер-базе, а только-чтение к репликам "только-н-чтение".

Настройка репликации проста, как только вы пройдете сложный процесс установки утилит skytools.

Первое - давайте создадим конфигурацию для реплик и мастер-базы:

файл replica1.ini

[londiste]

job_name = londiste_master_to_r1
provider_db = dbname=write
subscriber_db = dbname=ro1
# значение будет использовано как идентификатор, так что не используйте точки и пробелы
pgq_queue_name = londiste.write
pidfile = %(job_name)s.pid
logfile = %(job_name)s.log
use_skylog = 0

Файл replica2.ini практически такой же, только название задания и имя базы нужно изменить. Теперь установим Londiste на провайдере (мастер-базе) и подписчиках (r01, r02) и запусим демонов (службы) репликации:

mbpro:~/temp kristokaiv$ londiste.py replica1.ini provider install
mbpro:~/temp kristokaiv$ londiste.py replica1.ini subscriber install
mbpro:~/temp kristokaiv$ londiste.py replica2.ini subscriber install
mbpro:~/temp kristokaiv$ londiste.py replica1.ini replay -d
mbpro:~/temp kristokaiv$ londiste.py replica2.ini replay -d

Теперь нужно настроить тикер-процесс на базе данных, на которой производится запись. Тикер создает события синхронизации, так что чем чаще он запускается - тем меньше разницы в бд ro. Мой конфиг выглядит так:

файл ticker_write.ini

[pgqadm]
job_name = ticker_write
db = dbname=write
# как часто запусткать задачу [минуты]
maint_delay_min = 1
# как часто проверять активность [секунды]
loop_delay = 0.1
logfile = %(job_name)s.log
pidfile = %(job_name)s.pid
use_skylog = 0

Для запуска тикера как демон (служба) выполните:

mbpro:~/temp kristokaiv$ pgqadm.py ticker_write.ini ticker -d

Давайте создадим простую таблицу, которую мы будем реплицировать с мастера на репликантов "только-чтение".

mbpro:~/temp kristokaiv$ psql -c "CREATE TABLE users (username text primary key, password text);" write

mbpro:~/temp kristokaiv$ psql -c "CREATE TABLE users (username text primary key, password text);" ro1

mbpro:~/temp kristokaiv$ psql -c "CREATE TABLE users (username text primary key, password text);" ro2

Добавляем её к репликации

mbpro:~/temp kristokaiv$ londiste.py replica1.ini provider add users
mbpro:~/temp kristokaiv$ londiste.py replica1.ini subscriber add users
mbpro:~/temp kristokaiv$ londiste.py replica2.ini subscriber add users

Спустя некоторое время таблицы должны засинхронизироваться. Вставим новую запись в таблицу и проверим - появилась ли запись на обоих репликантах.

Функции для вставки и выборки из таблицы users:


CREATE OR REPLACE FUNCTION public.add_user(
    in i_username text,
    in i_password text,
    out status_code text
) AS $$
BEGIN
    PERFORM 1 FROM users WHERE username = i_username;
    IF NOT FOUND THEN
        INSERT INTO users (username, password) VALUES (i_username, i_password);
        status_code = 'OK';
    ELSE
        status_code = 'user exists';
    END IF;
    RETURN;
END; $$ LANGUAGE plpgsql SECURITY DEFINER;

GRANT EXECUTE ON FUNCTION public.add_user(
    in i_username text,
    in i_password text,
    out status_code text
) TO plproxy;

CREATE OR REPLACE FUNCTION login(
    in i_username text,
    in i_password text,
    out status_code text
) AS $$
BEGIN
    SELECT 'OK' FROM users u WHERE username = i_username AND password = i_password INTO status_code;
    IF NOT FOUND THEN status_code = 'FAILED'; END IF;
    RETURN;
END; $$ LANGUAGE plpgsql SECURITY DEFINER;

GRANT EXECUTE ON FUNCTION login(
    in i_username text,
    in i_password text,
    out status_code text
) TO plproxy;

Только для комфорта тех, кто реально попробует повторить эти шаги, привожу конфигурацию прокси-бд:

cluster config:


CREATE OR REPLACE FUNCTION plproxy.get_cluster_partitions (cluster_name text)
RETURNS SETOF text AS $$
BEGIN
   IF cluster_name = 'readonly' THEN
        RETURN NEXT 'host=127.0.0.1 dbname=ro1';
        RETURN NEXT 'host=127.0.0.1 dbname=ro2';
        RETURN;
    ELSIF cluster_name = 'write' THEN
        RETURN NEXT 'host=127.0.0.1 dbname=write';
        RETURN;
    END IF;
    RAISE EXCEPTION 'no such cluster%', cluster_name;
END; $$ LANGUAGE plpgsql SECURITY DEFINER;

CREATE OR REPLACE FUNCTION plproxy.get_cluster_config(
    in cluster_name text,
    out key text,
    out val text)
RETURNS SETOF record AS $$
BEGIN
    RETURN;
END;
$$ LANGUAGE plpgsql;

CREATE OR REPLACE FUNCTION plproxy.get_cluster_version(cluster_name text) RETURNS int AS $$
    SELECT 1;
$$ LANGUAGE SQL;

Последнее что осталось сделать - создать plproxy-функцию, которая перенаправляет вызов функции логина на бд только-чтение и функцию add_user на бд для записи (мастер).


CREATE OR REPLACE FUNCTION public.login(
    in i_username text,
    in i_password text,
    out status_code text
) AS $$
CLUSTER 'readonly'; RUN ON ANY;
$$ LANGUAGE plproxy;

CREATE OR REPLACE FUNCTION public.add_user(
    in i_username text,
    in i_password text,
    out status_code text
) AS $$
CLUSTER 'write';
$$ LANGUAGE plproxy;

Вот и всё. кластер готов! Учтите, что хотя создание кластера только-чтение выглядит просто и как быстрое решение для ваших проблем с производительностью - это не решение "серебряная пуля".

Асинхронная репликация часто создает больше проблем чем решает. Так что будте осторожнее - реплицируйте только не критичную ко времени информацию. Или гарантируйте запасное решение когда данные не найдены (например - прокси функция сначала проверяет базу только-чтение и если данные не найдены - ищет их в мастер-базе).

[Перевод] PostgreSQL кластер: партишинг с plproxy (часть 1)

2009-03-29T00:48:00.000+03:00

оригинал в блоге Kristo Kaiv

мой перевод на http://translated.by/you

Skype разработал много полезных утилит для создания кластера баз данных и эта серия публикаций прольет свет на ранее недокументированный функционал. В основе - plproxy. Лучшая фраза описать функциональность - "dblink на стероидах". Это короткое пособие объяснит, как установить plproxy, написать простые запросы к БД и установить простое горизонтальное масштабирование.

Партишинг для чайников.
Партишинг позволяет вам распределить загрузку БД и сами данные между несколькими серверами. Принцип прост. Допустим вы имеете одну таблицу, которая содержит данные на пользователей. Но проблема - миллионы пользователей ежедневно входят по своим аккаунтам в систему. Это создает большую загрузку сервера, не говоря о огромных размерах БД. Первое - нужно определить критерий, по которому мы будем выбирать на каком сервере содержатся данные. Мы можем сделать это по первому символу и имени пользователя. Пользователи a-j попадают в первый сервер, а k-z во второй. Это будет работать. Но скорее всего нагрузка на серверы будет не равномерной. Распространенное решение - использовать партишинг основываясь на хэше первичного ключа, в нашем случае - имени пользователя. Использование хэша позволит размещать записи более равномерно между серверами. То, что вам нужно знать про функцию хэша - это то, что она просто вычисляет номер, основанный на любом введённом значении.

Пример:
select hashtext('kristokaiv1') = 1116512480
select hashtext('kristokaiv2') = 1440348351
select hashtext('kristokaiv3') = -219299073

Объяснение, как это работает - выходит за рамки этого пособия.
Итак, допустим мы имеем 2 партиции, так что мы можем получить номер партиции основываясь на хэше имени пользователя.
Пример: partition nr = hashtext($1) & 1

&1 даст нам последний бит номера, который может быть 0 или 1. Это номер, которым мы можем выбрать партицию, на которой будут сохранены данные. Если 0 - данные попадут на партицию 0 и если 1 - на партицию 1.
select hashtext('kristokaiv1') & 1 = 0 -> partition 0
select hashtext('kristokaiv2') & 1 = 1 -> partition 1
select hashtext('kristokaiv3') & 1 = 1 -> partition 1

Как работает plproxy.
Концепция очень проста - plproxy это новый язык для запросов в PostgreSQL БД, который позволяет делать запросы к удаленным БД также как это делает dblink. Синтаксис очень прост - следующий запрос создает новую plproxy-функцию в БД, которая при запуске подключится в БД remotedb, выполнит функцию get_user_email(text) и вернет результаты.

localdb=#
CREATE FUNCTION get_user_email(username text) RETURNS text AS $$
CONNECT 'dbname=remotedb host=123.456.123.21 user=myuser';
$$ LANGUAGE plproxy;

Создадим функцию-пустышку в remotedb, которая будет отвечать на запрос

remotedb=#
create function get_user_email(text)
returns text as $$
select 'me@somewhere.com'::text;
$$ language sql;

При выполнении мы получим те же результаты, которые получаем по запросу на remotedb

localdb=#
select * from get_user_email('tere');
get_user_email
------------------
me@somewhere.com
(1 row)

Конечно это только простой пример и я вернусь к более сложному синтаксу позже. Давайте посмотрим, как установить plproxy-язык.

Установка plproxy.
Загрузить код можно с http://pgfoundry.org/projects/plproxy/ но я советую взять свежую версию из CVS (системы контроля версий).
Должен быть установлен набор разработки PostgreSLQ. Каталог, где расположена утилита конфигурации постгреса (pg_config), должен быть включен в переменную $PATH.
При этих условиях установка сводится к:

$ make
$ make install
$ make installcheck

Если у вас не получается заставить это работать - вы всегда можете попросить помощи. Финальный шаг - установить язык в БД. Это нельзя сделать как с другими языками (пользуясь утилитой createlang). Вы должны выполнить файл plproxy.sql, который создаст обработчик языка.

Файл plproxy.sql должен быть где-то в каталоге contrib.
$ psql -f /usr/local/pgsql/share/contrib/plproxy.sql queries
CREATE FUNCTION
CREATE LANGUAGE

Всё. Можно проверить установку простой plproxy-функцией (см. в синтаксических примерах).

Установка первого кластера.

Давайте создадим простой кластер, который будет состоять из 3 БД (в моем примере они все используют один и тот же вариант PostgreSQL). Одна прокси-БД вызывает запросы и две разделенные БД (партиции) с данными. Горизантальное разделение сделано на основе имени пользователя. Это часто используемый способ, т.к. большинство данных в БД - это связанные с пользователем: логин, заказы, платы, настройки...

Настройка Кластера.

Настройки БД кластеров хранятся внутри plpgsql-функций, которые вызывает плпрокси.

Существует 3 функции, которые вы должны создать для правильной конфигурации. Давайте создадим их в БД прокси.

1) plproxy.get_cluster_version(cluster_name text)
Эта функция вызывается при каждом запросе и она используется для отслеживания изменений конфигурации кластера (если возвращаемый ей номер больше, чем закешированное значение - конфигурация перезагружается). Давайте начнем с первой версии конфигурации. Пример:
CREATE OR REPLACE FUNCTION plproxy.get_cluster_version(cluster_name text) RETURNS int AS $$
BEGIN
IF cluster_name = 'queries' THEN
RETURN 1;
END IF;
END;
$$ LANGUAGE plpgsql;

2) plproxy.get_cluster_partitions(cluster_name text)
Эта функция должна возвращать строки для соединения для всех партиций в правильном порядке.
Из-за необоснованного ограничения общее кол-во должно быть кратно 2. Это необоснованное ограничение можно легко обойти, но это будет объяснено в другой раз.

CREATE OR REPLACE FUNCTION plproxy.get_cluster_partitions(cluster_name text) RETURNS SETOF text AS $$
BEGIN
IF cluster_name = 'queries' THEN
RETURN NEXT 'host=127.0.0.1 dbname=queries_0000';
RETURN NEXT 'host=127.0.0.1 dbname=queries_0001';
RETURN;
END IF;
RAISE EXCEPTION 'no such cluster: %', cluster_name;
END;
$$ LANGUAGE plpgsql SECURITY DEFINER;

Если в строке соединения не указан логин для БД, будет использован текущий (CURRENT_USER). Так как плпрокси не знает ни одного пароля, разделенные БД должны разрешать соединения от БД прокси.

3)plproxy.get_cluster_config(cluster_name text)
Это эквивалент инициализационного файла. Функция должна возвращать параметры как пары ключь-значение. Все они - не обязательные, но нужно определить функцию-пустышку:
CREATE OR REPLACE FUNCTION plproxy.get_cluster_config (cluster_name text, out key text, out val text)
RETURNS SETOF record AS $$
BEGIN
RETURN;
END;
$$ LANGUAGE plpgsql;

Более подробно о параметрах и что они делают - читайте в документации plproxy.

Теперь установка завершена и можно начать "играть" с нашим новым кластером.

Давайте создадим новую таблицу для хранения имен пользователей (логинов) на обеих партициях.

#queries_0000=# CREATE TABLE users (username text PRIMARY KEY);
#queries_0001=# CREATE TABLE users (username text PRIMARY KEY);

Также нужно создать новую функцию, которая будет добавлять новые имена пользователей в таблицу:

CREATE OR REPLACE FUNCTION insert_user(i_username text) RETURNS text AS $$
BEGIN
PERFORM 1 FROM users WHERE username = i_username;
IF NOT FOUND THEN
INSERT INTO users (username) VALUES (i_username);
RETURN 'user created';
ELSE
RETURN 'user already exists';
END IF;
END;
$$ LANGUAGE plpgsql SECURITY DEFINER;

Теперь давайте создадим прокси-функцию в БД прокси, которая будет вызывать запросы на партициях.

queries=#
CREATE OR REPLACE FUNCTION insert_user(i_username text) RETURNS TEXT AS $$
CLUSTER 'queries'; RUN ON hashtext(i_username);
$$ LANGUAGE plproxy;

Заполнение партиций случайными данными:
SELECT insert_user('user_number_'||generate_series::text) FROM generate_series(1,10000);

Теперь, если мы посмотрим во все БД мы увидим, что обе заполнены и заполнение почти равномерное.
queries_0001 count(*) -> 5071
queries_0000 count(*) -> 4930

Продолжение следует...

MS SQL newid() для PostgreSQL

2009-03-05T18:10:00.000+03:00

UPDATE:
Как оказалось есть UUID. но нет функции-генератора.
Так что я поменял тип возвращаемого результата на UUID.

В данный момент работаю над переходом с MSSQL на бесплатный PostgreSQL.
Первое, на что напоролся - GUID`ов НЕТ!
Поковырял функции постгреса и написал замену:


drop function newid();
create or replace function newid() returns uuid
as $$

DECLARE r varchar='';
 chars varchar='0123456789abcdef';
 i int:=1;
 pos int=0;
 one_char varchar(1);
begin


 while i<=32 LOOP
  pos=round(random()*15)+1;
  one_char=cast (substr(chars,pos, 1) as varchar);
  r=r||one_char;
  if (length(r) in (8,13,18,23)) then r=r||'-'; end if;
  i=i+1;
 end LOOP;

 return r;
end
$$
  LANGUAGE 'plpgsql';

MSSQL - удаление большого кол-ва записей

2009-02-25T11:28:00.000+03:00

исследование темы - удаление большого кол-ва записей из БД.
результат: скрипт для пошагового удаления.
причем удалять придется не при запросе, а в автоматическом режиме. т.е. например раз в 10 часов...

* памятка:
нельзя удалять большое кол-во записей сразу, т.к.:
1. распухнет лог транзакций
2. может не хватить свободного места из-за п.1
3. доолгооо будет удалятся


WHILE 1 = 1
    BEGIN
        DELETE  TOP (10000) --нужно использовать top т.к. rowcount в новых версиях не будет работать для delete
        FROM    Table1 --таблица, откуда удалять
        WHERE   ToBeDeleted = 't'  --флаг "для удаления"

        WAITFOR DELAY '000:00:05' -- 5 задержка

        IF @@ROWCOUNT = 0
            BREAK 
    END

NET 3.5. Linq. Пример получения списка категорий из xml-файла системы voicecards.ru

2009-02-09T13:34:00.000+03:00


XDocument xml = XDocument.Load(Page.MapPath("~/voicecards/xml/data.xml"));


        try
        {
            var cards = (from x in xml.Descendants("voicecards").Elements("cards").Elements("card")
                         join c in xml.Descendants("voicecards").Elements("categories").Elements("category") on x.Element("catid").Value equals c.Element("catid").Value
                         select new
                         {
                             CardID = x.Element("cardid").Value,
                             CatID = int.Parse(c.Element("catid").Value),
                             CatName = c.Element("nameshort").Value,
                             CatParentID = c.Element("parentid").Value,
                             CatNameFull = c.Element("namefull").Value,
                         }
                             into s
                             group s by new { s.CatID, s.CatName, s.CatNameFull, s.CatParentID } into g
                             select new
                             {
                                 Count=g.Count(),
                                 g.Key.CatID,
                                 g.Key.CatName,
                                 g.Key.CatNameFull,
                                 g.Key.CatParentID
                             }
                             );


        }
        catch { }

Портфолио...

2009-01-30T14:16:00.000+03:00

пояснение: моя часть работы - верстка (собаку съел) и кодинг.

rio-travel.ru

potolok-perstige.ru

podarki.ru
Потрачено 90% от проработанных 2-ух лет. dotNet 2.0 (3.5)/MSSQL/JS/ да много всего.
Моя работа в этом проекте - верстка и кодинг. Жуткое кол-во оптимизаций + кэширований.

URL Rewrite - .NET

2008-07-11T17:34:00.000+04:00

Столкнулся с необходимостью сделать ЧПУ (человеко-понятные урл`ы) на .NET`е.
Первым под руку попался компонент urlrewriting.net. Всё было ок, пока не выяснилось, что PostBack`и не работают - не передается информация и IsPostBack=false. Поковырялся... и нашел другой компонент - urlrewriter.net - он работал сразу, только вот ссылку в поле формы action не ту писал (а точнее вообще не писал, но хоть работало). Долго копал интернет - оказалось есть "чистый" способ.

Оговорюсь - сайт на C# ASP.NET 2.0.

Делаем в корне сайта папку App_Browsers. Создаем файл Form.browser с содержимым:


<browsers>

  <browser refID="Default">
    <controlAdapters>
      <adapter controlType="System.Web.UI.HtmlControls.HtmlForm"
               adapterType="FormRewriterControlAdapter" />
    </controlAdapters>
  </browser>

</browsers>

далее в папке App_Code создаем файл FormRewriter.cs с содержимым:


using System;
using System.Data;
using System.Configuration;
using System.Web;
using System.Web.Security;
using System.Web.UI;
using System.Web.UI.WebControls;
using System.Web.UI.WebControls.WebParts;
using System.Web.UI.HtmlControls;

/// 
/// Summary description for FormRewriter
/// 

public class FormRewriterControlAdapter : System.Web.UI.Adapters.ControlAdapter
{
    protected override void Render(System.Web.UI.HtmlTextWriter writer)
    {
        base.Render(new RewriteFormHtmlTextWriter(writer));
    }
}
public class RewriteFormHtmlTextWriter : HtmlTextWriter
{
    public RewriteFormHtmlTextWriter(HtmlTextWriter writer)  : base(writer)
    {
        this.InnerWriter = writer.InnerWriter;
    }
    public override void WriteAttribute(string name, string value, bool fEncode)
    {
        if (name == "action")
        {
            HttpContext Context;
            Context = HttpContext.Current;
            if (Context.Items["ActionAlreadyWritten"] == null)
            {
                value = Context.Request.RawUrl;
                Context.Items["ActionAlreadyWritten"] = true;
            }
        }
        base.WriteAttribute(name, value, fEncode);
    }
}

Пояснение простое:
1 - это обработчик для разных браузеров
2 - это код, который подменяет тег action у формы.

И PostBack теперь правильно работает...

просто так...

2008-04-22T14:10:00.000+04:00

Drupal 5.7 | Модуль Poll - мой патч для анонимных голосующих

2008-03-21T19:56:00.000+03:00

Родной модуль имел тупую систему фильтрации для анонимов - по ip! Я исправил.

Используется куки, плюс задержка между повторными голосованиями - это должно спасать от флуда.

drupal-5.7-poll-update.zip

Drupal - Закачка файлов - изменение настройки размера

2008-03-21T16:58:00.000+03:00

Всё просто. в корне файл .htaccess , в конец добавить:

php_value upload_max_filesize 40M
php_value post_max_size 40M

правда получается в 2 раза меньше... но работает!

PHP. Лого на загружаемое изображение.

2008-03-03T14:00:00.000+03:00

Вот пример функции, которая вставляет лого (png с прозрачностью) в изображение. Внимание! Скрипт должен запускаться с правами на chmod и удаление файлов.


// вставляет лого в пикчу
//$logo_img - полный путь до лого в формате png с прозрачностью
//$img - полный путь к обрабатываемому изображению
function SetLogo($logo_img ,$img)
{

    $info = @getimagesize($img);
    
    //проверка расширения и доступности файла
    if (!$info)
        return -1;

    switch( $info[2])
    {
        case "2": //jpg
            $srcImage = @ImageCreateFromJPEG($img);                
        break;
            
        case "1"://gif
            $srcImage = ImageCreateFromGIF($img);
        break;

        case "3"://png
            $srcImage = ImageCreateFromPNG($img);
        break;
        
        default:
            return -1;
        break;
    }
    
    $logoImage = ImageCreateFromPNG($logo_img);
    if (!$logoImage)
 return -1;

    $srcWidth  = ImageSX($srcImage);
    $srcHeight = ImageSY($srcImage);
        
    $logoWidth  = ImageSX($logoImage);
    $logoHeight = ImageSY($logoImage);
        
    imageAlphaBlending($logoImage, false);
    imageSaveAlpha($logoImage, true);
    
    $trcolor = ImageColorAllocate($logoImage, 255, 255, 255);
    ImageColorTransparent($logoImage , $trcolor);
    
    $logo_inserted=false;
    
    if (($srcWidth>$logoWidth) && ($srcHeight>$logoHeight))
        $logo_inserted=imagecopy($srcImage, $logoImage, $srcWidth - $logoWidth, $srcHeight - $logoHeight, 0, 0, $logoWidth, $logoHeight);
          
    if ($logo_inserted)
    {
    
        @chmod($img, 0777);
        if (@unlink($img))
        {
          
            switch( $info[2])
            {
                case "2"://jpg
                    ImageJPEG($srcImage, $img, 100);
                break;
                
                case "1"://gif
                    ImageGIF($srcImage, $img);                    
                break;

                case "3"://png
                    ImagePNG($srcImage, $img);                    
                break;
                
            }
        }   
    }
    
    @ImageDestroy($srcImage);        
}
?>

Drupal 5. TinyMCE

2008-02-16T00:50:00.000+03:00

Нужно скачать и установить модуль TinyMCE и сам редактор.
Редактор нужно положить в каталог modules/tinymce/tinymce.
Теперь обязательно на странице ?q=admin/user/access поставьте какой-нибудь роли возможность пользоватся tinymce (иначе не смежете сделать следующий шаг).
Потом в настройках нужно создать профиль для этого редактора (это не страшно, просто настраивается какие возможности он будет иметь) и поставить кучу галочек в разделе Buttons and Plugins.
Так же посмотрите другие разделы...

В результате будет возможность использовать визуальный редактор:

Drupal 5. Вкусный набор добавочных модулей.

2008-02-16T00:15:00.000+03:00

Мой (да и вообще общепризнанный) набор модулей для Друпала:

Views - позволяет настраивать вывод информации о содержании (ноды).

CCK (Content Construction Kit) - мега вещь! Дает возможность создавать новые типы полей у типов содержания.

WebForm - Возможность создавать веб-формы (опросники, формы).

jQuery_update - Обновление. (Кроме распаковки в каталог modules нужно файл jquery.js положить поверх старого в каталог misc)

viewfield - Улучшение для модуля views.

contemplate - Улучшение шаблонизации. Можно для ноды делать свой шаблон. Так же дает возможность использовать файлы-шаблоны по типу: node-тип_ноды-поле.tpl.php.

taxonomy_redirect - дает возможность изменить ссылки таксономии.

admin_menu -Добавляет к админке вверх popup меню для быстрой навигации.

pathauto - Автоматически создаёт читаемые ссылки на ноду.

Чуть позже опишу пример использования CCK+Views для создания каталога продукции.

Drupal 5. Установка и русский язык.

2008-02-15T23:55:00.001+03:00

Пишу себе памятку :-)

Нужно:
- сам друпал- Сайт друпала (пока лучше брать 5-ую версию, т.к. под неё много модулей-дополнений)
- русский язык- для версии 5.3

1. создаём базу даных (utf-8)
2. распаковываем архив друпала
3. распаковать "русский" в каталог друпала (поверх)
4. теперь уже стартуем инсталляцию - просто открываем сайт в браузере.
5. Выбрать "Русский Drupal" и язык "Русский"
6. По умолчанию в русской версии создаёт сразу админскую запись- имя: admin, пароль: admin. Не забудьте сменить !!!

подробно - тут

Lay`s - я победил систему :-)

2008-02-12T10:25:00.000+03:00

Уря!
Пришла супер флешка!

Минусы:

Нет лого Lay`s
128Mb

Плюсы:

Ошейник
USB-удлиннитель

А самое главное - это моя первая USB-флешка. Типа фишка - я не купил, а выйграл :)

Способ победы - 3 карточки акции... в 3 часа ночи...